Сеть grid: за мощь ПК будем платить как за коммунальные услуги

В отличие от запутанной и бесструктурной паутины WWW, решетка grid - строго упорядоченная система. Подключаясь к последней, пользователь получает доступ к мощи миллионов машин, на которых он может осуществлять вычисления и хранить огромные объемы данных. Вдобавок, эта сеть является наиболее безопасной. Полноценная реализация grid-идеологии в недалеком будущем приведет к тому, что использование компьютера будет оплачиваться как коммунальные услуги, наряду с электричеством и водопроводом. Полный текст статьи был доступен читателям журнала CNews в августовском номере.

На протяжении нескольких десятков лет наблюдается неуклонный рост производительности компьютерных систем. Причем до недавнего времени он был экспоненциальным. На сегодняшний день технические характеристики ПК достигли параметров, которые невозможно было представить еще 10 лет назад. Реализовывать новые показатели становится все сложнее ввиду достижения технологического предела в производстве процессоров. Каждый шаг в этом направлении требует все больших капиталовложений – в результате дальнейшее увеличение производительности становится необоснованно дорогим. В поисках оптимального решения производители предположили, что ее рост может быть не только интенсивным, но и экстенсивным. Наряду с обычными рабочими станциями они начали создавать, так называемые, кластерные системы – комплекс компьютеров, работающих как единое целое. Но производительность подобных решений ограничивалась размерами помещений, в которых размещались кластеры.

Вектор развития

С массовым производством и распространением дешевых ПК возникла идея создания сети, аналогичной интернет, но отличающуюся тем, что человек, входящий в систему, предоставляет в общее пользование свои вычислительные ресурсы. Такое «осоциализирование» машины будет считаться своеобразной платой за возможность доступа к ресурсам других пользователей. Подобное решение носит название «grid_система». Затраты на создание ПО для grid, протоколов, регламентирующих отношения между пользователями системы, оказываются меньше расходов на сооружение кластеров такой же производительности.

Существуют многочисленные «пакетные» задачи, требующие разового применения значительных компьютерных мощностей. Таковы, например, расчёт (rendering) финальной версии анимационного фильма или математической модели биологических процессов и т.д. В связи с подобной «разовой» потребностью в значительных компьютерных мощностях до 70% времени вычислительные комплексы в большинстве своем простаивают. Например, научный сотрудник какого-либо института практически все свое время тратит на разработку алгоритма решения задачи, написание программы и ее отладку. В этот период вычислительная система ему не нужна и ее могут использовать остальные. В итоге он тратит на порядок меньше времени на обсчет своей задачи. Именно огромные потребности в дешевых вычислительных ресурсах научного сообщества послужили толчком к созданию и развитию grid-идеологии. Ее основной идеей является более рациональное использование компьютерных ресурсов.

Очень многие расчётные задачи хорошо поддаются распараллеливанию, т.е. их можно разбить на множество частей и исполнять одновременно на многих машинах. Такую задачу можно решить весьма быстро, если задействовать большое количество компьютеров, объединённых в сеть; например, вместо 100 минут расчёта на одной машине хватит 1 минуты на 100 машинах. Эта технология называется grid computing.

Примечательно, что потребность в подобном решении высока не только в науке, но и в других отраслях. Многим нефтяным и горнодобывающим компаниям, например, необходимы значительные компьютерные мощности для учета геологических данных и моделирования месторождений. Использование grid-технологий представляется очень перспективным и в финансовых институтах, оперирующих огромными объемами статистических данных. Так, некоторые банки уже сегодня активно реализуют подобный подход. На задачи прогнозирования у них уходят не часы, как ранее, а минуты, что позволяет оперативно реагировать на ситуацию на рынке и, соответственно, получать большую прибыль от банковских операций. Помимо этого, такие системы можно создавать также на частных предприятиях и государственных ненаучных учреждениях, объединив все ПК, принадлежащие организации. По мнению многих экспертов, в течение ближайших пяти лет, grid станет основополагающим направлением в развитии корпоративных ИТ-инфраструктур.

Grid планетарного масштаба

Помимо прочего, в пользу grid говорит возможность виртуально объединять географически разбросанные серверы данных, серверы приложений или консолидировать приложения с базами данных. Такой процесс называется виртуализацией и значительно облегчает работу с информацией. Grid-архитектура обеспечивает возможность консолидации данных таким образом, чтобы гетерогенная информация могла быть представлена с помощью единого сервиса. В качестве примера можно привести работу научного сотрудника, занимающегося поиском структурных особенностей последовательностей оснований ДНК.

Исследователь использует банк данных с последовательностями на одном сервере, а анализирует их структуру при помощи приложений, расположенных на другом. Для этого необходимо скопировать себе на компьютер необходимый геном, затем сбросить его на сервер с приложениями и только потом анализировать. Виртуализация позволяет обходиться без таких лишних шагов. Кроме того, подобная интеграция данных полезна и при использовании аналитических инструментов маркетинга.

Также целесообразно объединять данные территориально-распределенных холдингов. Впрочем, подобные решения сегодня могут рассматриваться лишь как перспективные, так как создание систем, выходящих за рамки одной организации или страны сталкивается с рядом проблем, основной из которых является безопасность передачи данных. Тем не менее, по мнению многих экспертов, будущее за grid-системами масштаба планеты. В идеале grid должна представлять собой один огромный метакомпьютер, с которым работает каждый пользователь, решающий определенную задачу.

Говоря о перспективности развития вычислительных систем в этом направлении можно также представить операционную систему, софт, игры, работающие с учетом параллелизма. В этом случае все свободные компьютерные станции системы будут трудиться над обработкой приложений, запускаемых с одного ПК. Каждая домашняя персональная ЭВМ, благодаря grid-технологиям, превращается в компьютерную систему с огромными возможностями.

В отличие от запутанной и бесструктурной паутины WWW, решетка grid - строго упорядоченная система. Подключаясь к последней, пользователь получает доступ к мощи миллионов машин, на которых он может осуществлять вычисления и хранить огромные объемы данных. Вдобавок, эта сеть является наиболее безопасной. Полноценная реализация grid-идеологии в недалеком будущем приведет к тому, что использование компьютера будет оплачиваться как коммунальные услуги, наряду с электричеством и водопроводом. Полный текст статьи был доступен читателям журнала CNews в августовском номере.

Коммунальный компьютер

На сегодняшний день выделяют два направления развития технологии– вычислительный grid и grid для бизнеса. Причем второе появилось немного позже, так как изначально grid-архитектуры создавались для удовлетворения потребности в вычислительных мощностях научного сообщества. Многим руководителям ИТ-структур решили использовать для обсчета задач вычислительные ресурсы по требованию – то есть заказчик платит за «процессорное время», которое тратит сеть на решение поставленной задачи. У многих организаций потребность в масштабных вычислениях возникает только несколько раз в год, а поддерживать кластер они должны в течение всего года.

Таким образом, предприятию будущего для успешного продвижения на рынке потребуется, помимо электричества и интернета, как минимум просто провести вычислительный «трубопровод» с установленным счетчиком расхода данного ресурса. Такое коммерческое использование вычислительных ресурсов называется utility computing и является основой grid для бизнеса. Виды услуг, предоставляемых владельцами таких систем, не будут ограничиваться процессорной и оперативной мощностью. Можно предположить, что они будут предоставлять пространство для хранения информации. В этом случае сохранность данных гарантируется за счет разбиения всех данных на части и разнесения их по разным географически распределенным серверам. При этом, для сбора данных в единое целое необходимы специальные ключи.

Основная особенность utility computing состоит в том, что ИТ-система предприятия управляется не на основе конкретных параметров, а на основе неких правил поведения, задаваемых заранее. Причем последние и отражают динамично изменяющуюся в условиях высокой конкуренции бизнес-среду.

С учетом этих правил, ИТ-система автоматически перераспределяет ресурсы между приложениями в зависимости от заранее расставленных приоритетов. Рентабельность использования внешних вычислительных мощностей будет определяться в основном величиной тарифов на эти ресурсы. Некоторым компаниям по-прежнему будет выгоднее содержать свой кластер, но с концепцией utility computing и у малых фирм появится возможность использовать, при необходимости, в своем бизнесе большие вычислительные системы.

Уже сейчас существуют проекты с применением grid-технологий. Так, в нефтегазовой отрасли приложения компаний Landmark, Schlumberger работают в grid-среде. А проект в Aramco является крупнейшей инсталляцией grid в мире.

Кластер, построенный в этой компании, состоит из 7 работающих параллельно подкластеров, по 128 узлов каждый. Часть из них используются для моделирования нефтяных месторождений, часть — для обработки иных данных. Также grid может уже сейчас применяться в фармацевтике. Вообще, наиболее «благоприятными» для быстрого развертывания grid-среды являются приложения с пакетной обработкой данных.

Для grid не все параллельно

Рассмотрим теперь потенциальные трудности, с которыми может столкнуться реализация этой идеологии. Важным свойством задачи при решении ее на распределенных системах является предрасположенность к распараллеливанию. Большинство бизнес-задач, в отличие от вычислительных, тем или иным образом затрагивают СУБД, а именно они трудно поддаются распараллеливанию. Например, один узел получил новые значения каких-то переменных, но не успел записать их на диск, в то время как второй уже обращается к ним. Над этой проблемой работают такие компании как Oracle, Fujitsu-Siemens и др. Универсального решения пока не найдено.

Одной из ключевых трудностей развития grid является выработка единого стандарта программно-аппаратного обеспечения систем. Сомнительно, чтобы несколько серверов разных производителей должным образом распределяли вычислительную нагрузку. В настоящее время наблюдается перемирие в войне стандартов. Поэтому поставщики начали объединяться в альянсы для совместной разработки единых стандартов. Так уже существует консорциум EGA (Enterprise Grid Alliance), в который вошли такие крупные игроки, как Fujitsu-Siemens, Hewlett-Packard, Intel, NEC, Sun, Novell и Citrix Systems. Задача EGA – внедрение grid-технологий на предприятиях. Консорциум планирует сотрудничать с другими сообществами, работающими над grid, такими как Desktop Management Task Force и Global Grid Forum. Финальным этапом своей работы EGA видит построение вычислительных сетей, готовых для сдачи в аренду.

Другие игроки ИТ-индустрии, также не стоят на месте. Так, компании EMC, Intel, Oracle и Dell создали проект MegaGrid, в рамках которого проводится тестирование различных вариантов построения экономически эффективной инфраструктуры grid на базе объединенных вычислительных мощностей компаний.

По стопам интернета

Идея создания grid-систем возникла в США, которые являются на сегодняшний день лидером в их использовании. В России идеология grid также нашла отклик. Впервые наша страна приняла участие в создании grid-систем в рамках проекта EU Datagrid 2001 года. Его целью является создание инфраструктуры с процессорной мощностью порядка 2x1014 операций в секунду и объемом дискового пространства 1016 байт. На сегодняшний день в России создан свой grid-сегмент, в который вошли: НИИЯФ МГУ, ИТЭФ Курчатовского института, ИПМ им. Келдыша, ИФВЭ (Протвино), ОИЯИ. Эта система уже нашла применение в моделировании событий для экспериментов физики высоких энергий. Российские разработчики также принимают активное участие в создании программных пакетов, сервисов и служб для нового ПО.

Впрочем, развитие столь глобальной идеологии, как grid, невозможно без непосредственного участия государства. Так, США вкладывает в реализацию grid значительные средства. В Европе все работы, связанные с новой технологией, координируются в рамках проекта Data Grid, целиком финансируемого Евросоюзом. На сегодняшний день в него уже вложено почти 10 млрд. евро. В то же время, Россия пока не инвестирует в grid, и всем отечественным институтам приходится выживать на различные гранты.

Если рассматривать grid для бизнеса, то новейшая технология привлекает прежде всего те отрасли, где есть высокая потребность в высокопроизводительных вычислениях, причем решаемые задачи должны по возможности легко поддаваться распараллеливанию. Это прежде всего геологические данные, анализ рисков, прогнозирование и модельные расчеты. Энергетика, фармацевтика, химическое производство, автоиндустрия – все эти отрасли являются потенциальными кандидатами на использование grid. По сравнению с суперкомпьютерами grid-среда обеспечивает значительное повышение эффективности вычислений на гораздо более экономичной платформе. Хочется так же отметить тот факт, что развитие grid очень похоже на аналогичный этап эволюции интернет. Именно так в свое время всемирная паутина проникала в сферу бизнес приложений. Изначально компании предпочитали информационное пространство собственных локальных сетей, но впоследствии интернет стал неотъемлемой частью практически любого бизнеса. Уже в достаточно близкой перспективе grid претендует на роль вычислительного инструментария в различных сферах человеческой деятельности.

Евгений Зализняк / CNews

cnews.ru

2

Опубликовано на сайте: 2005-09-25