Все новости от 8 октября 2001 г.

Самодельный суперкомпьютер

Этот рецепт испробовала компания Hewlett-Packard совместно с Французской национальной лабораторией. К великому удивлению многих специалистов, он сработал! В результате получился I-Cluster – кластер из 225 упрощенных ПК НР с операционной системой Mandrake Linux, который по результатам испытаний попал в список 500 самых мощных компьютеров в мире.

Летом на техническом семинаре INRIA Rhone-Alps, местного отделения французского Национального института вычислительной техники (National Institute for Research in Computer Science), специалисты лаборатории НР в Гренобле заговорили о возможности создать «нечто необычное»: суперкомпьютер, целиком составленный из стандартных компонентов, таких, которые широко применяются на типичном предприятии. Они начали с сотни компьютеров НР e-PC – упрощенных ПК с ограниченными возможностями наращивания – и в результате представили конфигурацию из 225 узлов, близкую к физическим пределам возможностей кластера.

В прошлую среду HP и INRIA познакомили с этой системой журналистов.

В I-Cluster применялась запечатанная версия e-PC, то есть не допускающая никаких модификаций аппаратуры. Сетевое оборудование, участвующее в эксперименте, также было стандартным. Это означает, что, в отличие от других проектов кластерных суперкомпьютеров, метод I-Cluster может использоваться организациями для мобилизации простаивающих вычислительных ресурсов на решение задач, требующих интенсивных вычислений. «Это действительно стандартные машины, мы даже не открывали их корпусов», – уверяет руководитель программы HP Labs Grenoble Бруно Ричард (Bruno Richard). Другие кластеры, такие как ASCI Red в Sandia National Laboratories (США), содержат существенно модифицированные компоненты.

Как завести кластер
Ричард рассказал, что заставить такой кластер функционировать как одно целое оказалось совсем не просто. Потребовалось создать средства распределения таких ресурсов, как дисковая память, и средства сетевого кэширования для устройств общего назначения, а также инструменты управления кластером и программирования. «Наш предыдущий кластер содержал 12 машин, – говорит Ричард. – Когда их стало 200, пришлось переосмысливать все заново». Например, даже просто внести изменения в ПО при таком количестве компьютеров – задача очень не простая. Однако в конце концов были созданы инструменты, позволяющие переустановить все машины, входящие в кластер, примерно за 12 минут.

Исследователи планируют предложить разработанные ими инструменты всем, кому придет в голову построить суперкомпьютер, в качестве ПО с открытым исходным кодом. Весь проект, не считая сетевой кабельной системы, обошелся примерно в 1,5 млн франков (210 тыс. $). Машины, составляющие I-Cluster, уже устарели – они работают на процессорах Pentium III 733 МГц и оснащены 256 Мбайт RAM и 15-Гбайт жесткими дисками. В этом месяце НР выпустила более быстродействующую версию, а к концу года представит e-PC на процессоре Pentium 4.

Узлы e-PC связаны между собой сетью Fast Ethernet. Такие особенности конструкции, как сверхтихие кулеры и пониженное энергопотребление, изначально нацеленные на корпоративного покупателя, оказались полезными и в среде суперкомпьютера: кластер работает на удивление тихо и для его охлаждения не требуется ничего, кроме обычного кондиционера воздуха. Судя по стандартным тестам, I-Cluster занимает в рейтинге суперкомпьютеров 385-е место в мире и 15-е место во Франции. По словам Ричарда, эксперимент показывает линейную зависимость между числом узлов и производительностью – это означает, что наращивать и сокращать вычислительную мощность в зависимости от решаемой задачи будет достаточно легко.

Над системой работает около 60 команд специалистов во всем мире, одна половина из которых решает типичные для суперкомпьютеров задачи, а другая занимается исследованием I-Cluster.

Работа продолжается
Проект показывает, что стандартные вычислительные ресурсы, такие как незадействованная обрабатывающая мощность офисной сети, могут быть мобилизованы для серьезной вычислительной работы. Этим могут заинтересоваться разработчики САПР, фармацевтические и другие компании, говорит Ричард, так как данный метод позволяет собирать и использовать простаивающие мощности офисных ПК. В настоящее время жесткий лимит размера кластера составляет 256 узлов – из-за ограниченной емкости коммутатора, но его можно преодолеть, если соединить несколько кластеров, расположенных недалеко друг от друга.

Более трудной задачей может оказаться применение этой модели к потребительской среде, полной часто простаивающих процессоров вроде тех, что используются в принтерах и DVD-плеерах. НР мечтает об «облаках» устройств или «виртуальных организмах», которые обнаруживают и используют ресурсы, окружающие пользователя. Ричард считает, что мощь суперкомпьютера и здесь может оказаться полезной для решения определенных задач, например для преобразования крупных видеофайлов из одного формата в другой, которые обычно требуют недюжинного терпения.

Другие специалисты предупреждают о труднопреодолимых технических препятствиях на пути к созданию подобной домашней сети. По словам Брижит Плато (Brigitte Plateau), руководителя параллельного проекта INRIA APACHE, потребности потребителей в такой вычислительной мощности вряд ли оправдают усилия по созданию подобной системы. «Для этих целей, вероятнее всего, появятся внешние службы», – считает она.

Ричард из НР отмечает, что использование Linux – в данном случае Mandrake 7.0 – было важным моментом, так как в это ПО легко вносить низкоуровневые изменения, которые затем становятся свободно доступными другим специалистам. В случае использования Windows для этого пришлось бы заключать особое соглашение с Microsoft.

Плато, чей проект APACHE тоже связан с I-Cluster, сообщила, что лаборатория работает и с Microsoft – над переносом на Windows приложений с параллельными вычислениями. «Мы добиваемся универсальности, распространив эту технологию за пределы мира Linux, – говорит она. – Это уже не научная, а чисто техническая задача».

 В продолжение темы:

Обсуждение и комментарии

	Alexey - alexceymail.ru 8 Oct 2001 8:08 PM
Интересно. Хорошо работают буржуины, занимаютстся даже такими проектами. Только мне кажется, что мало прямой практической пользы от такой системы. Польза скорее научная - важен сам принцип построения таких систем. Не думаю, что все так просто, как написано в статье. Если ьы было все так просто, то в каждой "голопупии" типа Украины и.т.п. были бы свои суперкомпьютеры, ан нет, нету их.
	Волков 8 Oct 2001 8:26 PM
Мне нравится фраза "доморощенное ПО Linux". Напоминает о доморощенной (т.е. выращенной в доме) конопле.
	AT - 220220pager.icq.com 8 Oct 2001 9:54 PM
В такой "голопупии" типа Украины есть такие машины, но поменьше и не так афишируются. И исспользуются не научных целях, а для реальных денежных операций. Да и кстати в сети уже давно FAQ и софт лежит как сделать такое в домашних условиях. Новость не новость, а реклама просто нового собранного компутера от HP.
	Zaufi 9 Oct 2001 1:42 AM
Alexey, на сам деле польза бывает и не научная... а вполне себе бытовая: у нас в офисе 5 машин (суммарно 8 процессоров от 933 до 500 П3) объеденены в кластер (с использованием Mosix'a)... то что раньше компилялось 1.5 часа щаз выплевывается за 10-15 минут... а с -O0 даже покурить не успеваешь как следует :) для этого все хором перешли на единый дистр (MDK8) и ядро (2.4.8)... на подходе mosix для 2.4.10 -- буим ставить обязательно... -- тямболее все ставится/строиться за несколько минут :) --- легкую иронию вызывает замечание о переносе HPшниками всего этого под виндюки... :) -- мож чо и получится путное, но еси чесна мя терзают сомнения (даже еси забыть про $$$ которые надо буит выложить за этот софт) -- становится жалко виндовых пользователей...
	CHOP 9 Oct 2001 9:48 AM
Новость действительно не новость. У меня приятель собрал себе неплохой кластер из трёшек: накупил мам и камней по 5-10 баксов на сотню, как-то всё это скрутил вместе и доволен несказанно. А он, между прочим, не шутками занимается, а действительно реальным численным моделированием и раньше кроме AIX вообще ничего не признавал.
	Дима - kdaukrpost.net 9 Oct 2001 10:53 AM
Господа, Вы обратили внимание на то из каких "устаревших" компьютеров это дело собрали? А вы тут о тройках, мащины ц нас такие вычислительные есть и т.д. Нам до них, как барану до сирени. :)
	Дима 9 Oct 2001 11:03 AM
Зачем сочинять кластера из троек!?!, если дешевле труда программистов и админов (!), которые это все поставят - купить одну хорошую рабочую станцию. Другое дело наша страна, где труд людей дешевле техники.
	A.K. 9 Oct 2001 12:47 PM
Как насчет отказоустойчивости - если например из 100 машин 3 внезапно накрылись, сможет ли система на ходу перестроиться? Если в момент этой перестройки рухнуло что-то еще, сможет ли система работать дальше? С ростом кол-ва машин будет нарастать трафик внутрикластерного обмена (любая вносимая в систему информация должна храниться больше чем на одном компе из-за отказоустойчивости) Нужны специальные протоколы, его сокращающие...
	Remik 9 Oct 2001 9:00 PM
COOL! А, ведь верно Linux = Windows 95, но не выше! Получили Линуксоиды!
	CHOP 9 Oct 2001 9:24 PM
Remik'a не понял.
	Alexey - alexceymail.ru 10 Oct 2001 10:02 PM
To AT: Если не секрет, где или хотя бы для каких операций нужны кластеры в Украине для денежных расчетов? Понимаю, что тон вопроса несколько ироничный, но в общем я сам с Украины (Одесса) и покритиковать "рiдну неньку" и обозвать "голопупией" какое то право имею. А узнать приблизительно для чего очень хочется. В конце концов может не все так плохо в родной стране, живы еще кластеры, и главное люди, которым они действительно нужны.
	eXOR 11 Oct 2001 11:43 AM
2 Remik: ;-))... Ну как от такого лепета не проикнуться умилением ;-))?
	Dima 12 Oct 2001 10:19 AM
2zAUFI А мне жалко "пользователей командной строки". Я сам под виндами очень редко к мыши притрагиваюсь - привык работать клавой и головой, а не глазами. Оно и быстрее и эфективнее. Но вот сходу обучить этому мне никого не удавалось :(
	glassy 12 Oct 2001 3:03 PM
Да нет, CLI еще не исчерпал всех своих возможностей :) Я вам обещаю -- максимум через 60 лет :) секретарши будут печатать "$ хочу написать обычное письмо". Можно, конечно, голосом, но, чтобы своим разговором никому не мешать... А гуй только у эстетов останется ;) 2Zaufi: смотря что курить :)
	Игорь - ikazatchkovft2001.rsm.nl 15 Oct 2001 12:15 AM
CHOPу: можно ли связаться с тем приятелем, который построил кластер из "трёшек", для обмена опытом? Буду очень благодарен за ответ на мой адрес: ikazatchkov@ft2001.rsm.nl.
	муму 15 Oct 2001 3:52 AM
Тоже мне, суперкомпьютер... Вот когда .NET в полную силу развернётся - вот это будет действительно сила! Тоже мне, "облачка" да "организмы"... А уж о линуксоидах и вовсе речи нет - будут посрамлены, присно и вовеки веков! Аминь.
	vIv 15 Oct 2001 2:20 PM
при прочих равных условиях .NET будет заметно отставать по скорострельности - до 98% полезной мощности будут отъедать размножающиеся вирусы, плюс 1.5% на рассылку вирусованной почты. Остаётся от-силы пол-процента, что приведёт нас к полному равенству .NET на квадроCPU*20GHz нодах и Linux на 386SX25
	муму 16 Oct 2001 4:26 AM
Что за бред??? Разве что у вирусописателей найдётся 98% денежек. .NET - защищён от вирусов, хакеров и крякеров на все 100%!
	Chkaloff 16 Oct 2001 10:36 AM
2 vIv: >при прочих равных условиях .NET будет заметно >отставать по скорострельности - до 98% полезной >мощности будут отъедать размножающиеся вирусы.... Сам придумал, или надоумил кто? Ты вообще что про .NET то знаешь?
	Mauhuur - warlockskeptik.net 16 Oct 2001 11:36 PM
ламеру "муму": .NET не имеет никакого отношения к parallel computing, так что кури. 2 glassy: лет через двадцать мыслями рулить будешь ;) гуйня да CLI на фиг не нужными станут... Любителям Mosix - это дело для числодробилки ну абсолютно не нужно и даже вредно. На хрен миграция и шареная память, когда гораздо удобнее всякие там основанные на message passing архитектуры?
	vIv 17 Oct 2001 4:39 PM
что? я не прав? или .НЕТ уже планируют делать на платформе, отличной от Windoze? =)
	Mauhuur - warlockskeptik.net 17 Oct 2001 5:22 PM
2vlv: .NET - открытая спецификация. И уже как минимум два активно развивающихся опеньсоурсных прокетика по реализации этой спецификации наличествуют. Но только вот всё равно я ни разу не понимаю, какое отношение этот дотнет может иметь к кластерным технологиям? Единственное, что это нам даст - более эффективную компиляцию, но тут и без .NET обойтись можно...
	муму 18 Oct 2001 7:35 PM
В то время, как остальные линуксоиды будут посрамлены с появлением .NET, местные обосрамились прямо здесь и сейчас! Я что, утверждал, что она придумана исключительно для параллельных вычислений??? Так вот, знайте - .NET платформа, вобравшая в себя всё самое совершенное и прогрессивное в человеческой компьютерной мысли, идеально подходящая для _ВСЕГО_! А о безопасности и возможности воспроизведения в полном объёме и говорить нечего - MSDN почитайте, прежде чем разглагольствовать!
	VB man 18 Oct 2001 9:22 PM
mymy: ny i dyrak Po4itaj chto Anders Hejlsberg pishet: http://msdn.microsoft.com/library/default.asp?url=/library/en-us/dndotnet/html/dotnetconvers.asp mozhet i nay4ishcya chemy.... i vsio bydet normal'no. I Linux bydet, i .NET bydet, i Java bydet....
	Mauhuur - warlockskeptik.net 18 Oct 2001 9:44 PM
муму, ты достал, сосунок сопливый. Возьми верёвку и удавись на хрен, дебилище. Какая в дупу разница, на какой платформе реализовывать параллельную числодробилку? Главное, чтоб сеть шустрая была, чтоб удобная библиотека сообщений наличествовала (охотно верю, что в .NET лего сериализация делается, ну дык это далеко не только там есть). Вот только одно ясно - сволочной недоязычок C# для числодробильни никогда серьёзно использоваться не будет, как и его ублюдочные родственнички C++ и Java. Fortran и теперь живее всех живых. Сделают компилятор для .NET - ладненько, не сделают - накакать, и без того хороших компиляторов хватает. Так что, гнида безмозглая, заткнул бы ты своё вонючее хлебало. Не уподобляйся линуксойдам и им подобному безграмотному быдлу. Ты же просто тупое говно, откуда тебе знать, что там "компьютерная мысль" породила, чтоб столь наглые утверждения выблёвывать? Короче, ещё раз советую тебе удавиться, ты тем самым сделаешь мир лучше, благотворно повлияешь на генофонд человечества.
	муму 18 Oct 2001 10:02 PM
Сам ты дурак. А это я читал, всё правильно пишут. И линуксы, конечно, тоже останутся - ну как же обойтись без такой выгребной ямы технологических отбросов?
	me - userinternet.com 18 Oct 2001 10:18 PM
Mauhuur, дай травы покурить...
	муму 18 Oct 2001 10:43 PM
Так много мата и так мало смысла! Хотя нет - слово "сериализация" где-то ты всё-таки выучил. Осталось только заучить JIT compilation, NGen.exe и Common Language Specification - и такой бред писать (наверное) уже не станешь!
	Антон Блинков - bavinfopac.ru 19 Oct 2001 6:05 AM
2 me V.S.Lugovskому (aka Mauhuur) травы не надо, он экзальтирован по жизни, счастливчик :) а муму мне кажется просто над нами издевается :)
	Noname 19 Oct 2001 1:55 PM
2Mauhuur Напиши на Fortran'е: (-5)**(1/3)
	glassy 19 Oct 2001 5:43 PM
Я бы через exp/ln сделал :) Благо IQ пока хватает :)
	glassy 19 Oct 2001 5:46 PM
А, нет, гоню... -5, говоришь... не хватает... :)
	dao - biplanemail.ru 22 Oct 2001 4:35 PM
Помиться, когда вышел Титаник на одном из Линуксовых серваков была фотография кластера на котором считали спецэффекты для фильма.
	tony 3 Nov 2001 8:20 PM
2 муму: дельный совет - утопись. Перед каждым выходом мелкософтовских продуктов они говорят, что они СОВЕРШЕННЫ, ВОПЛОЩЕНИЕ ПРОГРЕССА И т.п. Херня. Утопись, пока не поздно - разочарование неотвратимо.
	BUGz - bugzde.nwpi.ru 14 Nov 2001 11:53 AM
Beowulf рулит :)
	Demon 19 Nov 2001 10:08 AM
Хехе ну ребяты дают... Тысячу лет после вас буду я.... И снова напишу.... Но уже про кластер из опто-протонных мозговых элементов... Кстати, в нашей лаборатории создали кластер из 10 мозгов подоптных, получили увеличение реакции на 68% от номинальной... правда хаос в мышлении, так что надо работать ещё... Хехехе.... ну линуксов мы им конечно не грузили, но кто знает мож попробовать надо...
	Demon 19 Nov 2001 10:17 AM
Кстати, вы что не знали! Муму из русского отделения микрософта, он там работает... Так что ему можно ругать линукс и всё что не соответствует политике микрософта... хехех... мдяяя..
	Pavel 30 Jan 2003 5:02 PM
Это все конечно красиво, но подробностей мало, все таки, как сделать простенький суперкомп из того борахла что продаётся в магазине ?