Все новости от 21 июня 2004 г.

Новый метод оценки суперкомпьютеров

Организатор рэнкинга суперкомпьютеров Top500 разработал более широкий комплекс тестов, измеряющих многие параметры производительности машин. Сейчас для ранжирования систем в списке Top500, публикуемом с большой помпой дважды в год, используется математический тест Linpack.

«Всем нам давно ясно, что одного Linpack недостаточно, — говорит Джек Донгарра, профессор университета штата Теннесси, который участвовал в создании Linpack и теперь работает над комплексом тестов, идущих дальше простого „числодробления”. — Никакой единственный показатель не может отражать общей производительности машины».

В мире настольных ПК, где повышение тактовой частоты процессора на 20% редко приводит к 20%-му ускорению работы системы в целом, аналогичный отход от простых, но потенциально вводящих в заблуждение цифр уже произошел. В 2002 году AMD отказалась от указания быстродействия в гигагерцах. А этой весной аналогичный шаг для своих чипов Pentium и Celeron совершила Intel.

Некоторых производителей, таких как Cray, спонсируемый правительством комплекс тестов для суперкомпьютеров, называемый HPC Challenge Benchmark, обрадовал. Однако IBM, которая агрессивно рвется на рынок суперкомпьютеров и все чаще мелькает в списке Top500, отнеслась к нему настороженно.

Новый комплекс из семи тестов не заменит Linpack в качестве меры для Top500, говорит Донгарра. Во-первых, этот тест, которому уже десять лет, позволяет производить исторические сравнения в сфере высокопроизводительных вычислений (high-performance computing, HPC), а во-вторых, система, не способная получить высокой оценки по Linpack, не сможет хорошо работать и в других тестах.

Новые тесты стали результатом реализации программы правительства США, напуганного японским суперкомпьютером Earth Simulator, который лидирует в Top500 с 2002 года. Программа, финансируемая агентством DARPA (Defense Advanced Research Projects Agency), принесла гранты на разработку новых конструкций суперкомпьютеров IBM, Cray и Sun Microsystems.

«Это сделано для DARPA, Национального фонда науки и Министерства энергетики. Им нужна мера для оценки общей эффективности компьютеров, разрабатываемых в рамках этой программы, и они поняли, что Linpack не очень подходит», — говорит Донгарра.

Следующий список Top500 планируется обнародовать в воскресенье на Международной конференции по суперкомпьютерам в Гейдельберге (Германия).

Идея о комплексе тестов возникает не впервые. Эрик Стромайер, другой организатор Top500, еще в 2000 году одобрил замену Linpack комплексным тестом.

Новые тесты, новые фавориты
Некоторые компании — особенно Cray — горячо поддерживают новый комплекс. В одном из тестов, который измеряет скорость обмена данными с памятью, лидирует пять систем Cray X1, хотя в Top500 компания не блещет. «Заказчики всегда хотят, чтобы при испытаниях работали их конкретные программы, но этот тест дает хорошее представление о том, как система решает разные задачи, — говорит менеджер по маркетингу Cray Стивен Сугияма. — Они проделали большую работу по подбору характеристик систем, которые важны для заказчиков». О рэнкинге Top500 на базе Linpack Сугияма отзывается так: «Это полезные сведения об очень высокопроизводительных системах, но не факт, что они годятся для их сопоставления».

Cray много лет занимается суперкомпьютерами. Однако IBM пытается приспособить для этого рынка, где особым успехом пользуются Unix-серверы и кластеры небольших Linux-компьютеров, свои бизнес-серверы общего назначения, соединенные быстродействующей сетью. И Big Blue более скептически настроена в отношении новых тестов.

«Что такое Linpack, знают все. А вот что такое эти новые тесты, никто не знает, — говорит руководитель группы IBM Deep Computing Дейв Терек. — Заблуждение думать, что чем больше тестов, тем больше ясности. Это может привести лишь к дополнительной путанице». По его словам, многие тесты представляют собой экстремальные и потенциально нестандартные задачи, и еще не ясно, насколько они совпадают с реальными задачами заказчиков. IBM рекомендует своим клиентам, прежде чем покупать систему, проверить ее на своем собственном ПО.

Кроме того, эти тесты, по мнению Терека, перекошены в сторону интересов определенных государственных ведомств. «Агентства с названиями из трех букв по-своему понимают, что важно, а что нет — все они преследуют свои собственные цели», — говорит он, имея в виду разведывательные агентства типа ФБР, ЦРУ или Агентство национальной безопасности.

Новые измерения
Linpack определяет, как быстро система может производить сложные алгебраические вычисления, — этот тест хорошо измеряет производительность процессора, но не других компонентов суперкомпьютера. Например, он не может оценить, как быстро передаются данные в память или в дисковую подсистему. И хотя Linpack проверяет так называемые «вычисления с плавающей запятой», он не исследует операции с целыми числами. Целочисленные операции применяются при решении таких задач, как обработка генетических последовательностей.

Комплекс HPC Challenge Benchmark, напротив, содержит такие тесты, как Stream, который определяет, как быстро данные из памяти могут передаваться в процессор; Ptrans, определяющий, как быстро один процессор суперкомпьютера может взаимодействовать с другим; b_eff, измеряющий время реакции и пропускную способность сети; и DGEMM, тест на перемножение числовых матриц.

Программное обеспечение исполняет все тесты одновременно, так что производители не смогут ограничиться каким-нибудь одним из них. Однако, так как все тесты измеряют разные характеристики системы, семь результатов не имеет смысла свертывать в одну составную оценку, считает Донгарра.

Как отмечается на веб-сайте, из всех семи тестов комплекса только пять проверены, и еще возможны дополнения и изменения.

Между тем, Top500, несмотря на недостатки, никуда не денется. «Он занимает свое, четко обозначенное, место. Он привлекает много внимания, потому что позволяет давать машинам однозначную оценку. С ним связано некоторое бахвальство», — говорит Донгарра. 

 Предыдущие публикации:

 В продолжение темы:

Обсуждение и комментарии

	Roger 22 Jun 2004 12:20 AM
Как это похоже на американцев - есди они в чем-то не лидируют, то нужно просто это что-то по другому оценить, и тогда, они опять будут лидеры. Потом с помощью мощной PR компании новые тесты станут преподносится как единственно правильные и ага - США снова первые.