Все новости от 17 мая 2005 г.

Тесты производительности серверов на капремонте

Решением этой проблемы занят консорциум Transaction Processing Performance Council, который готовит модернизированный вариант теста TPC-C. Рабочее название нового теста — TPC-E, и его выпуска ожидают в 2006 году. Он будет лучше имитировать работу современного сервера базы данных, дешевле в эксплуатации и менее подвержен искусственному завышению оценок путем использования специального оборудования и изощренных конфигураций ПО.

Результаты сравнительных испытаний полезны не только производителям для подъема престижа или инженерам, оценивающим новые конструкции. Они широко применяются заказчиками, выбирающими новое оборудование, в качестве полезного, пусть и не идеального способа сравнения разнообразных комбинаций аппаратуры и ПО.

Во многих случаях существующий тест на производительность со всеми его изъянами и недостатками играет решающую роль. «Наиболее часто цитируемым результатом в RFP (объявлениях о приеме предложений, по которым заказчики выбирают поставщиков) является TPC-C», — говорит Джеррольд Баггерт, представляющий в консорциуме компанию Unisys. Одна из причин привлекательности этого теста по сравнению с такими альтернативами, как тест SAP SD, заключается в том, что он измеряет не только быстродействие, но и соотношение цена/производительность.

О важности TPC-C можно судить по сумме, которую Hewlett-Packard израсходовала на выяснение того, почему в 2001 году показатели ее мощнейшего сервера Superdome оказались ниже ожидаемых. В судебном процессе по обвинению сотрудника компании в диверсии фигурировала цифра $1 млн.

Консорциум работает не только над совершенствованием TPC-C. В понедельник он выпустил новый тест для машин промежуточного уровня — серверов приложений.

TPC-App и TPC-DS
Тест TPC-App измеряет, как быстро эти машины решают типичные для них задачи, такие как установление связи с сервером базы данных, обслуживание веб-сайтов и другие приложения. Мерой является количество взаимодействий с веб-сервисами в секунду (Web-services interactions per second), что позволяет сравнивать две основные соперничающие технологии, применяемые в серверах приложений: Microsoft .Net и Sun Microsystems Java, а также несколько им подобных.

TPC-App заменяет тест TCP-W, который дорог, часто требует для своей работы 25 серверов и в то же время проверяет производительность не столько сервера приложений, сколько тех серверов, которые осуществляют промежуточное хранение данных, и других вспомогательных машин. Процесс имеет столь широкий охват, что «трудно сказать, что именно вы измеряете», — говорит Баггерт. В создании TPC-App участвовали компании IBM, Microsoft, HP, BEA Systems, Oracle, Dell, Unisys, Advanced Micro Devices и Intel.

На подходе еще один тест, альтернативный тесту TPC-H, предложенному в 1999 году для сравнения хранилищ данных — серверов, обрабатывающих большое количество данных с целью извлечения такой информации, как покупательские тенденции.

Новая альтернатива, которая пока называется TPC-DS, отражает более современный подход к использованию хранилищ данных. Например, эти машины могут обрабатывать сложные запросы, анализируя, как разные маркетинговые кампании влияют на продажи в разных регионах. Новый тест будет поддерживать 135 разных типов запросов, вместо 25 у TPC-H, что затруднит создание систем, оптимизированных специально для выполнения теста с целью искусственного завышения показателей.

TPC-C тогда и теперь
TPC-C пережил бурные годы в истории серверов. В 1992 году главенствующее положение на рынке серверов занимали мэйнфреймы, а Unix-серверы играли роль догоняющих. С тех пор этот рынок заметно изменился в результате распространения недорогих машин с процессорами Intel, исчезновения Digital Equipment и Compaq Computer, прихода Microsoft Windows и Linux и появления монстров о 128 процессорах.

Первые значения TPC-C по сравнению с сегодняшними были низкими. Только в 1998 году серверы приблизились к результату в 100 тыс. транзакций в минуту. В 2001 году на вершину поднялась система Fujitsu с результатом 456 тыс. транзакций в минуту и примерно в то же время Sun перестала участвовать в тестах, заявив, что они больше не соответствуют реальности. Однако в 2004 году в лидеры вышла IBM, продемонстрировав результат 3,2 млн транзакций в минуту.

Соотношение цена/производительность тоже существенно изменилось из-за снижения стоимости серверов. Для систем, выпущенных до 1996 года, оно превышало $200 на единицу производительности и в одном случае даже достигало $1200. IBM опубликовала свои первые результаты по TPC-C в мае 1994 года: 485 транзакций в минуту и $654 на единицу производительности. Сегодня для IBM p5-575 соотношение цена/производительность составляет $5,19.

По существу, TPC-C имитирует базу данных, управляющую складом, которая обрабатывает такие простейшие транзакции, как обработка заказов, говорит Баггерт. TPC-E имитирует электронного брокера и выполняет гораздо более сложные операции.

Одна из таких операций, «двухэтапная фиксация» (two-phase commit), не может быть завершена до тех пор, пока не закончится соответствующая операция другой базы данных. Другая, «проверка целостности ссылочных данных» (referential integrity), гарантирует, что база данных не собьется, если элемент изменен или удален одним процессом, пока другой использует этот же элемент.

Недостатки TPC-C
Одна из проблем TPC-C заключается в той легкости, с которой некоторые серверы могут выдавать невероятно высокие результаты, благодаря специальным конфигурациям аппаратуры и ПО, бесполезным в реальной жизни. Например, высокие оценки по TPC-C достигаются серверами с огромным числом жестких дисков — 6548 в случае рекорда IBM.

Другая проблема связана с тем, что задачи теста TPC-C легко распределить между относительно независимыми серверами, объединенными в кластер. Это создает впечатление, что несколько недорогих машин работают так же хорошо, как один многопроцессорный гигант, и это вынудило консорциум приводить отдельные результаты для кластерных и некластерных систем.

На самом деле решаемые сегодня базами данных задачи не так легко распределяются, и этот факт отражен в TPC-E. «Нужно иметь более реалистичное представление о том, чего можно добиться от кластера в реальной жизни», — говорит Баггерт.

Сравнение истинных характеристик кластерных и некластерных систем полезно для заказчиков, оценивающих кластерные базы данных, которые становятся все более мощными с постепенным совершенствованием такой технологии, как Oracle Real Application Clusters и высокоскоростная аппаратура передачи данных InfiniBand.

В создании TPC-E участвуют крупнейшие продавцы баз данных, процессоров и серверов — включая Sun. 

 Предыдущие публикации:

 В продолжение темы: