Все новости от 4 декабря 2003 г.

Пара слов о Mellanox

Технология InfiniBand вообще и продукция компании Mellanox в частности вряд ли хорошо знакомы читателю, так что мы позволим себе несколько технологических отступлений.

Прежде всего необходимо помнить об обратной стороне столь высокой производительности InfiniBand -- проблеме сопряжения этого умопомрачительного потока данных с обычными компьютерами.

Ведь обычная шина PCI, работающая на частоте 33 МГц и имеющая ширину 32 бита, выдает только 132 Мб/с, чего еле-еле хватает для заполнения Gigabit Ethernet. И даже самый быстрый вариант PCI, 64 бит / 66 МГц, ограничен величиной 528 Мб/с.

Так выглядит 96-портовый коммутатор InfiniBand 4X компании Mellanox

А двухпортовые "интеллектуальные" адаптеры Mellanox InfiniHost MTPB23108 PCI-X Adapter Board, использованные в узлах кластера, способны жонглировать внешними потоками в 32 Гбит/с, одновременно обмениваясь данными с компьютером на скорости 8,5 Гбит/с (1064 Мб/с).

Разумеется, возможностей обычной PCI тут недостаточно -- такая скорость обмена стала возможна лишь благодаря применению одного из самых быстрых на сегодня вариантов шины PCI-X. К счастью, в Power Mac G5 тоже имеется шина PCI-X, что позволяет использовать весь потенциал адаптера InfiniBand компании Mellanox.

Педант непременно заметит, что скорости и такой шины PCI-X не хватает, чтобы обработать весь поток даже одного порта InfiniBand, и безусловно будет прав.

В оправдание компании Mellanox, предлагающей только двухпортовые адаптеры InfiniBand, можно привести три соображения.

Прежде всего, второй порт адаптера нужен скорее для повышения надежности, достигаемой подключением компьютера к двум различным коммутаторам InfiniBand одновременно, нежели для наращивания производительности.

Далее, из-за особенностей кодирования сигнала реальная скорость обмена данными в InfiniBand оказывается на 20% меньше "сигнальной" скорости, так что один порт InfiniBand 4X передает не 10, а "всего лишь" 8 Гбит/с в каждую сторону, что примерно совпадает со скоростью PCI-X (если поток данных однонаправлен, конечно).

Наконец, архитектура чипа Mellanox InfiniHost, использованного в данном адаптере, допускает применение (после введения минимальных изменений) и более быстрых шинных технологий -- PCI-X 2.0 (до 17 Гбит/с) и PCI Express 8X (до 16 Гбит/с), в результате чего отмеченный педантом зазор в производительности между InfiniBand и внутренней шиной компьютера исчезает совсем (по крайней мере, в случае работы лишь одного порта адаптера).

При обсуждении адаптеров Mellanox стоит отметить, что разговор об их "интеллектуальности" -- не просто слова.

Эти адаптеры сами, без вмешательства центрального процессора, могут обмениваться данными из защищенных областей локальных буферов памяти (объем которой может достигать 512 Мб) или ОЗУ компьютеров-узлов.

Соответствующая технология, являющаяся своеобразным развитием локальной Direct Me- mory Access (DMA), называется Remote Direct Memory Access (RDMA).

Строго говоря, RDMA представляет собой один из двух режимов работы стандартного интерфейса InfiniBand Verbs; правда, почти полностью аппаратная реализация RDMA -- это инициатива Mellanox.

Кроме RDMA адаптеры на аппаратном уровне поддерживают массу протоколов сетевого и прикладного уровней, в том числе и столь важного для создания высокопроизводительных вычислительных кластеров Message Passing Interface (MPI).

В результате передача данных между узлами кластера может обеспечиваться практически прозрачно для центральных процессоров -- в отличие от передачи запросов MPI поверх IP через Ethernet, где процессоры довольно сильно загружаются несвойственной им работой по обработке сетевых пакетов.

Благодаря такому интеллекту адаптеров Mellanox оборудование этой компании в типичных условиях выигрывает у конкурентов в области кластеростроения (Myrinet и Quadrics).

Хотя строгое сравнение продуктов на таких скоростях оказывается затруднительным, в одном из весьма серьезных тестов на производительность MPI задержка при передаче данных у адаптеров Mellanox не поднималась выше 6 мкс (что почти всегда оказывалось не хуже конкурентов), а скорость передачи длинных пакетов достигала 860 Мб/с (почти втрое быстрее, чем у конкурирующих продуктов).

В коммутаторах Mellanox используется фирменный чип компании InfiniScale III, обеспечивающий работу на максимальной скорости в полнодуплексном режиме 24 портов InfiniBand 4X (10 Гбит/с или 1 Мб/с в каждую сторону); часть портов может быть объединена в группы по три для работы в самом быстром из стандартизованных на сегодня режимов InfiniBand 12X (30 Гбит/с или 3 Гб/с).

Необходимо отметить, что, как и многие другие высокоскоростные технологии передачи данных (скажем, HyperTransport или PCI Express), InfiniBand масштабируется путем увеличения числа пар сигнальных проводников, так что для InfiniBand 4X достаточно всего двух пар (четырех проводников), для 8X нужны уже четыре пары, а для гипотетического 16X -- целых восемь пар проводников.

На базе чипа InfiniScale III производятся достаточно простые 24-портовые 4X-коммутаторы, восьмипортовые 12X-коммутаторы, а также устройства, имеющие двенадцать 4X- и четыре 12X-порта.

Кроме того, в линейке продуктов Mellanox имеется и упомянутый выше модульный монстр общей производительностью 1,92 Тбит/с. Это устройство представляет собой шасси с пассивной шиной, в которое помещается до восьми интерфейсных (Leaf) модулей, до четырех модулей внутренней коммутации (Spine), до двух модулей управления и до двух блоков питания.

Каждый из Leaf- и Spine-модулей снабжен все тем же чипом InfiniScale III, и различаются они лишь использованием этих портов. У Leaf-модуля двенадцать 4X-портов смотрят наружу и используются для подключения внешних устройств, а еще двенадцать внутренних портов служат для взаимодействия с шиной шасси.

У Spine-модуля все 24 порта смотрят внутрь, подключаются к шине шасси и занимаются коммутацией данных между Leaf-модулями.

К сожалению, самым быстрым на сегодня вариантом InfiniBand является 12X, скорости которого явно недостаточно для объединения между собой столь мощных модульных коммутаторов. Конечно, можно прибегнуть к объединению нескольких каналов 12X в единый транк, но и такое решение выглядит явно половинчатым.

Так что необходимость в создании еще более быстрых вариантов InfiniBand -- налицо, благо вскоре ожидается принятие спецификации InfiniBand 2.0, обещающей повысить скорость передачи данных по одной паре вдвое, до 20 Гбит/с.

Напоследок скажем о ценах. Как ни странно, технология InfiniBand оказывается не столь уж дорогой: в США адаптер стоит чуть дешевле $1000, а за каждый порт коммутатора придется заплатить чуть менее $600.