Коммутационная сеть вычислительного кластера.
Коммутационная сеть кластера беспрецедентно важна. Именно она определяет среду, в которой передаются данные между процессорами. В современных кластерах используются каналы передачи данных более 100 Гбит/с. На скорость передачи данных большее влияние оказывает сетевые провода и коммутационное оборудование. Наиболее распространенной сетью, во всем мире, является сеть InfiniBand.
Рисунок - CX4 порты InfiniBand (коммутатор Voltaire ISR-6000)
InfiniBand это архитектура коммутации соединений типа "точка-точка". Каждая линия связи представляет собой четырехпроводное двунаправленное соединение с базовой пропускной способностью 2,5 Гбит/с в каждом направлении и гибким выбором физических линий передачи. В архитектуре InfiniBand определен многоуровневый протокол (физический, канальный, сетевой и транспортный уровни) для реализации аппаратными средствами, а также программный уровень для поддержки управляющих функций и скоростного обмена данными (с малыми задержками) между устройствами [5]. Перечислим основные характеристики технологии InfiniBand:
Возможность масштабирования пропускной способности линий связи до 300 Гбит/с в дуплексном режиме;
поддержка различных физических линий: печатных проводников (на объединительной панели), медных или оптоволоконных кабелей;
связь на базе коммутации пакетов с сохранением целостности данных и управлением потоком;
качество обслуживания;
аппаратный гибкий транспортный механизм;
оптимизированный программный интерфейс и удаленный прямой доступ в память (RDMA);
инфраструктура управления, поддерживающая функции отказоустойчивости, аварийного переключения и "горячей" замены.
В спецификации InfiniBand определен чрезвычайно гибкий и масштабируемый физический уровень, обеспечивающий возможности дальнейшего наращивания пропускной способности и добавления новых типов поддерживаемых физических линий. Его характеристики:
двунаправленный обмен сигналами со скоростями 2,5 Гбит/с (1Х), 10 Гбит/с (4Х) и 30 Гбит/с (12Х). Пропускная способность указана для 10-разрядных данных. При схеме кодирования 8В/10В к 8 разрядам данных добавляются дополнительные два разряда, необходимые для синхронизации. Таким образом, реальная пропускная способность линий InfiniBand составляет 2, 8 и 24 Гбит/с соответственно;
малое число требуемых физических проводников: всего 4, 16 или 48 проводников для линий 1Х, 4Х и 12Х;
встроенные тактовые импульсы со схемой кодирования 8В/10В без передачи сигналов по вспомогательному каналу;
объединение каналов связи на физическом уровне;
поддержка различных типов физических проводников: с медной жилой (для экономии) и с оптоволокном (на большие расстояния);
несложный физический уровень с малым потреблением энергии.
Применение схемы кодирования 8В/10В и встраивание тактовых импульсов в поток данных снижает требования, предъявляемые к прокладке проводников по объединительным панелям по сравнению с другими технологиями ввода/вывода с раздельными шинами данных и линиями передачи синхроимпульсов, когда расфазировка сигналов данных и синхроимпульсов может нарушить целостность сигнала и привести к ошибкам передачи [5].
Имеется возможность объединения нескольких линий InfiniBand на физическом уровне в один канал на основе технологии "расщепления последовательности байтов" (byte stripping). Для канала 4Х это означает одновременную посылку четырех байтов по каждой отдельной линии InfiniBand (аналогично, двенадцати байтов по каждой линии в составе канала 12Х InfiniBand). Этот уникальный по своим возможностям механизм объединения на физическом уровне превосходит по своим характеристикам аналогичный механизм, реализованный в стандарте Ethernet 802.3ad. В данном случае объединенные линии всегда используются более эффективно.
Этого нельзя сказать про Ethernet, где параллельные линии могут использоваться лишь для одновременной пересылки пакетов (и только целиком) от разных источников. Тем самым предотвращается "вклинивание" маленьких пакетов в передачу больших с последующими нарушением порядка пакетов, повторными передачами и т.д. Таким образом, на практике объединение Ethernet-линий не приводит к ожидаемому повышению пропускной способности, поскольку параллельные линии используются в полную силу лишь 15 - 20% времени.
Рисунок - Кабель InfinyBand
Другое достоинство архитектуры InfiniBand заключается в применении простой дифференциальной схемы обмена сигналами на физическом уровне. Эта схема отличается более высокой устойчивостью к помехам, целостностью сигналов и меньшей вероятностью ошибок передачи при гораздо меньшем потреблении энергии, чем более сложные формирователи физического уровня как, например, в Gigabit Ethernet. Поскольку длина InfiniBand-линий ограничена 17 метрами при использовании кабелей с медным проводом, неудивительно, что формирователи InfiniBand потребляют на порядок меньше мощности, чем формирователи Gigabit Ethernet, рассчитанные на линии связи длиной более 100 метров [5].
Столь низкий уровень потребления энергии формирователями InfiniBand обеспечивает более высокую степень объединения, чем может предложить Ethernet-коммутатор. Несколько производителей уже предлагают однокристальные интегральные InfiniBand-коммутаторы с 32-мя интегрированными приемопередатчиками с пропускной способностью 2,5 Гбит/с каждый. Таким образом, интегрированные InfiniBand-коммутаторы обеспечивают значительную экономию средств, пространства и энергии по сравнению с многокристальными устройствами для Gigabit Ethernet.
В основе построения системной сети (SAN) на базе InfiniBand лежат четыре типа основных системных компонентов, связанных друг с другом линиями InfiniBand:
канальный адаптер главного узла (НСА - Host Channel Adapter), который обеспечивают соединение центрального процессора главного узла со структурой InfiniBand и содержит аппаратные средства поддержки высокоэффективного защищенного обмена с системной памятью;
канальный адаптер целевого узла (ТСА - Target Channel Adapter), который обеспечивают соединение структуры InfiniBand с другими устройствами ввода/вывода типа Ethernet, Fibre Channel или запоминающими устройствами;
коммутатор, который обеспечивают пересылку пакетов в конечные точки по указанному адресу и с указанным качеством обслуживания;
маршрутизатор, который обеспечивают передачу пакетов между подсетями; Маршрутизаторы InfiniBand делят сеть InfiniBand на подсети и не являются источниками и приемниками никаких других пакетов, кроме управляющих;
Рисунок - Основные компоненты SAN-сети на основе InfiniBand
В каждой подсети работает своя программа-менеджер подсети (SM Subnet Manager), который выполняет задачи обнаружения связной структуры, инициализации устройств и организации соединений. SM-менеджер может исполняться в хост-системе, коммутаторе и маршрутизаторе. В состав всех компонентов входит агент управления подсетью (SMA Subnet Management Agent), исполняющийся как клиент, выполняющий запросы SM-менеджера.
В InfiniBand определен весьма гибкий набор линий связи и механизмов транспортного уровня, обеспечивающий точную настройку характеристик SAN-сети на базе InfiniBand в зависимости от прикладных требований, в число которых входят:
пакеты переменного размера;
максимальный размер единицы передачи: 256, 512, 1К, 2К и 4К байт;
заголовки локальной трассы уровня 2 (LRH Local Route Header) для направления пакетов в нужный порт канального адаптера;
дополнительный заголовок уровня 3 для глобальной маршрутизации (GRH Global route header);
поддержка групповой передачи;
вариантные и инвариантные контрольные суммы (VCRC и ICRC) для обеспечения целостности данных.
Выбор максимального размера единицы передачи определяет такие характеристики системы, как неустойчивость синхронизации пакетов, величина накладных расходов на инкапсуляцию и длительность задержки, используемые при разработке систем с несколькими протоколами. Возможность опускать сведения о глобальном маршруте при пересылке в пункт назначения локальной подсети позволяет снижать издержки локального обмена данными. Код VCRC рассчитывается заново каждый раз при прохождении очередного звена канала связи, а код ICRC при получении пакета пунктом назначения, что гарантирует целостность передачи по звену и всему каналу связи.
В InfiniBand определены управление потоком на основе разрешений (для предотвращения блокировок головного пакета (head of line blocking) и потерь пакетов), управление потоком на канальном уровне и сквозное управление потоком. По своим возможностям управление на канальном уровне на основе разрешений превосходит широко распространенный протокол XON/XOFF, устраняя ограничения на максимальную дальность связи и обеспечивая лучшее использование линии связи. Приемный конец линии связи посылает передающему устройству разрешения с указанием объема данных, которые могут быть надежно получены. Данные не передаются до тех пор, пока приемник не пошлет разрешение, свидетельствующее о наличии свободного пространства в приемном буфере. Механизм передачи разрешений между устройствами встроен в протоколы соединений и линий связи для гарантии надежности управления потоком. Управление потоком на канальном уровне осуществляется для каждого виртуального канала отдельно, чем предотвращается распространение конфликтов передачи, свойственное другим технологиям типа Ethernet.
|
