Менеджер ресурсов кластера
Менеджер ресурсов является самой важной частью любого вычислительного кластера. Именно он находится в его основе и определяет то, насколько эффективно он будет использоваться. Именно менеджер ресурсов управляет всей инфраструктурой кластера как то: очередь пользовательских задач, используемые вычислительные узлы, используемые процессоры на узлах, планировщик задач. Наиболее известным менеджером ресурсов для кластеров под управлением ОС Linux является Torque.
Первый шаг к использованию вычислительных ресурсов узлов в глобальной среде грид – это их локальная интеграция в многопроцессорный комплекс, который используется в режиме пакетной обработки заданий. Для этой цели разработаны программные продукты, называемые Менеджерами Ресурсов (Resource Manager), кластерными системами управления (Cluster Management System) или Системами управления пакетной обработкой (СПО).
СПО широко применяются во многих вычислительных центрах коллективной обработки. Известно более двадцати СПО, из которых наиболее популярны свободно распространяемые Torque, PBS, SGE и Condor, а также коммерческие LoadLeveler и LSF.
Использование СПО в кластере позволяет перейти от работы с индивидуальными компьютерами, распределенными в локальной сети, к работе с единым многопроцессорным вычислительным комплексом в режиме пакетной обработки заданий. Пользователь может помещать задания в общую для комплекса очередь, используя единый интерфейс для запуска, модификации, снятия и получения информация о заданиях. СПО автоматически распределяет задания по узлам с учетом их загрузки, выполняет и доставляет результаты пользователю. Все СПО имеют богатый настраиваемый набор средств для управления процессом обработки заданий.
Все СПО имеют примерно одинаковые наборы функций, но отличаются по отдельным характеристикам:
PBS - Portable Batch System. Обеспечивает управление заданиями в пакетном режиме в среде компьютеров с ОС Unix. Сегодня предлагается OpenPBS – свободно распространяемая версия и PBSPro – расширенная коммерческая версия. Sun Grid Engine (SGE). Семейство из нескольких различных вариантов СПО.
Sun Grid Engine - свободно распространяемая версия, предназначенная для управления ресурсами одного проекта или подразделения. Основана на полной централизации обслуживания ресурсов и пользователей. Sun Grid Engine реализуется открытым сообществом разработчиков и спонсируется Sun Microsystems.
Sun Grid Engine, Enterprise Edition (SGEEE) - коммерческая версия, предназначенная для управления ресурсами предприятий (campus grid) и способная обслуживать несколько независимых проектов и групп пользователей. SGEEE включает модуль для определения политики разделения ресурсов между независимо работающими пользователями. Для каждого пользователя определяется квота от общего количества ресурсов, в соответствии с которой происходит их распределение между запущенными заданиями.
Condor. Свободно распространяемый продукт, позволяющий использовать в кластере машин с “хозяином”, который отдает свою машину на время, пока она простаивает. В связи с этим Condor имеет нескольких важных механизмов поддержки контрольных точек, рестарта и миграции заданий. В Condor развит весьма мощный язык описания ресурсов, позволяющий формально описать как требования к типам и объемам ресурсов со стороны задания, так и ограничения на доступ к ресурсам со стороны владельцев.
LoadLeveler - коммерческий программный продукт компании IBM, предназначенный для пакетной обработки последовательных и параллельных (многопроцессорных) заданий на кластерах из вычислительных серверов. Система обеспечивает средства для подготовки, запуска и слежения за заданиями в режиме пакетной обработки в гетерогенной сети компьютеров.
Текущая версия LoadLeveler Version 3.1 дополнена рядом новых характеристик, таких как новые планировщики; механизм поддержки контрольных точек; интеграция с AIX WorkLoad Manager; включает примеры сценариев.
LSF (Load Sharing Facility) - коммерческая кластерная система компании Platform Computing Corporation для управления пакетной обработкой. Представляет собой полномасштабную систему, обеспечивающую все существенные требования к СПО: поддержку очередей заданий, сбор информации о наличии и занятости ресурсов в кластере, нахождение компьютеров с подходящими ресурсами для выполнения заданий, поддержку режима контрольных точек (checkpointing), миграцию заданий и др.
MAUI - внешний планировщик, который может использоваться взамен штатных планировщиков для нескольких СПО: PBS, SGE, Loadleveler, LSF, Wiki. MAUI - открытый продукт, который отличается большим набором режимов (политик) планирования и наличием механизма предварительного резервирования. MAUI представляет большой интерес в связи с тем, что это единственная из свободно распространяемых СПО, способная обеспечивать автоматический запуск многопроцессорных заданий, избегая при этом неоправданного простоя ресурсов. Реализация основана на мощном алгоритме планирования Backfill.
Torque
Terascale Open-source Resource and QUEue Manager – Новая версия PBS, разработанная компанией Cluster Resources, Inc. на основе OpenPBS. Система обладает рядом дополнительных усовершенствований:
Улучшена масштабируемость (работа в среде до 2500 узлов).
Повышена устойчивость к сбоям (внесены дополнительные проверки).
Усовершенствован интерфейс Планировщика с целью его обеспечения дополнительной и более точной информацией.
Усовершенствована система записей в log файлах.
Система управления заданиями Torque предназначена для управления запуском задач на многопроцессорных вычислительных установках (в том числе кластерных). Она позволяет автоматически распределять вычислительные ресурсы между задачами, управлять порядком их запуска, временем работы, получать информацию о состоянии очередей. При невозможности запуска задач немедленно, они ставятся в очередь и ожидают, пока не освободятся нужные ресурсы[6].
Torque главным образом используется на многопроцессорных вычислительных установках. Объединение ресурсов в вычислительных установках обычно уменьшает необходимость в постоянном управлении ресурсами для пользователей. Настроенная однажды правильно вычислительная установка абстрагируется от многих деталей, связанных с запуском и управлением заданиями. Пользователю обычно надо установить в параметрах лишь минимальные требования к задаче, и ему нет необходимости знать даже имена вычислительных узлов, на которых задача выполняется.
Система Torque состоит из нескольких демонов, выполняющих различные функции по управлению потоком заданий. Вычислительная установка обязана иметь главный узел (консоль кластера), на котором запущен демон pbs_server. Это основной демон - менеджер, собирающий информацию о структуре кластера и запущенных заданиях. В зависимости от необходимости или параметров системы главный узел может быть предназначен только для этого или же также исполнять роль других компонент системы. Например, он может быть так же вычислительным узлом кластера.
Роль вычислительных узлов - выполнять поставленные задачи. На каждом из них работает демон pbs_mom для того, чтобы начинать, прекращать и управлять поставленными в очередь задачами. Это единственный демон, который должен быть запущен на вычислительном узле кластера.
И наконец, демон pbs_sched. Этот демон занимается собственно планированием запуска и остановки задач. Он должен быть запущен на главном компьютере кластера.
Microsoft HPC Cluster Server
Программное обеспечение Microsoft HPC Pack представляет собой комплект дополнительного программного обеспечения для Microsoft Windows HPC Server и предназначен для управления задачами в рамках высокоскоростной вычислительной сети. Microsoft HPC Pack 2008 R2 помогает повышать эффективность работы пользователей и облегчающее администрирование кластеров.
Рисунок - Интерфейс менеджера Windows HPC Server 2008
Систему Windows HPC Server 2008 R2 можно эффективно использовать на кластерах с большим количеством узлов. В решении реализованы новая высокоскоростная технология NetworkDirect RDMA, эффективные и масштабируемые средства управления кластером, сервисно-ориентированная архитектура (SOA) инструмента планирования заданий и полная совместимость с инфраструктурой за счет соответствия спецификации High Performance Computing Basic Profile (HPCBP).
HPC Server 2008 R2 позволяет быстро и просто настраивать и запускать кластер. Текущий CTP включает ряд усовершенствований в инфраструктуре распределенного управления, включая возможность создавать карты нагрузок и использовать сторонние продукты для создания отчетов. Улучшенный планировщик задач информирует о выполнении задачи и позволяет осуществлять подключение/отключение дополнительных узлов к кластеру. Основные возможности менеджера:
Быстрое развертывание и настройка кластера, инструментов мониторинга и планирования заданий.
Использование специальных инструментов установки для сетей, удаленных систем, системы управления узлами и защиты кластера.
Улучшенная интеграция с IT-инфраструктурой.
Оптимизация существующей установки Active Directory для упрощения настроек аутентификации и защиты и сервисов Remote Installation Services (RIS) для удаленной инсталляции, Microsoft Systems Management Server (SMS) для управления обновлениями узлов, Microsoft Operations Manager (MOM) для управления системами и заданиями, Microsoft Management Console (MMC) для встроенных системных инструментов.
Windows Compute Cluster Server (CCS), впервые выпущенный в июне 2006 года разработан для высокотехнологичных приложений, которые требуют кластерных вычислений. Издание разработано для развертывания на множестве компьютеров, которые собираются в кластер для достижения мощностей суперкомпьютера. Каждый кластер на Windows Compute Cluster Server состоит из одной или нескольких управляющих машин, распределяющих задания и нескольких подчиненных машин, выполняющих основную работу. Computer Cluster Server использует the Microsoft Messaging Passing Interface v2 (MS-MPI для связи между исполняющими машинами в сети-кластере. Он связывает части кластера вместе мощным коммутационным механизмом. API состоит из более чем 160 функций. MS MPI был разработан как совместимым с open source интерфейсом MPI2, который широко используется в высокопроизводительных вычислениях. За некоторыми исключениями по соображениям безопасности MS MPI покрывает функциональность MPI2 за исключением возможностей динамического порождения процессов.
|
