2.2Архитектура подсистемы управления загрузкой
В рамках данного проекта, в соответствии с требованиями Технического задания (в частности, совместимости с ППО gLite [1] и грид-инфраструктурой EGEE/РДИГ [2], [3]) будет развиваться система запуска заданий с предоставлением среды исполнения по запросу при работе в пакетном режиме.
Взаимодействие с подсистемой управления (Workload Management System, WMS) загрузкой осуществляется с помощью интерфейса пользователя (UI), который позволяет делать запросы и управлять ими с помощью соответствующих программных модулей. Основными операциями, осуществляемыми с помощью UI, являются:
формирование и получение списка ресурсов, подходящих для выполнения определенного задания;
направление задания для выполнения на удаленном вычислительном ресурсе;
проверка состояния направленного задания,
отмена одного или более направленных заданий;
получение выходных файлов завершенного задания с результатами его выполнения;
получение учетной информации о направленных заданиях (продолжительность использования ресурсов, стоимость выполнения задания и так далее).
Общая архитектура подсистемы управления загрузкой грид-инфраструктуры, частью которой будет создаваемая система запуска заданий в различных средах исполнения представлена на рис. 2.
Рис. 2 Общая архитектура подсистемы управления загрузкой и ее взаимодействия с другими подсистемами грид-инфраструктуры
Указанные на рис. 2 модули WMS выполняют следующие функции:
WMProxy – веб-интерфейс к функциональности подсистемы управления загрузкой (WMS).
Workload Manager – совокупность основных модулей WMS.
Очередь заданий (Task Queue, TQ) – хранит запросы на запуск заданий, если сразу не удалось найти подходящих свободных ресурсов.
Модуль подбора пар задание-ресурс (MatchMaker, MM) – находит подходящие грид-ресурсы в соответствии с описанием задания на языке JDL, принимая во внимание статус ресурсов, политику их предоставления, требования сос стороны задания (пользователя) и т.д.
информационный супермаркет (Information SuperMarket, ISM) – хранит информацию необходимую для сопоставления ресурсов задачам (или наоборот);
Модуль обновления ISM (ISM Updater) – обновляет информацию в ISM, используя механизм нотификации или с помощью активного опроса ресурсов (вычислительных элементов).
Модули подготовки и отправки заданий на Вычислительный элемент
Контроллер и адаптер заданий (Job Controller/Job Adapter) – ответственны за дополнительную подготовку заданий перед отправлением на подобранный грид-ресурс;
CondorC – реальная отправка задания на Вычислительный элемент и удаление задания (при соответствующем запросе пользователя).
Взаимодействие WMS с остальными компонентами грид системы, указанными на рис. 2, следующее:
Подсистема управления данными обеспечивает доступ к системам хранения разного типа для предоставления и записи данных, которые не могут быть помещены во входную и выходную песочницы задания (например, из-за их большого объема).
Подсистема информационного обслуживания и мониторинга грид-системы решает задачу сбора и управления данными о состоянии грида; с точки зрения WMS важнейшая функция информационной подсистемы - предоставление информации для оптимального подбора грид-ресурсов для выполнения заданий.
Подсистема безопасности и контроля прав доступа обеспечивает аутентификацию пользователей, запускающих задание, и их авторизацию на данном грид-ресурсе (то есть возможность выполнения задания данного пользователя на данно грид-ресурсе).
Подсистема протоколирования отслеживает процесс выполнения заданий, осуществляемый под управлением WMS. Она собирает извещения о событиях от различных компонентов WMS и обрабатывает их, чтобы представить обобщенное текущее состояние (статус) задания.
Подсистема учета предназначена для учета использования вычислительных ресурсов
При прохождении заданий через модули статусы задания меняются в соответствии со следующей диаграммой (латинские буквы у каждого статуса соответствуют буквам, указанным около стрелок перехода заданий между модулями на рис. 2).
Рис. 3 Изменения стстатуса заданий при прохождении через подсистему управления загрузкой.
Ниже приведено краткое описание значения каждого возможного состояния заданий:
SUBMITTED (направлено) - задание запущено пользователем в Пользовательский интерфейс, но еще не передано для обработки WMProxy
WAITING (ожидание) - задание было принято WMProxy и ждет обработки Менеджером загрузки
READY (готовность) – задание было обработано WM и его вспомогательными модулями (в частности, соответствующий Вычислительный элемент был найден), но еще не было отправлено на Вычислительный элемент (локальную пакетную системную очередь) через модули подготовки и отправки.
SCHEDULED (распределено) – задание ждет в очереди на Вычислительном Элементе.
RUNNING (выполнение) – задание выполняется.
DONE (закончено) – выполнение задания закончено, или WMS считает, что оно находится в конечном состоянии (например, передача его на CE потерпело неудачу непоправимым образом).
CLEARED (очищено) – песочница вывода была передана пользователю или удалена из-за превышения времени хранения.
ABORTED (прервано; не указано на рис. 2 и рис. 3) – обработка задания была прервана WMS (ожидание очереди Менеджера загрузки или Вычислительного элемента оказалось слишком долгим, превышение квот, истечение срока действия пользовательского мандата, и т.д.).
CANCELLED (отменено; не указано на рис. 2 и рис. 3) – обработка задания прервана по запросу пользователя.
Алгоритм выполнения заданий в грид-среде со стандартной WMS (без использования системы запуска заданий, подготовленных для различных сред исполнения) показан на рис. 4.
Рис. 4 Алгоритм запуска пользователем заданий с помощью WMS (в обычном режиме – без СЗЗ-РСИ и СПСИ)
На рис. 5 более детально показан алгоритм обработки запроса на выполнения задания в ресурсном центре грид-инфраструктуры (то есть, обработка запроса вычислительным элементом, СУПЗ и рабочими узлами) в обычном режиме – без СЗЗ-РСИ и СПСИ.
Рис. 5 Алгоритм работы вычислительного элемента, системы управления пакетными заданиями и рабочих узлов
|
