МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
имени М.В. ЛОМОНОСОВА
НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ИНСТИТУТ ЯДЕРНОЙ ФИЗИКИ
имени Д.В.СКОБЕЛЬЦЫНА
УДК 004.75
УТВЕРЖДАЮ
Зам. директора НИИЯФ МГУ
______________ В.И. Оседло
«___»_________ 2010 г.
ОТЧЕТ
О НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ РАБОТЕ
ДОГОВОР № 204-08
Развитие и поддержка ресурсного центра НИИЯФ МГУ в Грид-инфраструктуре EGEE-III и РДИГ
2 этап
(итоговый)
по теме:
Расширение функциональных возможностей ресурсного центра НИИЯФ МГУ; поддержка его работоспособности в Грид-инфраструктуре EGEE-III
Руководитель работ
|
________
подпись, дата
|
В.А.Ильин
|
Москва 2010 г.
СПИСОК ИСПОЛНИТЕЛЕЙ
Руководитель работ,
зам. директора НИИЯФ МГУ,
д-р физико-математических наук, с.н.с
|
_________________
подпись, дата
|
В.А.Ильин (Введение, Заключение)
|
Исполнители
Кандидат физ.-мат.наук,
в.н.с.
|
_________________
подпись, дата
|
А.П.Крюков (раздел 2,5)
|
Кандидат физ.-мат.наук,
с.н.с.
|
_________________
подпись, дата
|
А.П.Демичев (разделы 3,4)
|
Вед. программист
|
_________________
подпись, дата
|
Е.Г.Боос (раздел 6)
|
Реферат
отчета по теме:
Расширение функциональных возможностей ресурсного центра НИИЯФ МГУ; поддержка его работоспособности в Грид-инфраструктуре EGEE-III.
Отчет: с., 9 рис., 7 источников.
Ключевые слова: Грид-инфраструктура, распределенные вычисления, грид, среда исполнения, виртуализация ресурсов.
Целью работы на данном этапе является развитие и поддержка в НИИЯФ МГУ ресурсного центра Грид на основе слабо связанных вычислительных кластеров и дисковых массивов, и обеспечение его интегрированности в глобальную грид-инфраструктуру EGEE-III. Реализация возможности запуска в Грид-инфраструктуре EGEE-III и РДИГ заданий, подготовленных для выполнения в различных средах исполнения.
В процессе работы на втором этапе исследований проводились:
- поддержка работоспособности ресурсного центра НИИЯФ МГУ в Грид-инфраструктуре EGEE-III, расширения функциональных возможностей ресурсного центра.
- программная реализация разработанных алгоритмов запуска заданий, подготовленных для различных сред исполнения;
- установка новых версий ППО gLite;
- поддержка ВО: atlas, cms, alice, lhcb, biomed, fusion;
- обеспечение оперативного управления региональной инфраструктурой РДИГ.
Содержание
1. Введение 10
2. Поддержка работоспособности ресурсного центра НИИЯФ МГУ в Грид-инфраструктуре EGEE-III, расширения функциональных возможностей ресурсного центра 12
3. Программная реализация разработанных алгоритмов запуска заданий, подготовленных для различных сред исполнения. 14
Программная реализация компонент СЗЗ-РСИ 14
Cлужба предоставления сред исполнения (СПСИ) 15
Модуль разворачивания ВМ на рабочем узле 16
Монитор виртуальных машин (МВМ) 18
Модуль передачи данных в виртуальную среду 21
Модуль безопасности 24
Репозиторий сред исполнения 26
Аппаратная реализация макета 27
4. Установка новых версий ППО gLite. 29
5. Поддержка ВО: atlas, cms, alice, lhcb, biomed, fusion. 30
6. Обеспечение оперативного управления региональной инфраструктурой РДИГ. 34
7. Заключение 36
8. Список использованных источников 38
Определения
В настоящем отчете о НИР применяют следующие термины с соответствующими определениями:
Аппаратная технология виртуализации - набор инструкций процессора Intel VT-x или AMD-V для упрощения и ускорения переключения контекста между гостевой и хостовой операционными системами.
Вычислительный элемент - в контексте грид-технологий термин "вычислительный элемент", используется для обозначения интерфейса ресурсного центра для запуска заданий на рабочие узлы.
Виртуальная машина - программная или аппаратная среда, в той или иной степени имитирующая работу реального компьютера. На виртуальную машину, так же как и на реальный компьютер можно инсталлировать операционную систему, у виртуальной машины так же есть BIOS, оперативная память, жёсткий диск (выделенное место на жёстком диске реального компьютера), могут эмулироваться периферийные устройства. На одном компьютере может функционировать несколько виртуальных машин.
Грид-инфраструктура – инфраструктура, обеспечивающая пользователям грида прозрачный, унифицированный, безопасный доступ к географически распределенным вычислительным ресурсам и ресурсам хранения данных через открытые компьютерные сети.
Гостевая операционная система - операционная система, работающая внутри виртуальной машины.
Инфраструктура безопасности грида - компонента промежуточного программного обеспечения грида; основывается на понятии открытого ключа, входит в инструментальный пакет Globus.
Кластер компьютерный - доступная по сети группа рабочих узлов (при необходимости вместе с головным узлом), размещённая на некотором сайте. Другими словами, кластер это "контейнер", который группирует вместе компьютерные узлы или подкластеры.
Монитор виртуальных машин (гипервизор) - программный уровень абстракции, разделяющий аппаратную платформу на несколько виртуальных машин; в более узком смысле - часть ядра хостовой операционной системы, ответственная за хостинг и управление виртуальными машинами; работает непосредственно с оборудованием.
Мониторинг/грид-мониторинг - грид-мониторинг подразумевает сбор, анализ и публикацию информации от распределенной инфраструктуры с целью определения статуса грид-ресурсов и хода выполнения заданий.
Приложение – любая компьютерная программа, предназначенная для решения конкретной задачи пользователя из некоторой прикладной области. В данном контексте рассматриваются грид-приложения, т.е. приложения, использующие грид-инфраструктуру для получения результата.
Промежуточное программное обеспечение/ППО - слой программного обеспечения, состоящий из агентов, являющихся посредниками между различными компонентами крупного приложения. Зачастую ППО используется в распределённых приложениях, причём агентов, составляющих этот слой, может быть несколько.
Ресурсный центр грид-инфраструктуры - может включает два типа ресурсов (или один из них): вычислительные ресурсы, на которых выполняется обработка данных; ресурсы хранения данных, которые обеспечивает хранение и транспортировку данных между аналогичными ресурсами и/или данным ресурсом и пользователем.
Рабочие узлы грид-системы - отдельный хост кластера; информация о вычислительном узле может быть видима гриду, но может быть и не видима - это зависит от способа администрирования кластера.
Сайт - используемое для администрирования логическое имя, обозначающее конкретный, стабильный, уникально идентифицируемый и тестируемый набор служб и ресурсов (вычислительных и ресурсов хранения данных).
Сервис/служба - абстрактный ресурс, представляющий возможность выполнения задач, которые имеют четкие функции с точки зрения поставщиков и потребителей. Чтобы службой можно было воспользоваться, она должна быть реализована конкретным агентом поставщика. В данном тексте термины "сервис" и "служба" используются как эквивалентные.
Хостовая операционная система - операционная система, в которой работает платформа виртуализации, исполняющаяся непосредственно на хосте
Хостовая система (хост) - компьютер, на котором работает платформа виртуализации.
Элемент хранения - любой ресурс хранения данных, зарегистрированный в информационной подсистеме грида и обеспечивающий доступ к удаленным сайтам посредством грид-интерфейса; элемент хранения может управлять большими массивами на дисках, системами хранения сверхбольшой ёмкости и подобными им системами.
Обозначения и сокращения
ВМ виртуальная машина
МВМ монитор виртуальных машин (гипервизор)
ОС операционная система
ПО программное обеспечение
ППО промежуточное программное обеспечение
РДИГ Российский грид для интенсивных операций с данными
РЦ ресурсный центр
СЗЗ-РСИ система запуска заданий, подготовленных для различных сред исполнения, в грид-среду
СПСИ служба предоставления сред исполнения
CE вычислительный элемент (Computing Element)
EGEE развертывание грид-систем для e-науки (The Enabling Grids for E-sciencE)
GT4 набор инструментальных средств Globus версии 4 (Globus Toolkit 4)
CLI интерфейс командной строки (Command Line Interface)
gLite промежуточное программное обеспечение проекта EGEE (Lightweight Middleware for Grid Computing)
GSI система безопасности (Grid Security Infrastructure)
JDL язык описания задания (Job Description Language)
KVM Linux Kernel Virtual Machine
OGSA открытая архитектура ГРИД-сервисов (Open Grid Service Architecture)
PBS портируемая система пакетной обработки (Portable Batch System)
RB сервис распределения ресурсов (Resource Broker)
SE элемент хранения; ресурс хранения данных (Storage Element)
UI интерфейс пользователя (User Interface)
UML User-mode Linux
VMM монитор виртуальных машин (Virtual Machines Monitor)
VW виртуальное рабочее пространство (Virtual Workspace)
VWS служба виртуального рабочего пространства (Virtual Workspace Service)
WM менеджер загрузки (Workload Manager)
WMS подсистема управления загрузкой (Workspace Management Service)
WN рабочий узел (Working Node)
|
