МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
имени М.В.ЛОМОНОСОВА
НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ИНСТИТУТ ЯДЕРНОЙ ФИЗИКИ
имени Д.В.СКОБЕЛЬЦЫНА
УДК 004.75
Инв. № 105832/07
УТВЕРЖДАЮ
Директор НИИЯФ МГУ
______________ М.И. Панасюк
«____ » ___________ 2007 г.
ОТЧЕТ
О НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ РАБОТЕ
Исследование и разработка технологического задела по запуску в грид-инфраструктуру заданий, подготовленных для различных сред исполнения
(промежуточный)
по теме:
Теоретические исследования поставленных перед НИР задач
Руководитель работ
|
________
подпись, дата
|
В.А.Ильин
|
Москва 2007 г.
СПИСОК ИСПОЛНИТЕЛЕЙ
Руководитель работ, д-р физико-математических наук
|
_________________
подпись, дата
|
В.А.Ильин (Введение, Заключение)
|
Исполнители
|
_________________
подпись, дата
|
А.П.Крюков (раздел 3, 4, Реферат)
| |
_________________
подпись, дата
|
А.П.Демичев (разделы 2, 3, 4, Приложение А )
| |
_________________
подпись, дата
|
Л.В.Шамардин (раздел 4)
| |
_________________
подпись, дата
|
Е.Г.Боос (разделы 5, 6 )
|
Реферат
отчета по теме:
Теоретические исследования поставленных перед НИР задач
Отчет: 59 с., 18 рис., 2 таблицы, 47 источников, 1 приложение
Ключевые слова: распределенные вычисления, грид, среда исполнения, виртуализация ресурсов.
Объектом исследования являются распределенные вычислительные ресурсы грид-инфраструктур в условиях их применения для решения задач, подготовленных для различных сред исполнения.
Целью работы является интеграция новых технологий виртуализации вычислительных ресурсов в большие системы распределенных вычислений и обработки данных (в первую очередь, в международную грид-инфраструктуру EGEE) для повышение эффективности их использования путем существенного расширения класса прикладных задач, которые могут быть решены с их помощью.
В процессе работы проводились
анализ научно-технической литературы, нормативно-технической документации и других материалов, относящихся к разрабатываемой теме;
формулирование возможных направлений решения задачи по созданию технологии запуска заданий в грид-системы с различными вычислительными средами исполнения и их сравнительная оценка;
выбор и обоснование принятого архитектурного решения, алгоритмов работы модулей системы и способов их реализации;
сопоставление ожидаемых показателей новой продукции после внедрения результатов НИР с существующими показателями изделий-аналогов или с действующей нормативно-технической документацией;
разработка общей методики проведения исследований;
реализация мероприятий по достижению технико-экономических показателей, зафиксированных в Техническом задании.
В рамках поставленной задачи систематизирована и проанализирована информация о существующих решениях для виртуализации вычислительных ресурсов. Отобраны варианты, наиболее подходящие для интеграции в грид-инфраструктуры, и на этой основе сформулированы направления решения задачи создания система запуска заданий в грид-систему, подготовленных для различных сред исполнения.
На основе полученных результатов разработаны: общее архитектурное решение, алгоритмы работы модулей системы и методика проведения исследований на последующих этапах работы.
В рамках реализации мероприятий по достижению технико-экономических показателей, зафиксированных в Техническом задании, подготовлен и сделан доклад на Международной конференции "XXI International Symposium on Nuclear Electronics & Computing NEC'2007" (Болгария, Варна, 10-17 сентября, 2007 г.): A.Kryukov and I.Gorbunov "First experience of submission to the EGEE/RDIG Grid of jobs prepared for non standard OS's by means virtualization" ("Первый опыт запуска заданий, подготовленных для исполнения в нестандартных ОС, в грид EGEE/РДИГ на основе виртуализации").
Содержание
Определения…………………………………………………………………………6
Обозначения и сокращения…………………………………………………………9
1 Введение 10
2 Анализ научно-технической литературы, нормативно-технической документации и других материалов, относящихся к разрабатываемой теме 13
2.1 Анализ существующих проектов предоставления сред исполнения 14
2.2 Проект Globus Workspace 15
2.2.1 Общая схема работы VW-сервиса 16
2.3 Анализ существующих виртуальных машин 20
2.3.1 Типы виртуализации 21
2.3.1.1 Эмуляция оборудования 21
2.3.1.2 Полная виртуализация 22
2.3.1.3 Паравиртуализация 23
2.3.1.4 Виртуализация уровня операционной системы 23
2.3.1.5 Анализ проектов виртуализации для Linux 24
2.3.2 Поддержка полной виртуализации и паравиртуализации процессорами 29
2.3.3 Выбор типа и реализации виртуальной машины для рабочих узлов грида 30
3 Формулирование возможных направлений решения задачи по созданию технологии запуска заданий в грид-системы с различными вычислительными средами исполнения и их сравнительная оценка. 34
4 Выбор и обоснование принятого архитектурного решения, алгоритмов работы модулей системы и способов их реализации. 36
2.1 Краткое описание архитектуры грид-инфраструктуры, частью которой будет создаваемая система запуска заданий в различных средах исполнения 37
4.1 Архитектура системы запуска заданий в грид-систему, подготовленных для различных сред исполнения 39
4.1.1 Общий алгоритм работы системы запуска заданий, подготовленных для различных сред исполнения 42
5 Сопоставление ожидаемых показателей новой продукции после внедрения результатов НИР с существующими показателями изделий-аналогов или с действующей нормативно-технической документацией. 45
6 Разработка общей методики проведения исследований 48
7 Заключение 49
8 Список использованных источников 52
Приложение А. Характеристики виртуальных машин………………………… 55
Определения
В настоящем отчете о НИР применяют следующие термины с соответствующими определениями:
Аппаратная технология виртуализации - набор инструкций процессора Intel VT-x или AMD-V для упрощения и ускорения переключения контекста между гостевой и хостовой операционными системами.
Вычислительный элемент - в контексте грид-технологий термин "вычислительный элемент", используется для обозначения интерфейса ресурсного центра для запуска заданий на рабочие узлы.
Виртуальная машина - программная или аппаратная среда, в той или иной степени имитирующая работу реального компьютера. На виртуальную машину, так же как и на реальный компьютер можно инсталлировать операционную систему, у виртуальной машины так же есть BIOS, оперативная память, жёсткий диск (выделенное место на жёстком диске реального компьютера), могут эмулироваться периферийные устройства. На одном компьютере может функционировать несколько виртуальных машин.
Грид-инфраструктура – инфраструктура, обеспечивающая пользователям грида прозрачный, унифицированный, безопасный доступ к географически распределенным вычислительным ресурсам и ресурсам хранения данных через открытые компьютерные сети.
Гостевая операционная система - операционная система, работающая внутри виртуальной машины.
Инфраструктура безопасности грида - компонента промежуточного программного обеспечения грида; основывается на понятии открытого ключа, входит в инструментальный пакет Globus.
Кластер компьютерный - доступная по сети группа рабочих узлов (при необходимости вместе с головным узлом), размещённая на некотором сайте. Другими словами, кластер это "контейнер", который группирует вместе компьютерные узлы или подкластеры.
Монитор виртуальных машин (гипервизор) - программный уровень абстракции, разделяющий аппаратную платформу на несколько виртуальных машин; в более узком смысле - часть ядра хостовой операционной системы, ответственная за хостинг и управление виртуальными машинами; работает непосредственно с оборудованием.
Мониторинг/грид-мониторинг - грид-мониторинг подразумевает сбор, анализ и публикацию информации от распределенной инфраструктуры с целью определения статуса грид-ресурсов и хода выполнения заданий.
Приложение – любая компьютерная программа, предназначенная для решения конкретной задачи пользователя из некоторой прикладной области. В данном контексте рассматриваются грид-приложения, т.е. приложения, использующие грид-инфраструктуру для получения результата.
Промежуточное программное обеспечение/ППО - слой программного обеспечения, состоящий из агентов, являющихся посредниками между различными компонентами крупного приложения. Зачастую ППО используется в распределённых приложениях, причём агентов, составляющих этот слой, может быть несколько.
Ресурсный центр грид-инфраструктуры - может включает два типа ресурсов (или один из них): вычислительные ресурсы, на которых выполняется обработка данных; ресурсы хранения данных, которые обеспечивает хранение и транспортировку данных между аналогичными ресурсами и/или данным ресурсом и пользователем.
Рабочие узлы грид-системы - отдельный хост кластера; информация о вычислительном узле может быть видима гриду, но может быть и не видима - это зависит от способа администрирования кластера.
Сайт - используемое для администрирования логическое имя, обозначающее конкретный, стабильный, уникально идентифицируемый и тестируемый набор служб и ресурсов (вычислительных и ресурсов хранения данных).
Сервис/служба - абстрактный ресурс, представляющий возможность выполнения задач, которые имеют четкие функции с точки зрения поставщиков и потребителей. Чтобы службой можно было воспользоваться, она должна быть реализована конкретным агентом поставщика. В данном тексте термины "сервис" и "служба" используются как эквивалентные.
Хостовая операционная система - операционная система, в которой работает платформа виртуализации, исполняющаяся непосредственно на хосте
Хостовая система (хост) - компьютер, на котором работает платформа виртуализации.
Элемент хранения - любой ресурс хранения данных, зарегистрированный в информационной подсистеме грида и обеспечиваеющий доступ к удаленным сайтам посредством грид-интерфейса; элемент хранения может управлять большими массивами на дисках, системами хранения сверхбольшой ёмкости и подобными им системами.
Обозначения и сокращения
ВМ виртуальная машина
МВМ монитор виртуальных машин (гипервизор)
ОС операционная система
ПО программное обеспечение
ППО промежуточное программное обеспечение
РДИГ Российский грид для интенсивных операций с данными
РЦ ресурсный центр
СПСИ служба предоставления сред исполнения
CE вычислительный элемент (Computing Element)
EGEE развертывание грид-систем для e-науки (The Enabling Grids for E-sciencE)
GT4 набор инструментальных средств Globus версии 4 (Globus Toolkit 4)
CLI интерфейс командной строки (Command Line Interface)
gLite промежуточное программное обеспечение проекта EGEE (Lightweight Middleware for Grid Computing)
GSI система безопасности (Grid Security Infrastructure)
JDL язык описания задания (Job Description Language)
KVM Linux Kernel Virtual Machine -
PBS портируемая система пакетной обработки (Portable Batch System)
RB сервис распределения ресурсов (Resource Broker)
SE элемент хранения; ресурс хранения данных (Storage Element)
UI интерфейс пользователя (User Interface)
UML User-mode Linux
VMM монитор виртуальных машин (Virtual Machines Monitor)
VW виртуальное рабочее пространство (Virtual Workspace)
VWS служба виртуального рабочего пространства (Virtual Workspace Service)
WM менеджер загрузки (Workload Manager)
WN рабочий узел (Working Node)
|
