Скачать 168.15 Kb.
|
ОБЪЕДИНЕННЫЙ ИНСТИТУТ ЯДЕРНЫХ ИССЛЕДОВАНИЙ УДК УТВЕРЖДАЮ Директор ОИЯИ, Академик РАН А. Н. Сисакян “____” ______________ 2008 г. _________________________ подпись М.П. ОТЧЕТ О НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ РАБОТЕ Развитие, исследование и внедрение средств высокопроизводительных вычислений на основе технологий Грид с поддержкой гетерогенных, территориально-распределенных вычислительных комплексов по теме: “Разработка грид-сервисов по сбору и передаче информации и создание на их основе системы мониторинга распределенных программно-аппаратных комплексов для вычислений и хранения данных в глобальной системе Грид” вид отчета: итоговый Руководитель темы: _________________________(кандидат физ.-мат.наук, Кореньков В.В.) подпись г. Дубна 2008 г. Список основных исполнителей
Реферат Объект исследования – система мониторинга, статистика использования как всей грид-инфраструктуры, так и отдельных ее подсистем, система мониторинга и учета использования ресурсов. Цели работы на пятом этапе – создание системы мониторинга для сбора информации о функционировании распределённой вычислительной среды СКИФ-ГРИД. Создание Портала отображающего и предоставляющего полученную информацию в качестве веб-сервисов. Результат работы — создан прототип системы мониторинга (система сбора данных и веб сайт для доступа к информации мониторинга), проведены тестирование и отладка общей схемы работы алгоритмов системы, исследованы возможности использования информации, получаемой системой учета и мониторинга, для решения задач автоматизированного управления инфраструктурой и автоматизированного квотирования ресурсов. Перечень принятых сокращений и наименований X-COM - система для организации распределенных вычислений, разрабатываемая в НИВЦ МГУ UNICORE – программная платформа для организации высокопроизводительных вычислений на суперкомпьютерах Ganglia - система мониторинга локальных ресурсов AntMon - система мониторинга локальных ресурсов и эффективности работы параллельных задач, разрабатываемая в НИВЦ МГУ MonALISA - средство для построения систем мониторинга, обладающее гибкими возможностями настройки и масштабируемостью Оглавление 3 1 Введение 3 2 Требования к системе мониторинга 3 3 Анализ технических средств 4 4 Портал системы мониторинг 7 5 Описание программы 9 5.1 Описание модулей сбора информации мониторинга из промежуточного программного обеспечения UNICORE и системы пакетной обработки заданий Cleo 9 5.1 Описание модулей сбора информации мониторинга из промежуточного программного обеспечения UNICORE и системы пакетной обработки заданий Cleo 9 5.2 Настройка модуля получения информации мониторинга UNICORE 10 5.2 Настройка модуля получения информации мониторинга UNICORE 10 1 ВведениеПроект «СКИФ-ГРИД» подразумевает создание распределенной инфраструктуры вычислительных ресурсов и ресурсов хранения данных на основе ГРИД-технологий. К настоящему моменту существует уже несколько проектов в этой области и уже складываются некоторые стандарты организации подобного рода инфраструктур. Одной из важнейших составляющих любого программного обеспечения ГРИД является система мониторинга. В настоящее время в мире существует несколько проектов по грид-мониторингу, но все они не обеспечивают должного уровня сервиса мониторинга. Кроме того, нет еще устоявшихся требований на количество и качество предоставляемых системой мониторинга услуг. Для преодоления этой проблемы требуется создание достаточно гибкой системы, которая могла легко меняться и адаптироваться к выдвигаемым требованиям. Возникает необходимость создания системы мониторинга, которая бы удовлетворяла всем условиям. 2 Требования к системе мониторингаСистема мониторинга - это набор программных и аппаратных средств для анализа и контроля состояния некоторой системы. Система мониторинга должна не только собирать информацию, но и предоставлять её для различных систем, нуждающихся в данной информации. Для обеспечения этих возможностей система мониторинга должна соответствовать некоторым требованиям:
Данное требование является абсолютно необходимым, поскольку инфраструктура GRID может быть крайне разнородной, гетерогенной. Различные ресурсы могут работать не только под различными ОС, но также иметь различную архитектуру. И здесь на первое место выходят такие требования, как общность механизмов реализации отдельных компонент системы и стандартные интерфейсы, описывающие эти компоненты. Только стандарты способны обеспечить интероперабельность между различными реализациями одного и того же интерфейса.
3 Анализ технических средствMonALISA Система MonALISA [1] (Monitoring Agents in A Large Integrated Services Architecture) разрабатывается в Калифорнийском Технологическом Институте. Она является самой сложной из всех рассмотренных, как с точки зрения архитектуры, так и с точки зрения установки и настройки. Это является платой за очень широкий набор возможностей и гибкость. MonALISA можно рассматривать как средство для разработки системы мониторинга подобно тому, как язык программирования является средством разработки программ. В настоящее время для сбора информации о функционировании элементов российского сегмента GRID используется система мониторинга MonALISA. Данная система представляет собой распределенный сервис для мониторинга, контроля и глобальной оптимизации сложных систем. MonALISA основана на масштабируемой архитектуре динамически распределенных сервисов (Dynamic Distributed Services Architecture (DDSA)), реализованной с помощью технологий Java / JINI и Web-сервисов. Масштабируемость системы обеспечивается использованием многопоточных средств выполнения (multithreading execution engine) и тесно связанных, самоописывающихся динамических сервисов или агентов, а также возможностью для каждого сервиса регистрироваться самостоятельно и использоваться другими сервисами или клиентами, которые требуют подобную информацию. Посредством использования сервисов поиска, распределенного реестра сервисов и механизмов обнаружения и извещения сервисы имеют доступ друг к другу. Парадигма мобильного кода (мобильные агенты), используемая в архитектуре DDSA, расширяет подходы вызова удаленных процедур (remote procedure call) и модели клиент-сервер (client-server). Как программный код, так и соответствующие параметры загружаются в систему динамически. Совмещение архитектуры сервисов и мобильности кода делает возможным построение расширяемой иерархии сервисов, которая способна управлять очень большими системами. Рис. 1. Схема сбора данных в системе MonALISA Система следит за вычислительными фермами, сетевыми соединениями, маршрутизатор, коммутаторами, используя протокол SNMP, и динамически загружает модули, которые обеспечивают интерфейс к уже существующим средствам для мониторинга и приложениям, таким как Ganglia, PBS, LSF. Ядро сервиса мониторинга основано на многопоточности, когда большинство данных собирается параллельно, независимо друг от друга. Модули, используемые для получения и накопления различных наборов данных, динамически загружаются и выполняются каждый, как отдельный процесс (легковесный процесс Java). Для того чтобы уменьшить загрузку машины, на которой установлена MonALISA, динамический пул потоков выполнения создается единожды, и каждый поток может быть использован заново после завершения задачи, к которому она приписана. Если какая-либо задача в процессе выполнения «падает» или «подвисает» из-за ошибок ввода/вывода, другая задача не прерывается и не прекращается, так как они выполняются независимо. Для контроля над такими ситуациями реализован специальный механизм остановки потока и последующего перезапуска, если задача не была успешно завершена. Схематичное представление механизма сбора данных показано на рис. 1. Такой подход делает относительно легким наблюдение большого числа разнородных узлов с различными временами отклика и в то же время оперировать с машинами, которые недоступны, не влияя на другие измерения. Модуль для мониторинга – это динамически загружаемый элемент, который выполняет процедуры (запускает программу/скрипт или делает запрос по протоколам SNMP или LDAP) для получения набора параметров (измеряемых величин) посредством разбора выходного потока процедуры. В общем случае такой модуль представляет собой обычный класс, который получает набор величин и предоставляет их в простом стандартном формате. Это т. н. pull mode. Рис. 2. Схема работы ApMon Другой возможностью является посылка данных сервису MonALISA (push mode). Для этого разработан набор классов и библиотек, называемых ApMon (Application Monitoring API). Данные посылаются по протоколу UDP одной или нескольким машинам, на которых запущен сервис MonALISA (см. Рис.4). ApMon реализован на пяти языках программирования: C, C++, Java, Perl, Python. Адреса машин с сервисами, на которые ApMon посылает данные, определяются динамически из конфигурационных файлов и периодически проверяются без перезапуска программы. При этом может быть сделана возможность отправки данных с паролем. MonALISA проверяет пароль, и если он подходит, то принимает UDP пакет и сохраняет информацию в своей базе данных, в противном случае отвергает. Для работы в таком режиме сервис должен запустить модуль, слушающий определенный порт (порт можно изменять). ApMon наряду с загружаемыми модулями представляет мощный инструмент для организации сбора любых параметров. В системе реализована поддержка трех СУБД: MySQL, PostrgeSQL, McKoi. При этом возможно организовать различные структуры БД. Это зависит от количества и качества данных. Свобода предоставляется еще и в выборе использования встроенной БД или внешней, соответствующем образом настроенной (должен быть разрешен доступ для машины с сервисом MonALISA). Для отображения разработана система на основе Apache Tomcat, называемая MonALISA repository. MonALISA repository ведет поиск сервисов, предоставляющих необходимые данные на основе заранее определенных предикатов и фильтров, и получаемую информацию сохраняет в собственной базе данных. Предикаты и фильтры (список собираемых параметров) могут изменяться «на лету», без остановки сервера Tomcat. Работа MonALISA repository представлена на рис. 2. Так как сервер Tomcat поддерживает технологии JSP и сервлеты, то на их основе была создана поддержка WAP (Wireless Access Protocol), и WAP страницы содержат ту же информацию, что и обычные Web-страницы. Система мониторинга состоит из системы MonALISA, которая выполняет следующие функции:
4 Портал системы мониторингПортал системы мониторинга СКИФ-ГРИД — это надстройка над системой мониторинга MonALISA, отображающий данных хранящиеся в MonALISA repository. Ссылка на веб-сайт системы мониторинга СКИФ-ГРИД: http://skifmon.jinr.ru. Рис. 3. Фрагмент главной страницы портала системы мониторинга СКИФ-ГРИД. В центрально части расположена карта расположений сайтов-участников проекта. Участники полигона на карте обозначены подписями-названиями и имеют символьное обозначение состояния. Над картой расположены радио-кнопка, для выбора типа информации, которая будет отображена на карте.
общие сведения о имеющихся ресурсах сайта при наведении курсора мыши на ярлык сайта, появляется выпадающее окно с данные о ресурсах выбранного сайта: название, число ядер, процессоров, узлов, оперативной памяти, а так же производительность пиковая и по результатам теста LINPACK.
данные о количестве занятых и доступных процессоров. Под картой появляется легенда, ярлыки разбиваются на цветовые сектора, в соответствии с легендой. При наведении курсора мыши на ярлык сайта появляется выпадающее окно с названием сайта и числом используемых, свободных и отключенных процессоров.
данные о количестве задач, выполняемых или находящихся в очереди на сайте в данный момент времени. При наведении курсора мыши на ярлык сайта появляется выпадающее окно с названием сайта и числе задач, выполняемых или ожидающих в очереди. Под картой находится легенда, поясняющая значение цветового разбиения ярлыка сайта. Возможна навигация по карте. С помощью стрелок, находящихся по углам и сторонам карты: при нажатии мышью на стрелку происходит перемещение по карте, в сторону направления стрелки. Квадрат навигации — уменьшенный вариант стрелок для навигации, находящихся по углам и сторонам карты. Ярлыки лупы со знаками + и -, находящиеся под картой, позволяют изменять масштаб отображения карты. При нажатии на ярлык, происходит увеличение/уменьшение масштаба с сохранением центра. Размер изображения Доступны следующие варианты: по размеру окна, 600х300, 780х390, 1024х512. После выбора размера изображения, карта перерисовывается с выбранным размером. Выбрать карту: для отображения возможно выбрать карту: Россия, Европа, Азия, Весь мир, Дерево. - Карта Режим просмотра карты с нанесенными на нее сайтами. Сайты имеют название и цветной кружок-обозначение, цвет соответствует состоянию сайта, по выбранному ресурсу для отображения. - Ресурсы - Сводная таблица Сводная таблица по ресурсам СКИФ-ГРИД. Статистика предоставлена по вычислительным ресурсам (число ядер, процессоров, узлов) и производительности (пиковой и результаты теста LINPACK), значение приводится в ТФлопс, для каждого сайта проекта и суммарное значение. - Производительность. Представляет собой диаграмму производительности пиковой и по тесту LINPACK. Выделение названий сайтов, позволяет построить диаграмму только для интересующих сайтов. Для удобства пользователей существуют ссылки выделить все и снять выделение. Выделить все выделяет все сайты, внять выделение убирает выделение со всех сайтов. При нажатии на кнопку «Построить» происходит построение диаграммы для отмеченных сайтов. - Ядра, процессоры, узлы. Представляет собой диаграмму числа процессоров, ядер, узлов, построенную для каждого сайта. Выделение названий сайтов, позволяет построить диаграмму только для интересующих сайтов. Для удобства пользователей существуют ссылки выделить все и снять выделение. Выделить все выделяет все сайты, внять выделение убирает выделение со всех сайтов. При нажатии на кнопку «Построить» происходит построение диаграммы для отмеченных сайтов. - Сайт программы СКИФ-ГРИД. Ссылка на официальный сайт проекта СКИФ-ГРИД. - Свернуть меню - сворачивает все открытые пункты подменю. - Авторизация пользователей. Поля для ввода имени пользователя и пароля. Авторизация необходима для администрирования портала. 5 Описание программы5.1 Описание модулей сбора информации мониторинга из промежуточного программного обеспечения UNICORE и системы пакетной обработки заданий CleoДля модуля получения информации мониторинга UNICORE: 1) Необходимое ПО - пакет UNICORE 6 - пакет Unicore6-CIS, составная часть ПО UNICORE - JRE 1.5, среда запуска приложений, написанных на языке Java - пакет ApMon, предназначенный для передачи информации мониторинга по сети на удаленный сервер - любая программа, позволяющая выполнять программы пользователей по расписанию (например, crond в ОС Linux) 2) Языки программирования, на которых написана программа - Java Для модуля получения информации мониторинга Cleo: 1) Необходимое ПО - интерпретатор языка Perl версии больше 5.008 и входящий в его комплект стандартный набор библиотек - JRE 1.5, среда запуска приложений, написанных на языке Java - пакет для создания систем мониторинга MonALISA 2) Языки программирования, на которых написана программа: - Java - Perl
Модуль для получения информации мониторинга UNICORE, модуль для получения информации мониторинга Cleo: сбор доступной информации о состоянии вычислительной инфраструктуры сайтов - элементов СКИФ-ГРИД, таких как количество свободных и занятых процессоров, состояния очередей задач, проверка работоспособности сайта, выполняющихся пользовательских задачах.
Для модуля получения информации мониторинга UNICORE: Модуль мониторинга получает требуемые данные, публикуемые в информационной системе Unicore6-CIS ПО UNICORE. Выполнение модуля происходит непосредственно на мониторируемом сайте. Далее полученные данные отправляются на центральный сервер мониторинга при помощи пакета ApMon. Для модуля получения информации мониторинга Cleo: Модуль мониторинга получает требуемые данные, публикуемые системой пакетной обработки Cleo в виде XML-файла. После предварительной обработки данные передаются в систему MonALISA. Сам модуль мониторинга вызывается системой MonALISA с определенной периодичностью.
Любые электронно-вычислительные машины, поддерживающие запуск и выполнение ПО, необходимого для выполнения программы.
Вызов и загрузка программы осуществляется с помощью стандартных средств вызова и загрузки ПО Java.
Для модуля получения информации мониторинга UNICORE: Входные данные для программы получаются из информационной системы UNICORE путем запроса через протокол MBean. Полученный таким образом XML-файл обрабатывается, из него извлекаются требуемые данные. Формат XML-файла соответствует принятой в информационной системе ПО UNICORE схеме выдачи данных по запросу через MBean. Для модуля получения информации мониторинга Cleo: Входные данные для программы получаются из файла, формируемого системой пакетной обработки Cleo. Они представлены в виде XML-файла в формате, соответствующем стандартному формату системы Cleo для данных о состоянии ресурсов кластера и очередей задач.
Для модуля получения информации мониторинга UNICORE: Выходные данные содержат сведения о вычислительных ресурсах кластера и о запущенных на этих ресурсах задачах. Выходные данные передаются на центральный сервер мониторинга СКИФ-ГРИД по сети в виде UDP-пакетов при помощи пакета ApMon в соответствии с реализованным в этом пакете внутренним форматом. Для модуля получения информации мониторинга Cleo: Выходные данные содержат сведения о находящихся под управлением исстемы Cleo ресурсах и выполняемых на этих ресурсах задачах. Выходные данные представляют из себя объекты Java, содержащие всю требуемую информацию в виде, стандартном для модулей расширения пакета MonALISA. 5.2 Настройка модуля получения информации мониторинга UNICOREНа сервере UNICORE установить и настроить Unicore6-CIS: 1) Скачать пакет Unicore6-CIS (http://sourceforge.net/project/showfiles.php?group_id=102081&package_id=269054) 2) Распаковать архив, скопировать jar-файлы cis* и cis-types* в папку /lib компонента UNICORE/X 3) Добавить объявление сервиса CIS-IP в файл /conf/wsrflite.xml: 4) Добавить запись "de.fzj.unicore.cisprovider.impl.InitOnStartup" в параметр uas.onstartup в файле /conf/uas.config. Например: uas.onstartup=de.fzj.unicore.uas.util.DefaultOnStartup \ de.fzj.unicore.cisprovider.impl.InitOnStartup 5) Перезапустить UNICORE/X На любой вычислительной машине с доступом в сеть и установленным пакетом JRE 1.5 установить и настроить модуль сбора информации мониторинга из UNICORE. 1) Скачать пакет по адресу http://skifmon.jinr.ru/distribution, распаковать архив. 2) Разрешить в сетевом брандмауэре отправку UDP-пакетов на порт 8884 узла skifmon.jinr.ru 3) Настроить параметры запуска модуля в файле skifmon.conf
4) Настроить периодический запуск модуля На примере ОС Linux: - добавить задание для периодического запуска посредством crond - отредактировать извлеченный из архива файл конфигурации skifmon.cron, указать в нем правильные пути к интерпретатору Java и файлу настроек skifmon.conf пакета мониторинга, а также файла для записи протокола работы модуля мониторинга - от имени пользователя, из учетной записи которого должен запускаться модуль мониторинга, выполнить команду: crontab skifmon.cron Проверка правильности функционирования модуля осуществляется путем анализа файла протокола, его работы и контроля поступающих на центральный сервис мониторинга данных. Сообщения системному программисту поступают в файл протокола работы модуля мониторинга. |
Отчет о научно-исследовательской работе Гост 32-2001. Межгосударственный стандарт. Система стандартов по информации, библиотечному и издательскому делу. Отчет о научно-исследовательской... | Отчет о научно-исследовательской работе Межгосударственный стандарт (гост 32-2001). Отчет о научно-исследовательской работе. Структура и правила оформления (редакция 2005... | ||
Общие положения отчет Отчет о научно-исследовательской работе (нир) документ, который содержит систематизированные данные о научно-исследовательской работе,... | Реферат Отчет о научно-исследовательской работе состоит Отчет о научно-исследовательской работе состоит из 33 рисунков, 8 разделов, 12 подразделов, 9 формул, 31 источника. Общий объем 48... | ||
Отчет о научно-исследовательской работе «определение доступности... Ключевые слова: отчет, научно-исследовательская работа, заключительный отчет, кинопоказ, доступность, качество, цифровые технологии,... | Отчет по научно-исследовательской работе студентов экономического факультета за 2012-2013 г Научно-исследовательская работа студентов является действенным средством повышения качества подготовки специалистов и проводится... | ||
Отчет о научно-исследовательской работе Двухфакторная многокритериальная методика аттестации научно-педагогических работников спбгу на основе показателей эффективности их... | Отчет о научно-исследовательской работе фгоу впо «Кемеровский гсхи» Ключевые слова: наука, инновации, инновационный потенциал, инновационный проект, финансирование научно-исследовательской работы,... | ||
Отчет о научно-исследовательской работе за 2011 год Основные научные направления (по которым факультет осуществляет научно-исследовательскую деятельность) | Отчет о научно-исследовательской работе Проведение научных исследований коллективами научно-образовательных центров в области коллоидной химии и поверхностных явлений | ||
Отчет о научно-исследовательской работе Проведение научных исследований коллективами научно-образовательных центров в области коллоидной химии и поверхностных явлений | Отчет о научной исследовательской работе студентов (магистрантов) Института Организация научно-исследовательской деятельности студентов и их участие в научных исследованиях и разработках в 2012 году | ||
Отчет о научно-исследовательской и опытно-конструкторской работе Методические указания по выполнению контрольной работы одобрены на заседании Научно-методического совета взфэи | Отчет о научно-исследовательской работе «научно-методическое сопровождение выполнения обязательств российской федерации по охране всемирного культурного и природного наследия... | ||
Отчет о научно-исследовательской работе в рамках федеральной целевой... Государственное образовательное учреждение высшего профессионального образования | Отчет о научно-исследовательской работе в рамках федеральной целевой... Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования |