2.2 Разработка грид-сервисов по сбору и передаче информации и создание на их основе системы мониторинга распределенных программно-аппаратных комплексов для вычислений и хранения данных в глобальной системе Грид.
Исполнитель - ОИЯИ, г. Дубна, Московская обл.
См. приложение – отчет за 2 этап по части 3 Технического задания к контракту СГ-2/07 от 16.07.2007 г.
Содержание этапа 2.
Объект исследования – набор грид-сервисов по сбору и передаче информации и система мониторинга, статистика использования как всей грид-инфраструктуры, так и отдельных ее подсистем, система мониторинга.
Цель работы на втором этапе - составление перечня проблем, которые надо решить, для адаптации работы системы учета и мониторинга совместно с внешними вычислительными кластерами СКИФ-ГРИД.
Результат работы - выбор направления исследования в области разработки грид-сервисов по сбору и передаче информации и системы сбора статистики по использованию грид-инфраструктуры.
Перечень принятых сокращений и наименований
РДИГ - Российский грид для интенсивных операций с данными.
EDG - European DataGrid, европейский проект по созданию инфраструктуры для вычислений и обмена данными.
EGEE - Enabling Grids for E-sciencE, европейский проект по созданию глобальной грид-инфраструктуры.
gLite - Lightweight Middleware for Grid Computing, пакет промежуточного программного обеспечения для грид-вычислений.
OGSA - Open Grid Service Architectire, Открытая архитектура грид-сервисов.
Работа направлена на развитие технологии мониторинга распределенных вычислительных комплексов национального и интернационального масштаба.
В настоящее время существует ряд прикладных и научно-исследовательских задач, связанных с накоплением и обработкой объёмов информации которые в десятки и сотни тысяч раз превышают средний уровень потребностей. Примерами прикладных задач могут служить геоинформационные системы, задачи в области биотехнологий, мультимедийные задачи построения и обработки изображений. В сфере науки в особом положении оказывается физика высоких энергий в связи с тем, что на конец 2007 года планируется запуск и начало обработки данных с Большого Адронного Коллайдера (ЦЕРН, Женева). Ожидаемый поток накопления информации составляет более 4 ТБ в минуту. В ближайшее десятилетие начнётся реализация проектов, которые будут сопоставимы по масштабам обработки информации, например Международный линейный коллайдер (ILC) и Международный термоядерный реактор (FUSION).
Для решения этих задач обработки информации в рамках международных проектов EGEE-2 (Enabling GRID for E-sciencE) и LCG (LHC Computing GRID) создана и проходит комплексные испытания глобальная географически распределённая система (грид), включающая сотни центров обработки информации. Российская часть этой системы RDIG (Russian Data Intensive Grid, Российский грид для интенсивных операций с данными) функционирует с начала 2001 г. Полноправным участником всех этих проектов является ОИЯИ. Помимо физического научного сообщества инфраструктуру проекта EGEE уже используют десятки коллабораций, занимающихся исследованиями в области таких научных дисциплин, как химия, астрономия, наука о Земле, биомедицина. Разработки, ведущиеся во всем мире, в последние несколько лет сформировали грид – сеть связанных компьютеров, как одно из наиболее перспективных и быстро развивающихся направлений информационной индустрии. Предполагается, что системы подобной архитектуры в области обработки информации и предоставления вычислительных ресурсов в ближайшем будущем получат такое же распространение, которое сейчас получил WWW как средство доступа к информации.
Испытания, проведённые консорциумом EGEE и RDIG в 2006 г., показали, что существующая система мониторинга не отвечает полностью планируемому масштабу грид. Большие масштабы, сложность связей и географическая распределенность системы приводят к тому, что эффективное функционирование Грид невозможно без полной информации обо всех ее подсистемах, количественного и качественного мониторинга текущего состояния. Для эффективного управления такими системами, планирования, выявления неполадок важно знать не только текущее состояние грид-инфраструктуры, но и отслеживать историю ее использования.
В настоящее время в мире существует несколько проектов по грид-мониторингу, но все они не обеспечивают должного уровня сервиса мониторинга. Кроме того, нет еще устоявшихся требований на количество и качество предоставляемых услуг системой мониторинга. Для преодоления этой проблемы требуется создание достаточно гибкой системы, которая могла легко меняться и адаптироваться к выдвигаемым требованиям.
Возникает необходимость создания системы мониторинга, которая бы удовлетворяла всем условиям. Предполагается создать платформо-независимую систему для мониторинга грид-инфраструктуры на основе программного обеспечения gLite, которая также может быть использована в грид-средах с другим программным обеспечением промежуточного уровня.
В рамках создания сервиса грид-мониторинга планируется следующее развитие средств мониторинга и системы сбора статистики об использовании распределенных ресурсов:
создание унифицированной системы по сбору и передаче разнородной информации как набор специальных грид-сервисов мониторинга;
мониторинг функционирования грид-сервисов; использование данных о работе грид-сервисов для управления надежностью их функционирования (автоматическое управление и восстановление при сбоях);
отслеживание состояния сетей и каналов связи;
сбор статистики по обмену данными между ресурсными центрами с использованием грид-сервисов;
сбор и отображение медленно меняющейся информации о грид-сайтах (например, структура, производительность, поддерживаемые виртуальные организации, установленное программное обеспечение);
автоматическое отслеживание состояния оборудования, сбор данных об аппаратных ошибках;
расширение мониторинга на системы хранения данных, таких как dCache, DPM;
возможность подключения дополнительных модулей мониторинга.
Проект «СКИФ-ГРИД» подразумевает создание распределенной инфраструктуры вычислительных ресурсов и ресурсов хранения данных на основе ГРИД-технологий. К настоящему моменту существует уже несколько проектов в этой области и уже складываются некоторые стандарты организации подобного рода инфраструктур. Одной из важнейших составляющих любого программного обеспечения ГРИД является система мониторинга. Разработка системы мониторинга для проекта «СКИФ-ГРИД» потребует решения следующих задач:
определение важных параметров, которые полностью отражают состояние всей инфраструктуры;
определение способов получения этих параметров;
разработка общей схемы мониторинга;
разработать реализацию выбранной схемы и внедрить ее;
исследование возможностей использования мониторинга для решения задач автоматизированного управления инфраструктурой.
Другой важной составляющей практически любой системы распределения ресурсов является система учета использования ресурсов. Данная система похожа на мониторинг с той лишь разницей, что она накапливает данные об использовании ресурсов. Для внедрения такой системы необходимо решить следующие задачи:
разработать схему получения параметров (использования процессорного времени и дискового пространства);
разработать реализацию данной системы;
исследовать возможность автоматизированного квотирования ресурсов на основе данной системы.
|
