Научно-исследовательский институт ядерной физики имени Д. В. Скобельцына удк 004. 75+004. 722 № госрегистрации

Нормативные ссылки

В настоящем отчете о НИР использованы ссылки на следующие стандарты:

ГОСТ Р 15.011-96 Патентные исследования.

Определения

Грид – (от английского grid – сеть) собирательное название вычислительных технологий, рассматривающих произвольное объединение отдельных вычислительных ресурсов в качестве единого вычислительного ресурса.

Грид-сервис – программное приложение, выполняемое на вычислительном грид-ресурсе.

Используемые сокращения

СОЗ – Система очередей задач.

EGEE – Enabling Grid in Escience in Europe.

РДИГ – Российский грид для интенсивных операций с данными.

ОС – Операционная система.

PBS – Portable Batch System

ППО – Промежуточное программное обеспечение.

ВЭ – Вычислительный элемент.

JDL – Job Description Language

РУ – рабочий узел

MPI – Message Passing Interface

PVM – Parallel Virtual Machine.

СК - суперкомпьютер

МГУ Московский Государственный Университет им. М.В.Ломоносова

НИВЦ МГУ Научно-исследовательский вычислительный центр МГУ

НИР научно-исследовательские работы

ТЗ техническое задание

1. Содержание выполняемых работ

Согласно Календарному плану на Этапе 1 в период с 16 июля по 30 сентября 2007 г. запланировано выполнение следующих работ:

- Анализ научно-технической литературы, нормативно-технической документации и других материалов, относящихся к разрабатываемой теме.

- Формулирование возможных направлений решения задачи, поставленной в ТЗ, и их сравнительная оценка.

- Выбор и обоснование принятого направления исследований и способов решения поставленной задачи.

- Разработка общей методики проведения исследований.

- Разработка карты сопряжения параметров информационных систем РДИГ-EGEE и СКИФ-грид.

2. Анализ научно-технической литературы, нормативно-технической документации и других материалов, относящихся к разрабатываемой теме.

На первом этапе контракта был проведен анализ научно-технической литературы, нормативно-технической документации и других материалов [1-25], относящихся к теме контракта.

Для достижения целей проекта – обеспечение взаимодействия грид инфраструктуры EGEE/РДИГ и суперкомпьютерных центров СКИФ - необходимо детально выяснить принципы построения и организации вычислительного процесса с помощью кластерных решений СКИФ.

2.1. Грид и суперкомпьютеры СКИФ.

Концепция грид-технологий появилась как ответ на возросшие потребности в крупных информационно-вычислительных ресурсах, динамически выделяемых для решения громоздких задач, в научной, индустриальной, административной и коммерческой областях деятельности. Создание грид-среды подразумевает объединение вычислительных ресурсов географически разделенных ресурсных центров при помощи специализированного программного обеспечения (промежуточное программное обеспечение, ППО). Это программное обеспечение позволяет распределять задания по таким центрам, возвращать результаты пользователю, контролировать права пользователей на доступ к тем или иным ресурсам, осуществлять мониторинг ресурсов.

Если посмотреть на уже действующие грид-инфраструктуры (в основном, в США и Европе), в том числе и обслуживающие коммерческие приложения, то в настоящее время основным классом задач, решаемых с их помощью, являются задачи, которые можно разделить на большое число независимых подзадач. Такие подзадачи распределяются по грид-ресурсам (которые чаще всего являются кластерами ПК) по принципу: одна подзадача – один процессор. Затем результаты обработки отдельных подзадач собираются вместе и формируется результат задачи в целом. Однако существует весьма обширный класс актуальных прикладных задач, которые невозможно полностью разделить на независимые подзадачи. Эффективное решение таких подзадач требует межпроцессорного обмена информацией в ходе решения (существенно параллельные вычисления). Поэтому исключительно важной составной частью создания эффективной грид-среды является включение в нее, наряду с кластерами, суперкомпьютеров в качестве вычислительных ресурсов (гетерогенная грид-среда). При этом грид-среда обеспечивает, в частности, возможность удаленного запуска параллельных вычислений на суперкомпьютере, входящем в грид-инфраструктуру, и выравнивание (распределение) нагрузки между суперкомпьютерами в грид-среде.

Особенно привлекательным является использование в качестве вычислительных грид-ресурсов суперкомпьютеров семейства СКИФ, поскольку они обладают рядом существенных достоинств по сравнению с другими решениями для высокопроизводительных вычислительных систем с параллельной архитектурой. В частности, к достоинствам семейства СКИФ относятся:

- открытая и масштабируемая архитектура;

- модульная схема исполнения, что позволяет создавать вычислительных системы самой разной производительности (от десятков миллиардов до нескольких триллионов операций в секунду) и делать их специализированными - в зависимости от конкретного назначения;

- программное обеспечение СКИФ использует стандартные языки (параллельного) программирования, а также оригинальную российскую разработку (Т-система);

- по соотношению производительности и стоимости семейство СКИФ превосходит все существующие аналоги.

Опыт по созданию распределенных вычислительных комплексов на базе суперкомпьютеров семейства СКИФ может быть применим и к другим системам с параллельной архитектурой.

С функциональной точки зрения работа по созданию и эксплуатации территориально-распределенных вычислительных комплексов подразделяется на разработку компонент ППО и разработку специализированного инструментария для решения прикладных задач.

2.2. Операционная система СК СКИФ.

На суперкомпьютерах СКИФ используется свободно распространяемая ОС Линукс. Ядро ОС Линукс специально адаптированно для работы на суперкомпьютерах семейства "СКИФ". Это позволило обеспечить надежную и безопасную работу аппаратных и программных средств суперкомпьютеров семейства "СКИФ". Функциональные характеристики соответствуют актуальным версиям официальных стабильных дистрибутивов ОС Линукс.

Более подробно с используемой ОС можно ознакомиться на сайте [20]. Кроме самой ОС на сайте можно ознакомиться с "Руководством оператора" [21], "Руководством программиста" [22], "Руководством системного программиста" [23].

2.3. Система очередей суперкомпьютеров СКИФ.

Система очередей задач (СОЗ) для кластерного уровня суперкомпьютеров семейства "СКИФ" предназначена для обеспечения распределения задач пользователей между базовыми вычислительными модулями (узлами) кластерного уровня для достижения большей производительности, получаемой в силу более равномерной загрузки вычислительных узлов и более равномерного распределения вычислительных ресурсов между пользователями.

В качестве СОЗ в суперкомпьютерах СКИФ применена система PBS – хорошо известное решение основанное на открытых кодах.

Использование PBS позволит заметно сократить объем кода, требуемый для стыковки ВЭ основанного на ППО gLite и СОЗ, используемого в СК СКИФ.

С подробной документацией по СОЗ СКИФ можно ознакомиться на сайте [24].

2.4. ППО gLite и СК СКИФ

Промежуточное программное обеспечение gLite [25] – базовое ППО для построения, на котором строится грид-инфраструктура EGEE/РДИГ [2,3].

Существующее промежуточное программное обеспечение (ППО), обеспечивающее работу грида в целом (распределение заданий по грид-ресурсам, сбор результатов, мониторинг выполнения и так далее) в настоящее время не позволяет эффективно обрабатывать задачи, требующие параллельных вычислений с межпроцессорным обменом поскольку разрабатывалось в рамках парадигмы одно задание – один процессор. Это может являться одним из важнейших препятствий для широкого внедрения грид-технологий для решения суперкомпьютерных задач. Работа в рамках данной части проекта должна обеспечить научно-технический задел для преодоления этого недостатка современного ППО, в частности ППО gLite, под управлением которого работает грид-инфраструктура EGEE/РДИГ (http://www.eu-egee.org, http://egee-rdig.ru). Стыковка ППО gLite и СК СКИФ позволит существенно расширить класс задач, решаемых с помощью грид-технологий.

2.5. Результаты анализа

В результате анализа было выяснено следующее.

Структура кластера СКИФ и используемая на нем операционная система Линукс, система управления очередями заданий PBS, близки к структуре и ПО используемым на кластерах и рабочих узлах в грид инфраструктуре EGEE/РДИГ. Близость этого ПО облегчает проблему стыковки кластера СКИФ и грид шлюза EGEE/РДИГ.

Кластеры СКИФ являются суперкомпьютерными кластерами ориентированными на решение параллельных задач с использованием соответствующих библиотек, например MPI. Несмотря на наличие со стороны грид-инфраструктуры EGEE/РДИГ некоторых примитивных средств поддержки параллельных заданий с использованием MPI, полноценной поддержки таких вычисление гридовское ППО не содержит, что не позволяет эффективно обрабатывать задачи, требующие параллельных вычислений с межпроцессорным обменом.

Для организации полноценной поддержки параллельных вычислений в грид-инфраструктуре EGEE/РДИГ под управлением ППО gLite, необходимо провести адаптацию ППО с учетом особенностей архитектуры кластерных решений СКИФ-ГРИД и с учетом требований со стороны технологии MPI.

Особое внимание требуется уделить согласованию карт согласования параметров информационной системы EGEE/РДИГ грида и СКИФ-ГРИД.

Все это позволит существенно расширить класс задач, решаемых с помощью грид-технологий.

3.Формулирование возможных направлений решения задачи, поставленной в ТЗ, и их сравнительная оценка.

В настоящее время потребность адаптации ППО для решения класса параллельных задач общепризнанна мировым сообществом разработчиков и пользователей грид-систем. Различные подходы к решению этой проблемы обсуждаются на различных международных и российских конференциях, посвященных технологиям распределенных вычислений и обработки данных. Однако, готовых разработок пока нет. Существуют некоторые частные решения для более узкого класса задач. Например, для ППО gLite (в рамках международного проекта EGEE, http://www.eu-egee.org) разработаны модули, которые позволяют обрабатывать подзадачи, обмен информацией между которыми в процессе решения описывается направленным графом без петель. В настоящее время эти модули проходят предварительное тестирование. Некоторые предварительные разработки проводятся также в рамках проекта Interactive Grid (http://www.interactive-grid.eu).

Включение СКИФ-кластера в EGEE ГРИД может быть осуществлено разными способами, рассмотренными ниже. При этом, вообще говоря, может понадобиться адаптация Glue – схемы (системы публикуемых параметров, используемых в EGEE ГРИД для выбора кластера для выполнения задания) и языка описания заданий JDL.

EGEE грид предоставляет развитую инфраструктуру и программные средства для удаленного запуска заданий и централизованного мониторинга состояния заданий, что позволяет обеспечить эффективный доступ пользователей к вычислительным ресурсам СКИФ.

На основе вышесказанного можно сформулировать возможные варианты решений архитектурных решений подключения СКИФ-кластера.

1. Интегрирование ППО gLite в кластер архитектуру СКИФ.

Интегрированное решение, которое состоит в реализации компьютерного элемента EGEE-ГРИД на компьютере, входящем в кластер. В этом случае вычислительный элемент будет жестко привязан к ПО стоящему на кластере СКИФ. Это потребует выполнения большого объема программирования связанного с адаптацией ППО gLite к программной среде СКИФ. Учитывая, что часть кластеров СКИФ работают под управлением ОС M$ Windows, работа по адаптации будет практически эквивалентна написанию соответствующего ППО заново, что является нецелесообразным.
2. Грид-шлюз к СК СКИФ.

В этом варианте предлагается установить ППО gLite на отдельном сервере (front-end компьютер), который будет выполнять роль грид-шлюза (gateway), через который будет осуществляться взаимодействие с остальной грид- инфраструктурой EGEE/РДИГ.

В предложенном варианте можно рассмотреть два варианта:

- использования серверов кластера СКИФ в качестве рабочих узлов грида;

- установка отдельного сервера в качестве рабочего узла, через который задания будут передаваться на выполнение в СК СКИФ.

Использование серверов кластера СКИФ в качестве рабочих узлов потребует большого объема программирования по адаптации ППО рабочего узла к среде СК КСИФ. Более приемлемым вариантом, по нашему мнению, является вариант с установкой отдельного рабочего узла как front-end компьютер к СК СКИФ (рис. 1). Учитывая небольшую нагрузку на этот узел (так как фактическое вычисление будет производиться на самом кластере), то можно запустить РУ на грид-шлюзе под управлением виртуальной машины Xen, что, в свою очередь, позволит значительно сократить объем программирования при адаптации ППО gLite.




Рис.1. Предлагаемая схема подключения СК СКИФ
к грид инфраструктуре EGEE/РДИГ.

4.Выбор и обоснование принятого направления исследований и способов решения поставленной задачи.

На основании проведенного анализа в качестве способа решения поставленной задачи – обеспечения взаимодействия грид-инфраструктуры EGEE/РДИГ с СК СКИФ – предлагается использовать

- грид-шлюз для обеспечения доступа из грид-инфраструктуры к ресурсам СК СКИФ;

- адаптированный для работы с кластером СКИФ, специально сконфигурированный рабочий узел в качестве front-end машины, обеспечивающей передачу заданий в кластер СКИФ на выполнение.

Данный подход позволить максимальным образом использовать имеющиеся как ППО gLite, так и ПО СК СКИФ. Однако для обеспечения оптимальной загрузки СК СКИФ, потребуется расширение Glue-схемы и, возможно, языка описания заданий JDL.

Главным преимуществом предложенного подхода является возможность обеспечить доступ к СК ресурсам СКИФ не только под управлением ОС Линукс, но и работающих под другими ОС, например M$ Windows.

Дополнительным преимуществом является возможность использования на СК СКИФ системы управления очередями задач OpenPBS, которая является стандартным компонентом и для ППО gLite для этих же целей.

Для реализации широких возможностей разработанной для СКИФ Т-системы с открытой архитектурой (OpenTS), таких как PVM-системы и MPI-кластеры, может понадобиться разработка соответствующего расширения языка управления заданиями ГРИД (JDL) с учетом возможного расширения Glue схемы.

В частности, для возможности автоматического распознавания вычислительных свойств ресурсного центра со СКИФ-кластером, необходимо разработать соответствующую систему публикуемых параметров. Эти параметры должны быть совместимыми с существующими протоколами грид ресурс-брокеров и информационной системы грида.

5.Разработка общей методики проведения исследований.

Для проведения исследований предполагается создать макет вычислительного элемента в составе:

- грид-шлюз

- вычислительный узел

- макет кластера СКИФ из 4-х двухпроцессорных двухядерных процессоров фирмы Интел.

Макета вычислительного элемента должен быть подключен к инфраструктуре EGEE/РДИГ, что позволит отработать работу всей цепочки прохождения заданий, начиная от этапа запуска задания пользователем до получения конечного результата.

Таким образом основой общей методики проведения исследований должно стать использование действующего макета включенного в реально действующую глобальную грид-инфраструктуру.

На начальном этапе исследований предполагается использовать макет кластера СКИФ под управлением ОС Линукс. В дальнейшем будут исследованы случаи использования других ОС, использование которых предполагается на кластерах СКИФ.

По мере отработки технологии включения кластеров СКИФ кластеров в грид инфраструктуру EGEE/РДИГ предполагается переход к натурным испытаниям с использованием реальных кластеров СКИФ.

6.Разработка карты сопряжения параметров информационных систем РДИГ-EGEE и СКИФ-грид.

Одной из главных задач по взаимодействию грид-инфраструктуры EGEE/РДИГ и суперкомпьютеров СКИФ является сопряжение информационной системы грид и системой параметров, используемых пользователями суперкомпьютеров СКИФ для запуска заданий.

В настоящее время поддержка MPI задач в грид инфраструктуре EGEE/РДИГ находится на начальном уровне.

Для информирования о возможности работы сайта с MPI приложениями сайт публикует "MPICH" в качестве значения атрибута Glue-схемы GlueHostApplicationSoftwareRunTimeEnvironment. Пользователь в JDL файле указывает JobType="MPICH"; и задает обязательный в этом случае атрибут NodeNumber, задающий в этом случае необходимое для выполнения задания количество CPU. Таким образом, единственным специфичным для MPI сайтов параметром GLUE схемы является значение "MPICH" в атрибуте GlueHostApplicationSoftwareRunTimeEnvironment.

Вся дальнейшая работа ложится на пользователя. Он должен кроме собственно приложения написать специальный обертывающий скрипт-wrapper, который и адаптируется к конкретным условиям сайта, на который запущено задание (анализирует конфигурацию и параметры системы, вызывает нужные компиляторы и т.д.). При таком подходе, важно только чтобы скрипт-wrapper мог получить достаточно полную информацию о MPI системе, установленной на сайте.

Таким образом, существующий механизм автоматического выбора целевого сайта для MPI приложений довольно примитивен, но оставляет пользователю (точнее разработчику приложений) много возможностей запускать задания самостоятельно. Например, можно задать список подходящих MPI сайтов и разработать специализированные системы для анализа их состояний, то есть, сделать по-существу собственный специализированный ресурс-брокер, как это сейчас и практикуется.

Для использования более тонких механизмов распределения MPI ресурсов в грид могут понадобиться более тонкие параметры, чем количество CPU, но для их разработки необходима более детальная, чем имеющаяся сейчас, информация о структуре СК СКИФ и способов использования ни них MPI. Это будет особенно актуально, когда в грид будет реализовано унифицированное и централизованное распределение MPI ресурсов. На первом этапе, возможно, следует отдать распределение этих ресурсов на усмотрение разработчиков приложений для виртуальных организаций.

Более детальное описание карты сопряжения станет возможно в процессе проведения работ второго этапа, когда окончательно проясниться вопрос о наборе программных сред, используемых на СК СКИФ и с которыми надо будет организовывать взаимодействие пользователей через грид-инфраструктуру.

Заключение.

Преложенный способ построения взаимодействия грид-инфраструктуры EGEE/РДИГ и суперкомпьютеров СКИФ позволит

осуществлять запуск заданий пользователей на СК СКИФ;

обеспечить мониторирование процесса прохождения задания со стороны пользователей;

оптимально использовать ресурсы суперкомпьютеров СКИФ.

8.Литература.

1. 
   Enabling Grids for E-science in Europe,
   

http://eu-egee.org/

2. 
   LCG User Developer Guide, http://grid-deployment.web.cern.ch/grid-deployment/cgi-bin/index.cgi?var=eis/docs
   
3. 
   LCG Middleware Developers Guide, http://grid-deployment.web.cern.ch/grid-deployment/cgi-bin/index.cgi?var=documentation
   
4. 
   The Anatomy of the Grid. Enabling Scalable Virtual Organizations Ian Foster, Carl Kesselman, Steven Tuecke, http://www.globus.org/research/papers/anatomy.pdf
   
5. 
   Overview of the Grid Security Infrastructure, http://www-unix.globus.org/security/overview.html
   
6. 
   Resource Management, http://www-unix.globus.org/developer/resource-management.html
   
7. 
   GSIFTP Tools for the Data Grid http://www.globus.org/datagrid/deliverables/gsiftp-tools.html
   
8. 
   RFIO: Remote File Input/Output, http://doc.in2p3.fr/doc/public/products/rfio/rfio.html
   
9. 
   The GLUE schema, http://www.cnaf.infn.it/~sergio/datatag/glue/
   
10. 
    MDS 2.2 Features in the Globus Toolkit 2.2 Release, http://www.globus.org/mds/
    
11. 
    European DataGrid Project, http://eu-datagrid.web.cern.ch/eu-datagrid/
    
12. 
    WP1 Workload Management Software - Administrator and User Guide. Nov 24th, 2003, http://server11.infn.it/workload-grid/docs/DataGrid-01-TEN-0118-1_2.pdf
    
13. 
    LCG-2 Manual Installation Guide, https://edms.cern.ch/file/434070//LCG2Install.pdf
    
14. 
    Job Description language HowTo. December 17th, 2001, http://server11.infn.it/workload-grid/docs/DataGrid-01-TEN-0102-0_2-Document.pdf
    
15. 
    JDL Attributes - Release 2.x. Oct 28th, 2003, http://server11.infn.it/workload-grid/docs/DataGrid-01-TEN-0142-0_2.pdf
    
16. 
    The EDG-Brokerinfo User Guide - Release 2.x. 6th August 2003, http://server11.infn.it/workload-grid/docs/edg-brokerinfo-user-guide-v2_2.pdf
    
17. 
    Workload Management Software - GUI User Guide. Nov 24th, 2003, http://server11.infn.it/workload-grid/docs/DataGrid-01-TEN-0143-0_0.pdf
    
18. 
    GridICE: a monitoring service for the Grid, http://server11.infn.it/gridice/
    
19. 
    TOP500 Supercomputer Sites — мировой рейтинг пятисот самых мощных компьютеров мира // Информационный ресурс в сети Интернет, http://www.top500.org/
    
20. 
    Операционная система Linux, адаптированная для работы на суперкомпьютерах семейства "СКИФ", http://skif.pereslavl.ru/skif/index.cgi?module=chap&action=getpage&data=documents\..\CD_new\linux-skif\linux_tekst_programmy.html
    
21. 
    Руководство оператора, http://skif.pereslavl.ru/skif/index.cgi?module=chap&action=getpage&data=documents\..\CD_new\linux-skif\linux_ruk_operatora.html
    
22. 
    Руководство программиста, http://skif.pereslavl.ru/skif/index.cgi?module=chap&action=getpage&data=documents\..\CD_new\linux-skif\linux_ruk_programmista.html
    
23. 
    Руководство системного программиста, http://skif.pereslavl.ru/skif/index.cgi?module=chap&action=getpage&data=documents\..\CD_new\linux-skif\linux_ruk_sys_programmista.html
    
24. 
    Система очередей задач для кластерного уровня суперкомпьютеров семейства “скиф”, http://skif.pereslavl.ru/skif/index.cgi?module=chap&action=getpage&data=documents\..\CD_new\pbs\pbs-rtf.zip
    
25. 
    gLite, http://glite.web.cern.ch/glite
    
26. 
    Абрамов С.М., Адамович А.И., Инюхин А.В., Московский А.А., Роганов В.А., Шевчук Е.В., Шевчук Ю.В. Т-система с открытой архитектурой // Труды Международной научной конференции «Суперкомпьютерные системы и их применение. SSA'2004», 26-28 октября 2004 г. Минск, ОИПИ НАН Беларуси, с. 18-22
    
27. 
    Список 50 наиболее мощных компьютеров СНГ // Информационный ресурс в сети Ин­тернет, http://www.supercomputers.ru
    
28. 
    Абламейко С.В., Абрамов С.М., Анищенко В.В., Парамонов Н.Н., Чиж О.П. Суперком­пьютерные конфигурации СКИФ. Мн.: ОИПИ, 2005. — 170 с.
    
29. 
    Абрамов С. М., Анищенко В. В., Парамонов Н. Н., Чиж О. П. Разработка и опыт эксплуатации суперкомпьютеров семейства «СКИФ» // Материалы I международной конференции «Информационные системы и технологии» (IST'2002), Минск, 5–8 ноября 2002 г. Часть 2, стр. 115–117.
    
30. 
    Абрамов С. М., Васенин В. А., Мамчиц Е. Е., Роганов В. А., Слепухин А. Ф. Динамическое распараллеливание программ на базе параллельной редукции графов. Архитектура программного обеспечения новой версии Т-системы // Высокопроизводительные вычисления и их приложения: Труды Всероссийской научной конференции (30 октября–2 ноября 2000 г., г. Черноголовка).—М.: Изд-во МГУ, 2000, стр. 261–264.
    
31. 
    Абрамов С. М., Адамович А. И., Коваленко М. Р. Т-система—среда программирования с поддержкой автоматического динамического распараллеливания программ. Пример реализации алгоритма построения изображений методом трассировки лучей // Программирование, 1999, № 25 (2), стр. 100–107.