1.2Сопоставление анализа научно-информационных источников и результатов теоретических и экспериментальных исследований
В результате выполнения работ по 1 этапу госконтракта был выполнен аналитический обзор современной научно-технической, нормативной, методической литературы и других информационных ресурсов, затрагивающих проблему создания моделей или систем для off-line обработки, хранения и распределённого анализа данных, полученных в результате проведения экспериментов на больших научных установках. Выводы, которые были сделаны в результате анализа, были использованы для обоснования и выбора методов и средств, направления исследований и способов решения задач, поставленных перед исполнителями НИР. В настоящем разделе эти выводы будут сопоставлены с разработанной моделью интегральной системы off-line обработки, хранения и распределенного анализа данных экспериментов на нейтронных установках реактора ПИК.
а) ЛВС для разрабатываемой системы должна быть построена по технологии Ethernet с использованием стандартов 1000BASE-TX, 1000BASE-SX. Коммутационное оборудование ЛВС должно поддерживать стандарты IEEE 802.3ad, IEEE P802.3ae, IEEE 802.1Q. В качестве операционной системы для серверного оборудования должна использоваться GNU/Linux. В разделе 3 отчета за второй этап НИР приведено описание испытательного стенда для проведения экспериментальных исследований. Структура этого стенда соответствует требуемым характеристикам.
б) Основным типом хранимых данных будут являться файлы, поэтому при выборе окончательного технологического решения может являться NAS система с соответствующими характеристиками, удовлетворяющими требованиям. Одной из компонент программного обеспечения экспериментальной реализации разработанной модели является сервис хранения файлов. Файловый сервер с установленным сервисом хранения файлов должен иметь одну или несколько файловых систем, выделенных для хранения файлов данных. Файловые системы должны быть подключены к точкам монтирования виртуальной файловой системы Unix и описаны в конфигурации сервиса хранения файлов. Для модели способ физической организации виртуальной файловой системы не имеет значения, но фактически экспериментальная реализация разработанной модели моделирует работу NAS системы.
в) Для распределенной обработки данных необходимо использовать кластерный подход. Вычислительный кластер должен быть организован по принципу Beowulf-систем. При построении кластера необходимо использовать технологию межсоединений InfiniBand, а в качестве системы пакетной обработки целесообразно использовать PBS Torque, работающую в среде GNU/Linux. Вычислительный кластер, входящий в состав испытательного стенда состоит из 36 вычислительных узлов и содержит 72 процессорных ядра. Управляющий сервер кластера и вычислительные узлы работают под управлением 64-х разрядной ОС GNU/Linux (Scientific Linux). В качестве внутренней сети кластера используется технология GigabitEthernet c максимальной пропускной способностью 1 Гбит/с, что обуславливается существующим оборудованием. В качестве локальной системы управления кластером (LRMS) используется система PBS Torque v.3.
г) Характерной тенденцией при выборе формата сохраняемых экспериментальных данных является формат данных NeXus. Многие центры либо уже используют этот формат, либо планируют переход на NeXus в ближайшем будущем. Проблему сохранения информации о результатах и параметрах экспериментов в некотором унифицированном виде, который может быть использован различными программами обработки результатов от различных разработчиков и производителей, в настоящее время предлагается решать с использованием формата NeXus. Формат данных NeXus развивается как международный стандарт для содействия расширению сотрудничества в области анализа и визуализации нейтронных, рентгеновских и мюонных данных. Этот формат позволяет в одном файле объединить различные наборы данных (экспериментальные, калибровочные и т.п.), а также метаданные, описывающие условия проведения эксперимента и параметры установки и образца. Следует отметить, что в настоящее время в крупных европейских ядерных центрах ведутся работы по разработке стандартов NeXus для различных типов экспериментальных нейтронных и мюонных установок, однако окончательный стандарт еще не принят. В рамках выполнения работ по этапу №2 данного госконтракта была произведена опытная реализация конвертации данных симулятора установки SANS-2 в формат NeXus с использованием библиотеки на языке Python для работы с форматом NeXus. В один файл были запакованы как собственно данные симуляции, так и метаданные, определяющие параметры установки и условия проведения эксперимента. Этот пример показал, что после принятия стандартов NeXus для соответствующих установок, конвертация данных в файл формата NeXus, а также его распаковка, может быть легко выполнена с использованием соответствующей библиотеки.
д) Проблема описания в виде набора метаданных всей цепочки проведения исследований от получения экспериментальных данных до их анализа и публикации результатов становится все более актуальной. Анализ современных действующих систем каталогизации научных данных в крупных ядерных центрах показал, что в своем большинстве централизованная каталогизация, аннотирование и удаленный доступ обеспечивается только для сырых данных, поступающих с экспериментальных установок. Данные, полученные в результате обработки сырых данных, либо результатов предыдущих этапов анализа, поддерживаются исследователями локально в своих домашних институтах. В условиях, когда все шире научные исследования проводятся достаточно большими коллаборациями ученых, становится необходимым централизованный доступ к данным, полученным на различных этапах анализа. Кроме того, необходимо не только обеспечить аннотирование таких данных (т.е. описание этих данных посредством метаданных), но и обеспечить связь между различными этапами обработки, вплоть до публикации, основанными на этих данных. В настоящее время ряд европейских проектов, находящихся в стадии разработки, направлены на решение этой проблемы. В разработанном программном комплексе эту задачу решает система хранения метаданных (СХМ). Во-первых, данные, полученные в результате обработки сырых данных, либо полученных на предыдущих этапах анализа, сохраняются в едином централизованном хранилище данных, к которому обеспечивается удаленный доступ в соответствии с установленными правилами авторизации. Каждый из сохраненных наборов данных может быть описан соответствующими метаданными. Во-вторых, для того, чтобы обеспечить поддержку связей между этапами обработки данных, в СХМ используются три абстрактных объекта- Software_run, Software_run_meta и Publication_meta. Объект Software_run описывает стадию обработки (имя программы, ее параметры, кто проводил анализ и т.п.), а также ссылается на набор данных, полученный в результате анализа. Объект Software_run_meta ссылается на соответствующий объект Software_run, а также поддерживает ссылки на входные для этапа обработки наборы данных. Объект Publication_meta ссылается на соответствующий объект Publication, а также поддерживает ссылки на наборы данных, на базе которых основана публикация. Таким образом, логическая модель СХМ обеспечивает связи, определяющие всю цепочку этапов происхождения различных наборов данных, вплоть до публикации. Кроме того, команды доступа к СХМ обеспечивают возможность навигации по такой цепочке, начиная с любого из этапов исследования.
е) Все более популярными становятся средства реализации поддержки метаданных в системах управления данными в виде метакаталога ICAT или ему подобного. ICAT является перспективной разработкой и разрабатывается (и уже частично используется) совместно с такими крупными научными центрами, как ILL и Diamond. Целью проекта ICAT является создание базы данных (с поддерживающим программным обеспечением), которая обеспечит интерфейс к экспериментальным данным больших физических установок и будет обеспечивать механизм аннотирования всех аспектов исследования от генерации экспериментальных данных до результатов обработки и публикаций на эту тему. Целью этого проекта является предоставление пользователю следующих возможностей:
Доступ к данным через интернет.
Возможность описания своих данных (аннотирование).
Разделяемый с коллегами доступ к данным.
Доступ к данным из собственных программ (C++, Fortran, Java etc.) через ICAT API
Определение потенциальных коллаборантов.
Кроме того, ICAT вводит концепцию “provenance”, т.е. в этом контексте сохранение истории жизни данных: дата создания данных, владелец данных, какая предварительная обработка производилась (включая программы и их версии), какой анализ проводился и какие наборы данных были получены в результате этого. Эта перспективная особенность ICAT в настоящее время находится в стадии разработки. С точки зрения заявленных в ICAT целей реализация сервиса хранения метаданных разработанной модели отвечает этим требованиям. Доступ, как к данным, так и к метаданным реализован через веб-интерфейс сервиса интерфейса пользователя. Разработанная система хранения метаданных (СХМ) позволяет описать различные объекты с использованием как развитого набора заранее определенных метаданных, так и произвольными параметрами. Используемый механизм авторизации основан на списках управления доступом (Access Control List, ACL), которые связываются с объектами базы данных и которые могут содержать произвольное количество пользователей. Пользовательским программам предоставляется библиотека доступа к системе хранения данных и метаданных, которая реализует основную функциональность этой системы. Используемый механизм аутентификации и авторизации позволяет объединять пользователей в группы с использованием виртуальных организаций, что является основой для поддержки научных коллабораций в рамках систем управления данными. Что касается концепции “provenance”, то в разработанной системе хранения метаданных обеспечивается как достаточно полное аннотирование всех сохраняемых данных (как экспериментальных, так и результатов обработки), так и связанных с этими данными объектами Software_run, определяющих процедуры обработки. Также обеспечивается связь между различными этапами обработки, вплоть до публикации, основанными на этих данных.
ж) Практически обязательным становится обеспечение доступа для поиска и получения данных через веб-порталы. Основным способом интерактивного взаимодействия пользователей по поиску и получению файлов данных является взаимодействие через веб-интерфейс. В качестве веб-сервера, входящего в состав модели используется широко распространенный веб-сервер Apache. В составе сервиса интерфейса пользователя разработан набор скриптов, которые вызываются из Apache и обеспечивают реализацию запросов к сервису хранения метаданных для поиска данных и создания/редактирования метаданных, а также обеспечивают реализацию запросов к менеджеру кластера для запуска и управления заданиями по обработке и анализу данных. Графический интерфейс пользователя реализован, как веб-сайт, обращаться к которому можно из любого современного браузера.
и) Для реализации протоколов взаимодействия между компонентами системы необходимо использовать апробированные стандарты взаимодействия сервисов. Использование апробированных стандартов и средств взаимодействия сервисов является важным моментом при разработке распределенных систем прежде всего с точки зрения надежности и сокращения времени разработки. Для взаимодействия между компонентами разработанной системы был использован протокол HTTPS. Во-первых, этот протокол прошел многолетнюю апробацию в различных распределенных системах и интернет-системах. Во-вторых, этот протокол обеспечивает аутентификацию пользователей с использованием цифровых сертификатов, что было использовано в разработанной системе. Кроме того, существует множество программных библиотек свободного доступа на разных языках, реализующих этот протокол, одна из которых была использована, а именно модуль LWPS, написанный на языке Perl.
к) Используются различные схемы авторизации пользователей при доступе к данным. Авторизация – это сопоставление объекта и набора прав (привилегий) при работе в какой-либо системе. Наиболее часто используемым в физических центрах подходом к обеспечению безопасного доступа к ресурсам является закрепление администратором системы за каждым пользователем учетной записи, состоящей из имени и пароля, и выделение на общих ресурсах соответствующей домашней директории. После этого пользователь может заходить на эти ресурсы, используя SSH или HTTPS протоколы, помещать данные в свою директорию и предавать данные оттуда, используя протокол SCP. Этот достаточно простой в реализации подход в тоже время имеет ряд недостатков. Прежде всего, такой подход обуславливает необходимость создания и поддержки большого пула учетных записей, что в условиях крупного научного центра является нетривиальной задачей администрирования. Также, в случае наличия нескольких общих ресурсов, пользователю приходится многократно проходить процедуру аутентификации, входя на эти ресурсы. Кроме того, объединение пользователей в группы для, например, общего использования некоторого общего пула данных является затруднительным. Более сложным механизм авторизации был реализован в проекте ICAT, основанный на ролевой модели (RBAC, Role-Based Access Control), где с каждым пользователем или группой пользователей ассоциируется роль, определяющая их права доступа к объектам данных и метаданных, т.е. набор действий, которые пользователь или группа пользователей могут совершать над тем или иным объектом. Аналогичный подход к решению проблемы авторизации при доступе пользователей к данным был использован в разработанной модели. С объектами метаданных связаны списки контроля доступа, которые определяли пользователей (или группы пользователей) и ассоциированные с ними роли. Возможные роли - Owner, Writer, Appender и Reader. Кроме того, была определена специальная группа пользователей, имеющая права администратора.
л) Современным подходом для организации и проведения научных исследований в рамках международных коллабораций и в которых предполагается получение и обработка больших объёмов данных или требуется значительная вычислительная мощность является использование Грид-технологий. Грид-технологии, с точки зрения подходов к реализации модели системы off-line обработки, хранения и распределённого анализа данных экспериментов на нейтронных установках реактора ПИК, выглядят достаточно привлекательными в следующих основных моментах:
Виртуальные организации. Требование обеспечения возможности создания коллабораций ученых для совместного использования экспериментальных данных и результатов их обработки обуславливает необходимость средств идентификации таких сообществ и их членов. Адекватным механизмом реализации таких требований и являются виртуальные организации. Возможность создания и идентификации научных коллабораций была реализована с использованием концепции виртуальных организаций. Для этой цели был использован грид-сервис управления виртуальными организациями VOMS, обеспечивающий процедуру регистрации пользователей и организации их в группы. VOMS был разработан и широко используется в рамках нескольких европейских Грид-проектов. Это программное обеспечение доступно для операционных систем Linux из стандартных источников. VOMS позволяет пользователям, имеющим цифровые сертификаты X.509, самостоятельно подавать заявки на регистрацию в виртуальных организациях. Административный интерфейс VOMS позволяет подтверждать или отклонять запросы на регистрацию, редактировать персональные данные зарегистрированных пользователей, а также объединять пользователей в именованные группы, например, для разделения по типу научных исследований или для выдачи различных привилегий. В экспериментальной реализации разработанной модели VOMS используется в качестве источника списка основных пользователей и групп при авторизации доступа к файлам данных и объектам метаданных. Для доступа к сервису VOMS была написана программа vomsimport, осуществляющая импорт полного списка пользователей и групп VOMS в базу данных сервиса хранения метаданных.
Аутентификация. Этот момент является необходимым для любой коллективной системы и инструментальные средства Грид могут являться основой для реализации этих требований. В качестве основного средства для установления подлинности (аутентификации) пользователей и сервисов были использованы цифровые сертификаты формата X.509, являющиеся стандартом в Интернет и Грид. Поддержка данных сертификатов присутствует во всех современных браузерах на всех доступных платформах и операционных системах. В ОС Linux поддержка сертификатов формата X.509 осуществляется широко распространённой библиотекой OpenSSL.
Наличие готовых и хорошо апробированных Грид-компонент, реализующих функции компьютерного элемента (CE). Компьютерный элемент - это сервис запуска заданий, который обеспечивает виртуализацию вычислительных ресурсов (в данном случае кластера). Он получает информацию о поддерживаемом ресурсе и предоставляет унифицированный интерфейс для запуска и управления заданиями на ресурсе. В качестве такого сервиса в разработанной модели используется широко используемый в Грид сервис CREAM. CREAM принимает запросы на запуск заданий на кластере, а также другие команды управления заданиями, такие, как мониторирование и завершение заданий. Запускаемое задание должно быть описано на специальном языке JDL, который определяет такие объекты, как имя программы и ее аргументы, входные и выходные файлы, переменные окружения. Для аутентификации пользователей в CREAM используются цифровые сертификаты X.509 и механизм виртуальных организаций. Для доступа к CREAM был разработан прикладной программный интерфейс (ППИ), доступный по протоколу https при обращении к CGI-скрипту gia.cgi на сервере пользовательского интерфейса. ППИ является модулем, написанным на языке Perl, который использует CGI-скрипт gia.cgi и предназначен для выполнения абстрактных команд, получаемых от графического интерфейса, путём трансляции их в одну или несколько команд интерфейса командной строки CREAM. Набор абстрактных команд универсален для любого используемого компьютерного элемента (СЕ) Грид и позволяет изменять версию или тип СЕ незаметно для пользователя системы. Для поддержки нового типа СЕ Грид не требуется изменений графического интерфейса пользователя, достаточно написать соответствующий модуль ППИ.
Реализация даже одного выделенного кластера в виде Грид-сегмента, позволит в будущем легко включить этот сегмент в более обширную инфраструктуру, увеличивая пропускную способность, а также расширяя номенклатуру установленного и доступного для пользователей программного обеспечения. Как было описано выше, вычислительный сегмент реализован на базе сервиса CREAM, который, является одним из стандартных сервисов СЕ Грид, что и обеспечивает возможность включения этого сегмента в более обширную Грид-инфраструктуру. Кроме того, возможность доступа к данным, хранящимся в системе хранения данных, позволяет программам, выполняющимся на внешних вычислительных Грид-сегментах, получать и обрабатывать эти данные (при наличии соответствующих сертификатов) по протоколу GridFTP.
|
