1.5Оценка полноты решения задач и достижения целей НИР
Целью выполнения НИР была разработка информационно-коммуникационной модели интегральной системы off-line обработки, хранения и распределенного анализа данных экспериментов, которые будут проводиться на одной из научных мегаустановок – высокопоточном реакторе ПИК, строящемся сейчас в Петербургском институте ядерной физики (ПИЯФ).
При выполнении НИР были получены следующие научно-технические результаты:
а) на первом этапе работы “Выбор направления исследований” – был подготовлен отчёт о НИР, содержащий:
1) обзор и анализ современной научно-технической, нормативной, методической литературы, затрагивающей научно-техническую проблему, исследуемую в рамках НИР (п. 4.1.1.а ТЗ);
2) обоснование выбора направления исследований (п. 4.1.1.б ТЗ);
3) обоснование выбора платформ, аппаратных средств, средств разработки программ, способов представления данных (п. 4.1.1.в ТЗ);
4) аналитический обзор существующих в мировой практике подходов и методов, а также информационно-коммуникационных моделей обработки, хранения и распределенного анализа данных экспериментов, проводящихся на больших научных установках (п. 4.1.1.г ТЗ);
5) общее описание информационно-коммуникационной модели интегральной системы обработки, хранения и распределенного анализа данных экспериментов для нейтронных установок реактора ПИК (п. 4.1.1.д ТЗ), которое включает:
описание планируемых экспериментов на реакторе ПИК, их информационных характеристик, предполагаемых структур данных, получаемых в ходе выполнения экспериментов, а также на этапах их обработки
общую структуру информационно-коммуникационной модели интегральной системы обработки, хранения и распределенного анализа данных, включая перечень ее компонентов с указанием взаимосвязей;
перечень функциональных задач, решаемых в рамках предложенной модели для данных экспериментов на нейтронных установках реактора ПИК;
перечень базовых методов и алгоритмов обработки, хранения и распределенного анализа данных экспериментов, предлагаемых для нейтронных установок реактора ПИК;
описание методов и средств экспериментальной реализации разработанной модели.
б) на втором этапе работы “Теоретические и экспериментальные исследования поставленных перед НИР задач ” – был подготовлен отчёт о НИР, содержащий:
описание программного обеспечения экспериментальной реализации разработанной модели;
описание испытательного стенда для проведения экспериментальных исследований разработанной модели;
описание результатов экспериментальных исследований разработанной модели (п. 4.1.1.е ТЗ);
Кроме того, на втором этапе были разработаны программные средства экспериментальной реализации разработанной информационно-коммуникационной модели интегральной системы обработки, хранения и распределенного анализа данных экспериментов для нейтронных установок реактора ПИК в виде программного комплекса “МОДУС”, состоящего из набора программных компонент, называемых сервисами, взаимодействующих друг с другом посредством информационной сети (п. 4.1.2 ТЗ).
Разработана программная документация на программные средства экспериментальной реализации разработанной модели (п. 4.1.3 ТЗ) и эскизная конструкторская документация на испытательный стенд для проведения экспериментальных исследований разработанной модели (п. 4.1.4 ТЗ).
Для проведения экспериментальных исследований разработанной модели на базе вычислительного и коммуникационного оборудования лаборатории информационно-вычислительных систем ПИЯФ был собран и подготовлен к работе испытательный стенд (п. 4.1.5 ТЗ).
б) на третьем этапе работы “ Обобщение и оценка результатов исследований ” – был подготовлен отчёт о НИР (настоящий документ), содержащий:
технико-экономическую оценку результатов НИР (п. 4.1.1.ж ТЗ);
обобщение и выводы по результатам НИР (п. 4.1.1.и ТЗ);
рекомендации и предложения по использованию результатов НИР (п. 4.1.1.к ТЗ).
При выполнении НИР была создана следующая научно-техническая продукция:
а) проект технического задания на проведение ОКР по теме: «Разработка программно-аппаратного комплекса хранения и обработки экспериментальных данных для нейтронных установок реактора ПИК» (п. 4.2.1 ТЗ);
б) рекомендации и предложения по использованию результатов проведенных НИР при проектировании и разработке программного обеспечения для экспериментов на нейтронных установках реактора ПИК (п. 4.2.2 ТЗ).
Исходя из основных технико-экономических требований, сформулированных в техническом задании (п. 8.1.1 ТЗ), следует констатировать, что разработанная информационно-коммуникационная модель обеспечивает эффективное хранение экспериментальных данных за счёт централизованного хранилища файлов, позволяющего организовать более надёжную и отказоустойчивую систему хранения файлов, созданную с использованием современных технических и программных решений. Использование Грид-технологий позволяет организовать для процессов обработки данных удалённый мультидоступ к распределённым вычислительным ресурсам с использованием данных, сохранённых в системе хранения файлов, а также возможность записи туда данных обработки и анализа экспериментальных данных.
Использование механизма виртуальных организаций, систем аутентификации и авторизации на базе цифровых сертификатов и системы управления доступом на основе ролей обеспечивает гибкий и настраиваемый механизм для совместной работы групп исследователей в рамках научных коллабораций различного масштаба. Поддержка единого пользовательского интерфейса для системы хранения данных и системы запуска заданий предоставляет удобное средство для организации процессов обработки и анализа данных, прежде всего для физиков-экспериментаторов.
Сравнивая разработанную модель с аналогичными системами обработки и хранения данных (п. 8.1.2 ТЗ), поддерживающими веб-интерфейс для доступа к данным, в таких зарубежных научных физических центрах как Окриджская лаборатория (США) – веб-портал Neutron Science Portal [21], Институт Лауэ-Ланжевена (Франция) – система BARNS [22], Лаборатория Резерфорда-Эплтона (Великобритания) – веб-портал TOPCAT [23], следует отметить, что основные функции, которые выполняют системы хранения и обработки данных – обеспечение централизованного хранения и каталогизации экспериментальных данных, возможность поиска по значениям метаданных, чтение файлов из центрального хранилища на локальный компьютер пользователя, запуск заданий по обработке и анализу данных на удалённых вычислительных ресурсах – полностью присутствуют в разработанной модели.
Во всех приведённых системах экспериментальные данные (“сырые” данные) передаются с измерительных станций экспериментальных установок в централизованное хранилище с помощью специальных процедур или в фоновом режиме. Доступ к данным организован на основе аутентификации пользователей с использованием имени/пароля пользователя и, как правило, дополнительной авторизацией, связанной с образованием групп пользователей, определяемых заявкой на эксперимент.
Возможности запуска заданий по обработке и анализу данных существенно различаются в разных центрах. Например, графический пользовательский интерфейс веб-портала Neutron Science Portal реализован c использованием приложений на языке Java и обеспечивает работу с ограниченным набором приложений. Система BARNS разработана достаточно давно и фактически сейчас уже не соответствует современным требованиям, в Институте Лауэ-Ланжевена сейчас переходят на систему, аналогичную веб-порталу TopCAT, который базируется на каталоге метаданных ICAT.
Веб-портал TopCAT, использующийся в ряде научных центров Лаборатории Резерфорда-Эплтона (ISIS, CLF), а также Diamond Light Source (DLS), обеспечивает веб-интерфейс к каталогу метаданных ICAT и позволяет организовать поиск данных по значениям метаданных для дальнейшего получения отдельных файлов и наборов данных на локальный компьютер пользователя. TopCAT не предусматривает возможность загрузки файлов данных в систему хранения данных, эта функция выполняется другими программными средствами. При этом существует различие по правилам загрузки, правам доступа и хранения между “сырыми” экспериментальными данными и данными анализа данных. Эти различия определяются в специальном документе “Data Policy”.
Фактически, большинство крупных физических установок изначально представляют собой фабрики по производству и хранению экспериментальных данных. Реализация функции обработки и анализа данных либо перекладывается на пользователей, либо разрабатываются самостоятельные программные продукты, ориентированные на конкретную установку или тип исследований. Примерами таких систем могут служить система OpenGDA, использующаяся в DLS или LAMP в Институт Лауэ-Ланжевена.
Кроме того, ни одна из вышеперечисленных систем не приспособлена в настоящее время для запуска заданий в Грид, что ограничивает возможности обработки и анализа данных только ресурсами тех центров, где расположено хранилище экспериментальных данных. Несмотря на то, что в экспериментальной реализации модели задания пользователя запускаются только на вычислительном кластере, входящем в состав испытательного стенда, подсистема запуска заданий предполагает возможность выбора другого ресурса, входящего в Грид-сеть, частью которого является вычислительный кластер. Реализация такой возможности зависит от промежуточного программного обеспечения Грид-сети и условий, определяющих состав и доступность других Грид-ресурсов.
Разработанная модель, благодаря своему интегральному характеру, обеспечивает эффективный и удобный для пользователей доступ к “сырым” данным для их распределенной обработки и анализа, а также к данным, полученным после обработки и анализа, обеспечивая связи между этими типами данных на основе базы метаданных.
Оценивая технико-экономический рыночный потенциал полученных результатов (п. 8.1.3 ТЗ), следует отметить, что результаты, полученные при выполнении НИР, могут быть использованы, прежде всего, в различных областях научных исследований, которые связаны с проведением экспериментальных исследований и требуют хранения и обработки результатов экспериментов. При этом возможно использование, как модели в целом, для крупных организаций, имеющих достаточные вычислительные ресурсы и ресурсы хранения данных, так и отдельных компонент, например системы описания и хранения метаданных, для небольших групп исследователей с целью более эффективной организации проведения совместных исследований.
Прямая коммерциализация результатов вряд ли возможна, однако необходимо отметить, что при разработке программного обеспечения использовались только собственные разработки и внешние компоненты, которые являются общедоступными (с открытым исходным кодом) и не являющиеся закрытыми лицензионными программными продуктами.
Наиболее вероятным использованием результатов НИР для создания реальной системы будет разработка программно-аппаратного комплекса хранения и обработки экспериментальных данных для нейтронных установок реактора ПИК. В ходе выполнения НИР был разработан проект технического задания для проведения опытно-конструкторских работ по этой теме (п. 8.1.4 ТЗ).
В процессе выполнения НИР были достигнуты следующие значения программных индикаторов и показателей:
а) (И1.4.1) количество завершенных проектов научно-исследовательских работ по Программе, перешедших в стадию опытно-конструкторских работ с целью разработки конкурентоспособных технологий для последующей коммерциализации – 1 проект;
б) (И1.4.2) число публикаций в ведущих научных журналах, содержащих результаты интеллектуальной деятельности, полученные в рамках выполнения проектов проблемно-ориентированных поисковых исследований – 3 публикации (2011г. – 1 публикация, 2012г. – 2 публикации);
в) (И1.4.3) число патентов (в том числе международных) на результаты интеллектуальной деятельности, полученные в рамках выполнения проектов проблемно-ориентированных поисковых исследований – 1 патент;
г) объем привлеченных внебюджетных средств – 2,25 млн. руб (2011г. – 0,75 млн. руб., 2012г. – 1,5 млн. руб.);
д) число молодых специалистов, привлеченных к выполнению исследований и разработок (2011г. – 7 чел., 2012г. – 7 чел.).
Таким образом, цель выполнения НИР - разработка информационно-коммуникационной модели интегральной системы off-line обработки, хранения и распределенного анализа данных для экспериментов, которые будут проводиться на высокопоточном реактор ПИК, выполнена полностью. Результаты работы соответствуют требованиям технического задания и заданным значениям программных индикаторов и показателей.
|
