1.6Выводы
В процессе обобщения результатов проведённых исследований модели было показано, что:
а) Важным свойством разработанной модели является ее интегральный характер, т.е. интеграция нескольких ключевых сервисов, общий механизм аутентификации и авторизации, а также возможность доступа ко всем ключевым сервисам системы из одного интерфейса.
б) Разработанная архитектура безопасности обеспечивает взаимную аутентификацию пользователей и сервисов на базе использования цифровых сертификатов формата X.509 и широко используется и является стандартом в Грид и Интернет. Авторизация пользователей и их групп основана на ролевой модели, где с каждым пользователем или группой пользователей ассоциируется роль, определяющая их права доступа к объектам данных и метаданных. Важным моментом здесь является также возможность создания групп пользователей, что является базовым механизмом для удовлетворения требования работы с научными коллаборациями.
в) Кластерный подход к организации обработки экспериментальных данных повышает эффективность обработки за счет возможности использования технологии параллельных вычислений MPI. Использование стандартного Грид-интерфейса для управления кластером дает возможность участия в международных коллаборациях, производящих обработку данных на внешней Грид-инфраструктуре.
г) Разработанная система хранения метаданных обеспечивает описание различных фаз жизненного цикла экспериментальных данных и связанных с ними объектов, а также возможность поиска информации по различным критериям. Основные объекты, на базе которых была построена логическая модель данных, отражают основные базовые сущности предметной области нейтронных исследований. Кроме того, была обеспечена реализация связанных (цепочек) наборов метаданных.
д) Сервис хранения файлов обеспечивает масштабируемость внешнего хранилища данных за счет возможности подключения произвольного числа файловых систем. Особенностью сервиса является механизм авторизации, основанный на уникальных идентификаторах файловых операций (токенах).
е) Особенностью организации доступа пользователя к системе является единый веб-интерфейс, обеспечивающий как возможность интерактивного просмотра и редактирования метаданных, чтения и записи файлов, так и запуск и контроль состояния заданий обработки.
ж) Была продемонстрирована возможность работы с форматом NeXus для сохранения экспериментальных данных в области нейтронных исследований.
и) Сопоставление выводов, сформулированных в результате аналитического обзора современной научно-технической литературы по проблеме создания систем для off-line обработки, хранения и распределённого анализа данных, полученных в результате проведения экспериментов на больших научных установках, с результатами работы показало, что принципы и подходы, используемые при разработке модели, соответствуют современным тенденциям.
к) Проведенная оценка эффективности результатов в сравнении с современным научно-техническим уровнем показала, что ключевые моменты реализации модели, а именно, методы аутентификации и авторизации, система описания метаданных, система хранения файлов, реализация вычислительного кластера с использованием Грид-технологий, и интерактивный веб-интерфейс, соответствуют современному научно-техническому уровню.
л) Анализ выполнения требований ТЗ показал, что все его пункты были выполнены в полном объеме.
2Разработка рекомендаций по использованию результатов проведенных НИР в реальном секторе экономики, а также в дальнейших исследованиях и разработках 2.1Проведение технико-экономической оценки рыночного потенциала полученных результатов 2.1.1Использование открытых решений и протоколов для реализации
В разработанной модели интегральной системы off-line обработки, хранения и распределенного анализа данных экспериментов на нейтронных установках реактора ПИК были использованы открытые протоколы и стандарты, что позволило полностью избежать расходов на лицензирование, а также добиться интероперабельности с другими системами и переносимости модели между программными платформами.
Положительный опыт экспериментальной реализации модели также показывает возможность использования полностью свободных (бесплатных, свободных от лицензионных требований) программных средств для реализации сложного программного комплекса. Всё программное обеспечение, включая непосредственно операционную систему, а также прикладные программные библиотеки, доступно в виде исходных кодов и может быть легко изучено и доработано в случае необходимости.
Использование открытых протоколов различных уровней, таких как TCP/IP, HTTPS, GridFTP, позволяет гарантировать простоту сопряжения, при необходимости проведения такового, разработанной модели с другими существующими или разрабатываемыми программными средствами.
2.1.2Пригодность системы для использования научными коллективами с различными задачами
Разработанная модель интегральной системы off-line обработки, хранения и распределенного анализа данных экспериментов на нейтронных установках реактора ПИК не является узкоспециализированной для применения в заявленной области. Прежде всего, эта модель в том или ином объеме может использоваться научными подразделениями различного масштаба, где необходимо обеспечить централизованное хранение данных, полученных в результате наблюдений или экспериментов. Примером такого подразделения может служить лаборатория биофизики макромолекул в ПИЯФ, которая проводит исследования на электронном микроскопе. В настоящее время каждый исследователь после проведения измерения сохраняет полученные на микроскопе данные (файл размером около 1 Гб) на своем локальном компьютере с использование FTP-клиента и описывает саму процедуру исследования в собственном журнале. Такой сценарий характерен для проведения исследований на многих биофизических приборах, таких как спектрометры, цитофлюориметры и т.п., а также в других небольших научных подразделениях. Использование рассматриваемой модели в таких научных подразделениях имеет следующие основные положительные моменты:
а) Централизованное хранение данных. Поддержка центрального файл-сервера с экономической и административной точек зрения более выгодна, чем расширение объема внешней памяти на локальных компьютерах исследователей для хранения данных большого объёма.
б) Использование базы метаданных как альтернативы локальному журналу исследования. База метаданных, реализованная в модели, основана на описании таких абстрактных объектов, как “Исследование”. “Образец”. “Набор данных”. Эти объекты характерны для научных исследований в очень широкой области. Возможность введения и использования произвольных параметров этих объектов предоставляет исследователям возможность создания собственного набора метаданных, характерных для конкретной предметной области. Возможность поиска информации в базе данных по различным критериям также является несомненным достоинством централизованной базы данных и метаданных. Таким образом, реализованная в модели система хранения метаданных имеет самостоятельное значение и может использоваться как централизованный и разделяемый журнал экспериментов.
в) Возможность удаленного доступа к системе хранения данных и метаданных через интернет в соответствии с принятыми правилами аутентификации и авторизации.
г) Возможность создания групп пользователей, обладающих заданными правами доступа к конкретным данным.
д) Возможность сохранения результатов обработки данных, произведенной на сторонних компьютерах, в системе хранения данных. Такие данные могут быть переданы на сохранение, используя соответствующие функциональные возможности веб-интерфейса, реализованные в рассматриваемой модели. Кроме того, сам процесс обработки данных может быть задокументирован посредством метаданных, определяющих такие абстрактные объекты модели, как “Software”, “Software_run” и “Software_run_meta”.
Что касается передачи данных с экспериментальных компьютеров на центральное файловое хранилище, то для этой цели может быть использован интерфейс командной строки, либо возможность загрузки данных через веб-интерфейс.
Для более крупных научных подразделений, которые могут позволить себе установку и поддержку вычислительного кластера в виде Грид-сегмента, использование рассматриваемой модели, помимо рассмотренных выше функциональных возможностей, позволяет существенно упростить доступ пользователей к вычислительным ресурсам. Это факт обуславливается тем, что разработанный веб-интерфейс обеспечивает удобную интерактивную работу пользователей при запуске и управлении заданиями на вычислительном кластере. Для доступа к централизованной системе хранения данных из программ обработки предоставляются соответствующие библиотеки.
Таким образом, возможный спектр применения разработанной модели интегральной системы off-line обработки, хранения и распределенного анализа данных экспериментов является достаточно широким и не ограничивается предметной областью реактора ПИК.
|
