1.3Оценка эффективности полученных результатов в сравнении с современным научно-техническим уровнем 1.3.1Методы аутентификации и авторизации
Наиболее часто используемым в физических центрах подходом к обеспечению безопасного доступа к ресурсам является закрепление администратором системы за каждым пользователем учетной записи, состоящей из имени и пароля, и выделение на общих ресурсах определённой квоты, закреплённой за данным пользователем. Этот достаточно простой в реализации подход в тоже время имеет ряд недостатков. Прежде всего, такой подход обуславливает необходимость создания и поддержки большого пула учетных записей, что в условиях крупного научного центра является нетривиальной задачей администрирования. Также, в случае наличия нескольких общих ресурсов, пользователю приходится многократно проходить процедуру аутентификации, входя на эти ресурсы. Особое значение эта проблема приобретает в современных условиях, когда в условиях международных коллабораций пользователям часто нужен доступ к физически распределённым ресурсам, принадлежащим разным научным центрам.
Решить проблемы с большим количеством идентификаторов и паролей для доступа к сервисам можно с помощью однократной регистрации (Single Sign-On, SSO). При использовании однократной регистрации, пользователю достаточно пройти процесс аутентификации один раз, после чего доступ ко всем необходимым сервисам будет осуществляться без запроса пароля.
Один из характерных подходов к решению этой проблемы рассматривается в рамках европейской инициативы European Photon and Neutron Data Infrastructure (PaNdata) и проекта PaNdataODI (PaNdata Open Data Infrastructure) [6]. Рассматривая варианты создания системы EAA (European Authentication and Authorization) в качестве действующих аналогов разработчики рассматривали две основных технологии: OpenID [7] и Shibboleth [8].
OpenID - это способ (протокол), с помощью которого сервис, требующий авторизации пользователя, может убедиться в том, что пользователь является именно тем, за кого себя выдает, получив подтверждение об этом от другого сервиса. Каждый пользователь, пройдя стандартную регистрацию на сервисе, являющемся провайдером идентификации OpenID, получает собственный уникальный OpenID идентификатор. Как правило, этот идентификатор представляет собой URL с доменным именем провайдера идентификации. Пользователь, который хочет получить доступ к другому ресурсу, поддерживающему OpenID, должен ввести свой OpenID идентификатор в специальную форму ввода, после чего запрос будет переадресован провайдеру идентификации для проверки данных пользователя. Проверка может заключаться во вводе пары имя/пароль в форме на странице сайта провайдера информации либо в автоматическом подтверждении, если эта информация закеширована на стороне браузера пользователя.
Подход, использованный в Shibboleth, предоставляет возможность реализовать однократную регистрацию совместно с федеративной идентификацией. Федеративная идентификация позволяет связывать разные учетные записи одного пользователя между собой. Учетные записи могут храниться в различных репозиториях, принадлежащих разным административным доменам, управление ими ведется отдельно. Но связывание учетных записей делает возможным, кроме всего прочего, однократную регистрацию пользователей. Под федерацией понимается комплекс технологий и соответствующая инфраструктура, которые позволяют использовать единое имя пользователя и/или его мандат/сертификат идентификации для доступа в сетях, которые установили между собой доверительные отношения и входят в общую ассоциацию безопасности.
В результате разработчиками PanData было предложено гибридное решение, основанное на Shibboleth и стандарте SAML [9] и получившее название Umbrella[10], основой которого является использование единственного провайдера идентификации, который содержит минимальную информацию, позволяющую уникально идентифицировать пользователя и множества локальных систем аутентификации и авторизации, которые содержат всю остальную информацию.
Основным требованием при этом было не создание новой системы аутентификации для всех организаций – членов федерации, а сохранение существующих локальных систем и предоставление новых возможностей. При этом фактически аутентификация пользователей происходит в центральной части системы, а авторизация, т.е. проверка и предоставление определённому лицу или группе лиц прав на выполнение определённых действий, остаётся на стороне локальных систем.
Система доверительных отношений между членами федерации может устанавливаться с использованием различных технологий, но обычно устанавливается на основе Системы Открытых Ключей (СОК, или PKI - Public Key Infrastructure).
Однако стоит отметить, что эти решения направлены прежде всего на доступ к веб-ресурсам посредством браузера; кроме того организация коллабораций по определённым направлениям научных исследований требует более гибкого механизма для создания федераций и, соответственно, более динамичной политики авторизации пользователей и сервисов.
С развитием Грид-технологий инфраструктура безопасности веб-сервисов и Грид потребовала разработки новой концепции обеспечения безопасности выполнения задач в распределенной вычислительной среде и в среде, ориентированной на услуги (СОУ). Ее отличие от сетевой системы безопасности, которая в основном обеспечивает безопасные каналы передачи данных между общающимися сетевыми узлами или компьютерами, в том, что в Грид безопасность должна быть обеспечена для задачи и данных, которые могут обрабатываться на многих компьютерных узлах и перемещаться от одного компьютера к другому в процессе выполнения. В сетевой безопасности контекст безопасности (идентификация пользователя, его мандаты (credentials)) обеспечиваются между двумя узлами в сети (host-to-host), в Грид безопасности контекст безопасности должен быть привязан к самой задаче или данным и обеспечивать для них такие сервисы безопасности как целостность, конфиденциальность, аутентификация и авторизация. Все эти сервисы и контекст безопасности не должны нарушаться при перемещении данных или задач от одной вычислительной системы к другой.
Основой инфраструктуры безопасности и контроля доступа в Грид также является федеративный доступ к виртуализованным компьютерным ресурсам, однако федерации пользователей и ресурсов в Грид, как правило, ориентированы на отдельные научные проекты, являются более динамичными, чем университетские или региональные федерации, и имеют форму Виртуальных Организаций (ВО). Стандартом де-факто для поддержки ВО является служба VOMS (Virtual Organisations Membership Service) [11].
Аутентификация и авторизация пользователей и сервисов в системе здесь выполняется с использованием цифровых сертификатов стандарта X.509 и технологии GSI (Grid Security Infrastructure), основанных на технологии PKI. Ключевым элементом в построении инфраструктуры системы безопасности является наличие Центра Сертификации (Certificate Authority – CA), который выдаёт (подписывает электронным способом) цифровые сертификаты, тем самым обеспечивая подтверждение идентификации обладателя сертификата.
В разработанной модели для аутентификации и авторизации пользователей и сервисов используется механизм обеспечения безопасности в Грид. В экспериментальной реализации модели в качестве допустимых рассматриваются цифровые сертификаты, выданные Центром Сертификации Российского ГРИД для интенсивных операций с данными – (Russian Data Intensive GRID, RDIG) [12], однако в число доверенных могут быть добавлены и другие Центры Сертификации. В дальнейшем, при разработке программно-аппаратного комплекса хранения и обработки экспериментальных данных для нейтронных установок реактора ПИК, может быть создан свой CA, который будет выдавать сертификаты как для локальных пользователей системы, так и для коллаборантов.
Подобный механизм существует, например в ЦЕРН [13], где каждый зарегистрированный пользователь может в автоматическом режиме получить цифровой сертификат, импортированный прямо в его браузер, и в дальнейшем использовать его вместо стандартной пары имя/пароль для доступа к веб-сервисам и ресурсам.
Цифровые сертификаты и служба VOMS обеспечивают для разработанной модели механизм авторизации пользователей и групп, однако определение прав доступа к ресурсам для этих пользователей и групп задаётся через механизм управления доступом на основе ролей (Role Based Access Control, RBAC [14]). RBAC широко используется для управления пользовательскими привилегиями в пределах единой системы или приложения. Список таких систем включает в себя Microsoft Active Directory, SELinux, FreeBSD, Solaris, СУБД Oracle, PostgreSQL 8.1, SAP R/3, Lotus Notes и многие другие.
1.3.2Системы описания метаданных
Метаданные - это структурированные данные, которые описывают характеристики объектов - носителей информации, способствующие идентификации, обнаружению, управлению этими объектами. Метаданные являются совокупностью параметров, описывающих характеристики конкретных наборов данных, а также связи между ними, и служат для обеспечения идентификации, поиска требуемых данных, а также их обработки и анализа.
Стандарты описания данных зависят от области приложения этих данных, скажем, метаданные для библиографических систем могут отличаться от метаданных информационных медицинских или географических систем. Среди систем и проектов, связанных с нейтронными исследованиями, прежде всего следует выделить проект ICAT [15], целью которого является создание базы метаданных (с поддерживающим программным обеспечением), которая обеспечит интерфейс к экспериментальным данным больших физических установок и будет обеспечивать механизм связи всех аспектов исследования от генерации экспериментальных данных до результатов обработки и публикаций на эту тему.
Основным разработчиком ICAT является ISIS - Лаборатория Резерфорда-Эплтона (Великобритания). [16]. Однако в настоящее время ICAT используется или внедряется в таких физических научных центрах, как Diamond Light Source (Великобритания) [17], The Institut Laue-Langevin (ILL Франция)[18], European Synchrotron Radiation Facility (ESFR Франция) [19]. Более того, для проекта PanData ODI [20], направленного на создание общеевропейской распределённой инфраструктуры по нейтронным и фотонным исследованиям и выполняющегося в рамках программы FP7 Европейского сообщества, ICAT был выбран, как основа для построения каталога метаданных.
Схема описания метаданных, предложенная в ICAT, также была выбрана в качестве основы и для базы метаданных сервиса хранения метаданных разработанной модели. Были добавлены дополнительные объекты, связанные прежде всего с тем, что в реализациях ICAT используются независимые системы хранения файлов, взаимодействующих с ICAT при помощи специального промежуточного программного обеспечения (СППО), которое обеспечивает унифицированный доступ к распределенным ресурсам хранения и обеспечивает доступ к наборам данных по их логическим атрибутам, а не физическим именам. При этом способ и методы доступа к файлам определяются именно на уровне этого СППО и не связаны с метаданными ICAT.
Интегральный характер разработанной модели позволяет ввести дополнительные метаданные, оптимизирующий способы доступа и выбор файлового хранилища, и сохраняющего при этом основную функцию – отделение логических имён файлов и наборов данных от их физического адреса на устройствах хранения.
Также существуют отличия, связанные с различными способами аутентификации и авторизации, определяемые способом формирования групп пользователей на основе механизма виртуальных организаций, и способом формирования списков контроля доступа.
Вместе с тем сервис хранения метаданных (включая разработанное программное обеспечение) сохраняет основные функции ICAT, а именно:
а) возможность поиска файлов данных по значениям метаданных;
б) разделяемый доступ к данным;
в) доступ к данным через Интернет через веб-интерфейс;
г) возможность дополнительного описания своих данных (аннотирование);
д) поддержка концепции “provenance”, т.е. сохранение истории жизни данных;
е) наличие прикладного программного интерфейса для программ пользователя.
1.3.3Системы хранения файлов
Предоставление надёжного файлового хранилища, поддерживающего стандартные протоколы передачи данных, является необходимой частью любой системы хранения данных. Организация научных данных в виде отдельных файлов, а не просто объектов в базе данных, требуется практически всеми программными пакетами для симуляции, обработки и анализа.
В настоящее время существует несколько широко распространённых Грид-ориентированных систем хранения файлов:
а) DPM – Грид-ориентированное файловое хранилище, разрабатываемое в рамках международного проекта LCG. Организованно в виде одного головного и нескольких дисковых узлов. Головной узел принимает подключения клиентов по управляющему протоколу SRM, после чего перенаправляет клиента на один из дисковых узлов, с которым происходит непосредственная передача файлов по одному из поддерживаемых протоколов (gridftp, https или rfio). С точки зрения пользователя файлы в DPM организованы в виртуальную файловую систему, наподобие файловой системы Unix. При запросе на чтение или запись файла клиенту передаётся TURL (Transfer URL), по которому необходимо осуществить требуемую операцию. Каждый файл может физически размещаться только в одном месте на одном дисковом сервере. Авторизация и аутентификация пользователей происходит независимо на головном узле и на каждом из дисковых узлов. Для поддержки дополнительных протоколов передачи данных требуется написание специальных подключаемых модулей с использованием внутреннего ППИ.
б) dCache – Грид-ориентированное файловое хранилище, изначально позиционировавшееся как стандартный кэширующий интерфейс к коммерческим системам хранения данных (в том числе на ленточных накопителях), но может использоваться и независимо от них. Организация узлов похожа на DPM: один управляющий и множество дисковых. Также представляет пользователю виртуальную файловую систему по протоколу NFS, однако поддерживает внутреннюю репликацию и позволяет иметь одновременно несколько физических мест хранения для одного файла. Позволяет осуществлять приём и передачу файлов по протоколам dCap (внутренний протокол) и gridftp. Поддержки других протоколов передачи данных нет.
в) xrootd – изначально не Грид-ориентированное простое файловое хранилище, которое в дальнейшем было адаптировано для работы в Грид добавлением стандартного механизма авторизации и аутентификации. Представляет собой неструктурированное файловое хранилище, однако позволяет объединять несколько файловых серверов в группу. Для передачи данных используется протокол xroot, поддержки других протоколов нет.
На основании вышесказанного можно утверждать, что разработанный сервис хранения файлов полностью соответствует мировому уровню и объединяет в себе сильные стороны всех перечисленных систем:
Простота реализации – сервис хранения файлов компактен и максимально использует для работы стандартные поддерживаемые системные средства. Сервис предоставляет неструктурированное файловое хранилище, при этом поддержка логической структуры файлов ложится на сервис хранения метаданных.
Поддержка нескольких протоколов передачи данных – поддерживаются протоколы gridftp и https. Добавление новых протоколов не требует модификации существующего или написания дополнительного программного кода, достаточно установить соответствующий системный сервис, обеспечивающий передачу данных по требуемому протоколу, и описать его в конфигурации сервиса хранения файлов.
Поддержка внутренней репликации – один файл может дублироваться в нескольких физических местах хранения для обеспечения отказоустойчивости и распределения нагрузки. При этом целостность файлов гарантируется путём подсчёта контрольных сумм.
Централизованная авторизация – авторизация клиентов осуществляется централизованно сервисом хранения метаданных, при этом не требуется поддержание согласованной конфигурации на файловых серверах. Механизм токенов позволяет не производить повторную авторизацию при доступе клиента к одному и тому же файлу.
Возможность интеграции с внешними файловыми хранилищами – схема данных позволяет указывать размещение файлов во внешних хранилищах (в частности, DPM или dCache), что упрощает доступ к данным, расположенным в других научных центрах.
1.3.4Использование кластерных технологий
Подавляющее большинство современных научных исследований невозможно производить без вычислительных установок, производящих обработку данных. В связи с этим все крупные научные центры имеют вычислительные ресурсы, обычно организованные в виде вычислительных кластеров, работающих в пакетном режиме, при котором задания пользователей образуют очередь. Грид-инерфейс позволяет запускать на кластере задания от любых внешних пользователей или сервисов, прошедших процедуры авторизации и аутентификации.
При разработке систем, требующих обработки больших объёмов данных разумно ориентироваться на кластерные и Грид технологии, поскольку именно они обеспечивают наибольшую универсальность, эффективность и масштабируемость решений.
В качестве примера могут быть взяты эксперименты физики высоких энергий на БАК, производящие большой объём данных и полностью обрабатывающие их с использованием международной распределённой системы Грид, объединяющей вычислительные кластеры различных научных центров. Эксперименты нейтронной физики обычно производят меньший объём данных, однако для их обработки также используются кластеры.
Наличие Грид интерфейса к кластеру позволяет не беспокоиться о конкретной реализации пакетной системы управления заданиями. Авторизация и аутентификация пользователей и сервисов при этом происходит с использованием стандартных для Грид цифровых сертификатов стандарта X.509 и системы управления виртуальными организациями.
Вычислительный кластер научного центра может эффективно использоваться в смешанном режиме, обрабатывая заданий пользователей из разных научных коллективов, решающих разные задачи. Вычислительный ресурс может быть эффективно распределён таким образом, чтобы обеспечить одновременную обработку нескольких заданий с разной нагрузкой, например, требующих большого ресурса процессора или дисковой подсистемы.
Программное обеспечение, требуемое для выполнения пользовательских заданий обычно устанавливается на кластере и предоставляется пользователям в подготовленном виде. При этом учёным, подготавливающим и запускающим задания, не требуется обладать специальными знаниями по сборке и установке конкретного прикладного пакета, а так же по архитектуре узлов кластера, обрабатывающих задания.
Универсальность кластерного подхода позволяет использовать один вычислительных ресурс для решения множества задач и существенно сэкономить время и финансовые средства на закупку и развёртывание индивидуальных вычислительных установок для различных научных групп.
1.3.5Графический пользовательский интерфейс
Поддержка графических веб-интерфейсов для простого и удобного доступа пользователей к данным фактически является необходимой частью любых систем, связанных с распределённым взаимодействием компонент при помощи стандартных сетевых протоколов. Веб-интерфейс (точнее веб-приложение) является межплатформенным (т.е. не зависящем от платформы и операционной системы) клиент-серверным приложением, в котором логика выполнения распределена между сервером и клиентом, хранение данных осуществляется, преимущественно, на сервере, а обмен информацией происходит по сети.
Существует множество способов построения веб-приложений. Традиционный подход представлен в виде “тонкого клиента”, где клиентская часть только формирует запросы к серверу и обрабатывает ответы от него, а затем и реализует пользовательский интерфейс. При этом серверная часть получает запрос от клиента, выполняет необходимые действия, после этого полностью формирует веб-страницу и отправляет её клиенту по сети с использованием протокола HTTP. Веб-страница на серверной части может иметь статический характер или формироваться динамически, используя, скажем, информацию из базы данных.
Подход с использованием “толстого клиента” (или Rich Internet application, RIA) состоит в том, что приложение:
а) передаёт веб-клиенту необходимую часть пользовательского интерфейса, оставляя большую часть данных (ресурсы программы, данные и пр.) на сервере;
б) запускается в браузере и не требует дополнительной установки ПО;
в) запускается локально в среде безопасности, называемой «песочница» (sandbox).
В настоящее время тремя наиболее распространенными подобными платформами являются Adobe Flash, Java и Microsoft Silverlight. Функциональность таких приложений сравнима с функциональностью традиционных настольных приложений, но предоставляется либо уникальной спецификой браузера, либо через плагин, либо путём реализации некоторой “виртуальной машины”.
В последние годы, в связи с развитием стандартов и появлением новых браузеров (или новых версий уже существующих), широкое распространение получил подход к разработке веб-приложений, называемый AJAX. Фактически он представляет подход, занимающий промежуточное место между “тонким клиентом” и RIA. AJAX (Asynchronous Javascript and XML — «асинхронный JavaScript и XML») – это подход к построению интерактивных пользовательских интерфейсов веб-приложений, заключающийся в «фоновом» обмене данными браузера с веб-сервером. В результате, при обновлении данных, веб-страница не перезагружается полностью, и веб-приложения становятся более быстрыми и удобными.
AJAX — не самостоятельная технология, а концепция использования нескольких смежных технологий. AJAX базируется на двух основных принципах:
а) использование технологии динамического обращения к серверу «на лету», без перезагрузки всей страницы полностью, например:
с использованием XMLHttpRequest (основной объект);
через динамическое создание дочерних фреймов;
через динамическое создание тега |
