О. В. Устименко лит, оияи, Дубна, Россия

ВВЕДЕНИЕ

Важным направлением исследований является адаптация существующих сервисов доступа и управления данными, работающими преимущественно с локальными файловыми системами и отчасти с удаленными наборами данных, к работе с облачным хранилищами сверхбольших объемов данных и со средами распределенных вычислений. За счет высокого параллелизма и множественности точек доступа, в системах облачных вычислений есть возможность повысить производительность, отмеченную при работе с локальными данными.

АНАЛИЗ СУЩЕСТВУЮЩИХ СИСТЕМ РАСПРЕДЕЛЕННОГО ХРАНЕНИЯ BIG DATA

• 
  легкость развертывания системы;
  
• 
  управление масштабированием системы;
  
• 
  простота, гибкость и глубина конфигурирования;
  
• 
  быстрый доступ к массивам данных колоссального объема;
  
• 
  быстрый доступ к географически распределенным ресурсам;
  
• 
  легкость операции по изменению данных;
  
• 
  доступность и глубина «мониторинга»;
  
• 
  надежность сетевой инфраструктуры в гетерогенной среде.
  

1. 
   Разнообразие форматов данных и их увеличение.
   
2. 
   Гетерогенность вычислительных ресурсов в составе облака и использование ранее созданных сред распределенных вычислений.
   
3. 
   Уникальность и разнообразие прикладных сервисов для науки и образования (диверсификация по предметным областям).
   
4. 
   Архитектурная привязка прикладных сервисов к вычислительной инфраструктуре (оптимизация под инфраструктуру разработчика).
   
5. 
   Участие пользователей в создании и развитии новых сервисов и композитных приложений на их основе (самоорганизация состава облака).
   
6. 
   Виртуальное профессиональное сообщество (устойчивая обратная связь).
   
7. 
   Поддержка интерактивных сервисов в «реальном» времени (сервисы доступа к оборудованию, визуализации и пр.).
   
8. 
   Отсутствие достаточно универсального и высокоуровнего языка запроса, учитывающего специфику хранения (например, в облаке) и модели данных (в первую очередь многомерные массивы).
   
9. 
   Отсутствие масштабируемой, распределенной, открытой платформы для облачного хранения научных данных.
   
10. 
    Отсутствие фреймворка, обеспечивающего распределенную параллельную обработку потоков научных данных.
    

РАЗВИТИЕ ТЕХНОЛОГИЙ РАСПРЕДЕЛЕННОГО ХРАНЕНИЯ СВЕРХБОЛЬШИХ ОБЪЕМОВ ДАННЫХ

Данная структура позволила выявить около 40 конфигураций программно-аппаратных комплексов для создания дистрибутивов и внедрения системы локального мониторинга для сбора информации о функционировании каждого центра Tier3.

Рисунок 4 – Вычислительная инфраструктура СLAVIRE

Особенностями хранилища являются:

• Универсальная архитектура, позволяющая держать разнородные данные в единой системе хранения.

• Эффективное индексирование больших объемов данных (десятки и сотни терабайт).

• Возможность базовой обработки данных непосредственно на узлах хранилища (арифметические операции, статистическая обработка, линейная свертка).

• Интегрированные метаданные; описания данных неотделимо от самих данных.

• Возможность автоматического распределения данных (а также распараллеливания обработки) по нескольким узлам.

• Возможность использования в инфраструктуре Грид через сервисы.

• OGSA-DAI.

Особенности VOSpace:

• VOSpace не накладывает ограничений на способы хранения и передачи данных. Может работать с локальной файловой системой и OpenStack Swift.

• Контролирует доступ и управление данными, метаданными и задачами синхронизации.

• Позволяет подключать различные схемы авторизации (openID, oAuth и другие системы).

• RESTfull интерфейс.

Потоковая обработка данных Twitter STORM (рисунок 6) – это распределенная система реального времени для обработки данных. Аналогично тому, как Hadoop, поддерживает ряд примитивов для организации пакетной обработки, Storm поддерживает примитивы для организации обработки данных в реальном времени. Twitter STORM поддерживает простую модель программирования (Clojure, Java, Ruby, Python), обладает высокой отказоустойчивостью и способностью проводить вычисления идут параллельно с использованием многопоточности мноогопроцессности и на нескольких серверах. Запуск рабочих потоков как на кластере, так и в локальном режиме на одной машине.

Однако при работе с системой STORM имеются некоторые неудобства такие, как запуск скрипта производится локально на головной машине кластера либо через скрипты (Leiningen или Maven), при этом каждый раз на удаленную машину надо закачивать библиотеки для выполнения программы. При запуске на кластере, состоящим из нескольких машин, сложен процесс сбора результирующих данных.

ЗАКЛЮЧЕНИЕ

Анализируя тенденции развития современной науки, можно с уверенностью сделать вывод, что дальнейшее успешное развитие научно-исследовательских проектов возможно в случае развития технологий по обработке сверхбольших объёмов данных, возможности их анализа и поиска новых знаний.

Одним из основных методов решения проблемы «больших данных» является использование «облачных вычислений», при помощи которых пользователи получают возможность удаленного доступа к массивам информации и использования распределённых вычислительных ресурсов для их обработки. При этом компьютерные комплексы, предназначенные для хранения и обработки массивов данных, могут располагаться в специализированных центрах обработки и хранения данных. Такие центры предназначены не только для удаленного хранения и резервного копирования большого объема научных данных, но и для удалённого доступа к приложениям, обеспечивающим анализ этих данных.

В качестве альтернативы облачным технологиям для решения задач обработки больших объемов научных данных предлагается использование высокопроизводительных локальных кластеров научно-исследовательских центров и технология GRID. Последняя представляет из себя концепцию, подразумевающую совместное использование научно-исследовательскими организациями своих вычислительных мощностей для интенсивных операций с научными данными. По своей сути, это разновидность распределённых вычислений, в которой вычислительные ресурсы различного типа объединяются вместе единой инфраструктурой для выполнения ресурсоемких заданий. Технология GRID успешно применяется для решения научных задач, требующих значительных вычислительных ресурсов.

Преимуществом распределённых вычислений является то, что в качестве отдельных узлов GRID-системы могут использоваться даже обычные неспециализированные компьютеры.

ЛИТЕРАТУРА

[1] Сайт эксперимента BESIII. – [Электронный ресурс]. URL: http://bes3.ihep.ac.cn/

[2] Сайт проекта DIRAC. – [Электронный ресурс]. URL: http://diracgrid.org/

[3] Барсегян, М.С. Куприянов, В.В. Степаненко, И.И. Холод. Технологии анализа данных. DataMining, VisualMining, TextMining, OLAP / А.А. СПб.: БХВ-Петербург, 2007. 384 с.

[4] Кореньков В.В., Ужинский А.В. Система мониторинга сервиса передачи данных (FTS) проекта EGEE/WLCG. Вычислительные методы и программирование: новые вычислительные технологии, том 10, 2009, с.96-100.