Литература sawant N, Shah H. Big Data Application Architecture Q&A. New York: Apress. 2013. 172 p

Скачать 15.64 Kb.

Название	Литература sawant N, Shah H. Big Data Application Architecture Q&A. New York: Apress. 2013. 172 p
Дата публикации	24.05.2015
Размер	15.64 Kb.
Тип	Литература

100-bal.ru > Информатика > Литература

Создание системы распределенных вычислений на основе технологий Hadoop

Потапов В.П., Гиниятуллина О.Л., Харлампенков И.Е.
В работе рассматриваются вопросы построения системы распределенных вычислений. В настоящее время Кемеровский филиал Института вычислительных технологий СО РАН (КФ ИВТ СО РАН) принимает участие в проектах, генерирующих потоки данных различных предметных областей (данные экологического мониторинга горнодобывающих предприятий, спутниковые снимки и т.д.). Обработка подобного рода разнородных данных требует применения специальных алгоритмов и подходов к интеграции, что накладывает определенные ограничения на технологию и реализацию вычислений. В докладе предлагается применение концепции BigData [1] для решения задач, так как поступающая информация соответствует определяющим характеристикам для больших данных, известным как «три V»[1]:

объём (volume) – физический размер данных;
скорость (velocity) как поступления, так и обработки для получения результатов;
многообразие (variety) источников, структур и форматов обрабатываемых данных.

Для построения системы предлагается использовать технологию MapReduce[1], которая позволяет выполнять отдельные операции обработки данных параллельно на нескольких узлах сети, а потом суммировать их для получения конечного результата. В качестве реализации выбрана система Apache Hadoop [2] с рядом инфраструктурных проектов.

Взаимодействие с пользователем осуществляется через web-интерфейс, содержащий ряд инструментов: средства поиска данных из всех доступных источников (базы данных, файловые архивы и внешние сервисы), их преобразования и загрузки в кэш на основе NoSQL систем; конструктор заданий обработки на основе комбинации готовых процедур; подсистема запуска и контроля выполнения задач; средства визуализации результатов и их анализа. Расширение возможностей информационной системы по обработке данных предлагается через написание новых модулей на основе Hadoop framework. Также возможно создание пользовательских алгоритмов на языке Python в рамках предлагаемого программным комплексом API.

В настоящее время система распределенных вычислений находится на стадии формирования окончательных требований, проектирования архитектуры, выбора библиотек и механизмов из взаимодействия.
ЛИТЕРАТУРА

Sawant N, Shah H. Big Data Application Architecture Q&A. New York: Apress. 2013. – 172 p.
Apache Hadoop [Электронный ресурс]: http://hadoop.apache.org/

Добавить документ в свой блог или на сайт

Похожие:

	О. В. Устименко лит, оияи, Дубна, Россия В докладе представлен анализ решений хранения Big Data в разных направлениях: грид, облачные вычисления, nosql, olap для оптимизации...		Приказ №172/од «Об утверждении Порядка окончания 2012 /2013 учебного года» На основании приказа департамента образования и науки Тюменской области от 05. 04. 2013г. №172/од «Об утверждении Порядка окончания...
	Architecture™ 0 Муниципальное автономное образовательное учреждение «Средняя общеобразовательная школа №21»		Приказ № с. Ярково На основании приказа департамента образования и науки Тюменской области от 15. 04. 2013 г. №172/од «Об утверждении Порядка окончания...
	Егэ по математике На основании приказа департамента образования и науки Тюменской области от 15. 04. 2013 г. №172/од «Об утверждении Порядка окончания...		Егэ по математике На основании приказа департамента образования и науки Тюменской области от 15. 04. 2013 г. №172/од «Об утверждении Порядка окончания...
	«Аварийная ситуация» На основании приказа департамента образования и науки Тюменской области от 15. 04. 2013 г. №172/од «Об утверждении Порядка окончания...		Вопросы и ответы по егэ На основании приказа департамента образования и науки Тюменской области от 15. 04. 2013 г. №172/од «Об утверждении Порядка окончания...
	Памятка по экзамену в гибдд На основании приказа департамента образования и науки Тюменской области от 15. 04. 2013 г. №172/од «Об утверждении Порядка окончания...		Основные положения егэ На основании приказа департамента образования и науки Тюменской области от 15. 04. 2013 г. №172/од «Об утверждении Порядка окончания...
	Информация участникам егэ На основании приказа департамента образования и науки Тюменской области от 15. 04. 2013 г. №172/од «Об утверждении Порядка окончания...		Толковый словарь терминов егэ На основании приказа департамента образования и науки Тюменской области от 15. 04. 2013 г. №172/од «Об утверждении Порядка окончания...
	Государственная итоговая аттестация (гиа) На основании приказа департамента образования и науки Тюменской области от 15. 04. 2013 г. №172/од «Об утверждении Порядка окончания...		Тюменская область Абатский район Департамента образования и науки Тюменской области от 05. 04. 2013 г. №172/од «Об утверждении порядка окончания 2012/2013 учебного...
	Положение о конкурсе «лучший мастер производственного обучения» На основании приказа департамента образования и науки Тюменской области от 15. 04. 2013 г. №172/од «Об утверждении Порядка окончания...		Регламент технической поддержки гас «Правосудие» на объектах автоматизации На основании приказа департамента образования и науки Тюменской области от 15. 04. 2013 г. №172/од «Об утверждении Порядка окончания...

Школьные материалы