Методы и средства организации обработки потоковой информации на распределенных гетерогенных вычислительных комплексах
Скачать 220.63 Kb.
|
На правах рукописи  Телеснин Борис Анатольевич МЕТОДЫ И СРЕДСТВА ОРГАНИЗАЦИИ ОБРАБОТКИ ПОТОКОВОЙ ИНФОРМАЦИИ НА РАСПРЕДЕЛЕННЫХ ГЕТЕРОГЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ КОМПЛЕКСАХСпециальность 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук Ростов-на-Дону 2009 Работа выполнена в Федеральном государственном научном учреждении научно-исследовательском институте «Специализированные вычислительные устройства защиты и автоматика» (ФГНУ НИИ «Спецвузавтоматика»), г. Ростов-на-Дону. Научный руководитель: кандидат физико-математических наук, доцент Репалов Сергей Анатольевич Официальные оппоненты: доктор технических наук, Левин Илья Израилевич доктор технических наук, Омаров Омар Магадович Ведущая организация: Научно-исследовательский вычислительный центр Московского Государственного Университета Защита состоится 25 декабря 2009 г. в 14-20 на заседании диссертационного совета Д 212.208.24 при Южном Федеральном Университете в зале заседаний Ученого совета Научно-исследовательского института многопроцессорных вычислительных систем имени академика А. В. Каляева Южного федерального университета по адресу 347928, г. Таганрог, ул. Чехова, 2, корп. И, комн. 347. С диссертацией можно ознакомиться в зональной научной библиотеке Южного федерального университета по адресу: г. Ростов-на-Дону, ул. Пушкинская, 148 и в сети Интернет по адресу: http://www.sfedu.ru Автореферат разослан «___» ноября 2009 г. У  ченый секретарь диссертационного совета, кандидат технических наук, доцент А. П. Кухаренко ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫАктуальность темы. В связи с всевозрастающей потребностью общества в информационном обмене возрастают и объем, и сложность решаемых вычислительных задач. В частности задача обработки потоковой информации лежит в основе функционирования множества прикладных систем: систем мобильной телефонной связи, биржевых и банковских систем, систем продажи билетов в железнодорожном и авиационном транспорте, систем обмена текстовыми, голосовыми и видео сообщениями в Интернете и многих других. Указанные задачи, как правило, связаны с обработкой больших потоков данных. С одной стороны, в этой области большинство прикладных и персональных компьютерных технологий не могут обеспечить требуемой производительности за счет одной платформы, а с другой – специализированные вычислительные комплексы неэффективны из-за высокой стоимости оборудования и трудностей в эксплуатации. Поэтому для решения подобных задач целесообразно применение универсальных вычислительных комплексов. На сегодняшний день все большее значение приобретают высокопроизводительные и надежные вычислительные системы, предназначенные для обработки потоковой информации, построенные на базе вычислительных систем среднего и персонального класса. Данные системы более просты и дешевы в эксплуатации, чем специализированные вычислительные комплексы и суперкомпьютеры, которые часто стоят много больше, чем экономическая выгода от решения поставленных задач. Кроме того, системы на базе стандартных ЭВМ среднего уровня с достаточно широкими возможностями постепенного наращивания производительности доступны для приобретения и реализации средними и малыми предприятиями и научными организациями. При этом, нередко такие системы построены с использованием ЭВМ различных типов, то есть образуют гетерогенную систему. Таким образом, актуальность темы данного исследования логически подтверждается следующими положениями:
Эффективное использование гетерогенных комплексов требует разработки специальных методов распределения нагрузки, как правило, заметно более сложных, чем методы, применяемые в однородных комплексах. Потоки мультимедийной информации, по сравнению с большинством других видов информации, характеризуются значительной неоднородностью. Как правило, наблюдается большой разброс объёмов заданий и большой разброс времени их обработки (прежде всего это характерно для случаев применения алгоритмов из области искусственного интеллекта). Отсюда возникает потребность в разработке таких моделей вычислительных комплексов, которые бы учитывали основные особенности процесса обработки мультимедийной информации. Различные схемы распределения нагрузки в гетерогенных комплексах при одной и той же аппаратной базе могут различаться по эффективности использования ресурсов в несколько раз, поэтому возникает необходимость в моделировании и исследовании различных вариантов архитектур и соответствующих им схем управления работой комплекса. Объект исследований. Объектом исследования является математическое и программное обеспечение распределённых систем обработки потоковой мультимедийной информации. Целью работы. Повышение эффективности работы распределённых гетерогенных комплексов обработки потоковой мультимедийной информации. Научная задача. Минимизация среднего времени пребывания задания в распределённой системе обработки потоковой информации при неизменных аппаратных ресурсах. Задачи исследования. Для решения поставленной цели в диссертационной работе определены следующие задачи исследования: проанализировать существующие методы и средства распределения задач обработки между вычислительными узлами в системах обработки потоковой информации; разработать обобщенную математическую модель функционирования распределённой гетерогенной вычислительной системы; в рамках предложенной модели разработать и исследовать метод управления, минимизирующий среднее время пребывания задания в системе; разработать метод управления для расширенной модели гетерогенной вычислительной системы с полной информацией о состоянии обработчиков, минимизирующий среднее время пребывания задания в системе; реализовать программные средства управления распределённым гетерогенным комплексом обработки потоковой мультимедийной информации. Методы исследования. Методы исследования основаны на использовании теории программирования распределенных систем, теории вероятности, теории систем массового обслуживания, теории проектирования человеко-машинных интерфейсов. Научная новизна. Предложена новая модель функционирования гетерогенного распределённого комплекса обработки потоковой информации в виде сети массового обслуживания без циркуляции. В рамках полученной модели найдены выражения для вероятностей распределения заданий по обработчикам, минимизирующие среднее время пребывания задания в системе. Разработан программный интерфейс подключаемых модулей обработки мультимедийной информации, основанный на технологии XML, накладывающий минимальные ограничения на формат входных и выходных данных и позволяющий единообразно осуществлять контроль и преобразование передаваемых данных. Практическая ценность и реализация. Практическая ценность исследования заключается в возможности повышения эффективности работы распределённых гетерогенных комплексов обработки потоковой информации за счёт применения предложенной схемы распределения нагрузки на основе сети массового обслуживания. В отличие от традиционных схем распределения нагрузки (типа асинхронного распределения заданий или фиксированной привязки входных каналов к отдельным вычислительным узлам), разработанная схема позволяет гибко регулировать распределение нагрузки в зависимости от мощности входного потока, что позволяет заметно поднять общую эффективность работы комплекса. Результаты диссертационного исследования нашли применение в виде практической реализации вычислительных комплексов, разработанных в рамках научно-исследовательских и опытно-конструкторских работ «Творение-2А», «Проза» (ФГУП «18 ЦНИИ» МО РФ); «Ребус-КУ-Р» (ФГУП НИИ Радио). При этом внедрение на данных комплексах систем распределения заданий на основе разработанной модели позволило добиться уменьшения их среднего времени отклика более чем на 15%. Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на 4-м международном конгрессе «Звук и вибрация» (С.-Петербург, 1996 г.), Международной конференции «Речь и компьютер» (г. Москва, 1996 г.), 8-й региональной научно-практической конференции «Проблемы муниципального управления '99. Применение ГИС технологий», (г. Таганрог, 1999 г.), 10-й сессии Российского акустического общества (г. Москва, 2000 г.), Всероссийской научно-технической конференции с международным участием «Компьютерные технологии в инженерной и управленческой деятельности» (г. Таганрог, 2000 г.), Всероссийской научно-технической конференции с международным участием «Компьютерные технологии в инженерной и управленческой деятельности» (г. Таганрог, 2002 г.), Всероссийской научной конференции «Научный сервис в сети Интернет» (г. Новороссийск, 2004 г.), Международной научно-практической конференции "Методы и алгоритмы прикладной математики в технике, медицине и экономике", (г. Новочеркасск, 2006 г.), Восьмой международной научно-практической конференции «Информационная безопасность-2006» (г. Таганрог, 2006 г.), IV Международной научно-технической конференции «Теория, методы проектирования, программно-техническая платформа корпоративных информационных систем» (г. Новочеркасск, 2006 г.), IX Международной научно-практической конференции «Моделирование. Теория, методы и средства» (г. Новочеркасск, 2009 г.). Публикации. По теме диссертации опубликовано 30 печатных работ. Из них 9 научных статей, 17 тезисов докладов, один патент РФ и 4 свидетельства об официальной регистрации программы для ЭВМ. Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения и списка литературы. Работа содержит 131 страницу основного текста и включает 27 рисунков, 12 таблиц. Список литературы состоит из 68 наименований на 8 страницах. |
Добавить документ в свой блог или на сайт
Похожие:
 | Отчет о научно-исследовательской работе Развитие, исследование и внедрение средств высокопроизводительных вычислений на основе технологий Грид с поддержкой гетерогенных,... | | Научно-исследовательский институт ядерной физики имени Д. В. Скобельцына... «Развитие, исследование и внедрение средств высокопроизводительных вычислений на основе технологий Грид с поддержкой гетерогенных,... |
| Реферат Обработка информации в параллельных и распределенных вычислительных... Цель работы – приобретение практических навыков построения и применения алгоритмов параллельных вычислений | | Методы и средства программирования софт-архитектур для реконфигурируемых вычислительных систем Специальность 05. 13. 11 Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей |
 | Рабочая программа дисциплины «Методы и средства защиты компьютерной информации» «Методы и средства защиты компьютерной информации» по специальности 230101. 65 Вычислительные машины, комплексы, системы и сети | | Рабочая программа дисциплины «Архитектура ЭВМ и вычислительных систем»... «Автоматизированные системы обработки информации и управления» (по отраслям) и 230105 «Программное обеспечение вычислительной техники... |
| Структурный синтез гетерогенных подсистем обработки информации в... Работа выполнена на кафедре «Вычислительная техника» Федерального государственного бюджетного образовательного учреждения высшего... | | «Методы и средства защиты информации» ... |
| «методы и средства защиты компьютерной информации» Защита информации – это комплекс мер, которые направлены на предотвращение утраты информации, ограничение доступа к конфиденциальной... | | Реферат Тема: Методы и средства защиты экономической информации Меры безопасности направлены на предотвращение несанкционированного получения информации, физического уничтожения или модификации... |
| Теоретические исследования поставленных перед нир задач Целью работы является интеграция новых технологий виртуализации вычислительных ресурсов в большие системы распределенных вычислений... | | Экспериментальные исследования поставленных перед нир задач Целью работы является интеграция новых технологий виртуализации вычислительных ресурсов в большие системы распределенных вычислений... |
| Программа по формированию навыков безопасного поведения на дорогах... Понятие информации; общая характеристика процессов сбора, передачи, обработки и накопления информации; технические и программные... | | Методы и алгоритмы обработки изображений в системе телевизионного... Специальности: 05. 13. 11 математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей |
| 1. 1 Технология «клиент-сервер» Принципы построения распределенных систем обработки информации. Основы технологии «клиент-сервер». Процесс-сервер, процесс-клиент.... | | Рабочая программа утверждена на заседании кафедры протокол №10 от... «Статистические методы исследования юридически значимой информации» является освоение закономерностей сбора, обработки, оценки и... |
