Научно-исследовательский институт ядерной физики имени Д. В. Скобельцына удк 004. 75+004. 722 № госрегистрации
Скачать 0.58 Mb.
|
1 ВВЕДЕНИЕОсновными задачами второго этапа научно-исследовательских работ по государственному контракту от 16 июля 2007 г. № СГ-2/07 являлись: - Разработка рабочих вариантов архитектуры сопряжения РДИГ и СКИФ. - Взаимная адаптация информационных систем СКИФ. - Проведение необходимых расчетов и математического моделирования. - Разработка спецификаций дополнительных компонент системы распределения и загрузки заданий, обеспечивающих учет СКИФ-ресурсов при запуске заданий из РДИГ. - Составление промежуточного отчета. Ниже приведен перечень аннотационных отчетов соисполнителей, принимавших участие в выполнении первого этапа. Тексты полных отчетов за 2 этап по каждой части Технического задания к госконтракту СГ-2/07 от 16.07 2007 г. представлены в соответствующих приложениях. 2 Исследования, выполненные на 2 этапе НИР 2.1 Разработка архитектуры и программных средств для обеспечения взаимодействия грид-инфраструктуры РДИГ/EGEE и создаваемой системы суперкомпьютерных центров СКИФИсполнитель - НИИЯФ МГУ, Москва. См. приложение – отчет за 2 этап по части 2 Технического задания к контракту СГ-2/07 от 16.07.2007 г.З. Содержание этапа 2. Согласно Календарному плану на Этапе 2 были запланировано выполнение следующих работ: - Анализ научно-технической литературы, нормативно-технической документации и других материалов, относящихся к разрабатываемой теме. - Формулирование возможных направлений решения задачи, поставленной в ТЗ, и их сравнительная оценка. - Выбор и обоснование принятого направления исследований и способов решения поставленной задачи. - Разработка общей методики проведения исследований. - Разработка карты сопряжения параметров информационных систем РДИГ-EGEE и СКИФ-грид. На втором этапе контракта был проведен анализ научно-технической литературы, нормативно-технической документации и других материалов , относящихся к теме контракта. Для достижения целей проекта – обеспечение взаимодействия грид инфраструктуры EGEE/РДИГ и суперкомпьютерных центров СКИФ - необходимо детально выяснить принципы построения и организации вычислительного процесса с помощью кластерных решений СКИФ. Концепция грид-технологий появилась как ответ на возросшие потребности в крупных информационно-вычислительных ресурсах, динамически выделяемых для решения громоздких задач, в научной, индустриальной, административной и коммерческой областях деятельности. Создание грид-среды подразумевает объединение вычислительных ресурсов географически разделенных ресурсных центров при помощи специализированного программного обеспечения (промежуточное программное обеспечение, ППО). Это программное обеспечение позволяет распределять задания по таким центрам, возвращать результаты пользователю, контролировать права пользователей на доступ к тем или иным ресурсам, осуществлять мониторинг ресурсов. Существует весьма обширный класс актуальных прикладных задач, которые невозможно полностью разделить на независимые подзадачи. Эффективное решение таких подзадач требует межпроцессорного обмена информацией в ходе решения (существенно параллельные вычисления). Поэтому исключительно важной составной частью создания эффективной грид-среды является включение в нее суперкомпьютеров в качестве вычислительных ресурсов . При этом грид-среда обеспечивает, в частности, возможность удаленного запуска параллельных вычислений на суперкомпьютере, входящем в грид-инфраструктуру, и выравнивание (распределение) нагрузки между суперкомпьютерами в грид-среде. Особенно привлекательным является использование в качестве вычислительных грид-ресурсов суперкомпьютеров семейства СКИФ, поскольку они обладают рядом существенных достоинств по сравнению с другими решениями для высокопроизводительных вычислительных систем с параллельной архитектурой. В частности, к достоинствам семейства СКИФ относятся:
Создание распределенных вычислительных комплексов на базе суперкомпьютеров семейства СКИФ может быть применим и к другим системам с параллельной архитектурой. С функциональной точки зрения работа по созданию и эксплуатации территориально-распределенных вычислительных комплексов подразделяется на разработку компонент ППО и разработку специализированного инструментария для решения прикладных задач. На суперкомпьютерах СКИФ используется свободно распространяемая ОС Линукс. Ядро ОС Linuх специально адаптировано для работы на суперкомпьютерах семейства "СКИФ". Это позволило обеспечить надежную и безопасную работу аппаратных и программных средств суперкомпьютеров семейства "СКИФ". Функциональные характеристики соответствуют актуальным версиям официальных стабильных дистрибутивов ОС Linuх. Система очередей задач (СОЗ) для кластерного уровня суперкомпьютеров семейства "СКИФ" предназначена для обеспечения распределения задач пользователей между базовыми вычислительными модулями (узлами) кластерного уровня для достижения большей производительности, получаемой в силу более равномерной загрузки вычислительных узлов и более равномерного распределения вычислительных ресурсов между пользователями. В качестве СОЗ в суперкомпьютерах СКИФ применена система PBS – хорошо известное решение, основанное на открытых кодах. Использование PBS позволит заметно сократить объем кода, требуемый для стыковки ППО ВЭ и СОЗ, используемого в СК СКИФ. ППО gLite и СК СКИФ Промежуточное программное обеспечение gLite – базовое ППО для построения, на котором строится грид-инфраструктура EGEE/РДИГ. Существующее промежуточное программное обеспечение (ППО), обеспечивающее работу грида в целом (распределение заданий по грид-ресурсам, сбор результатов, мониторинг выполнения и так далее) в настоящее время не позволяет эффективно обрабатывать задачи, требующие параллельных вычислений с межпроцессорным обменом, поскольку разрабатывалось в рамках парадигмы одно задание – один процессор. Это может являться одним из важнейших препятствий для широкого внедрения грид-технологий для решения суперкомпьютерных задач. Работа в рамках данной части проекта должна обеспечить научно-технический задел для преодоления этого недостатка современного ППО, в частности ППО gLite, под управлением которого работает грид-инфраструктура EGEE/РДИГ (http://www.eu-egee.org, http://egee-rdig.ru). Стыковка ППО gLite и СК СКИФ позволит существенно расширить класс задач, решаемых с помощью грид-технологий. В результате анализа было выяснено, что существующее промежуточное программное обеспечение (ППО), обеспечивающее работу грида в целом (распределение заданий по грид-ресурсам, сбор результатов, мониторинг выполнения и так далее) в настоящее время не позволяет эффективно обрабатывать задачи, требующие параллельных вычислений с межпроцессорным обменом, поскольку разрабатывалось в рамках парадигмы одно задание – один процессор. Это может являться одним из важнейших препятствий для широкого внедрения грид-технологий для решения суперкомпьютерных задач. Для преодоления этого недостатка современного ППО, в частности ППО gLite, под управлением которого работает грид-инфраструктура EGEE/РДИГ (http://www.eu-egee.org, http://egee-rdig.ru) необходимо провести адаптацию ППО с учетом особенностей архитектуры кластерных решений СКИФ-ГРИД. Это позволит существенно расширить класс задач, решаемых с помощью грид-технологий. В настоящее время потребность адаптации ППО для решения класса параллельных задач общепризнанна мировым сообществом разработчиков и пользователей грид-систем. Различные подходы к решению этой проблемы обсуждаются на различных международных и российских конференциях, посвященных технологиям распределенных вычислений и обработки данных. Однако, готовых разработок пока нет. Существуют некоторые частные решения для более узкого класса задач. Например, для ППО gLite (в рамках международного проекта EGEE, http://www.eu-egee.org) разработаны модули, которые позволяют обрабатывать подзадачи, обмен информацией между которыми в процессе решения описывается направленным графом без петель. В настоящее время эти модули проходят предварительное тестирование. Некоторые предварительные разработки проводятся также в рамках проекта Interactive Grid (http://www.interactive-grid.eu). Включение СКИФ-кластера в EGEE ГРИД может быть осуществлено разными способами, рассмотренными ниже. При этом, вообще говоря, может понадобиться адаптация Glue – схемы (системы публикуемых параметров, используемых в EGEE ГРИД для выбора кластера для выполнения задания) и языка описания заданий JDL. На основе вышесказанного можно сформулировать возможные варианты архитектурных решений подключения СКИФ-кластера. 1. Интегрирование ППО gLite в кластер архитектуру СКИФ. Интегрированное решение, которое состоит в реализации компьютерного элемента EGEE-ГРИД на компьютере, входящем в кластер. В этом случае вычислительный элемент будет жестко привязан к ПО, установленному на кластере СКИФ. Это потребует выполнения большого объема программирования связанного с адаптацией ППО gLite к программной среде СКИФ. Учитывая, что часть кластеров СКИФ работают под управлением ОС MS Windows, работа по адаптации будет практически эквивалентна написанию соответствующего ППО заново, что является нецелесообразным. 2. Грид-шлюз к СК СКИФ. В этом варианте предлагается установить ППО gLite на отдельном сервере (front-end компьютер), который будет выполнять роль грид-шлюза (gateway), через который будет осуществляться взаимодействие с остальной грид- инфраструктурой EGEE/РДИГ. В предложенном варианте можно рассмотреть два подварианта: - использования серверов кластера СКИФ в качестве рабочих узлов грида; - установка отдельного сервера в качестве рабочего узла, через который задания будут передаваться на выполнение в СК СКИФ. Использование серверов кластера СКИФ в качестве рабочих узлов потребует большого объема программирования по адаптации ППО рабочего узла к среде СК КСИФ. Более приемлемым вариантом, по нашему мнению, является вариант с установкой отдельного рабочего узла как front-end компьютер к СК СКИФ. Учитывая небольшую нагрузку на этот узел (так как фактическое вычисление будет производиться на самом кластере), то можно запустить РУ на грид-шлюзе под управлением виртуальной машины Xen, что, в свою очередь, позволит значительно сократить объем программирования при адаптации ППО gLite. На основании проведенного анализа в качестве способа решения поставленной задачи – обеспечения взаимодействия грид-инфраструктуры EGEE/РДИГ с СК СКИФ – предлагается использовать - грид-шлюз для обеспечения доступа из грид-инфраструктуры к ресурсам СК СКИФ; - адаптированный для работы с кластером СКИФ, специально сконфигурированный рабочий узел в качестве front-end машины, обеспечивающей передачу заданий в кластер СКИФ на выполнение. Данный подход позволить максимальным образом использовать имеющиеся как ППО gLite, так и ПО СК СКИФ. Однако для обеспечения оптимальной загрузки СК СКИФ, потребуется расширение Glue-схемы и, возможно, языка описания заданий JDL. Главным преимуществом предложенного подхода является возможность обеспечить доступ к СК ресурсам СКИФ не только под управлением ОС Линукс, но и работающих под другими ОС, например M$ Windows. Дополнительным преимуществом является возможность использования на СК СКИФ системы управления очередями задач OpenPBS, которая является стандартным компонентом и для ППО gLite для этих же целей. Для реализации широких возможностей разработанной для СКИФ Т-системы с открытой архитектурой (OpenTS), таких как PVM-системы и MPI-кластеры, может понадобиться разработка соответствующего расширения языка управления заданиями ГРИД (JDL) с учетом возможного расширения Glue схемы. В частности, для возможности автоматического распознавания вычислительных свойств ресурсного центра со СКИФ-кластером, необходимо разработать соответствующую систему публикуемых параметров. Эти параметры должны быть совместимыми с существующими протоколами грид ресурс-брокеров и информационной системы грида. В результате выполнения работ по проекту должна быть обеспечена возможность:
Одной из главных задач по взаимодействию грид-инфраструктуры EGEE/РДИГ и суперкомпьютеров СКИФ является сопряжение информационной системы грид и системой параметров, используемых пользователями суперкомпьютеров СКИФ для запуска заданий. В настоящее время поддержка MPI задач в грид инфраструктуре EGEE/РДИГ находится на начальном уровне. Для информирования о возможности работы сайта с MPI приложениями сайт публикует "MPICH" в качестве значения атрибута Glue-схемы GlueHostApplicationSoftwareRunTimeEnvironment. Пользователь в JDL файле указывает JobType="MPICH"; и задает обязательный в этом случае атрибут NodeNumber, задающий в этом случае необходимое для выполнения задания количество CPU. Таким образом, единственным специфичным для MPI сайтов параметром GLUE схемы является значение "MPICH" в атрибуте GlueHostApplicationSoftwareRunTimeEnvironment. Вся дальнейшая работа ложится на пользователя. Он должен кроме собственно приложения написать специальный обертывающий скрипт-wrapper, который и адаптируется к конкретным условиям сайта, на который запущено задание (анализирует конфигурацию и параметры системы, вызывает нужные компиляторы и т.д.). При таком подходе, важно только чтобы скрипт-wrapper мог получить достаточно полную информацию о MPI системе, установленной на сайте. Таким образом, существующий механизм автоматического выбора целевого сайта для MPI приложений довольно примитивен, но оставляет пользователю (точнее разработчику приложений) много возможностей запускать задания самостоятельно. Например, задав список подходящих MPI сайтов и разработав специализированные системы для анализа их состояний, то есть, сделать по-существу собственный специализированный ресурс-брокер. Как это сейчас и практикуется. Для использования более тонких механизмов распределения MPI ресурсов в грид могут понадобиться более тонкие параметры, чем количество CPU, но для их разработки необходима более детальная, чем имеющаяся сейчас, информация о структуре СК СКИФ и способов использования ни них MPI. Это будет особенно актуально, когда в грид будет реализовано унифицированное и централизованное распределение MPI ресурсов. На втором этапе, возможно, следует отдать распределение этих ресурсов на усмотрение разработчиков приложений для виртуальных организаций. |
Похожие:
 | Научно-исследовательский институт ядерной физики имени Д. В. Скобельцына... «Разработка архитектуры и программных средств для обеспечения взаимодействия грид-инфраструктуры рдиг/egee и создаваемой системы... | | Научно-исследовательский институт ядерной физики имени Д. В. Скобельцына удк 004. 75+004. 722 Разработка технологий высокопроизводительных вычислений с использованием неоднородных территориально-распределённых вычислительных... |
| Научно-исследовательский институт ядерной физики имени Д. В. Скобельцына... «Создание программного обеспечения для калибровки измерительной аппаратуры и анализа доступных наблюдению физических процессов в... | | М. В. Ломоносова Научно-исследовательский институт ядерной физики имени Д. В. Скобельцына |
| Фгбу «пияф» удк 001. 89: 004. 31 Федеральное государственное бюджетное учреждение «Петербургский институт ядерной физики им. Б. П. Константинова» | | Реферат Отчет стр., рис., таблиц, список литературы 4 наименования Директор научно-исследовательского института ядерной физики имени Д. В. Скобельцына мгу имени М. В. Ломоносова |
| Реферат Отчет 142 стр., 13 рис., 7 таблиц, список литературы 2 наименования Директор научно-исследовательского института ядерной физики имени Д. В. Скобельцына мгу имени М. В. Ломоносова | | Научно исследовательский институт ядерной физики Г. В. Максимов, кафедра биофизики биологического факультета мгу (разделы 1, 2, 3, заключение) |
| Удк 004. 9 Коржик И. А Методические рекомендации в помощь преподавателю: издание гаоу спо «Уфимский топливно – энергетический колледж». – Уфа, 2012г | | Электронных ресурсов «наука и образование» №3 (46) март 2013 удк 51, 002, 004 № офэрниО: 18981 Интерактивный учебный комплекс по математике / фгбоу впо санкт-Петербургский государственный морской технический университет |
| Удк 004. 942 : 57. 026 Эволюционно стабильная информационная структура... Федеральный закон от 31. 05. 2001 №73-фз «О государственной судебно-экспертной деятельности» (выдержки) |  | "ок 004-93. Общероссийский классификатор видов экономической деятельности,... Ок 004-93. Общероссийский классификатор видов экономической деятельности, продукции и услуг |
| "ок 004-93. Общероссийский классификатор видов экономической деятельности,... Ок 004-93. Общероссийский классификатор видов экономической деятельности, продукции и услуг | | Удк 004. 81 Разработка принципов поддержки экономических интересов... В мешке Старика-Годовика собраны признаки самого прекрасного времени года. Ваша задача: найти причину явления, названного в столбике... |
| Удк 004. 738. 5 Ббк 32. 973. 202 Главный редактор Используя их, учителя могут получить доступ к содержанию специализированных мультимедиа библиотек, энциклопедий, справочников, учебников,... | | Национальный исследовательский университет «высшая школа экономики»... Этап Выбор направления исследований и разработка технического задания на создание аппаратного комплекса |
