Научно-исследовательский институт ядерной физики имени Д. В. Скобельцына удк 004. 75+004. 722 № госрегистрации

2.8 Создание системы автоматизации разработки программ (DVM-СКИФ) для суперкомпьютеров «СКИФ» нового поколения

• 
  большое количество SMP-узлов (свыше тысячи);
  
• 
  значительное число ядер в SMP-узлах (четыре и выше);
  
• 
  использование суперкомпьютеров в составе метакластеров и ГРИД.
  

• 
  Система должна базироваться на высокоуровневой модели выполнения параллельной программы, удобной и понятной для программиста, привыкшего программировать на последовательных языках. Такая модель (DVM-модель) была разработана в 1994 году.
  
• 
  Языки параллельного программирования должны представлять собой стандартные языки последовательного программирования, расширенные спецификациями параллелизма. Эти языки должны предлагать программисту модель программирования, достаточно близкую к модели выполнения. Знание программистом модели выполнения его программы и ее близость к модели программирования существенно упрощает для него анализ производительности программы и проведение ее модификаций, направленных на достижение приемлемой эффективности.
  
• 
  Спецификации параллелизма должны быть прозрачными для обычных компиляторов (например, оформляться в виде специальных комментариев). Во-первых, это упрощает внедрение новых параллельных языков, поскольку программист знает, что его программа без каких-либо изменений может выполняться в последовательном режиме на любых ЭВМ. Во-вторых, это позволяет использовать следующий метод поэтапной отладки DVM-программ. На втором этапе программа отлаживается на рабочей станции как последовательная программа, используя обычные методы и средства отладки. На втором этапе программа выполняется на той же рабочей станции в специальном режиме проверки DVM-указаний. На третьем этапе программа может быть выполнена в специальном режиме, когда промежуточные результаты параллельного выполнения сравниваются с эталонными результатами (например, результатами последовательного выполнения).
  
• 
  Основная работа по реализации модели выполнения параллельной программы (например, распределение данных и вычислений) должна осуществляться динамически специальной системой - системой поддержки выполнения DVM-программ. Это позволяет обеспечить динамическую настройку DVM-программ при запуске (без перекомпиляции) на конфигурацию параллельного компьютера (количество процессоров, их производительность, латентность и пропускную способность коммуникационных каналов). Тем самым программист получает возможность иметь один вариант программы для выполнения на последовательных ЭВМ и параллельных ЭВМ различной конфигурации. Кроме того, на основании информации о выполнении DVM-программы на однопроцессорной ЭВМ можно посредством моделирования работы системы поддержки предсказать характеристики выполнения этой программы на параллельной ЭВМ с заданными параметрами (производительностью процессоров и коммуникационных каналов).
  

• 
  Компилятор Fortran-DVM;
  
• 
  Библиотека поддержки Lib-DVM;
  
• 
  DVM-отладчик;
  
• 
  Анализатор производительности параллельных программ;
  

• 
  Fortran-DVM компилятор поддерживает параллелизм данных и параллелизм задач. Программы, написанные на языке Fortran-DVM, могут компилироваться и выполняться в стандартной среде Fortran 77 как обычные последовательные программы. Выходом компилятора Fortran-DVM является программа на языке Fortran 77, расширенная вызовами функций Lib-DVM.
  
• 
  Библиотека Lib-DVM - это система поддержки выполнения Fortran-DVM программ. Функции Lib-DVM используют для обмена сообщениями коммуникационную систему MPI.
  
• 
  DVM отладчик используется для отладки DVM-программ (написанных на языке Fortran-DVM). При этом используется следующий подход. На первой стадии программа отлаживается на рабочей станции как последовательная программа, используя обычные методы и средства отладки. На второй стадии программа выполняется на той же рабочей станции в специальном режиме проверки DVM указаний. На третьей стадии программа может быть выполнена на параллельном компьютере в специальном режиме, когда промежуточные результаты выполнения сравниваются с результатами эталонной трассировки (например, результатами последовательного выполнения).
  
• 
  Анализатор производительности параллельных программ определяет производительность выполнения параллельной программы. После завершения выполнения параллельной программы анализатор производительности предоставляет пользователю информацию о производительности в соответствии с его запросами с заданной степенью детализации. Информация о производительности включает времена выполнения, времена ожидания сообщений или синхронизации, число выполненных DVM-указаний.
  

• 
  Распределение данных (разделы 2, 3, 4, 8, 9)
  
• 
  Распределение вычислений (разделы 5, 7)
  
• 
  Спецификация удаленных данных (раздел 6)
  

• 
  Эффективностью выполнения программы на каждом процессоре.
  
• 
  Степенью распараллеливания программы - долей объема параллельных вычислений в общем объеме вычислений;
  
• 
  Равномерностью загрузки процессоров во время выполнения параллельных вычислений;
  
• 
  Временем межпроцессорных обменов;
  
• 
  Степенью совмещения межпроцессорных обменов с вычислениями.
  

• 
  время выполнения;
  
• 
  коэффициент эффективности распараллеливания;
  
• 
  потерянное время.
  

1. 
   Ограничений на размеры таблиц и полей, которые могли бы войти в противоречие с большим количеством узлов, не обнаружено. Поэтому DVM-программа должна работать даже в том случае, когда на каждом ядре располагается MPI-процесс, а OpenMP вообще не используется. Конечно, в этом случае библиотека MPI должна справляться с обслуживанием нескольких тысяч MPI-процессов.
   
2. 
   Для эффективного использования большого количества узлов необходимо изменить алгоритмы реализации некоторых коллективных операций. Например, при реализации редукционной операции суммирования вместо сбора информации в одном процессоре можно собирать ее и суммировать, представив группу процессоров в виде двоичного дерева. Именно так работают библиотеки MPI при выполнении подобных операций, но воспользоваться операциями MPI во многих случаях не удается по двум причинам. Во-первых, в DVM коллективные операции могут быть неблокирующими, а в MPI они всегда блокируют выполнение процессов. Во-вторых, в DVM есть коллективные операции, отсутствующие в MPI (например, MAXLOC и MINLOC).
   
3. 
   Значительное число ядер в SMP-узлах требует для их эффективного использования применения гибридной модели программирования - модели общей памяти (OpenMP) в узлах и модели передачи сообщений (MPI) между узлами. Применение гибридной модели значительно усложняет работу программиста – ему надо знать обе модели и уметь использовать соответствующие инструментальные средства. Поэтому необходимо существенно повысить уровень автоматизации создания параллельных программ для SMP-кластеров. Были исследованы проблемы, возникающие при автоматическом преобразовании последовательных Фортран программ в параллельные программы на языке Fortran DVM, и сделан вывод о необходимости некоторой коррекции языка в части организации ввода-вывода.
   
4. 
   Для функционирования на процессорах с различным представлением данных необходимо, чтобы в DVM-программе все межпроцессорные обмены осуществлялись с точной спецификацией типов посылаемых и принимаемых данных. В настоящее время это не обеспечено. Основной причиной такого недостатка является то, что система была изначально рассчитана на использование не только MPI, но и других коммуникационных библиотек (PVM, GNS, Router), в которых типизации данных не было.
   
5. 
   Эффективное использование процессоров разной производительности требует учета их производительности при распределении вычислительной работы между процессорами. В DVM-системе это выполняется автоматически только при распределении витков циклов между процессорами, а при распределении между процессорами параллельных подзадач требует участия программиста.
   
6. 
   DVM-система не учитывает характеристики коммуникационных каналов, связывающих процессоры. Поэтому для эффективного использования систем с неоднородными коммуникационных каналами (например, метакластеров) требуется вмешательство программиста.