Визуальное утрирование особенностей за счет зависимых от данного случая знаний о физической (биологической, информационной и т.п.) и/или математической сущности данных.
Выбор необходимой перспективы наблюдения, в которой необходимо строить графический вывод.
Построение специальных визуальных объектов, не имеющих соответствия среди модельных объектов, но обеспечивающих их анализ и интерпретацию.
Применение множественности видов отображения, показывающие разные аспекты изучаемого явления, создание систем видов отображения, включающих графику, анимацию, табличные и текстовые представления, а также управление выводом за счет непосредственного манипулирования визуальными объектами.
Использование при построении видов отображения естественной и привычной образности.
Применение в системах визуализации различного назначения новых методик визуализации, в частности методик виртуальной реальности.
Схема проектирования и реализации систем визуализации
Прежде всего, схема состоит из ряда позиций, по которым ведется проектирование системы визуализации. Она включает в себя также последовательность вопросов, связанных с этими позициями. Основные позиции проектирования в свою очередь определяют набор ролей участников процесса проектирования и разработки. Опишем сначала участников процесса разработки, понимая при этом, что в реальном проекте одни и те же люди могут играть разные роли.
В проектировании и разработке участвуют следующие специалисты:
Заказчик-пользователь.
Проектировщик визуализации.
Специалист в методах компьютерной графики и человеко-компьютерного взаимодействия.
Системный программист.
Основные позиции схемы проектирования специализированных систем визуализации следующие:
Решаемая проблема (задача).
Пользователь, для которого предполагается построить средства визуализации.
Программа, решающая данную проблему.
Образность визуализации и методы взаимодействия.
Методики генерации и вывода графики.
Системные вопросы.
Рассмотрим (неполный) круг вопросов, возникающих в связи с каждой позицией. Отметим, при этом, что все полученные разделы тесно связаны друг с другом, а вопросы из одного раздела, по сути, вытекают из предыдущих.
Решаемая проблема (задача).
Необходимо уяснить ряд пунктов и получить ответ на вопросы: область исследования, ее физическая и математическая модели, мерность модели и ее объектов, методы и алгоритмы получения численного решения; какова цель моделирования, каков основной набор сущностей моделирования, каковы объекты особого интереса, наличие особых точек, аттракторов, сингулярностей и т.д., можно ли (и нужно ли) изучать эти сущности и объекты особого интереса при помощи косвенных методов и специально построенных искусственных объектов (артефактов), анализа дополнительных характеристик.
Пользователь проектируемой системы визуализации.
Специальность пользователя, используемые методики исследования, каков набор знаний пользователя (общих, специальных и компьютерных), профессиональная культура опыт работы с вычислительными и, в частности, с визуальными системами, каковы стимулы и мотивации пользователя, какие знания пользователя о модели и программе могут быть использованы при создании видов отображения и генерации конкретных графических выводов.
Программа.
Имеет место параллельное, распределенное или последовательное исполнение, существует ли возможность доступа к данным во время выполнения программы или программа оставляет результаты счета во внешней памяти или файловой системе, когда генерируются необходимые для визуализации данные (при возможности доступа к данным во время выполнения программы), есть ли возможность во время выполнения программы “разметить” исходные данные с тем, чтобы облегчить выделение особенностей.
Образность визуализации и методы взаимодействия.
Присущая данной проблематике образность, возможность применения и/или генерации метафоры визуализации, каковы цель визуализации, какие объекты мы будем показывать в каждом конкретном случае, как мы можем отобразить интересующие пользователя объекты, возможность использования стандартных видов отображения и методов взаимодействия с пользователем для отображения важных и интересных особенностей и объектов или необходимость для этого поиска или генерации новых видов отображения, роль динамики для представления изучаемых процессов, возможность использования технологий виртуальной реальности, какие методы человеко-компьютерного взаимодействия следует использовать в выбранных видах отображения.
Методики генерации и вывода графики.
Какие методики генерации изображения (рендеринга) адекватны выбранным видам отображения, с учетом потенциальной анимации, виртуальной реальности и пр.
Системные вопросы.
Системные вопросы возникают в связи с реализацией интерфейса между компонентами проектируемого программного комплекса. Особенно серьезными эти вопросы становятся в случае параллельной или распределенной его реализации.
Задача на визуализацию
В середине 1997 года возникло сотрудничество с отделом динамических систем в области визуализации решений дифференциальных игр. Были созданы несколько систем.
Первой работой являлась система визуализации построения максимальных стабильных мостов в линейных дифференциальных играх для задач с фиксированным моментом окончания и терминальной функцией платы. Каждое множество уровня функции цены является максимальным стабильным мостом. Если функция платы зависит только от двух координат фазового вектора в момент окончания, то стандартным является переход к эквивалентной дифференциальной игре второго порядка. Построение мостов при этом ведется в трехмерном пространстве, определяемом двумерной фазовой переменной и временем. Каждая трубка (максимальный стабильный мост) соответствует определенному значению цены игры. Трубка задается набором параллельных двумерных многоугольных сечений, перпендикулярных оси времени. Сечение определяется упорядоченным списком координат своих вершин. Средства визуализации отдельных мостов или системы мостов должны дать информацию об устройстве функции цены и ее особенностях. Традиционные методы визуализации этих объектов заключались в построении проекций контуров сечений на плоскости, параллельные осям координат. При увеличении числа сечений изображение становится перегруженным. Одновременное же отображение нескольких трубок в этом случае является еще более затруднительным. Необходимо было показать объект в виде поверхности, со всеми ее особенностями. Под особенностями, в основном, понимаются нарушения гладкости, которые могут зарождаться и исчезать на сечениях трубки с течением времени. Далее, чтобы получить представление о функции цены игры в целом, нужно обеспечить одновременное отображение нескольких трубок, построенных для разных значений цены. При этом на изображении должны восприниматься как конкретные мосты, так и вся структура. В результате была разработана система, позволяющая в интерактивном режиме рассматривать трехмерное изображение объектов с разных положений. Мосты представляются в двух видах. Первый - параллельная проекция контуров сечений на произвольную плоскость. Этот вид отображения служит для поиска такого ракурса, который наиболее удовлетворяет пользователя. Когда удачный ракурс найден, используется второй вид отображения - восстановленная с помощью триангуляции по контурам сечений поверхность, которая изображается с закраской Гуро. Поверхность освещается источником света, положение которого устанавливается пользователем. Трубкам присваиваются атрибуты – цвет и прозрачность. Возможна одновременная визуализация нескольких трубок. Допускается переключение режимов прозрачности/непрозрачности и видимости/невидимости. Программы первой версии системы написаны на языке С для UNIX-подобных ОС с оконной системой X Window. В качестве графического языка был использован OpenGL. Графический пользовательский интерфейс был реализован средствами Motif. Важное требование к системам визуализации заключаются в том, что алгоритмы, заложенные в системе, должны сами находить интересные особенности в данных, описывающих математические объекты, чтобы затем на них могло концентрироваться внимание пользователей. При выборе соответствующих алгоритмов для системы визуализации стабильных мостов это требование в целом было учтено. Так, например, изменение индикации точек в диапазоне от 0 до 180 градусов используется для обнаружения нарушения гладкости трубок. Значительную роль в данной системе играют интерактивные средства управления выводом изображения и изменения видов отображения информации. Пользователь имеет возможность изменять положение и ориентацию объекта в трехмерном пространстве, масштаб вывода изображения, положение источника света и секущих плоскостей, изменить ракурс вывода, а также отображать мосты в различных режимах прозрачности. Система имеет следующую логическую структуру:
Чтение входных файлов.
Восстановление поверхности по сечениям для каждого моста.
Инициализация оконной системы и средств пользовательского интерфейса.
Цикл обработки сообщений от оконной системы.
Для восстановления поверхности по набору сечений применен следующий метод.
Алгоритм осуществляет построение треугольников, соединяющих два соседних сечения. На первом этапе производится поиск угловых точек на каждом из многоугольников. Угловой точкой считается вершина, угол при которой меньше заданного значения. Это значение выбирается из эмпирических соображений. Далее из этих точек выбираются два равномощных подмножества, между которыми устанавливается взаимно-однозначное соответствие. Другими словами, соединяются соответствующие угловые точки двух сечений. После этой операции для каждой пары получившихся дуг осуществляется процедура триангуляции. Если все объекты в отображаемой сцене непрозрачны, то для удаления скрытых поверхностей достаточно использования алгоритма z-буфера. При этом порядок вывода примитивов несущественен. Если же в сцене присутствуют полупрозрачные элементы, то возникает дополнительная проблема. Для получения правильного результата необходимо осуществлять вывод, начиная с дальних от наблюдателя элементов и кончая ближними, с использованием процедуры alpha blending, для которой OpenGL позволяет определить стандартные функции. При сортировке треугольников был использован модифицированный алгоритм Ньюэла-Санча. При выводе многоугольника с использованием освещения средства языка OpenGL позволяют использовать два режима - flat и smooth. В последнем случае для каждой вершины в отдельности указывается нормаль к поверхности. Освещенность в вершинах просчитывается на основе закона отражения Ламберта по свойствам отражающей поверхности, положению источников света и направлению нормали. В остальных точках многоугольника освещенность вычисляется путем билинейной интерполяции по ближайшим вершинам.
Для изменения ориентации объекта использовался так называемый алгоритм arcball controller. Этот алгоритм позволяет интуитивно понятно осуществлять произвольные вращения объекта в трехмерном пространстве с помощью координатного указателя (например, мыши). Пользователь оперирует на экране с воображаемой сферой. Нажатием клавиши на ней фиксируется точка. При перемещении указателя эта воображаемая сфера поворачивается таким образом, чтобы новое положение выбранной точки совпало с положением указателя. На панели управления системой размещены диалоговые элементы, обеспечивающие:
Изменение ориентации мостов за счет вращения объекта в трехмерном пространстве.
Изменение положения мостов за счет перемещения объекта в экранной плоскости синхронно с указателем.
Изменение масштаба вывода изображения.
Изменение положения отсекающей плоскости.
Изменение положения источника света.
Выбор ракурса вывода из следующего списка:
Произвольный.
X-Y.
Z-Y.
X-Z.
Отображение мостов в следующих режимах:
Непрозрачный.
Прозрачный.
Невидимый.
Изменение индикации точек нарушения гладкости в диапазоне от 0 до 180 градусов.
Переход к окончательному просчету визуальной модели.
Как уже отмечалось, первый вариант программы написан на языке С для UNIX-подобных ОС с оконной системой X Window на графическом языке OpenGL. На вход системы поступают файлы, полученные при счете на параллельном вычислителе МВС-100. В настоящее время создана новая версия данной системы. При этом система перенесена на платформу ОС Windows 95, а интерфейс реализован средствами Delphi. Соответственно переписаны и все алгоритмы, реализующие описанные выше методики визуализации. В дальнейшем предполагалось расширение возможностей системы по визуализации модельных объектов.
В течение 1998 года в отделе Системного Обеспечения ИММ УрО РАН разрабатывались две специализированные системы визуализации, предназначенные для представления модельных объектов, связанных с решением задач оптимального управления и дифференциальных игр.
Первая система предназначена для задач дифференциальных игр быстродействия, в которых платой является время перевода системы на заданное множество. В этом случае изображается график функции цены. Функция цены зависит от фазового вектора, характеризующего начальное состояние системы, и имеет своим значением время перевода системы на некоторое заданное - терминальное множество, в случае оптимального поведения игроков. В отделе динамических систем ИММ были разработаны алгоритмы попятного построения множеств уровня функции цены для случая двумерного фазового вектора. В этом случае график функции цены представляет собой поверхность в трехмерном пространстве, имеющую достаточно сложное устройство. Поскольку линии уровня считаются не для всякого момента времени, а через некоторые промежутки, то для полноценного изображения графика необходимо реконструировать поверхность между ними. В качестве метода восстановления поверхности был выбран метод триангуляции. Следует отметить, что достаточно часто соседние линии уровня имеют различное строение. Так, например, они могут иметь различное число компонент связности. Наличие такого сорта особенностей требовало разработки специальных алгоритмов триангуляции, учитывающих специфику строения линий уровня. Суть алгоритма триангуляции заключалась в следующем. На линиях уровня выделяются точки, в которых они резко изгибаются. В качестве критерия резкости используется пороговое значение. Этими точками линии логически разбиваются на несколько компонент таким образом, что в пределах одной компоненты нет никаких резких изгибов. Затем находится соответствие между компонентами на соседних линиях. При этом возможно дальнейшее разбиение линий, так как количество компонент на разных линиях может быть различным. Между соответствующими компонентами триангуляция производится достаточно просто, так как они не обладают особенностями и достаточно похожи. Вышеописанный алгоритм позволял также выделить места, где нарушается гладкость функции цены. В системе трехмерное изображение рассматривалось в различных ракурсах. Существует ряд средств для работы и исследования трехмерного изображения. Система выделяет и изображает также места, в которых функция цены разрывная. Возможно изменение свойств материала, из которого “сделана” поверхность. Возможна установка цвета таким образом, что он будет плавно меняться в зависимости от значения функции. Поверхность освещается точечным источником света. Закраска треугольников производится методом Гуро.
Вторая система предназначена для изображения сингулярных поверхностей в линейных дифференциальных играх с фиксированным моментом окончания и функцией платы, зависящей от двух координат фазового вектора в момент окончания. В таких играх множества уровня представляют собой “трубки”, которые строятся в трехмерном пространстве t, y1, y2, где t - время y1, y2 - эквивалентные фазовые координаты. Существует алгоритм построения таких трубок, результатом счета которого является набор сечений трубки плоскостями, перпендикулярными оси t, на заданной сетке моментов времени. Некоторые точки на этих трубках являются наиболее важными для исследования. Это так называемые сингулярные точки. Эти точки бывают разных типов. В пределах одного моста эти точки образуют линии в трехмерном пространстве, которые обладают достаточно сложной структурой. Так, например, они могут расходиться на две линии, или наоборот две линии могут сходиться в одну с течением времени. Если же рассмотреть несколько мостов, то эти линии образуют трехмерную поверхность. Эта поверхность называется сингулярной и имеет достаточно сложную структуру. Были разработаны численные алгоритмы построения сингулярных поверхностей. Эти алгоритмы для каждого сечения каждого моста указывают, какие точки являются сингулярными и какого они типа. Таким образом, для конструирования сингулярной поверхности необходимо: во-первых, построить из сингулярных точек линии в пределах каждого моста. При этом важно учитывать, что таких линий может быть несколько и, что сингулярные точки не всех типов можно соединять. Во-вторых, построить поверхность между линиями на разных мостах. Алгоритм построения поверхности заключается в следующем. Во-первых, в пределах одного моста соединяются близкие сингулярные точки, имеющие одинаковый тип и таким образом, чтобы одна точка соединялась не более чем с двумя другими. Построенные линии являются простыми, т.е. не расходятся на две линии и состоят из точек одного типа. Во-вторых, на соседних мостах ищутся соответствующие линии одного типа и объединяются в сегменты. Между соседними линиями в сегменте производится триангуляция. Сегменты являются трехмерными поверхностями. Последний этап алгоритма – это обход границ сегментов и триангуляция между сегментами. При этом один сегмент может соединяться с несколькими, и соединяемые сегменты могут состоять из сингулярных точек разных типов. В зависимости от типа сингулярности сегменты раскрашиваются в разные цвета. Треугольники между сегментами закрашиваются методом Гуро, что обеспечивает плавный переход цвета. Система позволяла рассматривать трехмерное изображение в различных ракурсах. Поверхность освещается точечным источником света. Возможно изображение поверхности на разных стадиях реконструкции. Разработанные системы имели своей главной целью обеспечить качественное исследование моделируемых объектов.
При каждой новой постановке задачи приходилось заново создавать не только те части системы, в которых реализуется специфика задачи и которые отвечают за восполнение/фильтрацию данных и мэппинг, но и непосредственно за визуализационную часть системы, отвечающую за рендеринг, а также интерактивную оболочку, реализующую ставшими стандартными действиями. Естественным решением этой проблемы является разработка унифицированных средств разработки специализированных систем визуализации.
Опыт работы с пользователем на этапе разработки специализированных систем визуализации показал, что пользователь хочет, может и должен принимать более активное участие в проектировании и реализации различных компонент системы, так как именно он знает, как должны выглядеть отображаемые модельные сущности. С другой стороны неправильно нагружать математика необходимостью разбираться в возможностях очередной графической среды и в тонкостях алгоритмов рендеринга. Пользователь-математик должен получить инструмент, позволяющий описать специфические для данной задачи процедуры восполнения/фильтрации и задать отображение (мэппинг) модельных сущностей на визуальные объекты, составляющие необходимый ему вид отображения.
Специализированные системы научной визуализации должны отвечать требованиям когнитивной (способствующей мышлению) визуализации, так как когнитивная визуализация обеспечивает эффективную интерпретацию результатов вычислений. Когнитивная визуализация должна осуществляться за счет разработки набора видов отображений. При этом полезным инструментом может выступать понятие метафоры. С ее помощью осуществляется перевод (переформулирование) понятий математической модели с языка строгих математических конструкций, где возможности нашей интуиции зачастую ограничены, в визуальный. Язык визуализации можно рассматривать как набор графических образов, предъявляемых наблюдателю.
