Метод генерации виртуальной сетки опорных точек на цветных изображениях
Скачать 91.7 Kb.
|
| УДК 004.9 архипов о. п., МАНЬЯКОВ ю. а., сиротинин д. о. arkhipov o. p., maniakov y. a., sirotinin d. o. метод генерации виртуальной сетки опорных точек на цветных изображениях method of virtual markers grid generation on color images В статье описывается метод, позволяющий генерировать множество опорных точек, на стереопарах изображений натурного объекта. Данный метод основан на структурировании изображения на фрагменты и выделении на них опорных точек на основе анализа цветовых характеристик сегментов изображения. Результаты генерации сетки опорных точек используются для вычисления их координат в трехмерном пространстве и построения 3D модели натурного объекта. Ключевые слова: стереосъемка, 3D модель, изображения, цветовые характеристики, опорные точки. The article describes the method which allows generating the set of markers on stereoimages of full-scale object. This method based on image structurization by fragments and выделении markers on them by analysis of image segments’ color characteristics. The result of markers grid generation are used for computation markers coordinates in 3D space and building a 3D model of full-scale object. Keywords: stereomovie, 3D model, images, color characteristics, markers. Введение На сегодняшний день создание 3D анимации и стереоскопического видеоконтента являются одними из приоритетных направлений развития современных технологий. Однако проблема качественного, а главное, быстрого создания 3D анимации по-прежнему является актуальной. Существует технология, на основе которой возможна реализация автоматического создания как непосредственно 3D модели, так и ее анимации, основанная на принципах фотограмметрии и стереоскопии. Она позволяет получать информацию о трехмерных координатах объектов по плоским изображениям. Одним из препятствий на пути ее реализации является проблема получения информации об идентичных точках на различных изображениях модели: фотоснимках или кадрах видеосъемки, произведенных с разных ракурсов. Существующие методы, позволяющие идентифицировать эти точки на объекте, либо генерировать сетку искусственных маркеров с целью дальнейшего вычисления их координат в трехмерном пространстве, делятся на две группы: контактные и бесконтактные. Первые подразумевают физическое нанесение маркеров на объект [1]. Такими маркерами могут быть светоотражающие пластины, светодиоды, либо шары контрастного цвета. К бесконтактным [2] относятся: структурированное освещение различными средствами [3] (в т.ч. лазером и инфракрасным излучением), проецирование сетки непосредственно на объект. Однако все эти методы требуют дополнительных, подчас дорогостоящих, технических средств и ручной постобработки, что делает невозможным автоматическую обработку информации в реальном времени. В связи с этим наибольший интерес представляют безмаркерные технологии [4], основанные на различных методах распознавания образов. В статье рассматривается метод, подразумевающий создание виртуальной сетки меток на основе анализа цветовых характеристик объекта на изображениях. Целью рассмотренного в статье исследования является создание метода генерации виртуальной сетки меток на цветных изображениях, который позволит однозначно идентифицировать точки на различных изображениях поверхности натурных объектов и вычислять их положение в трехмерном пространстве для дальнейшего автоматического создания анимации. Структурная модель Основные этапы рассматриваемого метода можно представить в виде структурной модели: 1. Выделение границ объекта на изображениях. 2. Фрагментация изображения объекта. 3. Построение локальных систем координат. 4. Генерация опорных точек (ОТ). Выделение границ объекта на изображениях Первый этап подразумевает дифференциацию объекта и фона на стереопарах путем формирования растрового бинарного изображения – маски.  , где fij=[1,0] – переменная равна единице, в случае если данный пиксель изображения принадлежит объекту; m, n – соответственно ширина и высота изображения в пикселях. Это необходимо для того, чтобы сократить области рассмотрения на каждой из фотографий. Выделение границ объекта на изображениях основывается на алгоритмах определения контуров. Механизм создания маски подробно рассмотрен в [5]. Следует отметить, что для повышения качества и точности выделения границ объекта рекомендуется снимать объект на контрастном объекту фоне. Фрагментация изображения объекта На следующем этапе осуществляется фрагментация объекта на области, ограничивающие его движущиеся части. Подобное структурирование необходимо для классификации найденных в дальнейшем ОТ на основании принадлежности их к различным движущимся элементам объекта. Декомпозиция изображения на фрагменты осуществляется с использованием прямоугольников (ограничивающих областей), связанных с элементами шарнирной модели и ограничивающих каждый из движущихся элементов объекта [5]:  , где p1, p2, p3, p4 – вершины, ограничивающего область четырехугольника;  – индекс ограничивающей области.Принципы данной фрагментации подробно описаны в [5]. Построение локальных систем координат Локальные системы координат (ЛСК) строятся в каждом из полученных на предыдущем этапе фрагментов. В начале этого этапа осуществляется построение аналога циркулярного графа [6], который можно представить в виде совокупности окружностей, вписанных в полученные на предыдущем этапе фрагменты, содержащие в себе информацию об индексе фрагмента, к которому они принадлежат. Через центры окружностей строятся пересекающиеся прямые:  ,где k1,k2 – угловые коэффициенты уравнения первой и второй прямой соответственно; b1, b2 – свободные члены уравнений первой и второй прямой соответственно. Из данного уравнения можно вычислить значение x, а затем и y точки пересечения прямых, являющейся началом координат локальных систем координат (рисунок 1).  Рисунок 1 – Построение локальных систем координат Оси OY ЛСК совпадают с этими прямыми, а OX – перпендикулярны ОY. Кроме того, полученные в результате построения циркулярного графа подфрагменты, представляются совокупностью цветонеразличимых сегментов и позволяют отслеживать изменения формы и положения натурного объекта. Генерация опорных точек В рамках метода процесс генерации ОТ производится для каждой вписанной окружности циркулярного графа. Процесс генерации ОТ состоит из следующих этапов: 1. Аппроксимация цветового пространства изображений (создание цветовой индексной палитры (ЦИП). В виду неоднозначного определения цветовых характеристик идентичных точек на отображениях натурного объекта при смене ракурса съемки возникает необходимость аппроксимации изображения путем приведения общего числа цветов к минимальному набору. Для решения данной задачи необходимо из полного набора цветов выбрать предварительную палитру (например, 4096 цветов); целесообразным может быть выбор компонентов палитры по следующей формуле:  , ,где I' – совокупность цветовых данных ЦИП; f(I) – функция выбора основных цветов из совокупности I; n – количество элементов предварительной палитры. Адаптация палитры изображения для получения рабочей палитры проводится путем выбора подмножества точек из предварительной палитры на основании близости цветовых координат к значениям точек изображения. На данном этапе формируется массив точек, определяющий изображение, пиксели которого окрашены в цвета адаптированной палитры. Координаты пикселя на изображении соответствуют индексу ячейки в массиве. Размерность этого массива равна размеру изображения. Формирование рабочей палитры путем сопоставления цветовых данных элементов предварительной палитры и пикселей изображения рассчитывается по формуле:  ,где P – рабочая палитра, I' – предварительная палитра, I – совокупность цветов изображения, K – пороговое значение, представляющее собой коэффициент цветоразличия. При расчете расстояния между цветовыми характеристиками учитывается пороговое значение, которое не может быть превышено. Если в результате были просмотрены все цвета предварительной палитры и не был найден наиболее близкий цвет, то данный цвет предварительной палитры не включается в рабочую. Для получения меньшего количества цветов рабочей палитры необходимо увеличить шаг предварительной палитры. Таким образом, из всей совокупности цветов рабочей палитры будут выбраны только те, которые присутствуют на рассматриваемом изображении. 2. Сегментация подфрагментов изображения на цветовые области. В рамках этого подэтапа осуществляется кластеризация пикселей изображения внутри выделенных подфрагментов по признаку цветоподобия на основании ЦИП полученной на предыдущем этапе, то есть производится разбиение конечного множества пикселей I на S непустых связанных совокупностей:  , где S – совокупность точек сегментированной области изображения; x, y – пространственные координаты пикселя изображения. После этого наибольшие по площади сегменты индексируются по принадлежности к подфрагментам, полученным в процессе построения ЛСК. 3. Структурирование сегментированных зон и генерация ОТ. На двух изображения стереопары для каждой сегментированной зоны необходимо создать внешний и внутренний прямоугольники (рисунок 2), определить координаты их границ и координаты центральной точки, характеризующих сегментированные зоны O (для левого изображения) и аналогично O' (для правого):  , ,где P0 – центральная точка; P1, P2 – крайние точки внешнего прямоугольника; P3, P4 – крайние точки внутреннего прямоугольника.  Рисунок 2 – Сегментация области одного цвета Использование внешнего прямоугольника позволяет осуществлять проверку на взаимное пересечение границ идентичных зон на изображениях с целью выделения общей значимой части. Внутренний прямоугольник представляет собой часть сегментированной зоны, однозначно определяемой на изображениях и позволяющей оценить возможные изменения геометрической формы. Центральная точка служит для определения пространственного положения сегментированной зоны и расширения её границ. Далее необходимо проверить взаимное расположение аналогичных точек на левом и правом изображениях. При этом возможны варианты: а) на паре изображений центральные точки идентичных сегментированных зон имеют равные значения координат, что свидетельствует о неизменности зоны: O = O' если P0=P'0.  Рисунок 3 – Изменение положения границ контура сегментированной зоны б) неравенство координат центральных точек свидетельствует об изменениях какой-либо из зон и требуется рассчитать координаты новых прямоугольников ограничивающих идентичные зоны внутри внешних прямоугольников. В виду возможности пространственного взаимного изменения положения локальной системы координат относительно зоны, для расчета прямоугольников необходимо задать взвешенную току. В качестве такой точки используется точка, расположенная на середине отрезка между двумя центральными точками контуров:   где Pcp – взвешенная точка.  Рисунок 4 – Выбор взвешенной точки Для расчета координат новых прямоугольников необходимо выбрать наименьшие значения координат точек по оси абсцисс и оси ординат:  .Повторяя подобную процедуру, получим сетку ОТ, индексированных на основе принадлежности каждому подфрагменту, которые, в свою очередь, объединяются в фрагменты объекта на изображениях и позволяют описывать объект и его изменения. Заключение В работе была представлена структурная модель метода генерации виртуальной сетки опорных точек на цветных изображениях. Данный метод позволяет генерировать множество однозначно идентифицируемых меток на изображениях объекта, полученных с разных ракурсов. Впоследствии возможно вычислить координаты полученных таким образом меток в пространстве. Что в свою очередь позволит автоматизировано создать трехмерную модель данного натурного объекта. СПИСОК ЛИТЕРАТУРЫ 1. Motion Capture Systems from Vicon [Электронный ресурс]. – Электрон. дан. – Режим доступа – http://www.vicon.com. 2. iPi Soft - Motion Capture For The Masses [Электронный ресурс]. – Электрон. дан. – Режим доступа – http://www.ipisoft.com. 3. Carmody, Tim How Motion Detection Works in Xbox Kinect [Электронный ресурс] / Tim Carmody // Электрон. дан. – Режим доступа – http://www.wired.com/gadgetlab/2010/11/tonights-release-xbox-kinect-how-does-it-work/all/1. 4. Motion Tracking, 3D Scanning, and Eye Tracking Solutions from Polhemus [Электронный ресурс]. – Электрон. дан. – Режим доступа – http://www.polhemus.com. 5. Архипов, О.П. Информационная модель метода пофрагментного анализа и представления изменений натурного объекта [Текст] / О. П. Архипов, Ю. А. Маньяков, Д. О. Сиротинин, А. И. // Информационные системы и технологии. – Орел: Госуниверситет – УНПК, 2012. – №1 (69). – С.17-25. 6. Цискаридзе, А. К. Математическая модель и метод восстановления позы человека по стереопаре силуэтных изображений [Текст] / А. К. Цискаридзе // Информатика и её применения. М.: ИПИ РАН, 2010. – том 4, вып. 4. С. 26-32. Архипов Олег Петрович Орловский филиал Федерального государственного бюджетного учреждения науки Института проблем информатики Российской академии наук, г. Орел к.т.н., с.н.с, директор ОФ ИПИ РАН, Тел.: +7 (4862) 33-57-41, Е-mail: ofran@orel.ru Маньяков Юрий Анатольевич Орловский филиал Федерального государственного бюджетного учреждения науки Института проблем информатики Российской академии наук, г. Орел к.т.н., н.с. лаб. 02 Тел.: +7 (915) 508-15-64, Е-mail: maniakov_yuri@mail.ru Сиротинин Денис Олегович Орловский филиал Федерального государственного бюджетного учреждения науки Института проблем информатики Российской академии наук, г. Орел н.с. лаб. 02 Тел.: +7 (905) 046-38-70 Е-mail: vespert@mail.ru |
Добавить документ в свой блог или на сайт
Похожие:
 | Курсовая работа по Информационным системам на тему: «Документы виртуальной реальности» Я начала поиск заданной информации в поисковиках Яндекс и Google. Введя в поисковик "Документы Виртуальной Реальности", мне выдало... | | Конспект секционного занятия по волейболу Задачи: 1 совершенствовать... Одна шеренга стоит у сетки спиной, другая на расстоянии 4-5 метров лицом к сетке надбрасывают мяч на сетку сверху, а сосед у сетки... |
| Курсовая работа по дисциплине «Документоведение» на тему: «документирование... Для упрочения российской государственности рациональное управление документацией может послужить одной из важных опорных точек укрепления... | | Программа по формированию навыков безопасного поведения на дорогах... Гфн) и газообразования (гфг) ув, к которым приурочены периоды максимальной генерации жидких и газообразных ув, соответственно. Поэтому,... |
| Урок "Курская битва" Основная идея преподавателя истории – формирование рационального мышления на основе создания опорных схем и использования опорных... | | Памятка для командира. Карточка с координатами точек, с помощью которых будут построены фигуры Образовательная: повторить понятие системы координат на плоскости, осей координат, способствовать выработке навыков и умений в построении... |
| Реферат Данилюк А. И. Элементы виртуальной физики Данилюк А. И. Элементы виртуальной физики или классические решения “неклассических” задач. /Краткое обзорно-справочное пособие. Часть... |  | Урок 2: Координатная плоскость Цели: упражнять учащихся в построении на плоскости точек по заданным координатам и нахождении координат точек |
| Реферат По предмету: "Товароведение" Товароведная характеристика... Сплавы цветных металлов применяют для изготовления деталей, работающих в условиях агрессивной среды, подвергающихся трению, требующих... | | Задача состоит в формулировании необходимых и достаточных условий... Метод множителей Лагранжа для нахождения точек условного экстремума |
| План работы опорных, базовых школ, ресурсных, учебно-методических... Теоретические основы исследовательской и проектной деятельности младших школьников | | Тексты лекций по дисциплине «Деловое общение» Ставрополь, 2014 Г. Тард; Б. Спиноза; Т. Гоббс; Дж. Локк; П. А. Гольбах; К. А. Гельвеция; ж-ж руссо; Вольтер; И. Кант; Л. Уорд; Ф. Г. Гиддингс; объект... |
| Урока : Урок обобщения и систематизации знаний Образовательная – Систематизировать и обобщать знания учащихся по данной теме. Отработать навыки построения точек на координатной... | | Реферат Записка с., 4 табл., 2 приложения, 5 источников Алгебраическое уравнение, корни уравнения, число действительных корней уравнения, теорема штурма, метод лобачевского–греффе, метод... |
| Урок литературного чтения Образовательная: повторить понятие системы координат на плоскости, осей координат, способствовать выработке навыков и умений в построении... | | Учебно-методический комплекс по междисциплинарному курсу (далее мдк)... ПМ. 02 Сварка и резка деталей из различных сталей, цветных металлов и их сплавов, чугунов во всех пространственных положениях |
