АНАЛИЗ ПРОБЛЕМЫ ИССЛЕДОВАНИЯ 1Анализ методов обработки полутоновых растровых изображений 1.1Основные термины и определения
Изображения образуют пространственное распределение энергетической освещенности на плоскости. Математически говоря, полутоновое изображение можно определить как двумерную функцию f(x, y), где x и y – координаты на плоскости, и значение f которой в любой точке, задаваемой парой координат (x, y), называется интенсивностью или уровнем серого в этой точке. Если величины x, y и f принимают конечное число дискретных значений, то говорят о цифровом (или растровом) изображении [1].
Таким образом, полутоновое растровое изображение состоит из конечного числа элементов, каждый из которых расположен в конкретном месте и принимает определенное значение. Эти элементы называются элементами изображения или пикселями. Каждый пиксель представляет не просто точку на изображении, а скорее прямоугольную область, элементарную ячейку. Значение, соответствующее пикселю, является средней энергетической освещенностью в соответствующей ячейке [2].
Обработка растровых изображений – любая форма обработки информации, для которой входные данные представлены цифровым изображением. Обработка изображений может осуществляться как для получения изображения на выходе (например, изменение контрастности, кадрирование), так и для получения другой информации (например, построение гистограммы интенсивностей, выделение контуров, распознание текста).
Размер изображения – это количество пикселей, из которого оно состоит. Также под размером изображения могут пониматься его длина и ширина. Стоит отметить, что эти два определения согласованы: чем больше длина и ширина изображения, тем больше в нём пикселей, и наоборот. Кроме того, размер изображения можно определить как объём памяти компьютера, необходимый для его хранения.
В рамках данной НИР используется первое из приведённых определений размера изображения. Под изображением большого размера понимается изображение, размером не менее 4 мегапикселей.
1.2Аналитический обзор методов обработки полутоновых растровых изображений
Не существует общепринятой точки зрения, где заканчивается обработка изображений и начинаются другие смежные области, например, анализ изображений и машинное зрение. Во всем диапазоне от обработки изображений до машинного зрения нет четких границ, тем не менее, можно различать в нем методы низкого, среднего и высокого уровня. Методы низкого уровня представляют собой только примитивные операции типа предобработки с целью уменьшения шума, повышения контраста или улучшения резкости изображений. Для низкоуровневых методов характерен тот факт, что на входе и на выходе присутствуют изображения. Обработка изображений на среднем уровне охватывает такие задачи, как сегментация (разделение изображения на области или выделение на нем объектов), описание объектов и сжатие их в удобную для компьютерной обработки форму, а также классификация (распознавание) отдельных объектов. Для методов среднего уровня характерно наличие изображений только на входе, на выход же поступают признаки и атрибуты, извлекаемые из этих изображений (например, границы областей, линии контуров, отличительные признаки конкретных объектов). Наконец, высокоуровневая обработка включает в себя «осмысление» набора распознанных объектов, как это делается в анализе изображений, и, в пределе, осуществление познавательных функций, которые принято связывать со зрением [1].
Низкий, средний и высокий уровни – это очень крупные классы методов обработки изображений. Для проведения их дальнейшего анализа нужно рассмотреть декомпозицию этих классов на более детализированные классы [1, 2].
1.2.1Регистрация изображения
Изображение, которое мы рассматриваем, есть двумерное отображение наблюдаемой сцены, возникающее как результат регистрации лучистой энергии, исходящей из наблюдаемой сцены, с помощью некоторого устройства – сенсора. При этом предполагается, что регистрируемый сенсором сигнал возникает в результате взаимодействия источника «освещения» с элементами изображаемой сцены в условиях эффектов отражения и поглощения энергии этого источника. Слова освещение и сцена взяты в кавычки, чтобы подчеркнуть тот факт, что они носят значительно более общий характер, чем в привычной ситуации, когда источник видимого света освещает трёхмерную сцену объектов. Например, освещение может порождаться источником инфракрасного, рентгеновского и даже ультразвукового излучения. В роли элементов сцены могут выступать как видимые объекты, так и молекулы или скелет человека.
Зафиксировав энергию, отражённую или пропущенную элементами сцены, сенсор генерирует набор выходных сигналов, каждый из которых пропорционален интегралу световой энергии, принятой соответствующим элементом сенсора. С помощью цифровой и аналоговой электроники эти выходные сигналы поочерёдно преобразуются в комплексный видеосигнал, который и представляет собой изображение сцены.
Стоит заметить, что регистрация изображения может оказаться предельно простой, как в случае, когда исходное изображение уже представлено в цифровой форме. В общем случае стадия регистрации изображения включает некоторую предобработку, например, масштабирование.
1.2.2Улучшение изображений
По существу, за методами улучшения изображений стоит идея выявления плохо различимых деталей или просто подчеркивания интересующих характеристик на исходном изображении. Известным примером улучшения является усиление контраста изображения. Важно иметь в виду, что улучшение качества — весьма субъективная область в обработке изображений.
Главная цель улучшения заключается в такой обработке изображения, чтобы результат оказался более подходящим с точки зрения конкретного применения. Слово «конкретное» является здесь важным, поскольку оно с самого начала устанавливает, что методы, обсуждаемые в настоящей главе, в значительной степени проблемно ориентированы. Так, например, метод, являющийся весьма полезным для улучшения рентгеновских изображений, не обязательно окажется наилучшим для обработки снимков Марса, переданных космическим аппаратом.
Множество подходов к улучшению изображений распадается на две большие категории: методы обработки в пространственной области (пространственные методы) и методы обработки в частотной области (частотные методы).
Пространственные методы условно можно разделить на две основные группы [4].
Улучшение зрительных характеристик: повышение контраста, четкости, выравнивание яркости по полю и т.д [1-4]. Важно отметить, что речь здесь идет о качестве как о характеристике самого изображения (а не о мере близости к некоторому эталону [3]), то есть цель обработки — получение в каком-то смысле «удобного для наблюдения», «хорошего» изображения.
Препарирование: обработка изображения с целью выделения на нем некоторых существенных деталей или особенностей и, соответственно, подавления несущественных. В этом случае мы получаем изображение, возможно сильно отличающееся от исходного, но более удобное для последующего анализа или визуальной интерпретации. К методам препарирования относятся преобразование яркостного среза, контрастное масштабирование, преобразование в псевдоцвета [4].
Методы обработки в частотной области основываются на модификации сигнала, формируемого путем применения к изображению преобразования Фурье. К этим методам относится сглаживающая частотная фильтрация, частотное повышение резкости, гомоморфная фильтрация [1-3].
1.2.3Восстановление изображений
Как и при улучшении изображений, конечной целью восстановления является повышение качества изображения в некотором заранее предопределенном смысле. Несмотря на пересечение областей применения методов обоих классов, улучшение изображений является в большей степени субъективной процедурой, в то время как процесс восстановления имеет в основном объективный характер. При восстановлении делается попытка реконструировать или воссоздать изображение, которое было до этого искажено, используя априорную информацию о явлении, которое вызвало ухудшение изображения [3]. Поэтому методы восстановления основаны на моделировании процессов искажения и применении обратных процедур для воссоздания исходного изображения.
Решение этой задачи обычно включает разработку критериев качества, которые дают возможность объективно оценить полученный результат. Напротив, методы улучшения изображений в основном представляют собой эвристические процедуры, предназначенные для такого воздействия на изображение, которое позволит затем использовать преимущества, связанные с психофизическими особенностями зрительной системы человека. Например, процедура усиления контраста рассматривается как метод улучшения, поскольку в результате ее применения изображение, в первую очередь, становится более приятным для глаза, тогда как процедура обработки смазанного изображения, основанная на применении обратного оператора, рассматривается как метод восстановления.
Методы восстановления изображений включают пространственное подавление шумов, частотное подавление шумов, фильтрацию методом минимизации среднего квадратического отклонения [1-4].
1.2.4Обработка цветных изображений
Использование цвета в обработке изображений обусловлено двумя основными причинами. Во-первых, цвет является тем важным признаком, который часто облегчает распознавание и выделение объекта на изображении. Во-вторых, человек в состоянии различать тысячи различных оттенков цвета, и всего лишь порядка двух десятков оттенков серого. Второе обстоятельство особенно важно при визуальном (т.е. выполняемом непосредственно человеком) анализе изображений.
Обработку цветных изображений можно условно разделить на две основные области: обработку изображений в натуральных цветах и обработку изображений в псевдоцветах. В первом случае рассматриваемые изображения обычно формируются цветными устройствами регистрации изображения, такими как цветная телевизионная камера или цветной сканер. Во втором случае задача состоит в присвоении цветов некоторым значениям интенсивности монохромного сигнала или некоторым диапазонам изменения его интенсивности. До последнего времени цифровая обработка цветных изображений осуществлялась, по большей части, на уровне псевдоцветов. За последнее десятилетие, однако, цветные устройства ввода и аппаратные средства обработки цветных изображений стали вполне доступны по ценам. Как результат, в настоящее время техника обработки изображений в натуральных цветах используется в широком диапазоне приложений, включая издательские системы, системы визуализации и Интернет.
Используемые при обработке цветных изображений подходы распадаются на две основные категории. Подходы первой категории предполагают, что каждая цветовая компонента обрабатывается отдельно, а затем результирующее цветное изображение составляется из компонент, обработанных по отдельности. Для подходов второй категории характерна непосредственная работа с цветными пикселями. Поскольку цветное изображение содержит, как минимум, три составные части, то значение цветного пикселя представляет собой вектор [1].
1.2.5Сжатие изображений
Цифровым изображениям соответствуют чрезвычайно большие объёмы данных. В результате требования быстрой передачи данных или их полной регистрации вступают в противоречие с техническими характеристиками используемой аппаратуры: недостаточной ёмкостью запоминающих устройств, ограниченной пропускной способностью каналов передачи данных, недостаточным быстродействием вычислительных машин и т.д. В подобных ситуациях большое значение приобретает особый вид обработки изображений — их кодирование с целью сокращения объема (сжатия) данных.
Принципиальная возможность сокращения объёма данных заключается в том, что изображения (и их цифровые образы — матрицы пикселей) обладают высокой степенью избыточности с точки зрения содержания информации. Это связано, во-первых, с тем, что между близкими точками поля яркости (соседними отсчетами матрицы) имеется сильная статистическая зависимость. Из теории информации известно, что наличие зависимости между элементами сообщения приводит к уменьшению количества информации, переносимой этим сообщением при том же его объеме (то есть объем сообщения используется неэффективно). Другая причина избыточности заключается в том, что значения яркости распределены в диапазоне их возможного изменения существенно неравномерно.
Естественно, что внимание многих исследователей в течение уже длительного времени привлечено к задаче создания методов компрессии, применение которых позволило бы улучшить характеристики систем передачи, обработки и регистрации изображений. К настоящему времени разработано большое количество таких методов, однако работы в этой области интенсивно продолжаются [4].
Методы сжатия изображений можно разделить на две категории в зависимости от того, происходит или нет потеря информации при сжатии. К методам сжатия без потерь относятся неравномерное кодирование, LZW-кодирование, кодирование битовых плоскостей, кодирование без потерь с предсказанием [1, 4]. Сжатие с потерями осуществляют такие методы, как трансформационное кодирование, кодирование с предсказанием [1, 4].
1.2.6Морфологическая обработка изображений
Получение морфологического описания изображений представляет собой задачу перехода от набора простейших признаков изображения, таких, как значения яркости или набор контурных точек, к значительно меньшему набору средств описания, которые могут служить в качестве исходных данных для последующей семантической интерпретации. Типичными морфологическими элементами являются цепочки контурных точек, образующих границу объекта, связанные области постоянной яркости, цвета и элементарные фигуры, такие, как прямоугольники, окружности, треугольники.
В области обработки речевых сигналов существует общепринятый набор речевых символов, названных фонемами, которые являются основными звуками произносимых слов. Из фонем теоретически можно сформировать графическое представление устного высказывания. Известен целый ряд разнообразных речевых признаков, включая силу звука, его высоту и энергию спектра. В процессе перехода от тех или иных речевых признаков к фонемам формируется символическое описание речи.
К сожалению, не существует «зрительных фонем», аналогичных фонемам речи, то есть нет общепринятого набора визуальных символов, которые необходимы и достаточны для описания изображения. Отсутствие набора единых визуальных символов создает определенные трудности при анализе изображений. Во-первых, существует проблема отбора, суть которой состоит в том, чтобы определить, какие символы необходимо сформировать из признаков изображения для решения конкретных задач анализа изображений. Кроме того, имеется проблема определения необходимой точности при формировании символов [3].
Для морфологической обработки изображений применяется аппарат математической морфологии, использующий язык теории множеств. Морфология как таковая предлагает единый мощный подход для многочисленных задач обработки изображений. Множествами в математической морфологии представляются объекты на изображении. Например, множество всех черных пикселей чёрно-белого (т.е. содержащего только пиксели со значениями интенсивности 0 или 1) изображения является одним из вариантов его полного морфологического описания. В двоичных изображениях обсуждаемые множества являются подмножествами двумерного целочисленного пространства Z2 с элементами в виде пар чисел, т.е. двумерных векторов (х, у), координаты которых указывают на черный (или белый, в зависимости от соглашения) пиксель изображения. Полутоновые цифровые изображения могут быть описаны множествами, состоящими из элементов пространства Z3. В этом случае две координаты элемента множества указывают координаты пикселя, а третья соответствует дискретному значению яркости.
Морфологическая обработка изображений включает в себя следующие методы:
выделение границ [1, 2, 4];
заполнение областей [1, 2];
выделение связных компонент [1, 2, 3];
построение выпуклой оболочки [1, 5];
утончение и утолщение [1, 3];
эрозия [1, 3, 4];
дилатация [1, 3, 4].
1.2.7Сегментация изображения
Сегментация заключается в проверке каждого отдельного пикселя на то, принадлежит ли он к интересующему нас объекту или нет. Результатом сегментации является бинарное изображение. Пиксель имеет значение единицы, если он принадлежит объекту; в противном случае он равен нулю. Сегментация представляет собой операцию, находящуюся на границе между низким и средним уровнем обработки изображений. После сегментации становится известно, какой пиксель к какому объекту принадлежит. Изображение разбивается на области, границами между которыми являются неоднородности [2].
Как правило, алгоритмы сегментации изображений основываются на одном из двух базовых свойств сигнала яркости: разрывности и однородности. В первом случае подход состоит в разбиении изображения на основании резких изменений сигнала, таких как перепады яркости на изображении. Вторая категория методов использует разбиение изображения на области, однородные в смысле заранее выбранных критериев. Примерами таких методов могут служить пороговая обработка, выращивание областей, слияние и разбиение областей [1, 2].
1.2.8Представление и описание
После того, как выполнена сегментация изображения на области, полученные совокупности пикселей обычно описываются и представляются в форме, удобной для последующей компьютерной обработки. По существу, при выборе способа представления областей возникает следующая альтернатива:
область можно представить ее внешними характеристиками (т.е. границей);
область можно представить внутренними характеристиками (т.е. совокупностью элементов изображения, составляющих эту область).
Однако выбор способа представления является только частью задачи преобразования данных в форму, удобную для компьютерной обработки. Следующая задача состоит в том, чтобы описать область, исходя из выбранного способа представления. Например, область может быть представлена своей границей, а граница — описана с помощью таких характеристик, как длина границы, направления прямых, соединяющих угловые точки, и число вогнутостей границы.
Внешнее представление обычно выбирается в тех случаях, когда основное внимание обращено на характеристики формы области. Внутреннее представление выбирается, если интерес представляют свойства самой области, например, цвет и текстура. Иногда приходится использовать оба способа представления одновременно. В любом случае, выбранные для описания признаки должны быть как можно менее чувствительными к изменению размеров области и ее перемещению по полю изображения (сдвиг, поворот).
1.2.9Распознавание образов
Задача распознавания образов заключается в классификации объектов изображения на основе определенных требований, причем объекты, относящиеся к одному классу образов, обладают относительно высокой степенью близости [1, 6].
Принятый подход к распознаванию образов заключается в классификации на множестве признаков, вычисляемых по наблюдаемому изображению. Можно также сказать, что классификация образов заключается в отображении пространства признаков в пространство решений. При таком подходе распознавание образов включает две задачи:
отбор и упорядочивание признаков;
собственно классификация.
Задача отбора и упорядочивания признаков трудно формализуема. Критерием отбора и упорядочения является степень важности признаков для характеристики образов.
Задача классификации — принятия решения о принадлежности образа тому или иному классу на основе анализа вычисленных признаков — имеет целый ряд строгих математических решений в рамках детерминистического и вероятностного подходов [4].
1.2.10Задачи, рассматриваемые в данной НИР
Рассмотренные классы задач обработки изображений не являются неделимыми, каждый из них можно в свою очередь разделить на более частные задачи [1-4]. Таким образом, можно сделать вывод, что термин «обработка изображений» включает в себя большое количество различных задач, отличающихся не только постановкой, но и входными и выходными данными.
Кроме того, стоит отметить, что помимо упомянутых задач обработки изображений, существует как минимум две задачи, тесно с нею связанные. Это представление изображений в оперативной памяти компьютера и их визуализация. От выбора представления изображения в памяти во многом зависит эффективность реализации любого метода обработки изображений. Визуализация необходима для предоставления возможности человеку непосредственно оценить качество как исходного изображения, так и результатов его обработки.
Ввиду большого разнообразия задач обработки изображений необходимо выделить подмножество задач, исследование которого будет осуществляться в дальнейшем. Так как входными данными задач высокого уровня являются результаты решения задач низкого и среднего уровня, логичным является выбор последних для первоначального исследования. Изучение методов низкого и среднего уровня заложит базу для дальнейшего ознакомления с задачами высокого уровня.
Таким образом, в рамках данной НИР рассматриваются следующие классы задач обработки изображений:
представление изображения в оперативной памяти;
визуализация;
улучшение;
восстановление;
сжатие;
морфологическая обработка.
Регистрация изображений была вынесена за рамки исследования, таким образом, в дальнейшем предполагается, что исходное изображение является цифровым.
В рамках НИР проводится исследование методов оперативной обработки изображений большого размера. Увеличение размера изображения ведёт к снижению скорости его обработки. Правильно выбранное представление изображения в памяти компьютера является залогом создания эффективных реализаций методов обработки. Поэтому соответствующая задача обязательно должна быть рассмотрена.
Подсистема визуализации является неотъемлемой частью любой компьютерной системой обработки изображений. Для детального изучения изображения пользователь перемещается по изображению, масштабирует его, изменяет яркость, контрастность и динамический диапазон видимой его части. Актуальной является задача обеспечения оперативности выполнения этих операций над изображениями большого размера. Именно поэтому методы визуализации включены в рассмотрения в данной НИР.
|
