Моделирование и разработка комплекса программ идентификации голосового сообщения по фонемной составляющей и индивидуальным характеристикам голоса
Скачать 218.31 Kb.
|
На правах рукописи МАЛКОВ Максим Александрович МОДЕЛИРОВАНИЕ И РАЗРАБОТКА КОМПЛЕКСА ПРОГРАММ ИДЕНТИФИКАЦИИ ГОЛОСОВОГО СООБЩЕНИЯ ПО ФОНЕМНОЙ СОСТАВЛЯЮЩЕЙ И ИНДИВИДУАЛЬНЫМ ХАРАКТЕРИСТИКАМ ГОЛОСА Специальность 05.13.18 – Математическое моделирование, численные методы и комплексы программАвтореферат диссертации на соискание учёной степеникандидата технических наукМосква – 2009 Работа выполнена в ГОУ ВПО «МАТИ» Российском государственном технологическом университете имени К.Э. Циолковского
Защита состоится « » 2009 г. в ч. мин. на заседании диссертационного совета Д 212.110.08 при «МАТИ» Российском государственном технологическом университете имени К.Э. Циолковского по адресу: 121552, Москва, ул. Оршанская, д. 3, ауд. 612а. С диссертацией можно ознакомиться в библиотеке «МАТИ» Российского государственного технологического университета имени К.Э. Циолковского. Автореферат разослан « » 2009 г. Учёный секретарь диссертационного совета Д 212.110.08 кандидат физико-математических наук Спыну М.В. Общая характеристика работыАктуальность темы диссертации. В последние годы для идентификации личности человека всё более широкое применение получают биометрические технологии. Они используются в системах разграничения доступа, при проведении финансовых транзакций, при запросах конфиденциальной информации по телефону, при управлении различными устройствами, в криминалистике и т.д. Использование биометрических технологий в этих сферах обладает рядом существенных преимуществ перед традиционными средствами идентификации (например, использованием пароля). В первую очередь к таким преимуществам относятся высокая надёжность идентификации и удобство использования для человека. В качестве идентифицирующих параметров в биометрических технологиях используются физиологические и поведенческие характеристики человека. К таким характеристикам относятся отпечатки пальцев, голос, радужная оболочка глаза, лицо человека, почерк и др. В настоящее время наиболее распространёнными биометрическими характеристиками человека являются отпечатки пальцев и радужная оболочка глаза. В то же время голос используется не так широко, хотя он обладает рядом существенных преимуществ, например, простота снятия биометрического параметра (достаточно лишь стандартного микрофона), а также удобство использования. На сегодняшний день в мире существует ряд компаний, занимающихся разработкой систем идентификации голоса. Достигнуты определённые успехи в этой области (вероятность ошибки идентификации 1 – 3%). Однако существующие разработки обладают рядом недостатков. Алгоритмы достаточно сложны и требуют больших вычислительных ресурсов, что ограничивает область их применения только высокопроизводительными ЭВМ (время идентификации 3 – 5 секунд при длительности фразы 3 секунды на ЭВМ с частотой процессора 1,60 ГГц и объёмом оперативной памяти 896 МБ). Кроме того, во всех системах отсутствует возможность настройки алгоритмов под различные условия применения (уровень шума, особенность голоса конкретного человека, порог ошибок и т.д.). Также, ни один разработчик не предоставляет средства для тестирования разработанной им системы идентификации голоса, тогда как особенности условий применения могут значительно влиять на качество работы алгоритма. Большинство алгоритмов не учитывают текстовое содержание произносимой фразы (фонемную составляющую), выделяя лишь индивидуальные характеристики голоса, что значительно снижает надёжность идентификации. С учётом сказанного актуальной является задача разработки новой модели идентификации голосового сообщения по фонемной составляющей и индивидуальным характеристикам голоса, свободной от отмеченных недостатков, а также комплекса программ, реализующего данную модель и позволяющего её тестировать. Цель диссертационной работы. Целью диссертационной работы является разработка математической модели идентификации голосового сообщения по фонемной составляющей и индивидуальным характеристикам голоса, а также разработка комплекса программ, реализующего данную модель и позволяющего её тестировать. Исходя из поставленных целей, в работе решаются следующие задачи:
Предмет исследования. Предметом исследования в диссертационной работе являются голосовые сообщения, представленные в оцифрованной форме, математическая модель идентификации голосового сообщения и статистические показатели, характеризующие качество идентификации этой модели. Методы исследования. Методы исследования заимствованы из следующих областей:
Научная новизна. Научную новизну диссертационной работы составляют результаты, полученные в ходе решения поставленных задач:
Практическая ценность работы. Практическую ценность работы составляют следующие результаты:
Положения, выносимые на защиту. На защиту выносятся следующие положения:
Апробация результатов исследований. Основные результаты, полученные в ходе выполнения диссертационной работы, докладывались на международных молодёжных научных конференциях ХХХII Гагаринские чтения (Москва, 2006 г.), ХХХIII Гагаринские чтения (Москва, 2007 г.) и ХХХIV Гагаринские чтения (Москва, 2008 г.), X Санкт-Петербургской международной конференции «Региональная информатика – 2006» (Санкт-Петербург, 2006 г.), XI Санкт-Петербургской международной конференции «Региональная информатика – 2008» (Санкт-Петербург, 2008 г.), VIII Международной научно-методической конференции «Информатика: проблемы, методология, технологии» (Воронеж, 2008 г.), Всероссийских научно-технических конференциях: «Новые материалы и технологии – 2006» (Москва, 2006 г.), «Новые материалы и технологии – 2008» (Москва, 2008 г.), а также докладывались и обсуждались на научных семинарах кафедры «Проектирование вычислительных комплексов» «МАТИ» – РГТУ имени К.Э. Циолковского. Программный комплекс идентификации голосового сообщения, разработанный на основе предложенной модели, прошёл апробацию на кафедре «Проектирование вычислительных комплексов» «МАТИ» – РГТУ имени К.Э. Циолковского, а также в Политехническом музее в рамках Третьего Фестиваля науки в городе Москве (Москва, ноябрь 2008 г.). Публикации. По теме диссертации опубликованы одиннадцать печатных работ, в том числе три статьи, из них одна статья в журнале, входящем в Перечень ведущих изданий, рекомендованных ВАК. Структура и объем работы. Работа состоит из введения, четырёх глав, заключения, списка литературы и четырёх приложений. Работа изложена на 94 страницах и включает 36 рисунков, 12 таблиц, список литературы из 98 наименований, а также приложения на 23 страницах. Общий объём работы – 117 страниц. Краткое содержание работыВо введении обосновывается актуальность темы диссертационной работы. Характеризуется область исследования. Обосновываются научная новизна и практическая значимость выполненного исследования. Формулируются цели исследования и основные положения, выносимые на защиту. Первая глава посвящена обзору речевых технологий. Рассматриваются два класса подходов к определению речи. К первому классу относятся подходы, описывающие речь с точки зрения информационного содержания. Ко второму относятся подходы, описывающие речь как акустический сигнал. В общем случае акустический сигнал является носителем информационного содержания речи. Рассматривается деление речевых технологий на шесть групп: цифровая передача и хранение, синтез речи, улучшение качества речевого сигнала, распознавание речи, устранение дефектов речи, идентификация голоса. Анализируются математические методы, которые могут быть использованы при идентификации голосового сообщения – нейросети, частотные цифровые фильтры, Фурье-анализ, кепстральный анализ, методы машинного обучения, векторное квантование, гауссовы смеси и вейвлет-анализ. Производится анализ разработок ведущих компаний в области идентификации голоса (Центр речевых технологий, компания «Речевые технологии», компания «Voice Security Systems Inc.», компания «Nuance» и компания «Agnitio»). Существующие разработки обладают вероятностью ошибки 1 – 3%. Однако разработчики не указывают, при каких условиях проводилась оценка качества идентификации (характеристики микрофона, объём выборки голосовых сообщений и т.д.). Кроме того, часть разработчиков вообще не указывают вероятность ошибки. Время идентификации при длительности фразы 3 секунды составляет 3 – 5 секунд на ЭВМ с частотой процессора 1,60 ГГц и объёмом оперативной памяти 896 МБ. Данный показатель определялся на одной и той же ЭВМ с помощью демонстрационных версий программ. Однако часть разработчиков не предоставляют демонстрационных версий. Данные характеристики будут использованы в дальнейшем для сравнения этих систем с разработанной моделью идентификации. Ни одна компания не предоставляет средства тестирования её системы. Кроме того, ни одна система не обладает возможностью настройки под различные условия применения. Вторая глава посвящена разработке структурной схемы модели идентификации голосового сообщения по фонемной составляющей и индивидуальным характеристикам голоса. Анализируется образование фонем всех звуков русского языка, а также проявление индивидуальных характеристик голоса с точки зрения теории речеобразования. В соответствии с последней, речь человека образуется в результате функционирования артикуляторного аппарата (состоит из голосовых связок, языка, губ и т.д.). Если бы этот аппарат работал всегда одинаково, то голосовые сообщения, имеющие одинаковое текстовое содержание, были бы равны. Таким образом, задача идентификации голосового сообщения решалась бы довольно просто – путём прямого сравнения двух цифровых сигналов, соответствующих голосовым сообщениям. Однако опыт показывает, что не существует двух абсолютно одинаковых голосовых сообщений, даже если человек старается их произнести абсолютно идентично. Основная причина данного факта – неспособность артикуляторного аппарата работать во всех случаях одинаково.  Рис. 1. Структурная схема модели идентификации голосового сообщения. Модель идентификации голосового сообщения состоит из четырёх этапов. Сначала голосовые сообщения делятся на фонемы. Данный этап необходим для идентификации по фонемной составляющей, а так же для того, чтобы исключить влияние соседних фонем друг на друга при выделении из них индивидуальных характеристик голоса. На втором этапе строится образ каждой фонемы. На третьем этапе попарно сравниваются образы фонем первого голосового сообщения с образами фонем второго голосового сообщения. На последнем этапе с помощью матричного метода происходит анализ результатов данных сравнений с целью принятия решения о равенстве или неравенстве голосовых сообщений в соответствие с троичной или двоичной логикой. В результате получим следующую структурную схему модели идентификации голосового сообщения по фонемной составляющей и индивидуальным характеристикам голоса (рис. 1). Решение о равенстве голосовых сообщений принимается на основе сравнения двух переменных, обозначим их z и z'. Значение переменной z определяется в результате сравнения сигналов по модели, а значение переменной z' определяется из набора параметров сигналов. В случае двоичной логики сигналы будут считаться равными при z ≥ z’, и неравными в противном случае. При использовании троичной логики вводится третий вариант, когда переменные z и z' достаточно близки по своему значению: z ≈ z’ (то есть ситуация неопределённости). В данном варианте возможны три случая: z[0; z'–ε) – сигналы неравны, z(z'+ε;+∞) – сигналы равны и z[z'–ε; z'+ε] – случай неопределённости, где ε – переменная, определяющая ширину интервала неопределённости. Двоичная логика является частным случаем троичной при ε=0. Выбор одного из методов принятия решения зависит от области применения реализованной модели идентификации голоса. Третья глава посвящена разработке математических методов модели идентификации голосового сообщения по фонемной составляющей и индивидуальным характеристикам голоса, а также реализации предложенной модели в виде комплекса программ. В результате анализа образования звуков русского языка был сделан вывод, что для выделения индивидуальных характеристик голоса целесообразно использовать только гласные и сонорные согласные звуки. Для выделения участков голосового сообщения, соответствующих этим звукам, а также исключения переходных процессов и пауз между фонемами используются амплитудно-временные характеристики сигналов. Фонема представляет собой периодический сигнал. Пусть минимальная длина периода фонемы будет равна Nmin =20 отсчётов, а максимальная длина – Nmax =400 отсчётов при частоте дискретизации 8 кГц. Введём переменную k, изменяющуюся в интервале [Nmin; Nmax] с шагом 1. Корреляция rk двух соседних частей сигнала для конкретного значения k будет определяться следующим выражением:  , (1)где k[Nmin ; Nmax], xj – j-й отсчёт голосового сообщения, m – номер отсчёта, с которого начинается текущий интервал сигнала. Введём пороговое значение корреляции двух интервалов, при котором они (интервалы) будут принадлежать одной фонеме – rп =0,96 (варьируемый параметр). Будем рассчитывать значение rk, изменяя k от Nmin до Nmax с шагом 1. В результате получим некоторую зависимость rk от k. Пример такой зависимости приведён на рис. 2.  Рис. 2. Пример зависимости rk от k. Пики на графике при k=k1 и k=k2 объясняются тем, что k1 равно одинарному, а k2 удвоенному периоду фонемы, поэтому значение коэффициента корреляции резко возрастает. Будем считать, что начало m фонемы найдено, если при расчёте rk найдены два пика:  > rп, (2) > rп (3)и выполнено условие: |2k1 – k2| < Δk, (4) где: Δk =4 отсчёта (варьируемый параметр). Условие (4) необходимо, чтобы исключить случайные пики корреляции. В случае невыполнения одного из условий (2)-(4) будем считать, что участок сигнала [m+Nmin ; m +Nmax] соответствует паузе между фонемами или шумному согласному звуку. Далее m увеличивается на Nmin, и процесс повторяется, пока не будет пройден весь сигнал. В случае выполнения условий (2)-(4) m-й отсчёт будем считать началом фонемы, соответствующей гласному или сонорному согласному звуку. Далее m увеличивается на Nmin, и весь процесс повторяется. Как только будет не выполнено одно из условий (2)-(4) будем считать, что конец текущей фонемы найден и равен текущему значению m. В структурной схеме модели блок «Построение образа» включает в себя два блока: блок «Построение спектра» и блок «Построение образа по спектру». В первом блоке строится спектр каждого выделенного участка, во втором блоке – его образ. Спектр строится для частот ω  [1; 400] Гц. Образ будут составлять амплитуды и частоты максимумов спектра, удовлетворяющих выражению: , (5)где ω – частота отсчёта спектра, N – количество отсчётов выделенного участка, xn – отсчёты участка, Nсп – количество отсчётов спектра, kоб =0,1 – коэффициент пропорциональности (варьируемый параметр). Для сравнения образов строится сигнал:  , (6)где y=1, 2, …, L, L=400 отсчётов – размер сигнала, восстановленного по образу, Ai – амплитуда i-го максимума образа, ωi – частота i-го максимума образа. Образы двух фонем будут считаться равными, если сигналы, полученные из этих образов с помощью выражения (6), будут удовлетворять условию:  , (7)где yi – i-й отсчёт первого сигнала, yi – i-й отсчёт второго сигнала, p – пороговое значение для равенства сигналов (варьируемый параметр). Представленным выше способом сравниваются все фонемы первого сигнала со всеми фонемами второго сигнала. Введём матрицу V размером n×m, где: n – количество выделенных фонем первого голосового сообщения, а m – количество выделенных фонем второго голосового сообщения. Элемент матрицы vij определяется следующим образом: vij = 1, если i-й участок первого голосового сообщения равен j-му участку второго голосового сообщения, vij = 0 в противном случае. Далее введём квадратную матрицу W, размер которой равен n×n, если n ≥ m, и m×m, если n < m. Она получается из матрицы V следующим образом: если n = m, то W = V, если n > m, то к матрице V добавляются справа (n – m) нулевых столбцов, если n < m, то к матрице V добавляются снизу (m – n) нулевых строк. Обозначим размер матрицы W как k×k. Таким образом, получена матрица W, по которой можно охарактеризовать степень равенства голосовых сообщений. Введем переменную pmin следующим образом: pmin=k. Так как размер матрицы W характеризует количество выделенных фонем в голосовых сообщениях, то переменную pmin можно рассматривать как параметр, характеризующий степень совпадения двух голосовых сообщений, при которой они считаются равными. Далее необходимо определить параметр, характеризующий совпадение голосовых сообщений на основе конкретной матрицы. Обозначим его p. Получена следующая формула для p:  , (8)где k – размер матрицы W, wij – элемент матрицы W, q и q – коэффициенты пропорциональности (варьируемые параметры). Для принятия решения о равенстве голосовых сообщений необходимо сравнить значения параметров p и pmin. При использовании троичной логики выберем ε-окрестность значения pmin, соответствующую случаю неопределённости (при использовании двоичной логики ε=0). Сигналы будут считаться неравными, если p[0; pminε), и равными, если p(pmin+ε; +). Случаю неопределённости будет соответствовать ситуация p[pminε; pmin+ε]. В четвёртой главе будет исследовано влияние значений параметров p, q и q на качество идентификации. Таким образом, выделены варьируемые параметры модели, позволяющие производить её настройку. Разработан комплекс программ, реализующий предложенную модель. Тексты программ представлены в диссертации. Время идентификации на данном комплексе составляет менее 1 секунды при длительности фразы 3 секунды на ЭВМ с частотой процессора 1,60 ГГц и объёмом оперативной памяти 896 МБ. Четвёртая глава посвящена статистической оценке качества работы представленной модели идентификации голосового сообщения. Такая оценка производится следующим образом. Сначала необходимо собрать базу данных записанных голосовых сообщений. Для формирования такой базы данных необходимо выбрать голосовые сообщения, а затем записать произношение этих голосовых сообщений различными людьми. Таким образом, структура такой базы данных будет выглядеть следующим образом (рис. 3). Затем необходимо выбрать интересующие нас параметры, которые влияют на качество работы метода идентификации голосового сообщения. Далее необходимо произвести сравнения голосовых сообщений по представленному методу, изменяя эти параметры.  Рис. 3. Структура базы данных. Таким образом, будет экспериментально получена зависимость R=R(P), где R – функция зависимости количества ошибок от значения параметра P. Для получения этой зависимости из базы данных выбираются L записей произнесённых голосовых сообщений. Далее формируется матрица ML×L следующим образом: mij =1, если записи с номерами i и j имеют одинаковые голоса и фразы, mij = 0 в противном случае, где mij – элемент матрицы ML×L. После этого формируется ещё одна матрица M L×L следующим образом: mij =1, если записи с номерами i и j совпали по методу идентификации голосовых сообщений, mij =0 в противном случае, где mij – элемент матрицы M L×L. Далее определяется матрица SL×L, которая характеризует количество ошибок первого рода (расценивание сообщений с одинаковым текстовым содержанием и сказанных одним человеком, как неравных) и количество ошибок второго рода (расценивание сообщений с разным текстовым содержанием или (и) сказанных разными людьми, как равных). Матрица SL×L получается следующим образом: sij =1, если mij =mij, в противном случае sij =0, где sij – элемент матрицы SL×L. Для вероятности ошибки первого рода ω1 получена следующая формула:  (9)Для вероятности ошибки второго рода ω2 получена следующая формула:  , (10)В диссертации исследуется влияние на качество работы модели идентификации голосового сообщения параметров p, q и q (см. главу 3), а также следующих параметров голосового сообщения: a (отношение количества гласных звуков в сообщении к общему числу звуков), b (отношение количества шумных звуков в сообщении к общему числу звуков), c (количество звуков в сообщении). Экспериментально получены следующие зависимости: R1=R1(P), R2=R2(P), где R1 – функция зависимости количества ошибок первого рода, R2 – функция зависимости количества ошибок второго рода, P – параметр, влияние которого исследуется (p, q, q, a, b, c). Для реализации предложенного метода оценки качества работы модели был разработан программный комплекс (текст программы представлен в диссертации). В результате исследований получены следующие зависимости. При увеличении значения параметра p от 0,86 до 0,98 вероятность ошибки первого рода повышается от 1,40% до 56,64%, в то время как вероятность ошибки второго рода уменьшается от 25,71% до 0,04% (рис. 4а), таким образом, значение данного параметра подбирается в зависимости от того, ошибки какого рода являются более критичными. При увеличении значения параметра q от 0,02 до 0,14 вероятность ошибки первого рода уменьшается от 21,68% до 1,40%, в то время как вероятность ошибки второго рода повышается от 0,04% до 31,08% (рис. 4б), таким образом, значение данного параметра подбирается в зависимости от того, ошибки какого рода являются более критичными. При увеличении значения параметра q от 1,4 до 2,0 вероятность ошибки первого рода повышается от 1,40% до 28,67%, в то время как вероятность ошибки второго рода уменьшается от 39,50% до 0,04% (рис. 4в), таким образом, значение данного параметра подбирается в зависимости от того, ошибки какого рода являются более критичными.   а) б)  в) Рис. 4. Влияние варьируемых параметров модели на качество идентификации. При увеличении относительного содержания гласных во фразе уменьшается вероятность ошибок, как первого, так и второго рода (рис. 5а). При увеличении относительного содержания шумных звуков во фразе вероятность ошибки первого и второго рода увеличивается (рис. 5б). При увеличении длины фразы уменьшается вероятность ошибок как первого, так и второго рода (рис. 5в). Наиболее высокое качество идентификации соответствует длинным фразам с большим содержанием гласных звуков и меньшим содержанием шумных звуков.   а) б)  в) Рис. 5. Влияние параметров фраз на качество идентификации. Таким образом, качество идентификации при соответствующем выборе варьируемых параметров модели и голосовых сообщений оказывается достаточно высоким (вероятность ошибки составляет 5 – 6 %). Вероятность ошибки систем идентификации голоса, рассмотренных в обзоре, составляет 1 – 3%. Однако разработанная модель оказывается более быстродействующей (время идентификации на ЭВМ с частотой процессора 1,60 ГГц и объёмом оперативной памяти 896 МБ для разработанной модели составляет менее 1 секунды, для систем, рассмотренных в обзоре, – 3 – 5 секунд при длительности фразы 3 секунды). Кроме того, в отличие от существующих разработок, присутствует возможность настройки модели и предложен метод и комплекс программ, позволяющий тестировать разработанную модель. В заключении приводятся основные результаты и выводы диссертационной работы. Выводы по результатам диссертацииВ ходе решения поставленной задачи были получены следующие результаты:
Список публикаций по теме диссертации
|
Добавить документ в свой блог или на сайт
Похожие:
 | Психология индивидуальности Прогноз спортивного мастерства по индивидуальным характеристикам психометрических показателей |  | Дипломная работа на тему: Разработка программ лояльности клиентов... ... |
| Отчет о выполнении научно-исследовательской, опытно-конструкторской... «Разработка механизмов однозначной идентификации данных о физических лицах и объектах недвижимости, хранящихся в различных информационных... | | Разработка и исследование моделей поведения динамических объектов... Специальность: 05. 13. 18 – Математическое моделирование, численные методы и комплексы программ |
| Разработка алгоритмов поиска и обследования искусственных протяженных... Специальность: 05. 13. 18 – Математическое моделирование, численные методы и комплексы программ | | Программа по формированию навыков безопасного поведения на дорогах... Разработка и внедрение комплекса специализированных образовательных программ повышения квалификации |
| Министерство образования и науки республики татарстан гаоу спо «нижнекамский... Методические указания по выполнению контрольных работ по дисциплине "Экономическая теория" для студентов экономических специальностей–... | | Процесс идентификации и самоидентификации в изменяющемся обществе:... К группе и то по каким критерием группа проводит дихотомию «мы-они», выделяет своих членов, также меняется. В современном мире помимо... |
| Математическое моделирование термически нагруженных конструкций котельных агрегатов Специальность: 05. 13. 18 – Математическое моделирование, численные методы и комплексы программ | | Вопросы к экзамену по дисциплине «Криминалистика» Основные положения теории идентификации. Значение теории идентификации в раскрытии преступлений |
| Рабочая программа учебной дисциплины современные технологии математического... Специальность научных работников: 05. 13. 18 «Математическое моделирование, численные методы и комплексы программ» | | Рабочая программа учебной дисциплины современные технологии программирования... Специальность научных работников: 05. 13. 18 «Математическое моделирование, численные методы и комплексы программ» |
| Разработка требований к оценке социально-личностных компетенций и... Отка требований к оценке мотивационно – ценностной составляющей системных и общенаучных компетенций, включая описание условий для... | | Доклад ронжина Андрея Леонидовича по диссертационной работе «Разработка... «Разработка адаптивного метода робастного понимания слитной речи на основе интегральной обработки данных», представленной на соискание... |
| «разработка комплекса мер по снижению воздействия выбросов автотранспорта на население городов» По теме: «разработка комплекса мер по снижению воздействия выбросов автотранспорта на население городов». 1 этап – 10 автомагистралей... | | Приказ №9 от 31. 01. 2014г. Понедельник-пятница, по расписанию (уроки)... Телекоммуникационное устройство для голосового общения удалённых абонентов, тип 2 ip-телефон Cisco spa504G |
