Исследование инвариантов нелинейной динамики речи и принципы построения системы аудиоанализа психофизиологического состояния

Частью системы для исследования экспериментальной речи является программное обеспечение. Для обработки полученных речевых сигналов использовался специально разработанный автором для целей диссертационной работы программный пакет StressTest. Аудиосигналы, записанные с помощью микрофона, были оцифрованы с помощью звуковой карты компьютера, затем данные были отфильтрованы в полосе частот до 4 кГц, затем ко всему сигналу применялся программный фильтр от шума (использующий методом спектрального вычитания), далее из сигнала были удалены звуки, резко выделяющихся из общего фона (т.н. аномалии). Из обработанного сигнала выделялись последовательно: слова, слоги, ударные гласные. В качестве тестового было взято наиболее часто встречающееся слово «свободная» с ударной гласной «о» во втором слоге. Предварительно выделенные участки речевого сигнала были исследованы на «хаотичность», для целесообразности применения методов нелинейной динамики. Было отобрано 100 образцов гласного звука «о», удовлетворяющих критериям «хаотичности». Таким образом, речевая база данных во временном интервале, соответствующем одной неделе, составила 100 образцов кардинальных гласных звуков «о», которые выбраны из ежедневной речи двух диспетчеров при разном эмоциональном состоянии человека-оператора (спокойствие, стресс). Затем с помощью разработанного программного обеспечения были проанализированы полученные данные. Допущением в данном эксперименте является упрощенная классификация эмоций, где необходимым и достаточным считается отделение состояния «спокойствие» от состояния «стресс». Для восстановления фазового пространства были рассчитаны размерность внедренного пространства и временная задержка для каждого образца фонемы методами, описанными в главе 2. Временная задержка для исследованных фонем базы составила (0,45±0,2) мс. Внедренная размерность принимает значения от 4 до 6. Были получены фазо-пространственные реконструкции методами критерия избыточности и сингулярного разложения, построены спектры мощности для всех фонем базы. Второй метод использовался для сильно зашумленных сигналов (как было описано выше). Для экспериментальной фонемной базы конвергенция множества сингулярных величин наступает при разложении на 10-13 сингулярных величин. Внедренная размерность, выбранная как эффективное число сингулярных величин, составила 4-5. Рассчитано значение максимального характеристического показателя Ляпунова, которое принимает значения в пределах от 0,0109±0,002 с-1 до 0,0912±0,0035 с-1; при стрессовой ситуации увеличивается на (60±10)% для иследуемого гласного «о». Корреляционная размерность принимает значения от 1,4±0,1 до 3,9±0,1; в стрессовой ситуации увеличивается на (20±5)%. Для всех фонем экспериментальной базы были построены отображения Пуанкаре. Для состояния спокойствия характер распределения точек равномерный. При возникновении стрессовой ситуации характер распределения меняется: точки концентрируются в центре, расстояние между ними уменьшается, что свидетельствует о стрессовом состоянии человека-оператора. Для всех фонем экспериментальной базы были построены рекуррентные графики. По наличию диагональных структур можно говорить, что система демонстрирует хаотическую динамику, а по расстоянию между вертикальными кластерами ряд состояний можно отнести к стрессовым. Была расчитана энтропия второго порядка, среднее значение составило 2,8 бит/с. Среднее расстояние во времени между соседними точками для фонемных образцов изменяется от 112±20 до 450±35 отсчетов. Из-за присутствия аддитивного шума показатели для всех видов нелинейных характеристик возрастают, это было учтено при классификации эмоций в условиях профессиональной деятельности человека-оператора. С помощью методов нелинейной динамики было определено 35 критических случаев стресса из 100 образцов. Видеоизображение использовалось для экспертной оценки данных с целью определения эмоции – совпадение результатов расчета нелинейных инвариантов с результатами анализа невербальной символики 72%. Анализ речевых сигналов диспетчеров СКЖД, записанных непосредственно в оперативной обстановке, показал пригодность используемой методики. В четвертой главе в соответствии с исследованиями, проведенными в рамках главы 2 и экспериментом, проведенным в рамках главы 3, были предложены следующие принципы построения системы аудионализа речи человека-оператора, основанные на использовании методов нелинейной динамики: Создание базового образца речевого сигнала условно свободного от эмоций с обновляемыми значениями инвариантов нелинейной динамики. Априорный анализ сигнала на целесообразность применения к нему методов нелинейной динамики. Вычисление инвариантов нелинейной динамики речи человека-оператора в условиях профессиональной деятельности с созданием персональной базы образцов. Оценка психофизиологического состояния человека-оператора на основе сравнения новых параметров с базовым состоянием субъекта. В данной работе инварианты нелинейной динамики речи были использованы для оценки психофизиологического состояния человека-оператора. Изменяющиеся во времени параметры нелинейных характеристик речи дают динамическую картину изменения функционального состояния человека-оператора. Построена обобщенная блок-схема системы для анализа речевого сигнала, которая включает блоки регистрации, преобразования, анализа, отображения информации и принятия решения (рис. 8). Разработан алгоритм обработки речевого сигнала, включающий запись речи, обработку НЧ фильтром, обработку сигнала от шума методом спектрального вычитания, выделение фонемы, обработку методами нелинейной динамики для получения численного и графического анализа психофизиологического состояния человека-оператора (корреляционная размерность, максимальный характеристический показатель Ляпунова, энтропия второго порядка, размерность внедренного пространства, построение функции взаимной информации, отображения Пуанкаре, рекуррентного графика, фазо-пространственной реконструкции). Представлена программная реализация блока обработки речевого сигнала методами нелинейной динамики, написанная на языке С#. В заключении сформулированы основные результаты, полученные в диссертационной работе. Рис. 8 Обобщенная блок-схема системы аудиоанализа речевого сигнала ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ Рассмотрены современные системы для анализа голоса, принципы, положенные в основу подобных систем. Рассмотрены физиологические причины нелинейностей, возникающих в речевом аппарате человека. Показано, что речевой тракт можно рассматривать как нелинейную диссипативную систему и применить для его анализа методы нелинейной динамики. Рассмотрены методы нелинейной динамики применительно к анализу речевого сигнала. Исследован речевой сигнал на «хаотичность» с помощью методов нелинейной динамики. Выявлены критерии выделения участков речевого сигнала, пригодных (обнаруживающих хаотическую динамику) для анализа методами нелинейной динамики: Рекуррентный график должен содержать диагональные структуры, что свидетельствует о хаотичности процесса. Корреляционный интеграл должен сходиться при некотором значении размерности внедренного пространства, что дает оценку размерности вложенного пространства и корреляционную размерность. Максимальный характеристический показатель Ляпунова должен принимать положительное значение, что свидетельствует о хаотичности процесса и расхождении траекторий по экспоненциальному закону. Отображение Пуанкаре должно содержать равномерные или неравномерные подковообразные скопления точек. Энтропия второго порядка должна принимать положительное значение. Были построены фазо-пространственные реконструкции речевого сигнала. Рассмотрены два оптимальных критерия, чтобы получить речевые восстановленные траектории: метод сингулярного разложения и критерий избыточности. Анализ геометрии полученных фазовых аттракторов показал, что определенная геометрия соответствует определенной эмоции, что также может служить признаком психофизиологического состояния. Для разных гласных выявлено схожее поведение отображения Пуанкаре для определенной эмоции, что может служить признаком эмоционального состояния человека. В частности, для состояния «гнев» характерно скопление точек в центре и расходящиеся ветви подковообразной формы, для состояния «спокойствие» – равномерное распределением точек. Предложен классификатор. Отрицательные эмоции в речи человека на рекуррентном графике отображаются уменьшением размера кластеров, которые образуются диагональными структурами. Максимальный характеристический показатель Ляпунова принимает значения в пределах от 0,0139±0,0027 с-1 до 0,0813±0,006 с-1, для эмоционального состояния «гнев» значения возрастают на (176±30)%, (54±5)%, (73±4)% для гласных «у», «о», «и», соответственно. Оценка внедренной размерности составила 4-6 и корреляционной размерности – (1,2-2,5)±0,1. Относительно состояния «спокойствие» значение корреляционной размерности для состояния «гнев» возрастает на (20±5)%. В результате проведенного эксперимента и последующего анализа с помощью методов нелинейной динамики было определено 35 критических случаев стресса из 100 образцов. Видеоизображение использовалось для экспертной оценки данных с целью определения эмоции – совпадение результатов расчета нелинейных инвариантов с результатами анализа невербальной символики 72%. Анализ речевых сигналов диспетчеров железной дороги, записанных непосредственно в оперативной обстановке, показал пригодность используемой методики. Рассмотрены возможности использования методов нелинейного анализа речи для определения психофизиологического состояния человека-оператора. В частности, исследована возможность построения автоматизированной системы анализа с помощью предложенной методики. Предложены принципы построения системы для анализа речевого сигнала. Приведена обобщенная блок-схема и алгоритм обработки речевого сигнала с применением аппарата нелинейной динамики. Представлена программная реализация нелинейной обработки речевого сигнала. Публикации по теме диссертационной работы: Статьи в журналах из «Перечня ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора и кандидата наук»: Перервенко Ю.С., Старченко И.Б. Эмоциональная речь: детерминированный хаос или нелинейный случайный процесс? // Известия ЮФУ. Технические науки – Таганрог: Изд-во ТТИ ЮФУ, 2007. – № 1(78). – С. 100-101. Перервенко Ю.С., Черемушкин В.А. Формирование базы аудиозаписей диспетчеров Ростовского узла СКЖД в оперативной обстановке // Известия ЮФУ. Технические науки – Таганрог: Изд-во ТТИ ЮФУ, 2008. – № 5 (82). – С. 156-157. Статьи в других изданиях и тезисы докладов на конференциях: Перервенко Ю.С., Старченко И.Б. Акустические и физиологические нелинейности речевого тракта и метод их регистрации // Акустика речи. Сборник трудов XIX сессии Российского акустического общества. – М.: ГЕОС, 2007. – Т. III. – С. 36–39. Перервенко Ю.С. Нелинейная нечеткая модель речевого сигнала // Новые информационные технологии в научных исследованиях и образовании: материалы XII Всероссийской научно-технической конференции студентов. – Рязань: Изд-во РГРТУ, 2007. – С. 56-58. Перервенко Ю.С. Анализ нелинейностей речевого сигнала // Радиоэлектроника и молодежь в XXI веке: материалы 11-го международного молодежного форума. – Харьков: Изд-во ХНУРЭ, 2007. Ч. 1. – С. 289. Перервенко Ю.С., Борисова О.С., Душенин Д.Ю. Программно-аппаратный комплекс для анализа биологических сигналов методами нелинейной динамики // Молодежь и современные информационные технологии. Сборник трудов VI Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых. – Томск: ООО «Энд графикс», 2008. – С. 86-87. Перервенко Ю.С. Информационная система анализа речи диспетчеров ЖД методами нелинейной динамики // Сборник докладов XXI Всероссийской научно-технической конференции студентов, молодых ученых и специалистов «БИОМЕДСИСТЕМЫ – 2008». – Рязань, 2008. – С. 166-172. Перервенко Ю.С. On-line система оценки психофизиологического состояния человека-оператора по речевому сигналу // Труды Международной молодежной научной конференции «XXXV Гагаринские чтения». – Москва, 2009. – С. 42-43. В работах, опубликованных в соавторстве, лично автору принадлежат следующие результаты: в работе [1] – выполнены расчеты показателей нелинейной динамики, предложены критерии хаотичности сигнала; в работе [2] – выполнены экспериментальные исследования и предложены алгоритмы устранения аномалий сигнала; в работе [3] – исследованы нелинейности речевого тракта и сформулированы причины их возникновения; в работе [6] – разработаны алгоритмы работы программного комплекса. ЛР 02205665 от 23.06.1997 г. Подписано к печати _____. _____. 2009 г. Формат 60х84 1/16. Бумага офсетная. Печать офсетная. Усл.п. л. – Заказ № _______ Тираж 100 экз. © Издательство Технологического института Южного федерального университета в г. Таганроге Таганрог, 28, ГСП 17А, Некрасовский, 44 Типография Технологического института Южного федерального университета в г. Таганроге Таганрог, 28, ГСП 17А, Энгельса, 1

Похожие:

	Патентам и товарным знакам (19) Степанов о. А. Применение теории нелинейной фильтрации в задачах обработки навигационной информации. Спб.: Гнц РФ цнии «Электроприбор»,...		Работа представляет собой краткий обзор состояния дел в области разработки... Изложены базовые принципы построения ситемы управления на базе поведенческих реакций и архитектуры системы управления группой летательных...
	«банковские информационные системы» Изучить основные принципы построения систем автоматизации в бухгалтерском учете		Принципы муниципального избирательного права «принципы избирательной системы», «принципы выборов», «принципы организации и проведения выборов», «принципы избирательных прав»....
	Программа по формированию навыков безопасного поведения на дорогах... Цель: познакомить учащихся с новой частью речи – категорией состояния; формировать умения определять значения части речи, морфологические...		Принципы построения систем поддержки принятия решений для оценки... Объект внимания данной работы представляет собой систему поддержки принятия решений (сппр) для оценки функционального состояния лица...
	Ээг корреляты психофизиологического состояния человека в процессе циклического дыхания Работа выполнена в Институте высшей нервной деятельности и нейрофизиологии ран (директор д б н., проф. Балабан П. М.) и Гу нии мозга...		Дисциплина «Управление портфелем проектов» Темы рефератов Основные принципы построения эффективной системы контроля при управлении портфелем проектов
	Исследование систем управления процесс определения организационной... Место исследований систем управления в комплексе дисциплин по теории и практке управления		2014 содержание Общий анализ состояния и динамики рынка овощей и фруктов Омска и омской области 19
	Адаптивная саморегуляция психофизиологического состояния детей с... Развитие умений и навыков детей в различных видах деятельности не возможно без совместной работы дошкольного учреждения с семьёй		Разработка унифицированных функциональных модулей и исследование Этап 3 Описание и исследование классов модулей системы "ШкРоб-1" в рамках разработанной структурно-интерфейсной модели. Нахождение...
	Книга фгуп «Санкт-Петербургское окб «Электроавтоматика» Рассматриваются основные принципы построения перспективных бортовых цифровых вычислительных систем в авиационном приборостроении....		Отчет о научно-исследовательской работе исследования в области построения... Этап 1 «Анализ и исследование систем управления информационным обменом в сетях обработки данных»
	Программа по формированию навыков безопасного поведения на дорогах... Рабочая программа предназначена для преподавания дисциплины «Принципы построения транспортных сетей» студентам очной полной формы...		Форма подготовки (очная/заочная) Целью дисциплины является изучение структуры и принципов построения теплоэнергетической системы промышленного предприятия, закономерностей...