О распознающей способности нейросети на нейронах с параметрическим преобразованием частот

Доклады АН, сер. мат.физика, т. 383, №3, с.318-321, 2002. УДК 621.391.1 Б.В.Крыжановский, академик А.Л.Микаэлян О РАСПОЗНАЮЩЕЙ СПОСОБНОСТИ НЕЙРОСЕТИ НА НЕЙРОНАХ С ПАРАМЕТРИЧЕСКИМ ПРЕОБРАЗОВАНИЕМ ЧАСТОТ Реферат Проведен анализ распознающей способности нейросети, способной хранить и обрабатывать информацию, закодированную в виде частотно-фазовой модуляции. Информативные сигналы в рассматриваемой сети передаются по межсвязям в виде квазимонохроматических импульсов на n разных частотах. За основу такой сети принят "параметрический" нейрон – обладающий кубической нелинейностью элемент, способный к преобразованию и генерации частот в процессах параметрического четырехволнового смешения. Показано, что с ростом числа несущих частот помехозащищенность рассматриваемой ассоциативной памяти резко возрастает. Одновременно резко возрастает и объем нейросетевой памяти, которая в n2 раз больше аналогичной величины в стандартной сети Хопфилда. Число образов, которые способна сохранять такая нейросеть, может во много раз превышать число нейронов. На сегодня достаточно развита теория нейронных сетей [1-8], базирующихся на формальных нейронах Маккаллока-Питса [1] и предназначенных для обработки бинарных сигналов. Целью настоящей работы является анализ распознающей способности нейросети, способной обрабатывать информацию, закодированную в виде частотно-фазовой модуляции. Информативные сигналы в рассматриваемой нами сети передаются по межсвязям в виде квазимонохроматических импульсов на n разных частотах . За основу такой сети принят "параметрический" нейрон – обладающий кубической нелинейностью элемент, способный к преобразованию и генерации частот в процессах параметрического четырехволнового смешения [9]. Схематически предлагаемую модель нейрона можно представить как устройство, состоящее из сумматора входных сигналов, набора из n идеальных частотных фильтров , блока сравнения сигналов по амплитуде и n генераторов квазимонохроматических сигналов . Работа такого нейрона осуществляется в следующей последовательности: входные сигналы суммируются; суммарный сигнал пропускается через n параллельно соединенных частотных фильтров; выходные сигналы с фильтров сравниваются по амплитуде; сигнал с максимальной амплитудой инициирует генерацию выходного импульса, частота и фаза которого совпадают с частотой и фазой инициирующего сигнала. Имеется ряд стимулов к такого рода анализу. Во-первых, решение поставленной задачи позволит отказаться от искусственной адаптации оптической нейросети к амплитудно-модулированным сигналам и в полной мере использовать преимущества оптической обработки сигналов. Во-вторых, передача по межсвязям сигналов на n разных частотах (аналог уплотнения канала) позволит в раз уменьшить число межсвязей, т.е. решить проблему огромного числа соединений-межсвязей, возрастающего с ростом числа нейронов N как (в стандартных нейросетевых структурах межсвязи занимают до 98% площади нейрокристалла). В-третьих, можно считать установленным фактом, что базовыми функциональными элементами, отвечающими за высокоуровневую деятельность коры головного мозга, являются так называемые корковые колонки: сильно связанные группы нейронов, обладающие коллективными свойствами и, в принципе, способные к смешению частот и обработке частотно-модулированных сигналов (см. библиографию в [7]). Отдельный же нейрон генерирует единичные импульсы или пачки таких импульсов. Поэтому нейрофизиологи задаются вопросом – как происходит обмен информацией в коре головного мозга, на основе частотно-фазовой или амплитудно-импульсной модуляции? Рассматриваемая здесь задача не даст ответ на этот вопрос, однако проводимый анализ позволит оценить некоторые параметры нейросети и для случая частотно-фазовой кодировки сигналов. Уточним, что рассматриваемый нами "параметрический нейрон" фактически представляет собой ансамбль тесно связанных нейронов и до некоторой степени моделирует функционирование корковой колонки в целом, а не работу отдельного живого нейрона. Рассмотрим полносвязную нейронную сеть, построенную на параметрических нейронах подобно обычной сети Хопфилда [3]. Сеть предназначена для хранения и распознавания некоторого множества векторов , компоненты которых представляют собой квазимонохроматические импульсы длительностью  : , , (1) где - фаза, обусловленная транспортными задержками в межсвязях или синаптическими задержками, а - одна из собственных частот параметрического нейрона, т.е. . Для простоты примем, что  - величина, кратная всем периодам собственных колебаний нейрона , причем , а собственные частоты нейрона подчиняются условию: только при i=d или j=d . Будем полагать, что синаптические межсвязи также являются динамическими и организованы по правилу Хебба [2] : (2) Рассмотрим алгоритм функционирования нейрона более детально, полагая обратную связь отсутствующей (). Поступающие на вход i-го нейрона сигналы от других нейронов (,) суммируются с весами , образуя суммарный входной сигнал (3) который подается на n частотных фильтров нейрона. Амплитуда отфильтрованного сигнала на выходе k-го фильтра этого i-го нейрона () описывается выражением: (4) Амплитуды сравниваются по абсолютной величине. Решающее правило для генерации отклика таково: если максимальное значение имеет выход с фильтра под номером (), то нейрон испускает импульс с несущей частотой в фазе с величиной . Пусть нейронная сеть возбуждается неким вектором X , который в точности совпадает с одним из записанных в память сети векторов , например , или является его искаженным образом: (5) где - последовательность независимых одинаково распределенных случайных величин, принимающих значения -1 и +1 с вероятностями p и соответственно. Тогда на следующем такте работы нейросети входной сигнал (3) на i-м нейроне будет иметь вид: (6) Интегрируя это выражение в соответствии с (4) для амплитуд отфильтрованных сигналов получим: (7) где - дельта-символ Кронекера-Капелли и введены обозначения (8) Анализ распознающей способности описанной выше нейросети проведем на примере рандомизированного множества хранимых в памяти векторов полагая, что частоты - статистически независимые случайные величины, с вероятностью принимающие одно из значений , а - также независимые случайные величины, с равной вероятностью принимающие значения 0 или .. В этом случае величина принимает отличное от нуля значение с вероятностью , а случайная величина с вероятностью ½ принимает значения 1. Таким образом, двойную сумму в (7) следует рассматривать как сумму случайных независимых одинаково распределенных величин , , принимающих значения: 0 с вероятностью ; 1 с вероятностями . С учетом сказанного, из (7) для величин отфильтрованных сигналов получим: в канале, где (9) в каналах, где (10) Для правильного распознавания образа i-й нейрон должен выдать сигнал . Как видно из (9)-(10), правильный отклик нейрона может быть инициирован только сигналом из канала (9), частота которого совпадает совпадает с частотой (остальные каналы могут инициировать только неверный отклик с отличной от частотой). Поэтому, первое необходимое условие для правильного распознавания состоит по определению в том, что величина (9) должна быть больше по абсолютной величине любой из величин (10): в этом случае канал (9) подавит все остальные каналы (10) и инициирует генерацию выходного сигнала нейрона с “верной”частотой . Второе необходимое условие, заключается в том, что величина в квадратных скобках (9) должна быть больше нуля: в этом случае и фаза генерируемого сигнала совпадет с фазой величины . При одновременном выполнении этих двух условий нейрон правильно распознает компоненту , во всех остальных случаях произойдет ошибка распознавания. С учетом этого вычислим верхнюю границу вероятности ошибки распознавания отдельной компоненты . Для этого воспользуемся известной техникой Чебышева-Чернова [10], согласно которой для любого справедливо соотношение: (11) где черта означает осреднение по ансамблям и . Минимизируя правую часть (11) по находим, что минимум достигается при z , удовлетворяющем уравнению: (12) В наиболее интересном случае корень (12) можно представить в виде разложения по степеням величины . Подставляя соответствующее выражение в (11) и ограничиваясь только первым членом разложения по в пределе для вероятности ошибки распознавания вектора получим: (13) Положив для всех мы переходим к хорошо исследованому случаю биполярной сети Хопфилда, поскольку в этом случае и , и выражение (13) совпадает с известными в литературе (см. [4-8] и ссылки в них). Проведенное выше рассмотрение представляет интерес при . В этом случае величину можно с достаточной для оценок точностью заменить на . Тогда выражение (13) перепишется в виде: (14) Здесь, опустив промежуточные выкладки, мы учли еще и искажения частотных характеристик, где - вероятность сбоя частоты компонеты распознаваемого вектора. Как следует из (14), нейросеть в более чувствительна к сбоям фазы, чем к сбоям частоты. Полученное неравенство устанавливает верхнюю границу для средней вероятности ошибки в рассматриваемой нами нейронной сети с параметрами . С ростом N эта граница сходится к нулю всякий раз, когда величина M как функция от N растет медленнее, чем (15) Согласно [4-5] это дает основание рассматривать величину (15) как асимптотически достижимую мощность ассоциативной памяти анализируемой нами нейронной сети. Как видим, с ростом n помехозащищенность рассматриваемой ассоциативной памяти резко возрастает. Одновременно резко возрастает и объем нейросетевой памяти, которая в раз больше аналогичной величины в стандартной сети Хопфилда. Более того, в отличие от сети Хопфилда, число образов M, которые способна хранить в себе такая нейросеть, может во много раз превышать число нейронов. Отмеченные свойства обусловлены достаточно сложной структурой нейрона, на котором построена сеть. Действительно, подавляющее большинство шумовых компонент, возникающих в результате параметрического смешения частот на входе нейрона, имеет частоты, отличные от собственных частот динамического нейрона, и подавляется при фильтрации. В каждом из каналов шум подавляется приблизительно в раз, что и нашло отражение в вероятностном распределении . Резюмируем полученные выше результаты: а). введение частотных характеристик для компонент обрабатываемых образов приводит к значительному повышению объема нейросетевой памяти и уменьшению ошибки распознавания; б). число межсвязей в результате «уплотнения каналов» можно уменьшить в раз, не уменьшив при этом объема памяти и не увеличив ошибки распознавания, т.е. в определенной мере решить проблему . Конечно, усложнение нейрона влечет за собой увеличение количества локальных соединений внутри него самого. Однако, более важно то, что при этом уменьшается количество дальних межсвязей к другим нейронам. Работа выполнена при поддержке РФФИ (проект 01-07-90308) и программы "Интеллектуальные компьютерные системы" (проект 4.5). Литература: 1. McCulloch W.S.and Pitts W. //Bull.Math.Biophys.. 1943. V.5. P.115-133. 2. Hebb D.O. The Organization of Behavior. New York: Wiley, 1949. 3. Hopfield J.J. //Proc.Nat.Acad.Sci.USA. 1982. V.79. P.2554-2558. 4. McEllise R.J., Posner E.C., Rodemich E.R., Venkatesh S.S. //IEEE Trans. Inf. Theory. 1987. V.33. N.4. P. 461-482. 5. Kuh A. and Dickson B.W. //IEEE Trans. Inf. Theory. 1989. V.35. N.1. P.59-68. 6. Kiselev B.S., Kulakov N.V., Mikaelian A.L., Shkitin V.A.//Intern.Journ.of Opt. Computing. 1990. V.1. N.1. P.89-92. 7. Hoppensteadt F.C., Izhikevich E.M. //IEEE Tras. on Neural Nets. 2000. V.11, N3, P.734-738. 8. Kryzhanovsky B.V., Koshelev V.N., Mikaelian A.L., Fonarev A. //Optical Memory and Neural Networks. 2000. V.9, №4, P.267-276. 9. Райтжес Д. Нелинейные оптические параметрические процессы. М.: Мир, 1987. 10. Chernov N. //Ann. Math. Statistics. 1952. V.23. P.493-507.

Похожие:

	Реферат на тему: «Испытания рэси на механические воздействия (обнаружение... На обнаружение резонансных частот конструкции и проверку отсутствия их в заданном диапазоне		5. транкинговые системы с распределенным каналом управления Вместо этого, полосы частот каждого из каналов трафика разбиваются на два поддиапазона до 300 Гц и выше 300 Гц. Полоса частот до...
	Технология изготовления сверхпроводниковых болометров терагерцового диапазона частот		Задача семьи состоит в том, чтобы вовремя увидеть, разглядеть способности... К сожалению, далеко не каждый человек способен реализовать свои способности. И в этом случае многое зависит от семьи и от образовательного...
	Патентам и товарным знакам (19) Область применения: силовая полупроводниковая техника с низкочастотным и высокочастотным преобразованием электрической энергии, выпрямительные...		Кафедра общего и финно-угорского языкознания Обучающая деятельность связана с обработкой информации – её поиском, сбором, хранением и систематизацией, применением и преобразованием...
	Способности и одаренность в младшем школьном возрасте Содержание понятия «способности»: сущность и специфика развития		Реферат по дисциплине «Экономическая кибернетика» Экономическая кибернетека рассматривает экономику, а также её структурные и функциональные части как сложные системы, в которых протекают...
	Лебедева Елена Ивановна Эмоциональное развитие, воспитывать способности к сопереживанию, рефлексии, эстетической способности переживать красоту окружающего...		Радиофизический факультет Свч, квч и терагерцовых диапазонов частот. Рассматриваются процессы, происходящие в гетеропереходах, и объясняются основные причины...
	Так управлять Казахстаном недопустимо Говоря о результатах, отмечу, речь ниже пойдёт об итогах производящего труда, производства. Поскольку всё человечество занято преобразованием...		Диссертации и автореферата по вак 03. 00. 02, доктор физико-математических... Физико-химические механизмы действия электромагнитного излучения крайне высоких частот на клеточном и организменном уровнях
	Реферат Акустические приборы Это позволяет сделать весь громкоговоритель более плоским. Его частотная характеристика постоянна, в области высоких частот она не...		Программа по формированию навыков безопасного поведения на дорогах... Помочь детям усвоить понятие «способности», показать свои способности и возможности
	Программа по формированию навыков безопасного поведения на дорогах... Очень многое зависит и от семьи, и от школы. Задача семьи состоит в том, чтобы вовремя увидеть, разглядеть способности ребенка, задача...		Моделирование изображений с заданными фрактальными характеристиками (mif) При этом ичх синтезированных изображений является инвариантом относительно мультипликативных уменьшений масштаба в области пространственных...