Конспекты лекций по дисциплине “Основы теории управления” Кафедра Техничнской физики Физико-технолгического института Екатеринбург 2012 г. Содержание Раздел №1

Лекция 10. Основные этапы нейросетевого анализа Этап 1: выбор типа архитектектуры нейронной сети Выбор типа нейрона со своей активационной формой Выбор количества входов/выходов, что четко связано с постановкой задачи. Выбор количества слоев и нейронов в каждом слое Примечание: для каждого класса задач существуют уже известные заранее типы архитектуры нейросети(см.таблицу) В рамках известных архитектур может решаться вопрос о варьировании количества слоев и нейронов в каждом слое. Этот вопрос уточняется на этапе обучения нейросети. Этап 2: подготовка данных Кодирование входов/выходов Нормировка данных Обеспечение независимости между входами нейросети- предобработка данных Здесь проводится анализ всех сочетаний входов между собой. Этап 3: процесс обучения нейросети Этап 4: выбор нейросети, которая наилучшим образом подходит по результатам обучения для решения задачи. Этап 5: оценка значимости ошибки, которую дает нейронная сеть для решения поставленной задачи. Проблемы обучения: Медленная сходимость процесса обучения. Но теоретически сходимость доказана для случая, когда шаг обучения бесконечно мал. При реализации алгоритма, когда шаг конечен, сходимость далеко не всегда обеспечена. “Ловушки”- создаются локальными минимумами. Стремление минимизировать ошибку. Приемы: Изменяет архитектуру сети. В частности, увеличивает количество нейронов. Время обучения также увеличивается. Паралич сети” Ситуация возникает в том случае, когда веса стали слишком большими. S 1 В этом случае процесс обучения блокирован, то есть связь между соседними слоями разрывается. “Перетренировка сети”(обучение) Эта проблема состоит в потере нейросетью своей основной способности к обобщению. Причина этой проблемы кроется в потере соответствия(адекватности), сложности архитектуры сети, степени сложности решаемой задачи. “Перетренировка” возникает в случае, когда архитектура сети слишком сложная для решаемой задачи. В этом случае сеть просто запоминает все обучающие примеры и при предъявлении новых данных ошибка при решении задачи велика. -для однородных нейронных сетей. - количество синоптических весов n- количество входов m- количество выходов N- количество элементов обучающей выборки Число нейронов в скрытом слое для двухслойной сети Подходы к решению проблемы перетренировки: Создание контрольной кросс-проверки- часть обучающей выборки, которая не участвует в процессе обучения, но используется для анализа нейросети в процессе обучения. По мере обучения и та, и другая ошибки уменьшаются. Если вдруг ошибка на контрольном множестве стала расти, это свидетельство того, то сеть переобучилась, то есть стала слишком близко аппроксимировать. => выбранная архитектура слишком сложна. В противоположном случае, когда обе ошибки не могут достичь нужного уровня, сеть слишком проста. Лекция 11 Генетические алгоритмы Генетические алгоритмы(ГА)- это простая модель эволюции в природе, реализованная в виде компьютерной программы и воспроизводящая механизмы естественного отбора и генетического наследования, которые происходят в процессе эволюции живых огрганизмов. Назначение ГА: применяются для решения поисковых задач, которые имеют большое пространство в поисках решения с целью уменьшения этого пространства поиска. Наиболее распространенное применение- решение задач оптимизации. Сущность естественного отбора в природе Естественный отбор- основной механизм эволюции. Каждый биологический вид целенаправленно развивается с целью наилучшей приспособляемости к окружающей среде. При этом более приспособленные особи получают больше возможностей для выживания и приспособления. При формировании нового поколения работает механизм генетического наследования, согласно которому потомки наследуют от родителей основные свойства. Потомков более приспособленных родителей будет больше. В среднем, через несколько десятков или сотен новых поколений средняя приспособленность данного вида возрастает. Механизм генетического наследования Генетическая информация хранится в виде набора молекул ДНК. Каждая молекула ДНК- это цепочка из молекул нуклеотидов четырех типов: A, T, C, G. Собственно генетическая информация хранится в виде порядка следования нуклеотидов в молекуле ДНК(в виде кода). Ген- это часть хромосомы, которая отвечает за определенные качества особи. Значение гена- аллель. При размножении происходит скрещивание хромосом. Crossover, при котором хромосомы обмениваются своими частями. При последнем возможны мутации- изменение некоторых генов случайным образом и передача изменений происходит в том случае, если это изменение полезно. Основные понятия генетических алгоритмов Хромосома- вектор из нулей и единиц, каждая позиция которых называется геном. Особь(индивидуум)- это генотип(структура)=набор хромосом, который является решением задачи в закодированном виде, иначе это точка в пространстве поиска. Популяция- это множество особей. Фенотип- набор декодированных вариантов решения задачи(соответствует определенному генотипу). Crossover- операция скрещивания хромосом, при котором хромосомы обмениваются своими частями. Мутация- случайное изменение одной или нескольких позиций в хромосоме(значение гена- аллель). Функция приспособленности(fitness function): =функция оценки, это мера приспособленности данной особи в популяции. Именно она позволяет выбирать наиболее приспособленные особи. Виды функции приспособленности: Максимум – целевая функция Минимум – преобразование в максимум Задача в ТУ – отклонение ε→min Теория игр – стоимостная функция Локус- позиция гена в хромосоме Отличие генетических алгоритмов от традиционных методов оптимизации: Здесь производится обратное кодирование значений Поиск начинается не с одной точки, а сразу с нескольких Не требуется производить дифференцирование целевой функции Применяются вероятностные, а не детерминированные методы отбора Блок- схема классического генетического алгоритма начало инициализация – создание исходной популяции особей (хромосом) Оценивание приспособленности Селекция особей (репродукция) crossover (скрещивание) мутация Создание новой популяции Оценка приспособленности всех особей новой популяции проверка останова Выбор наилучшей особи конец Применение генетических операторов 1 2 3 4 4.1 4.2 5 6 да нет Сквозной пример: Инициализация: Исходная популяция формируется путем случайного выбора заданного количества особей. max f(x); f(x)=2+1, 1. a) кодируется значение переменной X 00000- 0 00001- 1 11111- 31 б) в качестве функции приспособленности выбирают целевую функцию в) размер популяции N=6 г) генерируется случайным образом исходная популяция 2. Оцениваем функцию приспособленности 3. Селекция Наиболее распространенным является метод “рулетки”: формируется круг, площадь которого равна сумме всех значений приспособленности особей. Этот круг делится на сегменты, где каждая часть определяется по формуле: вероятность селекции i-той хромосомы Очевидно, что чем больше сектор, тем больше вероятность победы соответствующей хромосомы и соответственно в среднем функция приспособленности от поколения к поколению будет возрастать. [0;100] пусть выпали: 97, 26, 54, 13, 31, 88 ch6; ch4; ch6; ch1; ch4; ch6. 0 100 20,45 20,45 20,49 23,7 48,7 24,9 52,4 47,6 ch1 ch2 ch3 ch4 ch5 ch6 Для нашего случая: Вращаем колесо рулетки 6 раз. Выпадают числа от 0 до 100. Пусть выпали следующие числа: 97, 26, 54, 13, 31, 88 Идентифицируем, в какой сектор попали эти числа, то есть какие хромосомы участвуют в скрещивании: Эти хромосомы включаются в родительский пул- временную популяцию, нужную для формирования потомков. 4. 4.1. Операция скрещивания Генерируются 3 пары случайным образом Для каждой пары хромосом подбирается локус(случайным образом) Производится обмен частями хромосом между двумя родителями Потомок 1: Потомок 2: Сформировались следующие пары: и ; и ; и ; ; Оператор мутации применяется с определенной вероятностью ch=[1011110] L=7 [0,1] Формирование новой популяции Оценка функции приспособленности новой популяции и ее фенотип: Проверка вида условий останова По времени По количеству итераций По отсутствию улучшения функции приспособленности По достижению максимума(если он известен) 8. Достоинства: Отсутствует ограничение на дифференцируемость функций. В частности, ГА работает и тогда, когда функции нет вообще. Гибкость- хорошо работает при минимуме информации об окружающей среде(при высокой степени априорной неограниченности). В ряде случаев ГА может находить только логический минимум(максимум). Несмотря на это, дает быстрое нахождение приемлемого решения. Комбинируется с другими методами искусственного интеллекта и его эффективность может повышаться. Лекция 12 Гибридные интеллектуальные системы ЭС Вероятностные вычисления(сети Баейса) НЛ НС Объединение ГА и НС COGANN(Combination of G.A. and N.N.) Виды объединений: Независимое НС и ГА применяются ля решения одной и той же задачи классификации. (многослойный персептрон, МП, SOM, ГА, KNN) Задача НС ГА k- means nearest neighbour Вспомогательное ГА НС Оба метода применяются последовательно, причем первый метод применяется для подготовки данных, которые затем используются во втором методе. а) НС->ГА НС используется для формирования исходной популяции НС ГА б) ГА->НС ГА используется для инициализации весов и выбора скорости обучения Равноправное Один метод используется для реализации какого-либо другого метода а) Применение ГА для обучения НС Задача оптимизации, где решается путем применения ГА: начало Исходная популяция хромосом декодирование хромосом Множество НС с заданными весами расчет функции приспособленности значение функции приспособленности для каждой хромосомы Условие останова селекция генетические операторы создание новой популяции наилучшая комбинация весов конец Генотип=Фенотип Достоинства: Позволяет избежать “ловушек” может применятся для функций, для которых градиент найти либо невозможно, либо сложно б) ГА используется для выбора топологии(архитектуры сети) В этом случае в качестве хромосомы выступает код архитектуры сети Существует 2 способа кодирования: Непосредственное. Составляется матрица связей, на основании нее строится хромосома. Недостаток: увеличение длины хромосомы при увеличении количества нейронов. Косвенное Кодируются важнейшие параметры архитектуры сети: количество нейронов и связи начало Исходная популяция хромосом декодирование хромосом Множество новых неизвестных структур НС Обучение НС Множество обученных НС Условие останова селекция генетические операторы создание новой популяции наилучшая комбинация весов конец Генотип=Фенотип Обучение НС Тестирование НС Оценка погрешности обучения = функция приспособленности да нет НЭС с НС и ГА НЭС ГА НС Применяются для настройки параметров функции принадлежности, для извлечения правил. ННС- нечеткие нейронные сети Этот вид сетей предназначен для реализации нечетких правил на базе НС. Такой подход позволяет компенсировать один из главных недостатков НС, который состоит в том, что ответ НС является непрозрачным, сама НС- черный ящик: объяснить ответ невозможно. Этот подход позволяет реализовать функцию объяснения для НС. Идея: х1 х2 Z … … … Если и , то Либо деление интервала на подинтервал, либо -срез ННС- это четкая НС прямого распространения сигнала, которая построена с использованием И, ИЛИ нейронов. И нейрон: ИЛИ нейрон: Назначение ННС: извлечение знаний Мягкая ЭС- это ЭС, которая обладает особенностями: Используются статические данные, которые интерпретируются, как обучающие выборки для ННС В этой ЭС знания представлены в виде: Лингвистической переменной Нечеткой продукции обученных НС с) решается задача редукции, то есть оптимизация множества извлеченных правил с помощью ГА МЭС = НЭС + ННС + ГА План УУ ОУ Дефаззификация Фаззификация Мягкая ЭС Нечеткий логический вывод ННС ГА База нечетких правил • V ε = x0-x

Похожие:

	Программа по формированию навыков безопасного поведения на дорогах... Фгоу впо сибгути. Раздел 1 Основы теории множеств. Раздел 2 Формулы логики. Раздел 3 Булевы функции. Раздел 4 Предикаты и бинарные...		Рабочая программа учебной дисциплины основы теории управления Дисциплина «Основы теории управления» относится к циклу профессиональных дисциплин, базовая часть. Для изучения дисциплины «Основы...
	Протокол 2 Дата 29. 09. 2012 Председатель: Грамотеева Н. А. Опорные... Опорные конспекты лекций по дисциплине «Риторика» для студентов специальности: 260502 Технология продукции общественного питания....		Программа учебной дисциплины основы менеджмента для бакалавров по... «Основы менеджмента» для бакалавров по направлению подготовки «Юриспруденция» 030900 [Текст] / «Государственный университет управления»,...
	Курс лекций Концептуальные основы теории и практики управления человеческими ресурсами (8 час.)		Фгбоу впо «удмуртский государственный университет» физико-энергетический... Изучение основ теории методов, апаратурного оформления, примеров практического использования, областей применения, достоинств, ограничений...
	Кафедра иностранных языков Профессионально-ориентированное обучение... Утверждено на заседании Совета Института иностранных языков (Протокол №11 от 24. 05. 12)		Кафедра иностранных языков Профессионально-ориентированное обучение... Утверждено на заседании Совета Института иностранных языков (Протокол №11 от 24. 05. 12)
	Конспекты лекций по дисциплине: «социология и политология» Раздел I. Социология Информация о технологии обучения и использовании мультимедийных материалов. Перечень и описание предлагаемых курсов: проектирование...		Вопросы к зачету по дисциплине «Ораторское искусство» для студентов заочного отделения Опорные конспекты лекций по дисциплине «Риторика» для студентов специальности: 260502 Технология продукции общественного питания....
	Конспекты по тематике лекционных занятий и ответы по темам лекций По дисциплине «История психологии» для студентов третьего курса, обучающихся по специальности 030301. 65 «Психология» на 2011-2012...		Рабочая учебная программа по дисциплине «Основы экономики» Фгбоу впо «Уральский государственный педагогический университет» Екатеринбург, 2012. – 53 с
	Национальный проект – производство гениев Опорные конспекты лекций по дисциплине «Риторика» для студентов специальности: 260502 Технология продукции общественного питания....		Рабочая программа По дисциплине: Теория государства и права Для специальности:...
	Урок в 8 классе по теме «Квадратные уравнения» Опорные конспекты лекций по дисциплине «Риторика» для студентов специальности: 260502 Технология продукции общественного питания....		2. Конспекты лекций 32 Теоретический раздел включает в себя основные проблемы бытия, познания, человека, культуры и общества, рассматриваемые как в рефлексивном,...