Вероятностный подход к определению количества информации

Скачать 35.78 Kb.

Название	Вероятностный подход к определению количества информации
Дата публикации	28.09.2014
Размер	35.78 Kb.
Тип	Документы

100-bal.ru > Информатика > Документы

Вероятностный подход к определению количества информации.

Формула Шеннона

Цели урока:

Сформировать у учащихся понимание вероятности, равновероятных событий и событий с различными вероятностями.
Научить находить количество информации, используя вероятностный подход.

Оборудование: доска, компьютер, мультимедийный проектор, карточки с заданиями, карточки-памятки, справочный материал.
Ход урока

I. Организационный момент.

II. Проверка домашнего задания.

III. Постановка цели урока.

Задача: Какое количество информации вы получаете ?

Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 3. ( 2 бита)
На железнодорожном вокзале 8 путей отправления поездов. Вам сообщили, что ваш поезд прибывает на 4 путь. (3 бита)
В коробке лежат 16 кубиков. Все кубики разного цвета. Сколько информации несет сообщение, если достали красный кубик.(4 бит)
В корзине лежат 8 черных и 24 белых шаров. Сколько информации несет сообщение о том, что достали шар?

Первые три варианта учащиеся решают без затруднения. События равновероятны, поэтому можно применить для решения формулу Хартли. Но четвертое задание вызывает затруднение. Делаются различные предположения

Не все ситуации имеют одинаковые вероятности реализации. Существует много таких ситуаций, у которых вероятности реализации различаются. Сегодня на уроке мы должны ответить на вопрос: как вычислить количество информации в сообщении о неравновероятном событии.

IV. Объяснение нового материала.

Для вычисления количества информации в сообщении о неравновероятном событии используют следующую формулу: I=log₂(1/p)

где I – это количество информации, р – вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле: р=K/N,

где К – величина, показывающая сколько раз произошло интересующее нас событие, N – общее число возможных исходов какого-то процесса.

Вернемся к нашей задаче.

Пусть К₁ – это количество черных шаров, К₁=8

К₂ – количество белых шаров, К₂=24

N – общее количество шаров, N = К₁ +К₂=24+8=32

Вычислим вероятность выбора шаров каждого цвета и количество информации, которое при этом было получено.

Вероятность выбора белого шара : р₁=24/32=3/4=0,75.

Вероятность выбора черного шара: р₂=8/32=1/4=0,25.

Обращаем внимание учащихся на то, что в сумме все вероятности дают 1.

Вычислим количество информации, содержащееся в сообщении, что достали белый шар: I₁=log₂(1/p₁)= log₂(1/0,75)= log₂1,3=1,15470 бит.

Вычислим количество информации, содержащееся в сообщении, если достали черный шар : I₂=log₂(1/p₂)= log₂(1/0,25)= log₂4=2 бит.

При сравнении результатов вычислений получается следующая ситуация: вероятность выбора белого шара больше, чем красного, а информации при этом получилось меньше. Это не случайность, а закономерность.

Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Вернемся к нашей задаче с шарами. Мы еще не ответили на вопрос: сколько получим информации при выборе шара любого цвета?

Ответить на этот вопрос нам поможет формула вычисления количества информации для событий с различными вероятностями, которую предложил в 1948 г. американский инженер и математик К.Шеннон.

Если I-количество информации, N-количество возможных событий, р_i - вероятности отдельных событий, где i принимает значения от 1 до N, то количество информации для событий с различными вероятностями можно определить по формуле:

можно расписать формулу в таком виде:

Рассмотрим формулу на нашем примере:

I = - (р₁∙log₂p₁ + р₂∙log₂p₂)= - (0,75∙ log₂0,75+0,25∙ log₂0,25)≈-(0,75∙(-0,42)+0,25∙2)=0,815 бит

Теперь мы с вами можем ответить на вопрос задачи, которая была поставлена в начале урока.

Можно ли применить формулу К. Шеннона для равновероятных событий?

Если p₁=p₂=..=p_n=1/N, тогда формула принимает вид:

Мы видим, что формула Хартли является частным случаем формулы Шеннона.

V. Закрепление изучаемого материала.

Задача: В корзине лежат 32 клубка красной и черной шерсти. Среди них 4 клубка красной шерсти.

Сколько информации несет сообщение, что достали клубок красной шерсти? Сколько информации несет сообщение, что достали клубок шерсти любой окраски?

Дано: К_к=4;N=32

Найти: I_к, I

Решение:

Найдем количество клубков черной шерсти: К_ч=N- К_к; К_ч=32-4=28
Найдем вероятность доставания клубка каждого вида: p_к= К_к/N=4/32=1/8; p_ч= К_ч/N=28/32=7/8;
Найдем количество информации, которое несет сообщение, что достали клубок красной шерсти: I_к= log₂(1/(1/ p_к))= log₂(1/1/8)= log₂8=3 бит
Найдем количество информации, которое несет сообщение, что достали клубок шерсти любой окраски:

Ответ: I_к=3 бит; I=0,544 бит

VI. Подведение итогов урока.

Вопросы:

Объясните на конкретных примерах отличие равновероятного события от неравновероятного?
Объясните качественную связь между вероятностью события и количеством информации в сообщении об этом событии.
В каких случаях применяются формулы Шеннона и Хартли для измерения количества информации.

Добавить документ в свой блог или на сайт

Похожие:

	Информационная безопасность, этика и право пользования информацией.... Тема: Информационная безопасность, этика и право пользования информацией. Алфавитный подход к измерению информации. Вероятностный...		Программа по формированию навыков безопасного поведения на дорогах... Количество информации как мера уменьшения неопределенности знаний. Количественный подход к определению количества информации
	Урок 9 Тема «Алфавитный подход к определению количества информации» Необходимое техническое оборудование: компьютер, колонки, проектор, компьютеры обучающихся		Программа по формированию навыков безопасного поведения на дорогах... Мание вероятности, равновероятных событий и событий с различными вероятностями. Научить находить количество информации, используя...
	Программа по формированию навыков безопасного поведения на дорогах... Тема «Информация и информационные процессы», урок 6 «Алфавитный подход к определению количества информации»		Количество информации Количество информации как мера уменьшения неопределенности... Оборудование компьютерный класс, мультимедийный проектор, учебник для 6 класса Л. Л. Босовой «Информатика», рабочая тетрадь для 6...
	Программа по формированию навыков безопасного поведения на дорогах... Сформировать навык решения задач, дать понятие алфавитный подход к определению количества информации		Конспект для ученика, пк, программа- электронный калькулятор Wise... Количество информации как мера уменьшения неопределенности знаний. Методы измерения количества информации: вероятностный (содержательный),...
	Фгбоу впо «дагестанская государственная сельскохозяйственная академия имени м. М. Джамбулатова» Понятие количества информации: различные подходы. Единицы измерения количества информации		Фгбоу впо «дагестанский государственный аграрный университет имени м. М. Джамбулатова» Понятие количества информации: различные подходы. Единицы измерения количества информации
	Программа по формированию навыков безопасного поведения на дорогах... Станислав Лем подарил миру яркую метафору: информационный взрыв. Человечество переживает невиданный доселе взрывоподобный рост количества...		Конспект урока урок Измерение информации (алфавитный подход). Единицы... Тема и номер урока в теме: Измерение информации (алфавитный подход). Единицы измерения информации. Урок 5
	Тема урока Содержание Кол-во информации как мера уменьшения неопределенности. Определение количества информации		Урок 5 Тема: Определение количества информации Цель: Научить определять количество информации, которое несет информационное сообщение
	Программа по формированию навыков безопасного поведения на дорогах... Количество информации. Инструктаж по тб. Практическая работа №1 «Вычисление количества информации с помощью калькулятора»		Программа по формированию навыков безопасного поведения на дорогах... Единицы измерения количества и скорости передачи информации; принцип дискретного (цифрового) представления информации

Школьные материалы