Как измерить информацию?

Измерение информации

Подходы к измерению информации

Содержательный подход

Алфавитный подход

1. 
   Определить количество информации (i) в одном символо по формуле 2ⁱ = N, где N — мощность алфавита
   
2. 
   Определить количество символов в сообщении (m)
   
3. 
   Вычислить объем инофрмации по формуле: V = i * m.
   

Единицы измерения информации

Вопросы для самоконтроля

1. 
   Какие подходы к измерению информации вам известны?
   
2. 
   Какова основная единица измерения информации?
   
3. 
   Сколько байт содержит 1 Кб информации?
   
4. 
   Приведите формулу подсчета количества информации при уменьшении неопределенности знания.
   
5. 
   Как подсчитать количество информации, передаваемое в символьном сообщении?
   

1. 
   структурный. Измеряет количество информации простым подсчетом  информационных элементов, составляющих сообщение. Применяется для оценки возможностей запоминающих устройств, объемов передаваемых сообщений, инструментов кодирования без учета статистических характеристик их эксплуатации.
   

1. 
   статистический. Учитывает вероятность появления сообщений: более информативным считается то сообщение, которое менее вероятно, т.е. менее всего ожидалось. Применяется при оценке значимости получаемой информации.
   

1. 
   семантический. Учитывает целесообразность и полезность информации. Применяется при оценке эффективности получаемой информации и ее соответствия реальности.
   

• 
  геометрическая. Определяет максимально возможное количество информации в заданных объемах. Мера может быть использована для определения информационной емкости памяти компьютера;
  
• 
  комбинаторная. Оценивает возможность представления информации при помощи различных комбинаций информационных элементов в заданном объеме. Комбинаторная мера может использоваться для оценки информационных возможностей некоторого системы кодирования;
  
• 
  аддитивная, или мера Хартли.
  
• 
  Геометрическая мера
  
• 
  
  
• 
  Определяет максимально возможное количество информации в заданных объемах. Единица измерения – информационный элемент. Мера может быть использована для определения информационной емкости памяти компьютера. В этом случае в качестве информационного элемента выступает минимальная единица хранения – бит. Список самых распространенных более крупных единиц и соотношение между ними приведено ниже:
  
• 
  8 бит = 1 байт (сокращенно б или Б),
  
• 
  1024 Б = 1 килобайт (сокращенно Кб или К),
  
• 
  1024 К = 1 мегабайт (сокращенно Мб или М),
  
• 
  1024 М = 1 гигабайт (сокращенно Гб или Г).
  
• 
  Тогда, например, объем винчестера – 3 гигабайта; объем основной памяти компьютера – 32 мегабайта и т.д.
  
• 
  
  
• 
  Пример 1. Пусть сообщение  
  
• 
  5555 6666 888888
  
• 
  закодировано одним из специальных методов эффективного кодирования – кодирование повторений – и имеет вид:
  
• 
  5(4) 6(4) 8(6)        .        
  
• 
  Требуется измерить информацию в исходном и закодированном сообщениях геометрической мерой и оценить эффективность кодирования.
  
• 
  
  
• 
  В качестве информационного элемента зададимся символом сообщения. Тогда:
  
• 
  I(исх.) = l(исх.) = 14 символов;
  
• 
  I(закод.) = l(закод.) = 12 символов,
  
• 
  где I(исх.), I(закод.) – количества информации, соответственно, в исходном и закодированном сообщениях;
  
• 
  l(исх.), l(закод.) – длины (объемы) тех же сообщений, соответственно.
  
• 
  Эффект кодирования определяется как разница между I(исх.)  и I(закод.) и составляет 2 символа.
  
• 
  
  
• 
  Очевидно, геометрическая мера не учитывает, какими символами заполнено сообщение. Так, одинаковыми по количеству информации, измеренной геометрической мерой, являются, например, сообщения «компьютер» и «программа»; а также 346 и 10В.
  

• 
  для двоичного представления – из информационных элементов {0, 1}, сообщение длиной (объемом) 8 символов;
  
• 
  для шестнадцатеричного представления – из информационных элементов {0, 1, 2, …., А, В, С, …. F}, сообщение длиной (объемом) 2 символа.