Лекция 1. Базовые понятия информации
Введение
Мы начинаем первое знакомство с величайшим достижением нашей цивилизации, стоящем в одном ряду с изобретением книгопечатания и открытием электричества – компьютером. Сначала мы вспомним базовые понятия информатики, как науки, изучающей основные аспекты получения, хранения, преобразования и передачи информации. Затем мы раскроем сущность, принцип работы компьютера как технического устройства. Затем мы изучим наиболее оптимальные способы соединений компьютерных устройств и технологий с целью получения максимальной эффективности хранения, обработки и передачи информации.
Особенностью нашего курса будет пристальное внимание к фундаментальным аспектам компьютерных и сетевых технологий. Еще одна особенность, мы будем помнить, что ПК давно перестал быть просто вычислителем. Это универсальная система обработки больших и разнородных информационных потоков. А что такое информационный поток? Или более конкретно - Что такое информация?
В сотнях книг и учебниках это понятие трактуется по-разному. А ведь все мы интуитивно понимаем, что это такое. В чем здесь дело? А дело в том, что понятие информации стоит в одном ряду с такими фундаментальными понятиями как энергия, вещество, энтропия, время. Действительно, в природе существует два фундаментальных вида взаимодействия: обмен веществом и обмен энергией (не будем вдаваться в тонкости фактической эквивалентности этих двух явлений). Фундаментальность их проявляется в том, что все остальные взаимодействия происходят только посредством этих взаимодействий. Эти два взаимодействия являются симметричными и подчиняются фундаментальному закону сохранения – сколько вещества и/или энергии один объект передал другому, столько он потерял, а другой приобрел (рассматриваются замкнутые системы, в которых потери можно охарактеризовать просто другими видами взаимодействия).
Когда в процессе взаимодействия приобретения и потери НЕ совпадают, НЕ равны – такое взаимодействие называют несимметричным. Очевидно, что в предельном случае несимметричного взаимодействия при передаче некоторой субстанции между объектами один из них ее приобретает, а другой НЕ теряет.
Исходя из этого, попробуем выделить необходимый и достаточный признак, по которому можно будет определить, относится то или иное явление к обмену веществом/энергией или к обмену информацией. В этом контексте сформулируем наиболее общее свойство информации.
Любое взаимодействие между объектами, в процессе которого один приобретает некоторую субстанцию, а другой ее не теряет называется ИНФОРМАЦИОННЫМ ВЗАИМОДЕЙСТВИЕМ. При этом передаваемая субстанция называется ИНФОРМАЦИЕЙ.
Отсюда следуют некоторые очевидные свойства информации:
если энергия определяет возможность совершения действия, то информация определяет возможность целесообразного выбора этого действия;
информация не может существовать вне взаимодействия объектов;
информация не теряется ни одним из них в процессе этого взаимодействия;
информация устраняет неопределенность, предоставляет человеку или техническому устройству возможность сделать выбор в пользу одного из нескольких равноправных вариантов.
Впервые понятие информации ввел американский математик Клод Шеннон, рассматривая процесс передачи сообщения между двумя точками в 1948 г. как численную меру неопределенности или неупорядоченности, с которой посланное сообщение прибывает в пункт назначения. Он назвал этот параметр энтропией, применив термин из термодинамики, который там используется для оценки неупорядоченности материи и характеризует несимметричные взаимодействия. Более того, Шеннон предложил формулу, позволяющую определить количество информации, содержащееся в сообщении:
I = Log 2 P
где I – количество информации в битах или энтропия вероятности;
P – вероятность, величина неопределенности, число возможных вариантов.
 Модель передачи сообщения по Шеннону
Отметим одну интересную особенность этого выражения: символ с высокой вероятностью появления кодируется несколькими битами, тогда как маловероятный символ требует многих бит. Другими словами, энтропия системы, объекта с большим числом степеней свободы очень велика, больше величина хаоса, беспорядка. Однако не всем и не сразу стала очевидной связь количества информации и энтропии, попробуем разобраться в этом.
В работах Планка, а главным образом Больцмана понятие энтропии трактовалась, как мера неумолимой тенденции всякой системы двигаться от менее вероятного состояния к более вероятному состоянию. Наиболее вероятным состоянием системы является РАВНОВЕСНОЕ состояние, а любая система движется к состоянию равновесия. Содержание второго постулата (принципа) термодинамики формулирует этот закон более строго – энтропия замкнутой системы не убывает (растет для необратимых процессов и остается постоянной для обратимых:
Hs = k Ln Wt
где k – постоянная Больцмана;
Wt – термодинамическая вероятность состояния системы.
Сравним это выражение с определением количества информации данное Шенноном. Очевидно сходство обоих выражений и это сходство носит фундаментальный характер. Как мы уже говорили, энтропия является функцией статистического состояния системы (мерой ее неупорядоченности, хаоса). Пусть имеется некоторая система, энтропия которой равна Н нач. После получения некоторой информации (либо о состоянии объекта, либо о взаимодействии с внешней средой) энтропия должна уменьшаться (растет порядок, уменьшается хаос). В широком смысле можно сказать, что информация, принимаемая объектом, необходимо является для него целесообразной, в противном случае это – дезинформация. Следовательно, количество полученной информации можно определить следующим образом:
I = Н нач – Н кон
Количество получаемой объектом информации численно равно неопределенности по выбору действий ведущих к достижению целей объекта или энтропии устраненной благодаря сообщению. Очевидно, что в данном случае речь идет о синтаксической мере информации. Информация устраняет неопределенность, структурирует систему.
Пример:
Примитивные формы информационного взаимодействия в чистом виде можно выделить уже в неживой природе. Действительно, каталическое взаимодействие. Объект, называемый катализатором изменяет скорость протекания химической реакции между группой других объектов, сам катализатор остается неизменным по всем своим свойствам. Ярчайшим примером информационного взаимодействия в ходе которого уменьшается энтропия всей системы, а химические, физические свойства катализатора остаются неизменными – является реакция кристаллизации насыщенного солевого раствора в присутствии кристаллической «затравки».
Обратите внимание на еще одно немаловажное свойство информации – изменение возможно и без получения информации, но при этом оно будет менее вероятным.
|
