Практическая работа № 1. Методы и модели оценки количества информации (6-ое занятие)
Цель работы - познакомиться с методами измерения количества информации. Изучить основные правила подсчета количества информации, отработать навыки решения практических задач на расчет количества информации.
Отчет о работе должен содержать:
Название и цель работы
Основные формулы и описание технологии расчетов;
При подготовке к зачету необходимо.
Решить задачи с подробным пояснением каждого этапа расчета
Аккуратно оформить отчет о работе.
Краткие теоретические сведения
Единицы количества информации: вероятностный и объемный подходы
Определить понятие «количество информации» довольно сложно. В решении этой проблемы существуют два основных подхода. Исторически они возникли почти одновременно. В конце 40 – х годов XX века один из основоположников кибернетики, американский математик Клод Шеннон, развил вероятностный подход к измерению количества информации, а работы по созданию ЭВМ привели к «объемному» подходу.
Вероятностный подход
Рассмотрим в качестве примера опыт, связанный с бросанием правильной игральной кости, имеющей N граней. Результаты данного опыта могут быть следующие: выпадение грани с одним из следующих знаков: 1, 2, …, N.
Ведем в рассмотрение численную величину, измеряющую неопределенность – энтропию (обозначим ее Н). Согласно развитой теории, в случае равновероятностного выпадения каждой из граней величины N и Н связаны между собой формулой Хартли Н=log2N.
Важным при введении какой-либо величины является вопрос о том, что принимать за единицу ее измерения. Очевидно, Н будет равно единице при N=2. Иначе говоря, в качестве единицы принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятностных исходов (примером такого опыта может служить бросание монеты, при котором возможны два исхода). Такая единица количества информации называется «бит».
В случае, когда вероятности Pi результатов опыта (в примере, приведенном выше, - бросание игральной кости) неодинаковы, имеет место формула Шеннона Н=-S Pi´ log2Pi. В случае равновероятности событий Pi=1/N, и формула Шеннона переходит в формулу Хартли.
В качестве примера определим количество информации, связанное с появлением каждого символа в сообщениях, записанных на русском языке. Будим считать, что русский алфавит состоит из 33 букв и знака «пробел» для разделения слов. По формуле Хартли Н=log234»5.09 бит.
Однако в словах русского языка (равно как и в словах других языков) различные буквы встречаются неодинаково часто. Ниже приведена таблица вероятностей частоты употребления различных знаков русского алфавита, полученная на основе анализа очень больших по объему текстов.
Воспользуемся для подсчета Н формулой Шеннона: Н»4.72 бит. Полученное значение Н, как и можно было предположить, меньше вычисленного ранее. Величина Н, вычисляемая по формуле Хартли, является максимальным количеством информации, которое могло бы приходиться на один знак.
Аналогичные подсчеты Н можно провести и для других языков.
Рассмотрим алфавит, состоящий из двух знаков 0 и 1. Если считать, что со знаками 0 и 1 в двоичном алфавите связаны одинаковые вероятности их появления (Р(0)=Р(1)=0.5), то количество информации на один знак при двоичном кодировании будет равно Н=log22=1бит.
Таким образом, количество информации (в битах), заключенное в двоичном слове, равно числу двоичных знаков в нем.
Объемный подход
В двоичной системе счисления знаки 0 и 1 называют битами (bit – от английского выражения Binary digits – двоичные цифры). В компьютере бит является наименьшей возможной единицы информации. Объем информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации, подсчитывается просто по числу требуемых для такой записи двоичных символов. При этом, в частности, невозможно нецелое число битов (в отличие от вероятностного подхода).
Для удобства использования введены и более крупные, чем бит, единицы количества информации. Так, двоичное слово из восьми знаков содержит один байт информации. 1024 байта образуют килобайт (Кбайт), 1024 килобайта – мегабайт (Мбайт), а 1024 мегабайта – гигабайт (Гбайт).
Между вероятностным и объемным количеством информации соотношение неоднозначное. Далеко не всякие текст, записанный двоичными символами, допускает измерение объема информации в вероятностном (кибернетическом) смысле, но заведомо допускает его в объемном. Далее, если некоторое сообщение допускает измеримость объема информации в обоих смыслах, то это количество не обязательно совпадает, при этом кибернетическое количество информации не может быть больше объемного.
В прикладной информатике практически всегда количество информации понимается в объемном смысле.
Как ни важно измерение информации, нельзя сводить к нему все связанные с этим понятием проблемы. При анализе информации социального (в широком смысле) происхождения на первый план могут выступить такие ее свойства как истинность, своевременность, ценность, полнота и т. Д. Их не возможно оценить в терминах «уменьшение неопределенности» (вероятностный подход) или числа символов (объемный подход). Обращение к качественной стороне информации породило иные подходы к ее оценке. При аксиологическом подходе стремятся исходить из ценности, практической значимости информации, т.е. из качественных характеристик, значимых в социальной системе. При семантическом подходе информация рассматривается с точки зрения, как формы, так и содержания. При этом информацию связывают с тезаурусом, т.е. полнотой систематизированного набора данных о предмете информации. Отметим, что эти подходы не исключают количественного анализа, но он становиться существенно сложнее и должен базироваться на современных методах математической статистики.
Информацию следует считать особым видом ресурса, при этом имеется в виду толкование «ресурса» как запаса неких знаний материальных предметов или энергетических, структурных или каких-либо других характеристик предмета. В отличие от ресурсов, связанных с материальными предметами, информационные ресурсы являются неистощимыми и предполагают существенно иные методы воспроизведения и обновления, чем материальные ресурсы. В связи с таким взглядом центральными становятся следующие свойства информации: запоминаемость, передаваемость, преобразуемость, воспроизводимость, стираемость.
Подводя итог сказанному, отметим, что предпринимаются усилия ученых, представляющих самые разные области знания, построить единую теорию, которая призвана формализовать понятие информации и информационного процесса, описать превращения информации в процессах самой разной природы. Движение информации есть сущность процессов управления, которые проявление активности материи, ее способности к самодвижению. С момента возникновения кибернетики управление рассматривается ко всем формам движения материи, а не только к высшим (биологической и социальной). Многие проявления движения в неживых – искусственных (технических) и естественных (природных) системах так же обладают общими признаками управления, хотя их исследуют в химии, физике, механике в энергетической, а не в информационной системе представлений. Информационные аспекты в таких системах составляют предмет новой междисциплинарной науки – синергетики.
Высшей формой информации, проявляющейся в социальных системах, являются знания. Это наддисциплинарное понятие, широко используемое в педагогике и исследованиях по искусственному интеллекту, так же претендует на роль важнейшей философской категории. В философском плане познание следует рассматривать как один из фундаментальных аспектов управления. Такой подход открывает путь к системному пониманию генезиса процессов познания, его основ и перспектив.
Ход работы
Составьте краткий конспект.
Решите задачи, выполните практические задания, с подробным пояснением хода решения задач и выполнения практических заданий в тетради
Ответьте на вопросы.
Предоставьте отчет преподавателю.
Примечание. Вопросы и задания отмеченные звездочкой (*) – задания повышенного уровня, не обязательны для выполнения.
За правильно выполненные задания отмеченные звездочкой (*) - дополнительная оценка.
Вопросы и задания практической работы
Задание 1. Ответьте на вопросы.
Какие существуют меры информации и когда ими надо пользоваться?
Расскажите о синтаксической, семантической, прагматической мерах информации.
Что такое бит, байт?
Сколько двоичных разрядов потребуется для записи
5. Сколько двоичных разрядов потребуется для записи
1 байта,
5 байт,
16 байт?
6. Какие еще применяются единицы измерения количества информации?
7. Какое наибольшее целое неотрицательное число можно записать, используя
16 двоичных разрядов,
20 бит?
Что означает оцифровать информацию. В чем состоит принцип оцифровки черно-белых и изображений? Нужно ли при этом вводить понятие количества оцифровки?
Можно ли оцифровать звуковую информацию, цветную видеоинформацию? Если да, то попробуйте предложить какой-нибудь способ оцифровки.
Задание 2. Замените знаки вопроса числами:
18 байт = ? бит
? Кбайт = 28672 байт = ? бит
8,5 Кбайт = ? байт = ? бит
? Кбайт =? байт = 110592 бита
21 Мбайт = ? Кбайт = ? байт
Гбайт = ? Мбайт = ? Кбайт
82 byte = ? bit
? byte = 7992 bit
Задание 3. Информация передается со скоростью 4 Кбайт/с. Какой объем информации будет передан за 5 минут, 1 час, день?
Задание 4. Передается следующее сообщение «Выехал, скоро буду. Ревизор». Известно, что на передачу данного сообщения ушла одна минута. С какой скоростью передается сообщение
Задание 5. Сколько различных байтов изображено в сообщении 1111000111010000111100011001111011010000 ?
Задание 6. Решить уравнение: 128х –3 Кбайт = 64х бит.
Задание 7. Найти неизвестные x и y, если верны соотношения 16y Мбайт = 8x бит; 32x Кбайт = 2y Мбайт.
Задание 8. Матричный принтер имеет скорость печати 1 Кбайт в секунду. Определить время, необходимое для распечатки 10 листов, если каждый лист вмещает 60 строк по 30 символов строке.
Задание 9*. Человек способен различать примерно 120 цветов (включая различные степени яркости одного цвета). Определить сколько бит необходимо, чтобы их закодировать, т. е. Какую минимальную разрядность должна иметь комбинация битов, кодирующая каждый из этих цветов.
Задание 10*. Сколько бит, байт понадобиться для хранения следующей информации?
250Е16
105А16
100011100111011001112
10111010101111110011112
11101010101111111010101012
2548
1048
12610
Задание 11*. Можно ли число
3816 сохранить в 1 байте;
10101102 сохранить в байте;
2568 сохранить в восьми битах;
7110 сохранить в шести битах;
10001112 сохранить в 2 байтах;
258 сохранить в 2 байтах?
|
