Теоретическая информатика Глава Теоретические основы информатики
Скачать 0.61 Mb.
|
H = K * ln N Обычно принимают  , таким образом H = log2 N. (1.5) Это — формула Хартли. Важным при введение какой-либо величины является вопрос о том, что принимать за единицу ее измерения. Очевидно, H будет равно единице при N = 2. Иначе говоря, в качестве единицы принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (примером такого опыта может служить бросание монеты при котором возможны два исхода: “орел”, “решка”). Такая единица количества информации называется “бит”. Все N исходов рассмотренного выше опыта являются равновероятными и поэтому можно считать, что на “долю” каждого исхода приходится одна N-является часть общей неопределенности опыта: ( log2 N ) / N При этом вероятность i-го исхода Pi равняется, очевидно, 1/N. Таким образом,  (1.6)Та же формула (1.6) принимается за меру энтропии в случае, когда вероятности различных исходов опыта неравновероятны (т.е. Pi могут быть различны). Формула (1.6) называется формулой Шеннона. В качестве примера определим количество информации, связанное с появлением каждого символа в сообщениях, записанных на русском языке. Будем считать, что русский алфавит состоит из 33 букв и знака “пробел” для разделения слов. По формуле (1.5) H = log2 34 ~ 5 бит Однако, в словах русского языка (равно как и в словах других языков) различные буквы встречаются неодинаково часто. Ниже приведена табл. 3 вероятностей частоты употребления различных знаков русского алфавита, полученная на основе анализа очень больших по объему текстов. Воспользуемся для подсчета H формулой (1.6): H ~ 4.72 бит. Полученное значение H, как и можно было предположить, меньше вычисленного ранее. Величина H, вычисляемая по формуле (1.5), является максимальным количеством информации, которое могло бы приходиться на один знак. Аналогичные подсчеты H можно провести и для других языков, например, использующих латинский алфавит — английского, немецкого, французского и др. (26 различных букв и “пробел”). По формуле (1.5) получим H = log2 27 ~ 4.76 бит Как и в случае русского языка, частота появления тех или иных знаков не одинакова. Так, если расположить все буквы данных языков в порядке убывания вероятностей, то получим следующие последовательности: АНГЛИЙСКИЙ ЯЗЫК: “пробел”, E, T, A, O, N, R, … НЕМЕЦКИЙ ЯЗЫК: “пробел”, E, N, I, S, T, R, … ФРАНЦУЗСКИЙ ЯЗЫК: “пробел”, E, S, A, N, I, T, … Таблица 3. Частотность букв русского языка
Рассмотрим алфавит, состоящий из двух знаков 0 и 1. Если считать, что со знаками 0 и 1 в двоичном алфавите связаны одинаковые вероятности их появления (P(0)=P(1)= 0.5), то количество информации на один знак при двоичном кодировании будет равно H = log2 2 = 1 бит. Таким образом, количество информации (в битах), заключенное в двоичном слове, равно числу двоичных знаков в нем. Объемный подход В двоичной системе счисления знаки 0 и 1 будем называть битами (от английского выражения Binary digiTs — двоичные цифры). Отметим, что создатели компьютеров отдают предпочтение именно двоичной системе счисления потому, что в техническом устройстве наиболее просто реализовать два противоположных физических состояния: некоторый физический элемент, имеющий два различных состояния: намагниченность в двух противоположных направлениях, прибор, пропускающий или нет электрический ток, конденсатор, заряженный или незаряженный и т.п. В компьютере бит является наименьшей возможной единицей информации. Объем информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации, подсчитывается просто по количеству требуемых для такой записи двоичных символов. При этом, в частности, невозможно нецелое число битов (в отличие от вероятностного подхода). Для удобства использования введены и более крупные, чем бит, единицы количества информации. Так, двоичное слово из восьми знаков содержит один байт информации. 1024 байта образуют килобайт (Кбайт), 1024 килобайта — мегабайт (Мбайт), а 1024 мегабайта — гигабайт (Гбайт). Между вероятностным и объемным количеством информации соотношение неоднозначное. Далеко не всякий текст, записанный двоичными символами, допускает измерение объема информации в кибернетическом смысле, но заведомо допускает его в объемном. Далее, если некоторое сообщение допускают измеримость количества информации в обоих смыслах, то это количество не обязательно совпадает, при этом кибернетическое количество информации не может быть больше объемного. В дальнейшем тексте данного учебника практически всегда количество информации понимается в объемном смысле. Контрольные вопросы 1. Как определяется понятие энтропии? Как она связана с информацией? 2. Что такое количество информации? 3. Какой принцип положен в основу измерения количества информации? 4. Каким образом определяется единица количества информации при кибернетическом подходе? 5. Как определяется количество информации в знаковых сообщениях? 6. Каковы основные единицы измерения количества информации? 7. Приведите объемы памяти известных вам носителей информации. 8. Какова связь между энтропией, негэнтропией и информацией? Проблемные вопросы . 1. Дайте определение меры неопределенности. Проиллюстрируйте это понятие. 2. Укажите способ измерения информации в метрах; в килограммах. Темы для рефератов. 1. Информация и энтропия. 2. Вероятность информация. 3. Проблема измерения информации. 4. Ценностный подход к информации. 5. Семантическая информация. Задачи. 1. Подсчитать количество информации, приходящейся на один символ, в следующем тексте экономического содержания: Организационно-правовые формы предприятий в своей основе определяют форму их собственности, то есть, кому принадлежит предприятие, его основные фонды, оборотные средства, материальные и денежные ресурсы. В зависимости от формы собственности в России в настоящее время различают три основные формы предпринимательской деятельности: частную, коллективную и контрактную. Указание: составьте таблицу, аналогичную таблице 3, определив вероятность каждого символа в тексте как отношение количества одинаковых символов каждого значения ко всему числу символов в тексте. Затем по формуле (1.6) подсчитайте количество информации, приходящейся на один символ. 2. Подсчитать количество информации, приходящейся на один символ, в следующем тексте технического содержания: Общая технологическая схема изготовления сплавного транзистора напоминает схему изготовления диода, за исключением того, что в полупроводниковую пластинку производят вплавению двух навесок примесей с двух сторон. Вырезанные из монокристалла германия или кремния пластинки шлифуют и травят до необходимой толщины. 3. Подсчитать количество информации, приходящейся на один символ, в следующем тексте исторического содержания: С конца пятнадцатого столетия в судьбах Восточной Европы совершается переворот глубокого исторического значения. На сцену истории Европы выступает новая крупная политическая сила – Московское государство. Объединив под своей властью всю северо-восточную Русь, Москва напряженно работает над закреплением добытых политических результатов и во внутренних, и во внешних отношениях. 4. Подсчитать количество информации, приходящейся на один символ, в следующем тексте естественнонаучного содержания: Новые данные о физиологической потребности организма человека в пищевых веществах и энергии, а также выяснение закономерностей ассимиляции пищи в условиях нарушенного болезнью обмена веществ на всех этапах метаболического конвейера позволили максимально сбалансировать химический состав диет и их энергетическую ценность. 5. Подсчитать количество информации, приходящейся на один символ, в следующем художественно-литературном тексте: С любопытством стал я рассматривать сборище. Пугачев на первом месте сидел, облокотясь на стол и подпирая черную бороду своим широким кулаком. Черты лица его, правильные и довольно приятные, не изъявляли ничего свирепого. Все обходились между собою как товарищи и не оказывали никакого особенного предпочтения своему предводителю. Литература.
Семинар 5. Информационная картина мира. Темы семинарских занятий: 5.1. Информация: более широкий взгляд. 5.2. Информация и физический мир. 5.1. Информация: более широкий взгляд Как ни важно измерение информации, нельзя сводить к нему все связанные с этим понятием проблемы. При анализе информации социального (в широким смысле) происхождения на первый план могут выступить такие ее свойства как истинность, своевременность, ценность, полнота и т.д. Их невозможно оценить в терминах “уменьшение неопределенности” (вероятностный подход) или числа символов (объемный подход). Обращение к качественной стороне информации породило иные подходы к ее оценке. При аксиологическом подходе стремятся исходить из ценности, практической значимости информации, т.е. качественных характеристик, значимых в социальной системе. При семантическом подходе информация рассматривается как с точки зрения формы, так и содержания. При этом информацию связывают с тезаурусом, т.е. полнотой систематизированного набора данных о предмете информации. Отметим, что эти подходы не исключают количественного анализа, но он становится существенно сложнее и должен базироваться на современных методах математической статистики. Понятие информации нельзя считать лишь техническим, междисциплинарным и даже наддисциплинарным термином. Информация — это фундаментальная философская категория. Дискуссии ученых о философских аспектах информации надежно показали не сводимость информации ни к одной из этих категорий. Концепции и толкования, возникающие на пути догматических подходов, оказываются слишком частными, односторонними, не охватывающими всего объема этого понятия. Попытки рассмотреть категорию информации с позиций основного вопроса философии привели к возникновению двух противостоящих концепций — так называемых, функциональной и атрибутивной. “Атрибутисты” квалифицируют информацию как свойство всех материальных объектов, т.е. как атрибут материи. “Функционалисты” связывают информацию лишь с функционированием сложных, самоорганизующихся систем. Оба подхода, скорее всего, неполны. Дело в том, что природа сознания, духа по сути своей является информационной, т.е. сознание суть менее общее понятие по отношению к категории “информация”. Нельзя признать корректными попытки сведения более общего понятия к менее общему. Таким образом, информация и информационные процессы, если иметь в виду решение основного вопроса философии, опосредуют материальное и духовное, т.е. вместо классической постановки этого вопроса получается два новых: о соотношении материи и информации и о соотношении информации и сознания (духа). Можно попытаться дать философское определение информации с помощью указания на связь определяемого понятия с категориями отражения и активности. Информация есть содержание образа, формируемого в процессе отражения. Активность входит в это определение в виде представления о формировании некоего образа в процессе отражения некоторого субъект-объектного отношения. При этом не требуется указания на связь информации с материей, поскольку как субъект, так и объект процесса отражения могут принадлежать как к материальной, так и к духовной сфере социальной жизни. Однако существенно подчеркнуть, что материалистическое решение основного вопроса философии требует признания необходимости существования материальной среды — носителя информации в процессе такого отражения. Итак, информацию следует трактовать как имманентный (неотъемлемо присущий) атрибут материи, необходимый момент ее самодвижения и саморазвития. Эта категория приобретает особое значение применительно к высшим формам движения материи — биологической и социальной. Данное выше определение схватывает важнейшие характеристики информации. Оно не противоречит тем знаниям, которые накоплены по этой проблематике, а наоборот, является выражением наиболее значимых Современная практика психологии, социологии, информатики диктует необходимость перехода к информационной трактовке сознания. Такая трактовка оказывается чрезвычайно плодотворной, и позволяет, например, рассмотреть с общих позиций индивидуальное и общественное сознание. Генетически индивидуальное и общественное сознание неразрывны и в то же время общественное сознание не есть простая сумма индивидуальных, поскольку оно включает информационные потоки и процессы между индивидуальными сознаниями. В социальном плане человеческая деятельность предстает как взаимодействие реальных человеческих коммуникаций с предметами материального мира. Поступившая извне к человеку информация является отпечатком, снимком сущностных сил природы или другого человека. Таким образом, с единых методологических позиций может быть рассмотрена деятельность индивидуального и общественного сознания, экономическая, политическая, образовательная деятельность различных субъектов социальной системы. Данное выше определение информации как философской категории затрагивает не только физические аспекты существования информации, но и фиксирует ее социальную значимость. Одной из важнейших черт функционирования современного общества выступает его информационная оснащенность. В ходе своего развития человеческое общество прошло через пять информационных революций. Первая из них была связана с введением языка, вторая — письменности, третья — книгопечатания, четвертая — телесвязи, и, наконец, пятая — компьютеров (а также магнитных и оптических носителей хранения информации). Каждый раз новые информационные технологии поднимали информированность общества на несколько порядков, радикально меняя объем и глубину знания, а вместе с этим и уровень культуры в целом. Одна из целей философского анализа понятия информации — указать место информационных технологий в развитии форм движения материи, в прогрессе человечества и, в том числе, в развитии разума как высшей отражательной способности материи. На протяжении десятков тысяч лет сфера разума развивалась исключительно через общественную форму сознания. С появлением компьютеров начались разработки систем искусственного интеллекта, идущих по пути моделирования общих интеллектуальных функций индивидуального сознания. 5.2. Информация и физический мир Известно большое количество работ, посвященных физической трактовке информации. Эти работы в значительной мере построены на основе аналогии формулы Больцмана, описывающей энтропию статистической системы материальных частиц, и формулы Хартли. Заметим, что при всех выводах формулы Больцмана явно или неявно предполагается, что макроскопическое состояние системы, к которому относится функция энтропии, реализуется на микроскопическом уровне как сочетание механических состояний очень большого числа частиц, образующих систему (молекул). Задачи же кодирования и передачи информации, для решения которых Хартли и Шенноном была развита вероятностная мера информации, имели в виду очень узкое техническое понимание информации, почти не имеющее отношения к полному объему этого понятия. Таким образом, большинство рассуждений, использующих термодинамические свойства энтропии применительно к информации нашей реальности, носят спекулятивный характер. В частности, являются необоснованными использование понятия “энтропия” для систем с конечным и небольшим числом состояний, а также попытки расширительного методологического толкования результатов теории вне довольно примитивных механических моделей, для которых они были получены. Энтропия и негэнтропия — интегральные характеристики протекания стохастических процессов — лишь параллельны информации и превращаются в нее в частном случае. Информацию следует считать особым видом ресурса, при этом имеется ввиду толкование “ресурса” как запаса неких знаний материальных предметов или энергетических, структурных или каких-либо других характеристик предмета. В отличие от ресурсов, связанных с материальными предметами, информационные ресурсы являются неистощимыми и предполагают существенно иные методы воспроизведения и обновления, чем материальные ресурсы. Рассмотрим некоторый набор свойств информации: • запоминаемость; • передаваемость; • преобразуемость; • воспроизводимость; • стираемость. Свойство запоминаемости — одно из самых важных. Запоминаемую информацию будем называть макроскопической (имея ввиду пространственные масштабы запоминающей ячейки и время запоминания). Именно с макроскопической информацией мы имеем дело в реальной практике. |
Похожие:
 | Учебное пособие по информатики и икт по Главе 1 «Основы социальной... Добро пожаловать на страницы электронного учебника! Я, Петрова Алина, студентка III курса специальности «Прикладная информатика»... | | Программа вступительных испытаний по направлению подготовки 09. 06.... Программа вступительных испытаний по направлению подготовки 09. 06. 01 Информатика и вычислительная техника (профиль «Теоретические... |
| Основы логики – 11 часов. Глава Технология использования и разработки... Данная рабочая программа курсов «История России» и «Всеобщая история» предназначена для учащихся 10 класса средней общеобразовательной... |  | Дисциплина математического и естественнонаучного цикла «Теоретические основы информатики» Направление подготовки 050100. 62 – «Педагогическое образование», профиль «Математика, информатика» |
| Программа дисциплины «Теоретические основы информатики» для направления... Федеральное государственное автономное образовательное учреждение высшего профессионального образования | | Учебно-методический комплекс учебной дисциплины «теоретические основы информатики» Программа составлена в соответствии с требованиями фгос впо по направлению подготовки 080700 «Бизнес-информатика» |
| Содержание Введение Раздел Теоретические основы налогообложения Глава... Общая методика исчисления налогов и сборов Глава Характеристика налогов России | | План введение Глава Научно-теоретические основы возрастных особенностей детского творчества Теоретические и методические вопросы организации творчества у школьников разных возрастов на уроках изобразительного искусства |
| 1 Теоретическая глава. Теоретические основы использования игровых технологий в учебном процессе «Использование игровых технологий в младшем школьном возрасте», заключается в том, что в наше время всё больше внимания в научной... | | Рабочая программа учебной дисциплины теоретические основы автоматизированного управления Для изучения дисциплины «Теоретические основы автоматизированного управления» студентам необходимо обладать знаниями, умениями и... |
| И. В. Кузьмин «29» августа 2013 года «Информатика»: Учебник для 7 класса Угриновича Н. Д., 2007г. Материал учебника структурирован по трем главам, содержащим соответственно... | | Учебное пособие информатики и икт по главе 2 «информационные системы... Я, Смирнова Яна, студентка группы 3П специальности «Прикладная информатика» оаоуспо боровичского педагогического колледжа, создала... |
| Программа вступительных испытаний Тема Теоретические основы растениеводства Теоретическое обоснование диапазона оптимальной влагообеспеченности полевых культур. Биологические основы разработки системы удобрений.... | | 2009-2010 учебный год. Введение Стр. 1 Глава I теоретические основы... I I приёмы и методы развития экологического воспитания во внеурочное время |
| Разработка и исследование интегрированных алгоритмов размещения элементов... Специальности: 05. 13. 12 – Системы автоматизации проектирования, 05. 13. 17 – Теоретические основы информатики | | Вопросы к государственному экзамену по информатике Дискретная математика. Теория алгоритмов. Математическая логика. Численные методы. Теоретические основы информатики. Исследование... |
