1. Измерение информации

Измерение информации

Какое количество информации содержится, к примеру, в тексте романа "Война и мир", в фресках Рафаэля или в генетическом коде человека? Ответа на эти вопросы наука не даёт и, по всей вероятности, даст не скоро.

А возможно ли объективно измерить количество информации? Важнейшим результатом теории информации является вывод:

В определенных, весьма широких условиях можно пренебречь качественными особенностями информации, выразить её количество числом, а также сравнить количество информации, содержащейся в различных

группах данных.

Процесс познания можно наглядно изобразить в виде расширяющегося круга знания (такой способ придумали еще древние греки). Вне этого круга лежит область незнания, а окружность является границей между знанием и незнанием. Парадокс состоит в том, что чем большим объемом знаний обладает человек (чем шире круг знаний), тем больше он ощущает недостаток знаний (тем больше граница нашего незнания, мерой которого в этой модели является длина окружности).

То, что мы не знаем, для нас неопределённо, это невозможно количественно оценить. Если некоторое сообщение, полученное человеком, содержит для него информацию, то оно приводит к уменьшению неопределённости наших знаний, т.е. происходит переход от незнания к знанию.

Именно такой подход к информации как мере уменьшения неопределённости знаний позволяет её количественно измерить.

Неизмеримость информации в быту

Если в сообщении содержалось для вас что-то новое, то оно информативно. Но для другого человека в этом же сообщении нет ничего нового, для него оно неинформативно. Это происходит от того, что до получения сообщения знания каждого из нас различны. Фактор субъективного восприятия сообщения делает невозможным количественную оценку информации в сообщении, т.е. если

рассматривать количество полученной информации с точки зрения новизны для получателя, то измерить её невозможно.

Вероятностный (содержательный) подход

Получение информации (её увеличение) одновременно означает увеличение знания, что, в свою очередь, означает уменьшение незнания или информационной неопределённости.

Базовые понятия теории вероятностей

Случайное событие — это такое событие, которое в результате опыта может произойти, а может и не произойти.

Рассмотрим опыт. Возьмём правильную (правильной формы, из однородного материала) монету, сложим ладони коробочкой, потрясём в них монету, бросим её на широкий стол. При таких условиях на результат подбрасывания влияют многие факторы: исходное положение монеты, величина и направление меняющихся сил, положение монеты в момент падения, неровность и упругость стола в точках соприкосновения его с монетой, изменение движения воздуха и пр. Очевидно, что невозможно определить все эти факторы и однозначно рассчитать результат. Результаты такого опыта — события «выпал герб» и «выпала решка» — являются случайными.

Вероятность — это численная мера степени объективной возможности случайного события. Вероятность выражается числом от нуля до единицы.

За 0 принята вероятность невозможного события.

Невозможное событие — это такое событие, которое при выполнении заданной совокупности условий никогда не может произойти. Пример: Событие «при комнатной температуре и нормальном атмосферном давлении вода находится в твёрдом состоянии» является невозможным.

За единицу принята вероятность достоверного события.

Достоверное событие — это такое событие, которое при выполнении заданной совокупности условий обязательно произойдёт. Пример: Событие «при комнатной температуре и нормальном атмосферном давлении вода находится в жидком состоянии» является достоверным.

Событие является исходом опыта. Пример: Опыт:

Однократное подбрасывание игральной кости. События, связанные с этим опытом:

A1 — выпало одно очко;

A2 — выпало два очка;

A3 — выпало три очка;

A4 — выпало четыре очка;

A5 — выпало пять очков;

A6 — выпало шесть очков;

B1 — выпало чётное число очков;

B2 — выпало число очков, не большее трёх; и т.д.

Событие B1 является сложным, оно распадается на несколько простых, иначе говоря, оно может осуществиться несколькими способами: A2 или A4 или A6. Событие B2 тоже является сложным, оно может осуществиться следующими способами: A1 или A2 или A3. Можно привести и другие примеры сложных событий, связанных с данным опытом.

События A1, A2, …, A6 являются простыми, они не распадаются на другие события (варианты). Такие события называют элементарными.

События называют несовместными, если появление одного из них исключает появление других событий в результате одного и того же выполнения опыта.

Примеры:

1) Из ящика с деталями наудачу извлечена одна деталь. Появление стандартной детали (т.е. событие, состоящее в том, что извлечённая деталь является стандартной) исключает появление нестандартной детали. События «извлечена стандартная деталь» и «извлечена нестандартная деталь» —

несовместные.

2) Рассмотрим описанный выше опыт с однократным подбрасыванием монеты. События «выпал герб» и «выпала решка» — несовместные.

Несколько событий образуют полную группу, если в результате выполнения опыта появится хотя бы одно из них. Другими словами, появление хотя бы одного из событий

полной группы есть достоверное событие. В частности, если события, образующие полную группу,

попарно несовместны, то в результате выполнения опыта появится одно и только одно из этих событий.

Примеры:

1)Подбрасываются две монеты. Обязательно произойдёт одно и только одно из следующих событий: «выпало два герба», «на первой монете выпал герб, а на второй — выпала решка», «на первой монете выпала решка, а на второй — выпал герб», «выпало две решки». Эти события образуют полную группу попарно несовместных событий.

2)Стрелок произвёл выстрел по цели. Обязательно произойдёт одно из следующих двух событий: попадание, промах. Эти два несовместных события образуют полную группу.

События называют равновозможными (равновероятными), если есть основания считать, что ни одно из них не является более возможным, чем другое.

Примеры:

1)Рассмотрим описанный выше опыт с однократным подбрасыванием монеты. События «выпал герб» и «выпала решка» — равновозможные события.

2)События, связанные с однократным подбрасыванием игральной кости: «выпало одно очко», «выпало два очка», …, «выпало шесть очков» — равновозможные события.

Элементарная единица измерения информации

Если число элементарных событий, связанных с опытом, конечно и все эти элементарные события равновероятны, то речь идёт о классическом случае. Примерами таких опытов являются бросание монеты или игральной кости.

Начальная неопределенность нашего знания зависит от числа элементарных событий (N). Если N = 1, то неопределённость отсутствует.

Если N = 2, то до получения сообщения о результате опыта мы можем ожидать любой из двух исходов. Когда же такое сообщение поступает, мы уже знаем, что произошёл один конкретный исход. Неопределённость уменьшается в 2 раза (и в данном случае полностью исчезает).

Сообщение, уменьшающее неопределённость знаний в 2 раза, несёт единицу информации. Такая единица названа бит (от binary digit — двоичная цифра).

На примере игры "Угадай число" можно рассмотреть уменьшение неопределенности. Один из участников загадывает целое число (например, 30) из заданного интервала (например, от 1 до 32), цель второго — "угадать" число первого участника. Для второго игрока начальная неопределенность знания составляет 32 возможных события. Чтобы найти число, необходимо получить определенное количество информации. Первый участник может отвечать только "да" и "нет". Второй должен выбрать следующую стратегию: последовательно, на каждом шаге уменьшать неопределенность знания в два раза. Для этого он должен делить числовой интервал пополам, задавая свои вопросы.

Для того чтобы угадать число из интервала от 1 до 32 потребовалось 5 вопросов. Количество информации, необходимое для определения одного из 32 чисел, составило 5 бит.

Формула Хартли:

I = log2N,

где I — количество информации,

N — количество всех равновозможных исходов опыта.

Примеры:

1) Сообщение об исходе опыта с однократным подбрасыванием монеты (например, сообщение «выпал герб») несёт 1 бит информации, т.к. в этом случае всего имеется 2 возможных равновероятных исхода. I = log22 = 1 бит.

2 Количество информации, которое несёт сообщение об исходе опыта с однократным подбрасыванием правильной игральной кости (например, сообщение «выпало 4 очка»), тоже

можно найти по формуле Хартли. В этом случае всего имеется 6 возможных равновероятных исходов. I = log26 = 2,585 бит.

В теории информации не видят противоречия в использовании дробной части единицы

«бит».

Классическое определение вероятности

Если число элементарных событий, связанных с опытом, конечно и все эти элементарные события равновероятны, то вероятность интересующего нас события A, связанного с данным

опытом, можно подсчитать по следующей формуле m

P A , n

где

P(A) — вероятность события A;

n — общее число исходов опыта (элементарных событий); m — число исходов опыта (элементарных событий),

благоприятствующих событию A, (т.е. таких исходов, при которых событие A происходит).

Примеры:

1)В опыте с однократным подбрасыванием игральной кости имеется 6 элементарных событий A1, A2, …, A6. Следовательно, n = 6. Рассмотрим событие B1 — выпало чётное число очков. Этому событию благоприятствуют 3 исхода: A2 — выпало два очка; A4 — выпало четыре очка; A6 — выпало шесть очков. В любом из этих случаев событие «выпало чётное число очков» происходит. Следовательно, m = 3. Итак, P(B1) = 3/6 = 1/2.

2)Пусть в коробке находится 1024 шара, из них 64 чёрных, остальные белые. Опыт заключается в том, что из хорошо перемешанной коробки наудачу извлекается один шар. Рассмотрим событие A — вынут чёрный шар. Всего имеется 1024 элементарных исхода: мог быть вынут любой из 1024 шаров. Следовательно, n = 1024. Благоприятствующих событию A исходов

64:если вынут любой из 64 чёрных шаров, то событие A произошло. Следовательно, m = 64. Итак, P(A) = 64/1024=26/210=1/24=1/16.

Поскольку наступление каждого из N возможных событий имеет одинаковую вероятность

p = 1 / N,

то N = 1 / p

и формула Хартли может быть записана так:

I = log2 (1/p) = - log2 p.

Качественную связь между вероятностью некоторого события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

Примеры тестовых заданий

АКоличество бит информации в сообщении "пойманная в пруду рыба - карп" (всего в пруду 256 карасей, 44 щуки, 100 карпов) равно__

Варианты ответов: 2; 4; 3; 5; 1.

АИзвестно, что Миша был в числе финалистов олимпиады. Количество финалистов равно

16.Шансы на победу у каждого из них считаются равными. Количество бит информации в сообщении «Миша занял пятое место» равно __

Варианты ответов: 3; 5; 4; 2; 424.

Формула Шеннона

Если исходы опыта (элементарные события) не являются равновозможными, то формулу Хартли применить нельзя.

В таком случае для расчета количества вероятности применяют формулу Шеннона:

N

Ipi log2 pi,

i1

где N — количество событий;

pi — вероятность i-го события (i = 1, 2, …, N). Формулу Шеннона можно переписать так

N

I pi log2 p1i .

i 1

Величину log2(1/pi) можно интерпретировать как частное количество вероятности в случае реализации i-го события, а саму формулу Шеннона можно рассматривать как математическое ожидание случайной величины I.

Значение величины I зависит от случая, т.е. I является случайной величиной. Причем величиной дискретной, т.е. принимающей отдельные изолированные значения.

Сумму произведений значений дискретной случайной величины на соответствующие вероятности называют математическим ожиданием (средним значением) этой случайной величины.

Пример. Рассмотрим «неправильную» монету, для которой вероятность выпадения герба равна 3/4, а вероятность выпадения решки равна 1/4.

Опыт заключается в однократном подбрасывании монеты. Элементарные события «выпал герб» и «выпала решка» не равновозможны. Количество информации, которое несёт сообщение об исходе опыта (например, что выпал герб) можно найти по формуле Шеннона.

Алфавитный подход к измерению информации (объёмный)

В технике, где информацией считается любая хранящаяся, обрабатываемая или передаваемая последовательность знаков, сигналов, часто используют простой способ определения количества информации, который может быть назван объемным. Он основан на подсчете числа символов в сообщении, то есть связан только с длиной сообщения и не учитывает его содержания. Такой подход позволяет реализовать передачу, хранение и обработку информации с помощью технических устройств.

Алфавит – некоторое конечное множество символов, используемых при записи сообщений. Мощность алфавита – количество всех возможных символов в данном алфавите.

Пример. Пусть используется алфавит мощностью 256 символов. Тогда каждый символ текста несёт 8 бит информации (28 = 256).

Пример. Измерить информационный объем сообщения «Я очень люблю информатику!», записанного с помощью 256-ти символьного алфавита. Считаем, что символы появляются в тексте с равной вероятностью.

Решение. Всего в сообщении 26 символов с учетом пробелов и знака препинания. Каждый символ несёт 8 бит информации, т.е. 1 байт. Информационный объем сообщения равен 26 байт.

Более крупные единицы измерения информации

Бит Байт = 8 бит

1 Килобайт (Кбайт) = 1024 байт = 210 байт 1 Мегабайт (Мбайт) = 1024 Кбайт = 220 байт 1 Гигабайт (Гбайт) = 1024 Мбайт = 230 байт 1 Терабайт (Тбайт) = 1024 Гбайт = 240 байт 1 Петабайт (Пбайт) = 1024 Тбайт = 250 байт 1 Экзабайт (Эбайт) = 1024 Пбайт = 260 байт 1 Зеттабайт (Збайт) = 1024 Эбайт = 270 байт 1 Йоттабайт (Ибайт) = 1024 Збайт = 280 байт