2.1.2. Содержательный подход к измерению информации. Формула Хартли

Естественно задать вопрос: а как же измерить количество получаемой информации? Какое сообщение принесет вам больше информации, а какое меньше? И вообще, можно ли сравнивать объемы информации, полученной из разных источников? Для того чтобы ответить на эти вопросы, определим понятие «информация» более формально.

Определение. Согласно американскому ученому Клоду Шеннону, информация – это снятая неопределенность. Величина неопределнности некоторого события – это количество возможных исходов этого события.

Такой подход к определению информации называется содержательным. Чем более вероятно наступление какого-либо события, тем меньшее количество информации несет для нас сообщение о наступлении этого события.

Количество информации измеряется в битах.

Определение. Согласно содержательному подходу один бит – это такое количество информации, которое уменьшает неопределенность в два раза.

Давайте поиграем в игру «орлянка». Как вы думаете, что выпадет? Орел или решка? Попробуйте несколько раз подряд бросить монетку и зафиксировать свои результаты.

Как вы могли заметить, предсказать заранее, какой стороной упадет монетка, невозможно. Вероятность того, что выпадет орел, – 1/2, так же как и вероятность того, что выпадет решка. С другой стороны, изначально, до того как монетка упала, мы имели два возможных исхода этого броска, а значит, и две неопределенности. Снимая неопределенность, то есть зная, что выпадет орел или решка, мы получаем информацию, равную 1 биту, так как мы уменьшили ее в два раза.

Если мы будем бросать монетку не один, а несколько раз, то, получая каждый раз количество информации, равное 1 биту, за пять бросков мы получим количество информации в 5 бит и так далее. Таким образом, экспериментально мы показали, что количество информации аддитивно, то есть в случае независимых событий общее количество информации равно сумме количеств информации в сообщениях о каждом из событий.

Если все исходы какого-то события равновероятны, то для того чтобы определить один из них, например, кого из учеников в классе задумал спросить преподаватель, можно каждый раз делить все исходы на 2 части, и тогда интересующий нас исход будет находиться в одной из этих частей. Но при каждом делении мы будем получать 1 бит информации. Тогда если у нас N предметов, то для определения одного конкретного нам потребуется log₂N делений. А значит, один равновероятный исход из N исходов несет в себе log₂N информации. Эта формула определения количества информации называется формулой Хартли.

Из этой формулы уже аналитически можно вывести закон аддитивности информации. Если мы рассмотрим два различных независимых друг от друга события с количеством исходов N₁ и N₂ соответственно, то исход каждого из этих событий несет количества информации H₁= log₂N₁ и H₂= log₂N₂ соответственно. Но общее количество исходов этих двух событий, если рассматривать их как одно целое, будет равно N₁ * N₂, и количество информации, полученное нами в результате одного объединенного исхода, равно H= log₂(N₁ * N₂) = log₂N₁ + log₂N₂ = H₁ + H₂. Что и требовалось доказать.