Часть 2. Мера р. Хартли
Меру
количества информации, получаемой в
результате того или иного опыта, можно
было бы установить как функцию отношения
числа равновозможных ответов до опыта
(
)
и после опыта (
),
т.е. как функцию
.
Интуиция
подсказывает, что количество получаемой
в результате опыта информации должно
быть тем больше, чем больше это отношение,
что полностью согласуется с рассмотренным
примером. Вместе с тем интуиция
подсказывает, что в первом опыте, когда
,
исходная (до опыта) неопределенность
не уменьшается и, следовательно,
количество получаемой при таком опыте
информации будет нулевым, а введенное
отношение оказывается равным единице
(
).
Таким образом, функция отношения
входит в противоречие с нашей интуицией.
Более удобной для количественной меры информации оказывается логарифмическая функция:
. (1.1)
Выбор
основания логарифма в выражении (1.1)
принципиального значения не имеет. В
информационных системах переносчиком
информации в основном являются двоичные
коды. Поэтому в выражении (1.1) целесообразно
выбрать
,
а
,
при этом количество информации будет
измеряться в двоичных единицах (сокращенно
дв. ед.,
а по-английски bit
(бит)).
Заметим,
что логарифмическая функция (1.1) устраняет
отмеченное выше для первого ответа
противоречие, заключающееся в том, что
для этого ответа исходная неопределенность
сохраняется:
и получаемое количество информации при
этом будет нулевым, поскольку
.
Если
рассматриваемые события равновозможны,
то априорная (доопытная) вероятность
события
будет равна
,
а апостериорная (после опыта) вероятность
.
С учетом введенных обозначений и пояснений формула (1.1) примет вид
(1.2)
Здесь
и в дальнейшем основание логарифма,
равное 2, для простоты записи опущено.
При практическом использовании формулы
(1.2) иногда полезна замена
.
Если
события равновозможны, и если к тому же
после опыта ситуация полностью определена
,
формула (1.2) примет вид
(1.3)
Такая мера была предложена американским ученым Ральфом Хартли и получила его имя.
Из формулы (1.3) вытекает, что получению одной двоичной единицы количества информации соответствует случай, когда выясняется, какое из двух равновозможных событий имеет место. К примеру, прочитав содержимое одного разряда двоичного регистра, мы и получаем одну двоичную единицу информации, если в этом разряде априорно известно, что вероятности символов «0» и «1» одинаковы.
Мера Р. Хартли относится к весьма частному случаю, а именно когда события имеют одинаковую вероятность. Такая модель источников информации редко используется в реальности. Кроме того, мера Р. Хартли предполагает полную достоверность результатов опыта, исключающую сохранение какой-либо неопределенности, что в информационных системах, как оказалось, далеко не всегда выполнимо.
Вопрос 3.
Недостатки меры Р. Хартли.
Мера Р. Хартли относится к весьма частному случаю, а именно когда события имеют одинаковую вероятность. Такая модель источников информации редко используется в реальности. Кроме того, мера Р. Хартли предполагает полную достоверность результатов опыта, исключающую сохранение какой-либо неопределенности, что в информационных системах, как оказалось, далеко не всегда выполнимо.
