2.4. Понятие количества информации

Свойство полноты информации негласно предполагает, что имеется возможность измерять количество информации. Какое количество информации содержится в некоторой книге, какое количество информации в популярной песенке? Что содержит больше информации: роман «Война и мир» или сообщение, полученное в письме от товарища? Ответы на подобные вопросы не просты и не однозначны, так как во всякой информации присутствует субъективная компонента. A возможно ли вообще объективно измеришь количество информации?

Важнейшим результатом теории информации является вывод о том, что в определенных, весьма широких условиях, можно, пренебрегая качественными особенностями информации, выразить ее количество числом, а следовательно, сравнивать количество информации, содержащейся в различных группах данных.

Как уже говорилось, определить понятие «количество информации» довольно сложно. В решении этой проблемы существуют два основных подхода. Исторически они возникли почти одновременно. В конце 40-х годов XX века один из основоположников кибернетики американский математик Клод Шеннон развил вероятностный подход к измерению количества информации, а работы по созданию ЭВМ привели к «объемному» подходу.

2.4.1. Вероятностный подход

Количеством информации при вероятностном подходе называют числовую характеристику сигнала, отражающую ту степень неопределенности (неполноту знаний), которая исчезает после получения сообщения в виде данного сигнала.

Для иллюстрации данного определения, рассмотрим следующий пример. Предположим, что какое-то событие имеет n равновероятных исходов. Таким событием может быть, например, появление любого символа из алфавита, содержащего n таких символов.

Введем в рассмотрение численную величину, измеряющую неопределенность – энтропию. Обозначим ее буквой H. Величины n и H связаны некоторой функциональной зависимостью:

, (2.1)

где функция f является возрастающей и неотрицательной.

Рассмотрим процедуру получения символа из алфавита.

1. Символ еще не получен, исход опыта неизвестен. Имеется некоторая неопределенность .

2. Символ получен. Информация об исходе опыта получена. Обозначим количество этой информации через I. Обозначим неопределенность опыта после его осуществления через .

За количество информации, полученной в ходе осуществления опыта, принимают разность неопределенностей «до» и «после» опыта:

. (2.2)

Если в результате получения сообщения достигается полная ясность в каком-то вопросе, то говорят, что получена полная или исчерпывающая информация и необходимости в получении дополнительной информации нет. Наоборот, если после получения сообщения неопределенность осталась прежней, значит информации получено не было (нулевая информация). В нашем примере, когда получен конкретный результат, имевшаяся неопределенность снята, т.е. . Таким образом, количество полученной информации совпадает с первоначальной энтропией, и неопределенность, заключенная в опыте, совпадает с информацией об исходе этого опыта. Но, как было сказано выше, могло и не быть равным нулю.

Важным вопросом является определение вида функции f в формуле (2.1). Для ответа на него, задумаемся над тем, как измерить количество информации, которое может быть передано при помощи алфавита состоящего из n символов?

Это можно сделать, определив число N возможных комбинаций букв алфавита, то есть число возможных сообщений, которые могут быть переданы при помощи этого алфавита. Если сообщение формируется из одного символа, то N =n, если из двух, то . Если сообщение содержитm символов (m – длина сообщения), то . Казалось бы, искомая мера количества информации найдена. Ее можно понимать как меру неопределенности исхода опыта, если под опытом подразумевать случайный выбор какого-либо сообщения из некоторого числа возможных. Однако эта мера не совсем удобна. При наличии алфавита, состоящего из одного символа, т.е. когдаn= 1, возможно появление только этого символа. Следовательно, неопределенности в этом случае не существует, и появление этого символа не несет никакой информации. Между тем, значение N при n= 1 не обращается в нуль. Для двух независимых источников сообщений (или алфавита) с ичислом возможных сообщений общее число возможных сообщений, в то время как логичнее было бы считать, что количество информации, получаемое от двух независимых источников, должно быть не произведением, а суммой составляющих величин.

Для выхода из положения была предложена формула

H=logN. (2.3)

Формула (2.3) есть формула Хартли, определяющая связь между количеством информации и числом состояний системы. Эта формула удовлетворяет предъявленным выше требованиям. Поэтому ее можно использовать для измерения количества информации. Действительно, если все множество возможных сообщений состоит из одного (N=n= 1), то

H = log 1 = 0,

что соответствует отсутствию информации в этом случае. При наличии независимых источников информации с ичислом возможных сообщений

,

т.е. количество информации, приходящееся на одно сообщение, равно сумме количеств информации, которые были бы получены от двух независимых источников, взятых порознь.

Итак, Хартли предложил определять количество информации в физической системе, основываясь на числе ее возможных состояний. При этом он считал все состояния системы равновероятными, и в этом был главный недостаток формулы Хартли. Для общего случая, т.е. когда состояния системы не равновероятны, используется формула Шеннона

, (2.4)

здесь – вероятность того, что система примет состояние с номеромi.

При введении какой-либо величины важно знать, что принимать за единицу ее измерения. Пусть основание логарифма равно 2. Тогда H = 1 при N = 2. В качестве единицы принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов. Такая единица количества информации называется бит (англ. bit – Binary digiT). Или, битом называется количество информации, которое можно получить при ответе на вопрос типа «да / нет». Бит – минимальная единица количества информации. Получить информацию, меньшую, чем один бит невозможно. При получении информации в 1 бит неопределенность уменьшается в два раза.

В качестве примера определим количество информации, связанное с появлением каждого символа в сообщениях, записанных на русском языке. Будем считать, что русский алфавит состоит из 33 букв и знака «пробел» для разделения слов. По формуле (2.3) получим

.

Однако, в словах русского языка (равно как и в словах других языков) различные буквы встречаются неодинаково часто. Ниже приведена таблица вероятностей частоты употребления различных знаков русского алфавита, полученная на основе анализа очень больших по объему текстов.

Таблица 2.1. Частотность букв русского языка.

Символ	Вероятность	Символ	Вероятность	Символ	Вероятность
Пробел	0,175	К	0,028	Ч	0,012
О	0,090	М	0,026	Й	0,010
Е	0,072	Д	0,025	X	0,009
Ё	0,072	П	0,023	Ж	0,007
А	0,062	У	0,021	Ю	0,006
И	0,062	Я	0,018	Ш	0.006
Т	0,053	Ы	0,016	Ц	0,004
Н	0,053	З	0.016	Щ	0,003
С	0,045	Ь	0,014	Э	0,003
Р	0,040	Ъ	0,014	Ф	0,002
В	0,038	Б	0,014
Л	0,035	Г	0.012

Воспользуемся для подсчета H формулой (2.4):

Н≈ 4,72 бит.

Полученное значение Н, как и можно было предположить, меньше вычисленного ранее. Величина Н, вычисляемая по формуле (2.3), является максимальным количеством информации, которое могло бы приходиться на один знак.