Часть 4. Элементы теории информации

Слово «информация» известно в наше время каждому. Между тем вошло оно в постоянное употребление не так давно, в середине двадцатого века, с легкой руки Клода Шеннона. В основу теории информации положен предложенный К.Шенноном метод исчислений количества новой (непредсказуемой) и избыточной (предсказуемой) информации, содержащейся в сообщениях, передаваемых по каналам технической связи.

Вопреки мнению самого К.Шеннона, предостерегавшего ученых против поспешного распространения предложенного им метода за пределы прикладных задач техники связи, этот метод стал находить все более широкое применение в исследованиях и физических, и биологических, и социальных систем (и даже астрологии) .

В социологии количество получаемой объектом информации определяется как мера устранения неопределенности по выбору действий ведущих к достижению его целей.

В статистической физике с помощью вероятностной функции энтропии исследуются процессы, приводящие к термодинамическому равновесию, при котором все состояния молекул (их энергии, скорости) приближаются к равновероятным, а энтропия при этом стремится к максимальной величине.

В математической теории информации важно уметь прогнозировать исходы различных опытов, т.е. численно оценивать степень неопределенности, заложенную в них, чтобы иметь возможность сравнить их с этой точки зрения.

Ключом к новому пониманию сущности феномена информации и механизма информационных процессов послужила установленная Л.Бриллюэном взаимосвязь между количеством информации и физической энтропии, причем не формальная, а содержательная связь. Эта взаимосвязь была первоначально заложена в самый фундамент теории информации, поскольку для исчисления количества информации Шеннон предложил использовать заимствованную из статистической термодинамики вероятностную функцию энтропии.

Между тем само понятие «информации» во многом остается интуитивным и получает различные смысловые наполнения в различных отраслях человеческой деятельности. Информацию можно покупать и продавать, зарабатывать на ее хранении и передаче. Появились словосочетания «средства массовой информации», «защита информации», «информационный голод», «информационное общество».

Глава 1. Энтропия

1.1. Комбинаторный подход к вычислению количества информации. Формула Хартли

Обозначим через I количество информации, n – число состояний физической системы, тогда I = I (n) – функция количества информации. И повторим рассуждения Р.Хартли, позволившие ему получить меру количества информации. Предварительно примем, что информация – это устраненная неопределенность.

Предположим, что какое-то событие имеет m равновероятных исходов. Таким событием может быть, например, появление любого символа из алфавита, содержащего m таких символов. Как измерить количество информации, которое может быть передано при помощи такого алфавита? Это можно сделать, определив число N возможных комбинаций букв алфавита, то есть число возможных сообщений, которые могут быть переданы при помощи этого алфавита. Если сообщение формируется из одного символа, то N = m, если из двух, то N = m². Если сообщение содержит n символов (n – длина сообщения), то N = mⁿ. Казалось бы, искомая мера количества информации найдена. Ее можно понимать как меру неопределенности исхода опыта, если под событием подразумевать случайный выбор какого-либо сообщения из некоторого числа возможных. Однако эта мера не совсем удобна. При наличии алфавита, состоящего из одного символа, т.е. когда m = 1, возможно появление только этого символа. Следовательно, неопределенности в этом случае не существует, и появление этого символа не несет никакой информации. Между тем, значение N при m = 1 не обращается в нуль. Для двух независимых источников сообщений (или алфавита) с N₁ и N₂ числом возможных сообщений общее число возможных сообщений , в то время как логичнее было бы считать, что количество информации, получаемое от двух независимых источников, должно быть не произведением, а суммой составляющих величин.

Выход из положения Р. Хартли увидел том, чтобы информацию I, приходящуюся на одно сообщение, определять логарифмом общего числа возможных сообщений N:

. (1.1)

Формула Хартли позволяет определить количество информации в сообщении только для случая, когда появление символов равновероятно и они статистически независимы.

На практике же условия позволяющие определить количество информации по (1.1) выполняются редко. При определении количества информации необходимо учитывать не только количество разнообразных сообщений, которые можно получить от источника, но и вероятность их получения.