3. Информация и энтропия
Идеи
Шеннона не обошли стороной физику. Им
было замечено, что формула (1.2) похожа
на используемую в физике формулу
энтропии, выведенную австрийским физиком
Людвигом Больцманом еще в 1872 году и
преобразованную в дальнейшем Максом
Планком (
,
где рi-вероятность
состояния i
– ой молекулы
физической системы, Н
– энтропия физической системы). Энтропия
системы является мерой неопределенности
состояния молекул, образующих систему.
Максимальную энтропию система имеет
при равновероятном распределении
параметров движения молекул (направлении,
скорости и пространственном положении).
Значение энтропии уменьшается, если
движение молекул упорядочить. По мере
увеличения упорядоченности движения
энтропия физической системы стремится
к нулю.
Используя сходство формул количества информации Шеннона и энтропии, известный французский физик Леон Бриллюэн охарактеризовал информацию как отрицательную энтропию, или негэнтропию. По его мнению, любая добавленная информация увеличивает негэнтропию системы [2]. Он показал, что количество накопленной и сохраняемой в структуре систем информации в точности равно уменьшению их энтропии. Действительно, неопределенность есть ничто иное, как недостача информации, или отрицательная информация. Так как энтропия является мерой неупорядоченности, то информация наоборот - мера упорядоченности материальных систем.
Процесс изменения энтропии физической системы в зависимости от поступающей информации об этой системе рассмотрим на известном примере. Пусть физическая система – это текст, состоящий из набора букв русского алфавита. Текст с максимальной энтропией – это текст с равновероятным распределением всех букв алфавита, т.е. с бессмысленным чередованием букв, например: ЙХЗЦЗЦЩУЩУШК ШГЕНЕЭФЖЫЫДВЛВЛОАРАПАЯЕЯЮЧБ СБСЬМ. Если при составлении текста учтена реальная вероятность букв, то в получаемых таким образом «фразах» будет наблюдаться определенная упорядоченность движения букв, регламентируемая частотой их появления: ЕЫТ ЦИЯЬА ОКРВ ОДНТ ЬЧЕ МЛОЦК ЗЬЯ ЕНВ ТША. При учете вероятностей четырехбуквенных сочетаний текст становится настолько упорядоченным, что по некоторым формальным признакам приближается к осмысленному: ВЕСЕЛ ВРАТЬСЯ НЕ СУХОМ И НЕПО И КОРКО. Причиной такой упорядоченности в данном случае является информация о статистических закономерностях текстов. В осмысленных текстах упорядоченность, естественно, еще выше. Так, фраза «ПРИШЛ... ВЕСНА» имеет еще больше информации о движении (чередовании) букв. Таким образом, от текста к тексту с увеличением поступающей информации о статистических закономерностях текстов, энтропия рассматриваемого текста уменьшается.
***
Высоко оценивая вклад структурно-синтаксического аспекта понятия «информация» в уточнение этого понятия, в количественный анализ информационных процессов, нельзя забывать, что этот аспект представляет собой лишь первый этап познания многогранной сущности понятия «информация». Предметом рассматриваемого аспекта является исследование синтаксической функции материальных носителей информации (сигналов, знаков и т.д.). Структурно-синтаксический аспект информации имеет отношение к семантическим и прагматическим аспектам лишь постольку, поскольку последние могут быть выражены синтаксическими средствами. Так, например, «статистическая теория информации (теория Шеннона) имеет отношение к семантике постольку, поскольку она сообщает нам, с какой достоверностью мы можем полагаться на точность полученной информации по сравнению с посланной информацией».
В то же время объективно существующее единство информации и управления на уровне сложных динамических систем, обнаруженное кибернетикой, развитие кибернетического моделирования информационных процессов выявляют, помимо синтаксического, семантический и прагматический аспекты информации и делают также необходимым их количественный анализ. Из кибернетического принципа единства информации и управления вытекает, что информация, рассматриваемая как средство управления, необходимо должна включать семантические и прагматические свойства. Действительно, как можно управлять, не понимая смыслового содержания команд в системах, где присутствуют люди. Не случайно Н. Винер подчеркивал, что информация в кибернетике понимается не только как обмен сообщениями между «человеком и машиной, между машиной и человеком, между машиной и машиной», но и как «обозначение содержания, полученного из внешнего мира в процессе нашего приспособления к нему и приспособления к нему наших чувств» [4]. Кибернетическое моделирование требует формализации как структурно-синтаксической стороны информации, так и формализации другого ее аспекта: качественного аспекта. Эта потребность проявляется особенно остро в связи с созданием систем искусственного интеллекта. В этих случаях семантику и прагматику языковых систем требуется выразить с помощью точных логических и математических средств.
1 Сигнал (от лат. Signum – знак) – материальный процесс, создаваемым полем и обнаруживаемый органами чувств человека или техническими средствами [19].
2 Код – система условных обозначений, сигналов, передающих информацию.
3 Алгоритм – это точное предписание относительно последовательности действий, преобразующих исходные данные в искомый результат.