§2. Измерение информации

2.1. Содержательный подход к измерению информации

С позиции содержательного подхода просматривается следующая цепочка понятий: информация — сообщение — информативность сообщения — единица измерения информации — информационный объем сообщения.

Исходная посылка: информация — это знания людей. Следующий вопрос: что такое сообщение? Сообщение — это информационный поток, который в процессе передачи информации поступает к принимающему его субъекту. Сообщение — это и речь, которую мы слушаем (радиосообщение, объяснение преподавателя), и воспринимаемые нами зрительные образы (фильм по телевизору, сигнал светофора), и текст книги, которую мы читаем и т.д.

Особенно важным является наличие информированности при восприятии информации. Каждая область научного знания обладает собственным понятийным аппаратом, специфической символикой и фразеологией. Для того, кто не овладел ими, текст сообщения (например, слова и формулы математической статьи) будет совершенно непонятен.

Информативным называется сообщение, которое пополняет знания человека, т.е. несет для него информацию. Для разных людей одно и то же сообщение, с точки зрения его информативности, может быть разным. Информация, являющаяся значительной и ценной для одного человека, может не представлять никакого интереса для другого. Если сведения «старые», т.е. человек это уже знает, или содержание сообщения непонятно человеку, то для него это сообщение неинформативно. Информативно то сообщение, которое содержит новые и понятные сведения.

Нельзя отождествлять понятия «информация» и «информативность сообщения». Следующий пример иллюстрирует различие понятий. Вопрос: «Содержит ли информацию вузовский учебник по высшей математике с точки зрения первоклассника?». Ответ: «Да, содержит с любой точки зрения! Потому что в учебнике заключены знания людей: авторов учебника, создателей математического аппарата (Ньютона, Лейбница и др.), современных математиков». Эта истина — абсолютна. Другой вопрос: «Будет ли информативным данный текст для первоклассника, если он попытается его прочитать? Иначе говоря, может ли первоклассник с помощью этого текста пополнить собственные знания?» Очевидно, что ответ отрицательный. Читая данный текст, т.е. получая сообщения, первоклассник ничего не поймет, а стало быть, не обратит его в собственные знания.

Введение понятия «информативность сообщения» является первым подходом к изучению вопроса об измерении информации в рамках содержательной концепции. Если сообщение неинформативно для человека, то количество информации в нем, с точки зрения этого человека, равно нулю. Количество информации в информативном сообщении больше нуля.

Для определения количества информации нужно ввести единицу измерения информации. В рамках содержательного подхода такая единица должна быть мерой пополнения знаний субъекта; иначе можно еще сказать так: мерой уменьшения степени его незнания. Можно дать следующее определение единицы информации: «Сообщение, уменьшающее неопределенность знаний в 2 раза, несет 1 бит информации». Определение для частного случая: «Сообщение о том, что произошло одно событие из двух равновероятных, несет 1 бит информации».

Речь идет об очень частном случае (!): о сообщении, которое содержит сведения о том, что произошло одно из конечного множества (N) возможных событий. Например, о результате бросания монеты, игрового кубика, вытаскивания экзаменационного билета и т.п. Неопределенность знания о результате некоторого события — это число возможных вариантов результата: для монеты — 2, для кубика — 6, для билетов — 30 (если на столе лежало 30 билетов).

События равновероятны, если ни одно из них не имеет преимущества перед другими. С этой точки зрения выпадения орла и решки — равновероятны; выпадения каждой из шести граней кубика — равновероятны. Неравновероятные события содержатся, например, в сообщении о погоде в зависимости от сезона сведения о том, что будет дождь или снег могут иметь разную вероятность. Летом наиболее вероятно сообщение о дожде, зимой — о снеге, а в переходный период (в марте или ноябре) они могут оказаться равновероятными.

Возвращаясь к вопросу об измерении количества информации, заключенной в сообщении об одном из N равновероятных событий, рассмотрим традиционный пример с монетой (орел – решка).

Получение сообщения о результате бросания монеты уменьшило неопределенность знаний в два раза: перед подбрасыванием монеты было два равновероятных варианта, после получения сообщения о результате остался один единственный. Следует отметить, что и для всех других случаев сообщений о равновероятных событиях при уменьшении неопределенности знаний в два раза передается 1 бит информации.

Исходя из сказанного, приходим к обобщенной формуле: 2ⁱ = N. Здесь N — число вариантов равновероятных событий (неопределенность знаний), а i — количество информации в сообщении о том, что произошло одно из N событий.

Если N — известно, а i является неизвестной величиной, то данная формула превращается в показательное уравнение. Как известно, показательное уравнение решается с помощью функции логарифма: i = log₂N. Так, например, решение уравнения для частных случаев, когда N есть целая степень двойки: 2, 4, 8, 16, 32 и т.д., происходит по схеме:

Если N = 2 = 2¹, то уравнение принимает вид: 2ⁱ = 2¹, отсюда i = 1.

Если N = 4 = 2², то уравнение принимает вид: 2ⁱ = 2², отсюда i =2.

Если N = 8 = 2³, то уравнение принимает вид: 2ⁱ = 2³, отсюда i = 3.

Если N = 1024 = 2¹⁰, то уравнение принимает вид: 2ⁱ = 2¹⁰, отсюда i = 10 и т.д.

В общем случае, если N = 2^k, где k — целое число, то уравнение принимает вид 2ⁱ = 2^k и, следовательно, i = k.

Рассмотренные примеры исчерпывают возможности содержательного подхода в решении проблемы измерения информации. Предложенный метод применим только в очень частных случаях. Так, если попробовать с содержательной точки зрения подсчитать количество информации, полученной в результате прочтения нового для вас параграфа в учебнике, то сделать это будет невозможно, хотя фактом является то, что информация получена. В этом и проявляется «тупик» данного подхода.