Меры измерения информации

Для измерения информации вводятся два параметра: количество информации I и объем данных V_д.

Эти параметры имеют разные выражения и интерпретацию в зависимости от рассматриваемой формы адекватности.

Синтаксическая мера информации. Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объем данных V_д в сообщении измеряется количеством символов (разрядов) в этом сообщении. В качестве такой единицы принято количество информации, связанной с опытом, состоящим в выборе одного из двух равновероятных исходов.

Рассмотрим простой пример. Используя электрическое устройство, можно включать и выключать свет в комнате. Следовательно, выключатель может иметь два равновероятных состояния – «включен» или «выключен». Такая единица количества информации получила название «бит». Изменение состояния происходит по управляющему сигналу, содержащему информацию в 1 бит.

Бит (от англ. binary digit – двоичное число) – это единица измерения информации, равная количеству информации, получаемой из опыта с одним из двух равновероятных исходов.

Двоичное представление информации соответствует алфавиту из всего двух символов  нуля и единицы. При таком представлении буквы, цифры и другие символы изображаются двоичными словами  последовательностями нулей и единиц.

Например, для чисел с фиксированной точкой каждый бит в машинном слове соответствует определенному двоичному разряду, т. е. его значение (0 или 1) умножается на определенную степень числа 2. Для целых чисел младший разряд соответствует нулевой степени числа 2. Например, двоичное число 101 соответствует в десятичной системе 5:

101₂ = 12⁰ + 02¹ + 12² = 1 + 0 + 4 = 5₁₀.

Используют и более крупную единицу информации – байт.

Байт – единица информации, эквивалентная одному символу из 256 возможных, что в двоичной системе соответствует восьмиразрядному двоичному слову (или 8 бит).

Объем информации в 1024 (2¹⁰ = 1024) байта носит название килобайт (кб). Используются и еще более крупные единицы информации: мегабайт (1024 кбайта), гигабайт (1024 Мбайта), терабайт (1024 Гбайта), петабайт (1024 Тбайта).

Получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы. Рассмотрим это понятие.

Пусть до получения информации потребитель имеет некоторые предварительные сведения о системе α. Мерой его неосведомленности о системе является функция H(α), которая в то же время служит и мерой неопределенности состояния системы.

Энтропия H(α) – мера неопределенности состояния системы.

После получения некоторого сообщения β получатель приобрел некоторую дополнительную информацию I_β(α), уменьшившую его априорную неосведомленность так, что неопределенность состояния системы стала H_β(α).

Тогда количество информации о системе, полученной в сообщении β, опреде­ляется:

I_β(α) = H(α)  H_β(α),

т. е. количество информации измеряется изменением (уменьшением) неопределенности со­стояния системы.

Для задач такого рода американский ученый Клод Шеннон предложил в 1948 году формулу определения количества информации:

,

где N – число возможных состояний системы; P_i – вероятность того, что система находится в i-м состоянии.

Коэффициент (степень) информативности (лаконичность) сообще­ния определяется отношением количества информации к объему данных, т. е.

,

причем 0 < Y < 1.

С увеличением Y уменьшаются объемы работы по преобразованию информации (данных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатыва­ются специальные методы оптимального кодирования информации.

Семантическая мера информации. Для измерения смыслового содержания информации, т. е. ее количества на семантическом уровне, наибольшее признание получила тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Для этого используется понятие тезаурус пользователя.

Тезаурус – это совокупность сведений, которыми располагает пользова­тель или система.

В зависимости от соотношений между смысловым содержанием информации S и тезаурусом пользователя S_p изменяется количество семантической информации I_c, восприни­маемой пользователем и включаемой им в дальнейшем в свой тезаурус (рис. 1).

I_c

I_max

S_p

S_opt

Рис. 1. Зависимость количества семантической информации, воспринимаемой потребителем, от его тезауруса, I_c = f(S_p)

Рассмотрим два предельных случая, когда количество се­мантической информации I_c равно 0:

1. при S_p  0 пользователь не понимает и, следовательно, не воспринимает поступающую информацию (так, сообщение, составленное на японском языке, не несет никакой новой информации человеку, не знающему этого языка);

2. при S_p   пользователь все знает, и поступающее сообщение не содержит никакой новой информации.

Максимальное количество семантической информации I_c потребитель приобретает при согласовании ее смыслового содержания S со своим тезаурусом S_p (S_p = S_opt), когда поступающая информация понятна пользователю и несет ему ранее не известные (отсутствующие в его тезаурусе) сведения.

Следовательно, количество семантической информации в сообщении, количество новых знаний, получаемых пользователем, является величиной относительной. Информация есть характеристика не сообщения, а соотношения между сообщением и его потребителем. Без наличия потребителя, хотя бы потенциального, говорить об информации бессмысленно.

Прагматическая мера информации. Эта мера определяет полезность информации (ценность) для достижения пользователем по­ставленной цели. Эта мера также величина относительная, обусловленная особенностями использования этой информации в той или иной системе. Ценность информации целесообразно измерять в тех же самых единицах (или близких к ним), в которых измеряется целевая функция.

Например, в экономической системе прагматические свойства (ценность) информации можно определить приростом экономического эффекта функционирования, до­стигнутым благодаря использованию этой информации для управления системой:

I_n()=П(/) – П(),

где I_n() – ценность информационного сообщения  для системы управления , П() – априорный ожидаемый экономический эффект функционирования системы управления ; П(/) – ожидаемый эффект функционирования системы  при условии, что для управления будет использована информация, содержащаяся в сообщении .