1. Информация

1. Количество информации

Количеством информации называют ее числовую характеристику, отражающую ту степень неопределенности, которая исчезает после получения информации. Для оценки и измерения количества информации в сообщении применяются различные подходы, среди которых следует выделить статистический и алфавитный.

Статистический подход. Для количественной оценки неопределенности или энтропии Н Хартли Р. предложил формулу, содержащую логарифм от числа равновероятных возможностей N

H = log₂ N, (1)

которую можно записать в следующем виде:

2^H = N, (2)

где H – количество информации.

Минимальной единицей количества информации, именуемой битом, будет выбор из двух возможностей.

При не равновероятной возможности выбора количество информации h_i, зависящей от индивидуальной вероятности P_i i – го выбора, вычисляется по формуле К. Шеннона

, (3)

которую можно преобразовать к виду

. (4)

Удобнее в качестве меры количества информации пользоваться не значнем h_i, а средним значением количества информации

. (5)

Алфавитный подход позволяет определить количество текстовой информации. Количество информации, которое несёт каждый символ вычисляется по формуле

i = log ₂ N, (6)

где N – мощность алфавита, равная количеству символов в нём.

Текст, содержащий K символов, имеет объём информации, равный

I = K · i. (7)

Максимальное количество слов L из m букв, которое можно составить с помощью алфавита мощностью N, определяется как

L = N ^m. (8)

Примеры решения задач с равновероятными возможностями

П 1.1. Пусть имеется колода карт, содержащая 32 различные карты. При выборе одной карты имеется 32 возможности.

Решение: Число возможностей N = 32 при подстановке в формулу (1) дает количество информации H = 5 (2^H = 2⁵).

П 1.2. При бросании монеты выбор одного результата (например, выпадения орла) несет один бит информации, поскольку количество возможных равновероятных результатов N = 2 (орел или решка). Действительно, подставляя N = 2 в формулу (1), получим H = 1 бит.

П 1.3. Какой объем информации содержит сообщение, уменьшающее неопределенность в 4 раза?

Решение: так как неопределенность знаний уменьшается в 4 раза, следовательно, она была равна 4, т.е. существовало 4 равновероятных события. Сообщение о том, что произошло одно из них, несет 2 бита информации (4 = 2²).

Ответ: 2 бита.

П 1.4. В коробке лежат 16 кубиков. Все кубики разного цвета. Сколько информации несет сообщение о том, что из коробки достали красный кубик?

Решение: из 16 равновероятных событий нужно выбрать одно. Поэтому N = 16, следовательно, H = 4, (16 = 2⁴).

Пояснение: события равновероятны, т.к. всех цветов в коробке присутствует по одному.

Ответ: 4 бита.

П 1.5. Сообщение о том, что ваш друг живет на 10 этаже, несет 4 бита информации. Сколько этажей в этом доме?

Решение: N = 2⁴ = 16 этажей.

Пояснение: события равновероятны, т.к. номера этажей не повторяются.

Ответ: 16 этажей.

Примеры решения задач с не равновероятными событиями

П 1.6. В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар?

Дано: N_ч = 8; N_б = 24. Найти: H_ч = ?

Решение:

1) N = 8 + 24 = 32 – шара всего;

2) P_ч = 8/32 = ¼ - вероятность доставания черного шара;

3) H = log₂ (1/ ¼) = 2 бита.

Ответ: 2 бита.

П 1.7. В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в коробке?

Дано: N_ч = 64; H_б = 4. Найти: К_б = ?

Решение:

1) H_б = log₂(1/P_б); 4 = log₂(1/P_б); 1/P_б = 16; P_б = 1/16 – вероятность доставания белого карандаша;

2) P_б = К_б/N; 1/16 = К_б/64; К_б = 64/16 = 4 белых карандаша.

Ответ: 4 белых карандаша.

П 1.8. В корзине лежат белые и черные шары. Среди них 18 черных шаров. Сообщение о том, что из корзины достали белый шар, несет 2 бита информации. Сколько всего шаров в корзине?

Дано: К_ч = 16, N = 2 бита. Найти: N - ?

Решение:

1) 1/P_б = 2¹, 1/P_б = 2² = 4, P_б = ¼ - вероятность доставания белого шара;

2) P_б = К_б/N = К_б/(К_б + К_ч), ¼ = К_б/(К_б + 18), К_б + 18 = 4 * К_б, 18 = 3 * К_б, К_б = 6 – белых шаров;

3) N = К_б + К_ч = 18 + 6 = 24 шара было в корзине.

Ответ: 24 шара лежало в корзине.

Примеры решения задач на измерение алфавитного объёма

П 1.9. Найти объем текста H_T, записанного на языке, алфавит которого содержит N = 128 символов и K = 2000 символов в сообщении.

Решение:

1. H = log₂N = log₂128 = 7 бит – объем одного символа.

2. H_T = H × K = 7 × 2000 = 14 000 бит – объем сообщения.

Ответ: 14 000 бит.

П 1.10. В алфавите некоторого языка всего N = 2 буквы, каждое слово в языке состоит точно из m = 7 букв. Какой максимальный запас слов в языке?

а) 128; б) 256; в) 64; г) 1024.

Решение:

Если мощность алфавита N, а максимальное количество букв в слове, записанном с помощью этого алфавита, – m, то максимально возможное количество слов определяется по формуле L = N^m, откуда N = 2⁷, следовательно, N = 128.