Вероятностная мера
Общая оценка количества информации, названная вероятностной мерой, была разработана американским инженером-связистом и ученым Клодом Шенноном в 1948 г в известных работах по теории информации. С этого времени началось интенсивное развитие теории информации вообще и углубленное исследование вопроса об измерении ее количества в системах телекоммуникации в частности.
Формула
Шеннона
.
Здесь: I – количество информации, получаемое в результате проведения опыта; N – общее количество исходов в опыте; pi – вероятность i-го исхода.
Если вероятности всех исходов в опыте равны p1 = p2 = . . . = pn = 1/N (бросание монеты, игрального кубика, вытаскивание карты из колоды и т.п.), то формула Шеннона превращается в формулу Хартли (1928 г.): I = log2N.
Как видно, в результате произведенных выкладок получилась уже известная нам логарифмическая мера.
Таким образом, по формуле Шеннона под количеством информации понимается уменьшение неопределенности о состоянии какой-либо системы.
Понятия бита, байта
Известны различные формы представления информации. Однако, электронно-вычислительная машина – это техническое устройство, основанное на работе электронных компонентов, а значит, обладающее определенными физическими характеристиками. Поэтому, информация, предназначенная для ЭВМ, должна иметь физическое представление, причем это представление должно быть наиболее простым.
Этим требованиям отвечает, так называемое, битовое представление информации, основанное на двоичной системе счисления, при котором каждая запоминаемая частица может принимать только два значения - либо 0, либо 1. В технических устройствах двоичная система счисления используется для обозначения систем с двумя возможными состояниями. Например:
1 - есть отверстие, 0 - нет отверстия;
1 - включено, 0 - выключено;
1 - есть напряжение, 0 - нет напряжения.
Причем каждая двоичная цифра содержит один бит информации.
За единицу информации 1 бит (binary digit – двоичная единица) принимается количество информации, получаемое в результате проведения опыта, состоящего в выборе одного из двух равновероятных исходов.
Бит действительно является очень маленьким объемом хранения информации, содержащим всего два состояния: 0, 1. Если объединить два бита в одно целое, то в таком объеме можно хранить уже 4 состояния: 00, 01, 10, 11. Если объединить три, то появляется возможность для хранения еще большей информации: 000, 001, 010, 011, 100, 101, 110, 111. И так далее. Чтобы было нагляднее, изобразим это в таблице:
|
Количество битов |
Возможные комбинации |
Количество комбинаций |
|
1 |
0, 1 |
2 |
|
2 |
00, 01, 10, 11 |
22 |
|
3 |
000, 001, 010, 011, 100, 101, 110, 111 |
23 |
|
... |
|
|
|
n |
........ |
2n |
На практике чаще применяется более крупная единица измерения – байт (1 байт = 8 бит), а также производные от него единицы измерения информации:
|
1 Кбайт |
= 1024 байт |
= 210 байт |
= 1 024 байт |
|
1 Мбайт |
= 1024 Кбайт |
= 220 байт |
= 1 048 576 байт |
|
1 Гбайт |
= 1024 Мбайт |
= 230 байт |
= 1 073 741 824 байт |
|
1 Тбайт |
= 1024 Гбайт |
= 240 байт |
= 1 099 511 627 776 байт |
|
1 Пбайт |
= 1024 Тбайт |
= 250 байт |
= 1 125 899 906 842 620 байт |
Гб (гигабайт) ; Тб (терабайт) ; Пб (петабайт); 1024 Пб = 1Эб (экзабайт)
Информация может существовать и участвовать в информационных процессах в самых разнообразных формах, например в виде:
текстов, чисел;
рисунков, чертежей, фотографий;
световых и звуковых сигналов или радиоволн;
электрических и нервных импульсов;
магнитных и оптических записей;
жестов, мимики;
запахов и вкусовых ощущений;
химических соединений.
В информационных процессах для каждого вида информации обязательно используются соответствующий носитель и подходящая система кодирования информации. Так, например, текстовая информация кодируется с помощью букв национальных алфавитов, числовая информация – с помощью арабских или римских цифр, голосовая информация – с помощью фонетических звуков, музыкальная информация – с помощью нотной записи и т.д. Любая система кодирования преследует своей целью не скрытие информации (в отличие от систем шифрования информации), а наоборот – предоставление ее потребителю в наиболее удобном для потребления виде.