Информатика Информация, сигнал, сообщение
Информация - это совокупность сведений, подлежащих хранению, передаче, обработке и использованию в человеческой деятельности.
Изменение характеристики носителя, которое используется для представления информации, называется сигналом, а значение этой характеристики, отнесенное к некоторой шкале измерений, называется параметром сигнала.
Различают два типа сигналов (а значит и два типа сообщений): непрерывные и дискретные.
Для обеспечения простоты и надежности распознавания сигналов дискретного вида (знаков), их число целесообразно свести до минимума. Как правило, прибегают к операции представления исходных знаков в другом алфавите с меньшим числом знаков, называемых символами. При обозначении этой операции используется тот же термин – «кодирование».
Собственная информация
Количество информации, которое несет
в себе буква xiалфавита
,
назовемсобственной информацией,
содержащаяся вxiи обозначим
.
.
Формула Шеннона
Усредним
собственную информацию, т.е. рассчитаем,
какое среднее количество информации
несет в себе один символ алфавита 
:
.
Среднее количество информации, приходящееся на одну букву, называется энтропией алфавита (или источника) и обозначается H:
-
формула
Шеннона.
Очевидно, что среднее1 количество информации в сообщении длины n вычисляется по формуле:
.
Замечание. Количество информации приписывается самому сообщению.
Замечание. Энтропия является характеристикой источника сообщений (алфавита).
Формула Хартли
При
равновероятности
знаков алфавита 
,
из формулы Шеннона получаем: 
.
-
формула
Хартли.
Единицы измерения информации
Единицу количества информации на один элемент сообщения (единицу измерения энтропии) называют битом.
Рассмотрим
алфавит равновероятных символов,
энтропия которого равна 1: 
.
Так как отсюда следует 
,
то ясно, что 1 бит - это количество
информации, которое содержится в двоичном
сообщении (алфавит {0,1}) длины 1.
В дальнейшем в выражениях для I и H всегда будем использовать логарифмы с основанием 2.
Свойства энтропии
1. Энтропия Н - величина
- неотрицательная (Н 0),
-
ограниченная,
Эти
свойства следуют из того, что такими
же качествами обладают все ее слагаемые
.
2. Энтропия равна нулю, если вероятность одного из символов равна 1. В этом случае говорят о полностью детерминированном источнике и об отсутствии неопределенности в нем, так как наблюдатель знает о сообщении источника до момента его наблюдения.
3. Можно также показать, что энтропия максимальна, если все знаки алфавита равновероятны, т.е. Нmax = log m. Таким образом, для поиска максимально возможного значения энтропии (для фиксированного числа символов) используется формула Хартли.
4. Особый интерес представляют бинарные сообщения, использующие бинарный алфавит {0,1}. Так как при m = 2 вероятности знаков алфавита p1 1 и p2 1, то можно положить p1 = p и p2 = 1-p. Тогда энтропия определяется соотношением
.