15.1 Мера Хартли. Свойство аддитивности.

Мера Хартли – логарифмическая мера количества информации, позволяющая оценить количество информации, содержащейся в сообщении, логарифмом числа возможных сообщений: . Если количество возможных сообщений L=1, то мера информативности равна нулю.

Если задано некоторый алфавіт, состоящий из m-элементов и дискретное сообщение, состоящее из n-элементов заданого алфавита, то количество возможных вариантов даного сообщения составляет: , а информативность составляет . С увеличением числа элементов увеличивается количество информации.

При объединении источников сообщений количество возможных сообщений равняется произведению количества возможных сообщений каждого источника, тоесть для объединения k источников: . Таким образом, логарифмическая мера имеет аддитивность отношения источников сообщения:

15.2 Дискретизація повідомлень.

Исходный физический сигнал является непрерывной функцией времени, однако, при цифровой обработке сигнал представляют в виде последовательности чисел, называемой дискретным рядом, который не может полностью соответство­вать аналоговому сигналу. Числа, составляющие последовательность, являются значениями сигнала в отдельные моменты времени и называются отсчетами сигнала. Как правило, отсчеты берутся через равные про­межутки времени Т, называемые периодом. Величина, обратная периоду дискретизации, называется частотой дискретизации.

Ясно, что в общем случае представление сигнала набором дискретных отсчетов приводит к потере информации, так как мы ничего не знаем о поведении сигнала в промежутках между отсчетами. Однако, существует класс аналоговых сигналов, для которых такой потери информации не происходит и которые могут быть точно восста­новлены по значениям своих дискретных отсчетов - в соответствии с теоремой Котельникова.

Процесс преобразования аналогового сигнала в последовательность от счетов на­зывается дискретизацией, а результат такого преобразования — дис­кретным сигналом.

При обработке сигнала в вычислительных устройствах его отсчеты представля­ются в виде двоичных чисел, имеющих ограниченное число разрядов. Вследст­вие этого отсчеты могут принимать лишь конечное множество значений и, сле­довательно, при представлении сигнала неизбежно происходит его округление. Процесс преобразования отсчетов сигнала в числа называется квантованием по уровню, а возникающие при этом ошибки округления — ошибками квантования.

Сигнал, дискретный во времени, но не квантованный по уровню, называется дис­кретным сигналом. Сигнал, дискретный во времени и квантован­ный по уровню, называют цифровым сигналом.

Для дискретизации по времени наиболее распространенны три критерия отбора интервала дискретизации:

- частотный критерий Котельникова;

- корреляционный критерий отсчетов Железнова;

- квантовый критерий отсчетов Темникова.

Дискретизация сообщений приводит к тому, что полученные результаты для дискретных сообщений можна использовать с непрерывными.

Чем больше интервал дискретизации по времени, тем меньше отсчетов, но точность дальнейшего восстановления достаточно мала. Если інтервал дискретизации мал, то количество оотсчетов велико и точность дальнейшего восстановления достаточно высокая.

Оптимальным інтервалом дискретизации есть такой інтервал, при котором дискретный сигнал повторяет непрерывность з определенной точностью и при минимальном количестве отсчетов.