Лекция №2. Меры информации

1. Классификация мер информации.

В зависимости от направлений исследований теории информации различают её меры, а именно:

1. Структурные

2. Синтаксические

3. Семантические

4. Прагматические

Прагматическая мера информации определяет полезность или ценность этой информации для достижения пользователем своих целей. Например, емкость памяти, производительность ПК и т.п.

Семантическая мера основывается на понятии содержания информации. Единицей измерения этой меры является тезаурус ( совокупность сведений, которыми располагает пользователь или система).

Структурная мера информации определяется подходом к оценке особенности структуры сообщений. Среди структурных мер различают: геометрическую, комбинаторную, аддитивно-логарифмическую. Геометрической мерой определяется потенциальное (максимально возможное) количество информации в заданной структуре сообщения. Это количество называют информационной емкостью исследуемой части ИС. Информационным элементом в геометрической мере является квант как неделимая часть информации, т.е. информационную емкость можно представить числом, показывающим, какое количество квантов содержится в полном массиве информации.

X T N-массив информации; ;

, ,

Комбинаторной мере используют различные комбинаторные конфигурации, заданных множеств элементов в случае, если требуется оценить возможности передачи информации с помощью таких комбинаторных комбинаций.

Количество информации в комбинаторной мере вычисляется как количество комбинаций элементов. Образование комбинаций в структуре комбинационных элементов есть одна из форм кодирования информации. С помощью комбинаторных мер оценке подвергается комбинаторное свойство потенциального структурного разнообразия комплексов. Комбинирование элементов в информационных комплексах базируется на основных понятиях комбинаторики.

В отличие от геометрической меры комбинаторная - это не просто подсчет квантов, а определение количества возможных (осуществимых) комбинаторных элементов.

В прикладной теории информации для представления структуры информационного комплекса используется следующее понятие:

Числовое гнездо

h -глубина кода (основание системы счисления)

l- длина кода

(размерность кода или кодового слова)

1.Глубина (или основа кода) h- это количество различных элементов или знаков, содержащихся в алфавите кодирования, т.е. объем алфавита одного разряда кодового слова. Полный алфавит занимает одно числовое гнездо.

2. Длина кода l- это число гнезд, т.е. количество повторений алфавита, необходимых и достаточных для представления чисел нужной размерности.

h= 2; 8; 10; 16; …

l= 16; 32; 64; ….

В общем случае информационная емкость определяется числом размещений из h по l:

Мера информации по Хартли:

Для практического удобства использования комбинаторной меры Хартли ввел аддитивно- логарифмическую меру информации, позволяющую вычислить количество информации в двоичных единицах. Единица измерения этого количества информации - бит.

Один разряд двоичного кода может нести информацию равную 1-му биту или 1 бит – это количество информации, заключенное в одном событии, которое может произойти, а может и не произойти. Аддитивность меры Хартли заключается в том, что она позволяет производить суммирование количество информации отдельных элементов информационного комплекса (как по разрядам, так и по числу гнезд).

Если принять, что log₂h=I₁,то I_x=l I_x

Синтаксическая (статистическая) мера определяется, как правило, вероятностными характеристиками элементами сообщения. Направление статистической теории информации дает оценки информационной системы в конкретных проявлениях. В качестве меры информации используют понятие энтропии.

Энтропия- мера неопределенности , учитывающая вероятность появления некоторого события, а ,следовательно, информативность этого события. Частые ожидаемые события несут мало информации, а редкие события, наоборот, обладают высоким информационным содержанием. Следовательно, количество информации или вероятность события находятся в обратно пропорциональной зависимости.

2. Энтропия вероятностной схемы. Основные свойства энтропии.

Аксиомы Хинчена и Фадеева.

Простейший дискретный источник сообщений можно представить вероятностной схемой событий.

X =, причем, ,.

Для заданной схемы справедливыми будут считаться аксиомы:

1. Информация одиночного события , происходящего с вероятностью p_i имеет положительное значение:

2. Имеет место для случая объединенной вероятностной схемы, например для X и Y, тогда совместная информация двух независимых событий x_i и y_j, которые обладают совместной плотностью вероятности , будет иметь вид:

3. Информация I(p_i) - это есть непрерывная функция от вероятности.

Аксиомы 1 и 2 подтверждают как бы то, что информация нескольких событий не может взаимно уничтожиться.

Аксиома 3 говорит о том, что при изменении вероятности события количество информации в нем неминуемо изменится.

Из этих аксиом следует, что информация является логарифмической функцией от вероятности.

Вернемся к простейшему дискретному источнику, заданному вероятностной схемой, для которого найдем среднее значение информации виде:

,

где n_i- частота появления i-го события в заданном множестве X;

k- количество разных событий;

I_i- количество информации i-го события

Но если , тогда получим:

Энтропия события:

Свойства энтропии: