21. Основные свойства энтропии. Построить график зависимости энтропии от вероятности.

Энтропи́я (от греч. ἐντροπία — поворот, превращение) — понятие, впервые введённое Клаузиусом в термодинамике для определения меры необратимого рассеивания энергии, меры отклонения реального процесса от идеального. Определённая как сумма приведённых теплот, она является функцией состояния и остаётся постоянной при обратимых процессах, тогда как в необратимых — её изменение всегда положительно.

Энтропия – величина существенно положительная, так как логарифм от величины, меньшей единицы, есть величина отрицательная. Кроме того следует учесть “-” перед знаком суммы в формуле для определения энтропии. Следует также отметить, что информация источника, характеристикой которой является энтропия, полезна, то есть положительна.

Свойства энтропии:

1) Неотрицательность H(x)≥0

Энтропия будет равной нулю, если система детерминированная

2) H(x)≤log|x|

Равенство будет иметь место, когда сообщение системы равновероятно.

3) Пусть имеется дискретный ансамбль Х и пусть на множестве его элементов определена некоторая функция q(x), введем дискретный ансамбль Y = {y=q(x)}, тогда для множества Y будет выполняться неравенство H(Y)≤H(X). Это означает, что обработка информации не приводит к увеличению энтропии.

22. Энтропия дискретных сообщений при равномерном распределении состояний элементов.

Энтропия – мера неопределенности. Н(х) – обознач.

Обязательным условием получения информации в результате передачи сообщения является неопределенность относительно того, какое сообщение будет передано.

Н(х) = ∑ (i=1 n) P (xi) log а P(xi)

Энтропия всегда положительная.

Энтропия дискретных сообщений при равновесном распределении:

Энтропия H (α) max и равна log числа состояний, если состояния системы равновероятны.

Н=Нmax=log n

При р1=р2=...=рn=1/n;

H = - ∑ (i=0 n) (1/n)log 1/n = n* (1/n) * log n= log n

23. Энтропия бинарных сообщений.

Энтропия бинарных величин изменяется от 0 до 1.

Пусть Р1=Р ; Р2=1-Р

Тогда, блядь олень, который не форматирует нормально... Н= -Рlog P - (1 – P) log(1 – P).

При Р1=Р2=1/2 ; Н = -2 * ½ log ½ = log 2 = 1 бит.

Энтропия равна нулю, когда вероятность одного из состояний равна нулю, затем возрастает и достигает max при Р=0,5б т.е. когда Р1=Р2=0,5. При этом неопределённость сообщения при приёме наибольшая.

24. Энтропия при непрерывном состоянии элементов.

Неопределённость дискретных систем [X=(x1, x2…xn); p(x1), p(x2), …p(xn)] описывается выражением:

Это выражение используется и на случай непрерывных сообщений. При этом, роль распределения вероятности по состояниям в этом случае (в непрерывном) играет плотность вероятности w(x)

;

Св-ва непрерывной энтропии

1. 

(со слешем – условная энтропия)

2. При любых двух случайных переменных x и y

(знак = будет, когда x и y не зависимы)

3. Всякое сглаживание плотности вероятности w(x) приводит только к увеличению энтропии.