Лекция ТМ 8. Основные понятия теории информации применительно к диспетчерскому и технологическому управлению в энергосистемах.

Сообщение, сигнал, информация.

Под сообщением понимается некоторая совокупность сведений, подлежащих передаче, т.е. объект передачи.

Средством передачи сообщения является сигнал, под которым понимается некоторый физический процесс, однозначно соответствующий данному сообщению.

Структурная схема передачи сообщения представлена на рис. 49.1.

Рис. 49.1. Схема передачи сообщения.

Сообщение - О, сформированное отправителем, преобразуется в передатчике - С1 в сигнал, представляющий собой электромагнитные колебания поступает в канал связи - КС, под которым понимается совокупность технических средств.

Сигнал - С2 в приемнике, преобразуется в сообщение - П, поступающее к получателю.

Информация является основным содержанием сообщения, т.е. представляет собой те сведения, которые не известны получателю до получения сообщения. Каждое сообщение формируется из нескольких элементов, каждый из которых может принимать качественно различные значения (качества). Пусть число элементов сообщения - n, а число качеств - m, которое может принимать каждый элемент, Тогда общее число сообщений - N, которые могут быть сформированы из этих элементов, составляет: .

Количественные меры информации

Неопределенность и информация. Получение информации – это процесс раскрытия неопределенности случайного события.

При этом степень неопределенности оказывается тем больше, чем большее число исходов - m имеет это событие, т.е. чем больше качеств элемента сообщения.

Степень неопределенности, характеризующая количественную меру неопределенности, есть функция числа исходов - f(m).

Функция f(m) должна удовлетворять следующим условиям:

при m = 1 f(m)= 0;

при возрастании - m, возрастает - f(m);

Степень неопределенности - f(m), п (независимых) случайных событий с числом исходов соответственно m₁, m₂,…,m_п равняется сумме степеней неопределенности этих событий f(m₁,m₂,…,m_п) = f(m₁)+ f(m₂)+…+ f(m_п).

Мера Хартли. Д.Хартли в 1928 г. предложил использовать в качестве f(m) - логарифм m по основанию 2. В этом случае начальная неопределенность события с m исходами может быть представлена как

f(m) = = h_нач

Получение информации есть уменьшение неопределенности. Количество полученной информации I равно разности между начальной h_нач и оставшейся после получения информации конечной h_кон неопределенностью, т.е.

I = h_нач - h_кон (49.4)

В n событиях, каждое из которых имеет m_i исходов,

(49.6)

Если после получения информации неопределенность полностью раскрыта h_кон = 0, то

I = h_нач = (49.5)

За единицу количества информации (бит) принимается количество информации, содержащейся в событии с двумя равновероятными исходами – когда m = 2.

Мера Шеннона. Мера неопределенности Хартли не учитывает уменьшение неопределенности события в случае разных вероятностей исходов этого события.

С целью учета вероятности исходов события Р. Шеннон предложил для определения степени неопределенности использовать энтропию, т.е. среднее значение неопределенности всех m исходов, имеющих вероятности P₁,..., P_i,…, Р_т.