- •Понятие энтропии.
- •Статистический смысл понятия энтропии.
- •Энтропия как мера степени неопределенности.
- •Понятие об информации.
- •Формы информации.
- •Негативное влияние информации.
- •Измерение информации.
- •Мера р. Хартли.
- •Мера к. Шеннона.
- •Термодинамическая мера.
- •Энергоинформационная (квантово-механическая) мера.
- •Теорема Шеннона о кодировании при наличии помех.
- •4. Пример использования энтропии в прогнозировании.
- •4.1. Ее значение для прогнозирования.
- •Применение к рискам.
-
Понятие об информации.
Понятие информации (informatio - разъяснение, осведомление, изложение) – это основное понятие не только в информатике (в информологии - области знаний, изучающей проявление информации, её представление, измерение и т.д.),но и в математике, в физике и др., плохо формализуется и структурируется. Из-за его объёмности, расплывчатости оно часто понимается неточно и неполно не только обучаемыми.
-
Формы информации.
Информация может существовать в пассивной (не актуализированной) и активной (актуализированной) форме.
Информация по отношению к окружающей среде (или к использующей ее среде) бывает трех типов: входная, выходная и внутренняя.
Информация по отношению к конечному результату проблемы бывает: исходная (на начало актуализации этой информации); промежуточная (от начала до завершения актуализации информации); результирующая (после завершения её актуализации).
Информация по изменчивости при её актуализации бывает: постоянная (не изменяемая никогда при её актуализации); переменная (изменяемая при актуализации); смешанная - условно - постоянная (или условно-переменная).
-
Негативное влияние информации.
Информация может оказаться и вредной, влияющей негативно на сознание, например,воспитывающей восприятие мира от безразличного или же некритического - до негативного, "обозлённого", неадекватного. Информационный поток -достаточно сильный раздражитель.
Пример. Негативной информацией - раздражителем может быть информация о крахе коммерческого банка, о резком росте (спаде) валютного курса, об изменении налоговой политики и др. [5].
-
Измерение информации.
-
Мера р. Хартли.
-
Пусть имеется N состояний системы S или N опытов с различными, равновозможными, последовательными состояниями системы. Наименьшее число, при котором это возможно, называется мерой разнообразия множества состояний системы и задается формулой Р. Хартли:
H=klogаN, где k - коэффициент пропорциональности (масштабирования, в зависимости от выбранной единицы измерения меры), а - основание системы меры. Если измерение ведется в экспоненциальной системе, то k=1, H=lnN (нат); если измерение было произведено в двоичной системе, то k=1/ln2, H=log2N (бит); если измерение было произведено в десятичной системе, то k=1/ln10, H=lgN (дит).
Пример. Чтобы узнать положение точки в системе из двух клеток т.е. получить некоторую информацию, необходимо задать 1 вопрос:
("Левая или правая клетка?").
Узнав положение точки, мы увеличиваем суммарную информацию о системе на 1 бит (I=log22). Для системы из четырех клеток необходимо задать 2 аналогичных вопроса, а информация равна 2 битам (I=log24). Если же система имеет n различных состояний, то
максимальное количество информации будет определяться по формуле: I=log2n.
Справедливо утверждение Хартли: если в некотором множестве X={x1,
x2, ..., xn} необходимо выделить произвольный элемент xi X, то для того, чтобы выделить (найти) его, необходимо получить не менее logan (единиц) информации [4].
-
Мера к. Шеннона.
Шеннон вывел это определение энтропии из следующих предположений: мера должна быть непрерывной; т. е. изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение энтропии.
Шеннон показал, что любое определение энтропии, удовлетворяющее этим предположениям, должно быть в форме:
где K — константа (и в действительности нужна только для выбора единиц измерения) [3].
Шеннон определил, что измерение энтропии (H = − p1 log2 p1 − … − pn log2 pn), применяемое к источнику информации, может определить требования к минимальной пропускной способности канала, требуемой для надежной передачи информации в виде закодированных двоичных чисел.