5. Мера Хартли

В случае равной вероятности сообщений выражение меры кол-ва инфы принятое Шенноном:

приводится к виду

, где - кол-во передаваемых сообщений.

Эта мера кол-ва инфы была принята Р.Хартли в 1928 г.

7. Вероятностный подход к измерению информации.

Преимущества и недостатки статистической меры количества информации

Такой подход к определению количественной меры информации, когда в основу определения количества информации положены статистические (вероятностные) характеристики событий, имеет определенные достоинства и недостатки.

Основным достоинством статистической меры количества информации является ее универсальность. Информация измеряется в одних и тех же единицах, независимо от ее физической природы и содержания. В связи с этим рассмотренная мера количества информации является во многих случаях весьма удобной при анализе и синтезе сложных информационных систем и наиболее рациональной при оптимизации характеристик систем. Важным преимуществом статистической меры количества информации является ее объективность. Статистическая оценка событий не зависит от психологических факторов, ибо устанавливается на основе экспериментальных данных.

Вместе с тем то обстоятельство, что в основу измерения количества информации положены лишь статистические характеристики событий, ограничивает возможности данной меры информации.

В ряде случаев важно оценить смысловое содержание (семантику), а также ценность или целесообразность информации. Статистическая мера количества информации не в состоянии обеспечить решение данных задач.

8. Статистическая мера количества информации.

При вероятностном подходе получение конкретного количества информации рассматривается как результат определенного выбора среди возможных сообщений. Одна из возможных трудностей, связанных с подобным измерением количе­ства информации, состоит в том, что получатель возможной информации может знать заранее или угадать какую-то ее часть. Когда приходит сообщение о часто происходящих событиях, вероятность появления которых р стремится к единице, то такое сообщение мало информативно. Столь же мало информативны в среднем сообщения о событиях, вероятности которых стремятся к нулю, т. е. о почти невозможных событиях, поскольку сообщения о таких событиях поступают чрезвычайно редко.

События можно рассматривать как возможные исходы некоторого опыта. Все исходы составляют ансамбль или полную группу событий.

Ансамбль характеризуется тем, что сумма в нем равна единице, т. е.

В качестве событий можно рассматривать дискретные значения измеряемой величины, состояния элементов оборудования, положения регулирующих органов и т. д. Таблица, связывающая события ансамбля и вероятности их появления, называется статистической схемой ансамбля.

В общем случае вероятности не остаются постоянными, а могут изменяться во времени, в зависимости от условий и т. д. В таком случае статистические характеристики становятся переменными величинами.

Вероятность того, что в сообщение войдут n_i элементов x_i, равняется а вероятность образования сообщения из n₁ n₂, ..., n_i ..., n_т соответствующих элементов будет равна

При большой длине n источником будут формироваться типичные сообщения, в которых относительная частота появления отдельных элементов x_i, т.е. отношение числа данных элементов n_i к общему числу элементов в сообщении стремится к вероятности появления этих элементов, т. е.

Таким образом, в типичное сообщение достаточно большой длины n, вырабатываемое источником, характеризующимся приведенной статической схемой, будет входить n_i = p_in элементов вида x_i, а вероятности появления типичных сообщений р будут одинаковы [13] и могут быть найдены с учетом выражений (I—9) и (I—10):

Поскольку суммарная вероятность всех типичных сообщений стремится к единице при увеличении длины сообщений, число типичных сообщений можно определить по формуле:

Хотя число возможных сообщений источника mⁿ, источник практически всегда будет вырабатывать только L типичных сообщений.Очевидно, при оценке информационных свойств источника следует учитывать именно эту часть возможных сообщений, поскольку вероятность появления остальных сообщений стремится к нулю.

Количество информации, содержащейся в одном сообщении,

Количество информации в сообщении зависит не только от количества элементов, но и от его состава, т. е. вероятностей элементов, входящих в сообщение.