8.Теорема Найквиста.
9.Вероятностный
подход к измерению дискретной информации.
В
основе теории инф-ции лежит предложенный
Шенноном способ измерения кол-ва инф,
содержащейся в одной случ величине,
отн-но др случ величины. Этот способ
приводит к выражению кол-ва инф числом.
Для дискретных случ величин X
и Y,
заданных законами распределения P(X=Xi)=pi,
P(Y=Yj)=qj
и совместным распределением P(X=Xi,
Y=Yj)=pij, кол-во
инф,
содержащейся в Х
отн-но У,
равно
.
10.Вероятностный подход к измерению непрерывной информации. В основе теории инф-ции лежит предложенный Шенноном способ измерения кол-ва инф, содержащейся в одной случ величине, отн-но др случ величины. Этот способ приводит к выражению кол-ва инф числом. Для непрерывных случ величин, X и Y, заданных плотностями распределения вероятностей px(t1), py(t2) и pxy(t1,t2), аналогичная формула имеет вид
.
Очевидно,
что
и,
следовательно,
.
11.Информационная энтропия.
12.Свойства информации и информационной энтропии. Термин «инф-ция» происходит от лат informatio, что означает — разъяснение, сообщение, осведомлённость. В пост употребление этот термин вошёл в сер 20в. Ввёл его амер. учёный Клод Шеннон, разработавший основы теории информации. Инф-ция по Шеннону — это сообщение, передаваемое в виде кодовых посылок по канану связи, а ценность сообщения измеряется не его смыслом, а неожиданностью и необычностью сигнала. Инф-ная энтропия — мера неопределённости или непредсказуемости инф-ции, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна кол-ву инф-ции на символ передаваемого сообщения. Энтропия — это кол-тво инф, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения. Энтропия дискретной случ величины Х в теории инф опред-ся формулой Н(Х)=НХ=I(Х,Х). Св-ва меры инф и энтропии:
Как и всякий объект, инф-ция обладает св-вами. Характерной отличительной особенностью инф-ции от др объектов природы и общ-ва, явл-ся дуализм: на св-ва инф-ции влияют как св-ва исходных данных, составляющих ее содержательную часть, так и св-ва методов, фиксирующих эту инф-цию. С точки зрения информатики, наиболее важными представляются след общие кач-венные св-ва: Объективность. Объективный — существующий вне и независимо от человеческого сознания. Инф-ция — отражение внешнего объективного мира. Инф-ция объективна, если она не зависит от методов ее фиксации, чьего-либо мнения, суждения. Объективную инф-цию можно получить с помощью исправных датчиков, измерит приборов. Отражаясь в сознании человека, инф-ция может искажаться (в большей или меньшей степени) в зависимости от мнения, суждения, опыта, знаний конкретного субъекта, и, т.о., перестать быть объективной. Достоверность. Инф-ция достоверна, если она отражает истинное положение дел. Объективная инф-ция всегда достоверна, но достоверная инф-ция мб как объективной, так и субъективной. Достоверная инф-ция помогает принять нам прав решение. Недостоверной инф-ция мб по след причинам:1. преднамеренное искажение (дезинформация) или непреднамеренное искажение субъективного свойства; 2. искажение в результате воздействия помех («испорченный телефон») и недостаточно точных средств ее фиксации. Полнота. Инф-цию можно назвать полной, если ее достаточно для понимания и принятия решений. Неполная инф-ция может привести к ошибочному выводу или решению. Точность определяется степенью ее близости к реальному состоянию объекта, процесса, явления и т. п. Актуальность — важность для наст времени, злободневность, насущность. Только вовремя полученная информация может быть полезна. Полезность (ценность) мб оценена применительно к нуждам конкретных ее потребителей и оценивается по тем задачам, к-ые можно решить с ее помощью.