Методические указания

личии случайных воздействий или как бы в “динамике”. Например, если в качестве исследуемого параметра рассматривается точность измерительного устройства, то случайными воздействиями могут быть помехи от источников питания, интерференционные помехи и т.п.

Теория информации изучает процессы передачи сообщений (сигналов) по каналам связи с учетом физических и, главным образом, вероятностных характеристик передаваемых полезных сигналов и помех. Основной задачей теории информации является обеспечение требуемой эффективности передачи сообщений (сигналов) при заданной верности приема.

Теория статистических решений занимается разработкой алгоритмов, обеспечивающих принятие правильного решения в условиях неопределенности, т. е. Когда нет достаточной информации для выбора решения. Примерами могут быть такие задачи, как выделение полезных сигналов на фоне помех, решение вопросов планирования производственных процессов, оценка результатов эксперимента и т.п.

Теория игр, тесно связанная с теорией статистических решений, занимается разработкой тактических алгоритмов поведения управляющей системы, которой противодействует некоторая другая система с конечным (или бесконечным) числом возможностей. Примером может быть вычислительная машина, играющая в шахматы.

Теория массового обслуживания занимается разработкой алгоритмов по рациональной организации системы с требуемой пропускной способностью при наличии процессов, связанных с массовых обслуживанием исполнительных органов. Примерами использования теории массового обслуживания в вычислительной технике являются такие, как выдача информации с выхода ЦВМ на несколько исполнительных органов управляемого объекта, обслуживание наземной ЦВМ самолетов в зоне регулирования воздушным движением, обеспечение требуемой надежности системы с учетом их характеристик: среднего времени безотказной работы, потребного количества запасных деталей и т.п.

Теория надежности занимается разработкой оптимальных структур ТИС с точки зрения обеспечения требуемой наработки на отказ с учетом заданных условий окружающей среды, а также габаритно-весовых соотношений.

Теория потенциальной помехоустойчивости занимается разработкой методов выделения полезной информации на фоне помех с оценкой ее верности (достоверности).

Этим можно ограничить перечень дисциплин, использующих математический аппарат теории вероятностей.

Совокупность статистических методов, предназначенных для анализа информационных процессов, происходящих в технических, биологических, социальных и других системах является основой теории информационных процессов.

11

для инженерной практики.

Методы теории информации позволяют изучать протекающие в ТИС информационные процессы и их закономерности, ято обеспечивает понимание принципов функционирования и взаимодействия отдельных подсистем (блоков, узлов). Эти методы характеризуются общностью в отношении их применения к самым различным ТИС и составляют основу научного и творческого подхода к их проектированию. Например, они нашил применение при проектировании сложных автоматизированных систем, разработке человеко-машинных (арготических) комплексов, исследовании биологических (биотехнических), экологических и социальных систем. В каждом конкретном случае методы теории информации дают возможность получить численные оценки, характеризующие состояние и поведение той или иной системы.

В настоящее время в связи с появлением сложных технических информационных систем (ТИС) и развитием статистических методов их проектирования возможности дальнейшего развития статистической теории информации и ее приложения значительно расширяются. В частности, приложение статистической теории информации к исследованию информационных процессов, происходящих в ТИС, в наибольшей степени отвечает ее назначению. Специфика информационных процессов, происходящих в ТИС, ставит новые задачи перед теорией информации, связанные с вопросами синтеза ТИС.

Методы теории информации помогают инженеру-проектировщику научно обоснованно решать такие задачи, как:

—распределение функций управления между ТИС и человеком;

—определение количества информации, поступающего от источника информации, и составление на основании этого общих требований к узлам и блокам ТИС;

—выбор принципа построения ТИС в зависимости от технических требований к решению заданного алгоритма;

—согласование элементов, узлов и блоков ТИС с учетом физических и вероятностных характеристик полезных сигналов и помех с определением конкретных требований к элементам, узлам, блокам ТИС в отношении точности, полосы частот, надежности и т.п.;

—выбор соотношения аналоговой и цифровой обработки информации;

—выделение полезной информации на фоне помех и др.

Перечисленные в качестве примеров задачи, несомненно, относятся к сфере теории информационных процессов, неразрывно связанной с проблемами информационных технологий.

Математическое описание информационных процессов, происходящих в ИВС, является основой понимания их функционирования, без чего едва ли возможно их дальнейшее творческое развитие. С этой целью для их анализа используются

13

элементы теории информации, теории точности, теории надежности (помехоустойчивости, верности) и др.

Количественная оценка информационных процессов, происходящих в ИВС, обеспечивает информационно-статистический этап их проектирования на системном уровне.

Практическая применимость методов статистической (энтропийной) теории информации в основном определяется приверженностью к ним проектировщика ИВС.

14

2. Основные положения статистической теории информа-

ции.

2.1. Основные понятия и определения.

Предметом исследования статистической теории информации являются перечисленные в разделе 1 информационные процессы, а также технические средства, реализующие их в отношении точности, быстродействия, достоверности и других показателей их функционирования.

Статистическая теория информации оперирует понятием энтропии как меры неопределенности, используемой для описания вероятностных моделей сигналов (сообщений) в процессе их измерения, передачи, хранения и др.

Информация может быть определена как совокупность всех возможных сообщений, являющихся объектом передачи, преобразования, хранения, переработки и т.п. Понятие об информации связано с представлением о разнообразии факторов, полностью характеризующих объект исследования.

Сообщение можно определить как совокупность сведений, представленных в виде конкретной системы символов (букв, цифр, кода и т.п.), т.е. сообщение есть форма выражения информации. Примерами сообщений могут быть: изменение функции, заданной в табличном, графическом или аналитическом виде; изменение различных физических величин, например, давления, температуры; различного рода команды управления и т.п.

Сведения можно определить, как совокупность первичных элементов сообщения. Если, например, функция задана в графическом виде, то сведения о координатах отдельных точек каждой из кривых (первичные элементы сообщения) определяются конкретными значениями x и y. Совокупность всех возможных значений точек, принадлежащих одной кривой, т.е. совокупность сведений о координатах этих точек, можно рассматривать как сообщение о характере изменения данной кривой. В свою очередь, совокупность всех кривых (сообщений) будет соответствовать полной информации о характере исследуемого процесса. Таким образом, “информация” является более широким понятием, чем “сообщения”, а “сообщения” — шире, чем “сведения”.

Понятия “информация”, “сообщения” и “сведения” в технической литературе часто встречаются как синонимы.

Различают дискретные сообщения и непрерывные. При этом дискретное сооб-

щение определяется конечным числом его различимых значений, а непрерывное сообщение может быть выражено бесконечно большим множеством дискретных значений. Дискретное сообщение всегда может быть выражено посредством непрерывного, т.к. среди возможных значений, определяющих непрерывное сообщение, будут находиться и дискретные. Непрерывное сообщение может быть

16

представлено в виде дискретного лишь приближенно, с округлением до ближайшего дискретного значения.

При рассмотрении сообщений различают следующие понятия:

ансамбль сообщений — множество возможных сообщений с их вероятностными характеристиками; источник сообщений — устройство, осуществляющее выбор сообщений из ансамбля сообщений.

Для того чтобы то или иное сообщение ввести, например, в электронное ВУ, необходимо это сообщение преобразовать в электрический сигнал. Такое преобразование осуществляется первичными датчиками–преобразователями.

Сигнал представляет собой отображение сообщения посредством того или иного физического носителя информации. В качестве физического носителя информации в технических системах могут быть использованы: звук, свет, радиосигналы, напряжение постоянного или переменного тока, угловое или линейное перемещение деталей, перфоленты, перфокарты и т.п. Для образования сигналов используется не сам носитель информации, а изменения его физических параметров.

Один и тот же носитель может иметь не один, а несколько физических параметров, изменения которых могут быть использованы для образования различных сигналов, каждый из которых будет нести свою информацию. Так, например, если носителем информации является синусоидальное напряжение переменного тока, то переменными параметрами, которые могут быть использованы для образования сигналов, являются амплитуда, фаза и частота. Поскольку сигнал представляет собою отображение сообщения, то он, как и сообщение, может быть дискретным или непрерывным.

Квантованные сигналы занимают промежуточное положение между дискретными и непрерывными сигналами и образуются, как правило, из непрерывных сигналов.

Квантование непрерывного сигнала может быть произведено по уровню, по времени или одновременно – по уровню и по времени. В последнем случае через равные промежутки времени снимаются ближайшие значения непрерывного сигнала в соответствии я принятой шкалой квантования по уровню (рис. 2.4 и 2.6). При этом различают: уровень квантования – одно из значений непрерывного сигнала, полученное в результате его квантования и шаг квантования – разность между соседними уровнями квантования. Кроме того, в теории информации используются и такие понятия как:

верность передачи информации – мера соответствия принятого сигнала (сообщения) переданному сигналу (сообщению); помехоустойчивость – способность системы передачи информации противостоять вредному воздействию помех;

17

скорость передачи информации – количество информации I(S), передаваемое в единицу времени T : R = I(TS) ;

пропускная способность – наибольшая теоретически достижимая скорость передачи информации:

Сущность двоичной единицы количества информации можно определить как количество информации, равное двоичному логарифму двух равновероятных

возможностей, т.е.

I(S)[2] =log2 2 =1 [дв.ед]или[бит].

Иными словами, одна двоичная единица представляет собою результат выбора из двух равновероятных возможностей.

Аналогичным образом, десятичная единица информации представляет собою

результат выбора из десяти равновероятных возможностей и выражается как

I(S)[10] =log1010 =1 [дес.ед]или[дит].

Двоичная и десятичная единицы количества информации связаны соотношениями для логарифмов

М =2log2 M =10log10 M

или

log10 M =log2 M log10 2

log2 M = log10 M =3,32log10 M , log10 2

откуда следует, что на каждый десятичный знак приходится 3,32 двоичных знаков и что одна десятичная единица количества информации содержит в 3,32 раза больше информации, чем одна двоичная единица. Это подтверждается также тем, что при выборе из 10 равновероятных возможностей степень неопределенности выше, чем при выборе из двух равновероятных возможностей. Отсюда следует, что для снятия неопределенности в первом случае потребуется большее количество информации.

Аналогичным образом могут быть определены троичная, пятеричная и другие единицы количества информации, если использовать при этом соответствую-

18

щие основания логарифмов. Так, например, если взять основание логарифма равным е = 2,718, то количество информации будет измеряться в натуральных

единицах

I(S)[e] =ln2,718 =1 [нат.ед]или[нит].

Выбор единицы измерения количества информации зависит от характера конкретной решаемой задачи. Двоичные (бит), натуральные (нит) или десятичные (дит) единицы имеют следующие соотношения:

Вданном пособии, в основном, используется двоичная единица.

2.3.Определение количества информации в сообщении, состоящем из равновероятных и независимых

символов. (Случай 1).

Пусть количество символов, образующих сообщение m =2 (например x1и x2 ), а частота их появления, т.е. количество элементов сообщения n =1. В соответствии с принятыми условиями

p(x1) = p(x2 ) = p(x); p(x1) + p(x2 ) =1; p(x) = m1 = 12.

Тогда количество информации, содержащееся в таком сообщении, будет:

I0 (x) =logm =log2 =1 [бит].

Если n =2, то

I0 (x) =logm2 =log2 +log2 =log22 =2 [бит].

При m >2 и n >1получим

19

I0 (x) =logmn =nlogm =−nlog p(x) [бит],[дв.ед].

Двоичная мера измерения информации для рассматриваемого случая предложена Хартли.

Энтропия сообщения при этом определяется как количество информации, приходящееся на один элемент сообщения, то есть:

H0 (x) = I0n(x) =logm [элементдв.ед. ].

2.4. Определение количества информации в сообщении, состоя-

щем из неравновероятных и независимых символов. (Случай 2).

Вобщем случае сообщения могут быть образованы из символов, имеющих разную вероятность появления.

Вкачестве событий, соответствующих таким сообщениями, могут быть дискретные значения измеряемой величины, состояния элементов оборудования, положения регулирующих органов и т.п.

Примером может быть вероятностная схема источника сообщений, содержащего m символов алфавита, каждый из которых имеет свою вероятность появления:

20

Вероятности появления символов образуют конечную вероятностную схему, для которой справедливо соотношение:

m

p(x1) + p(x2 )+K+p(xi )+K+p(xm) = ∑ p(xi ) =1.

i =1

В общем случае каждый из символов в сообщении может иметь различную частоту появления, т.е. символ x1 может встретиться n1раз, символ x2 – n2 раз и

т.д., где ni – число одних и тех же символов или элементов, вошедших в сооб-

щение.

Если сообщение имеет m символов xi ( m >>2), каждый из которых имеет

Тогда предыдущее выражение может быть записано в виде:

P( X ) = p(x1)n p(x1 ) p(x2 )n p(x2 ) Kp(xi )n p(xi ) Kp(xm)n p(xm ) =

скольку суммарная вероятность всех типичных сообщений стремится к единице при увеличении длины сообщения, то число типичных сообщений M можно определить по формуле:

21