книги / Теория информации

Рецензенты:

завкафедрой математического моделирования систем и процессов Пермского государственного технического университета доктор физ.-мат. наук, профессор П.В. Трусов;

профессор кафедры естественных дисциплин Пермского филиала РГТЭУ, заслуженный работник высш ей школы РФ

доктор техн. наук П.В. Боровцов

Пахомов, Г.И.

П12 Теория информации: учеб, пособие / Г.И. Пахомов. - Пермь: Издво Перм. гос. техн. ун-та, 2007. - 217 с.

ISBN 978-5-88151-835-6

В пособии дан анализ основных понятий и направлений развития современ­ ной теории информации. Основное внимание уделено статистической теории ин­ формации, нашедшей в настоящее время наиболее широкое применение во многих практических задачах техники связи и управления. В пособии изложены методы аналитического описания детерминированных и случайных сигналов с оценкой адекватности их реальным сигналам, принципы дискретизации и квантования сиг­ налов. Подробно рассмотрены основные характеристики ансамблей и источников сообщений и каналов передачи информации, проанализированы методы их согла­ сования для повышения эффективности передачи информации.

Предназначено для студентов вузов, при изучении курса «Теория информации»обучающихся по направлению «Информационная безопасность телекоммуникационных систем».

Издано врамках приоритетного национального проекта «Образование» по программе Пермского государственного технического университета «Создание инновационной системы формирования профессиональных компетенций кадров и центра инновационного развития региона на базе многопрофильного технического университета».

Предисловие

Теория информации в ее современном виде - это научная дисцип­ лина, изучающая способы передачи, хранения и переработки инфор­ мации наиболее надежным и экономным методом.

В настоящее время специалист в области передачи и обработки сообщений должен не только глубоко осознавать, но и представлять возможные области применения теории информации на практике. Теория информации устанавливает количественные характеристики информации, определяет физические и статистические параметры каналов связи, формулирует условия согласования источников ин­ формации с каналами связи, развивает идеи о применении кодирова­ ния для повышения помехоустойчивости передачи по каналам связи

сшумом и построении оптимальных кодов для передачи информации

вотсутствие шумов и т.д.

Предлагаемое учебное пособие охватывает круг вопросов, со­ ответствующих теоретическим основам передачи и преобразования информации в телекоммуникационных системах. Поэтому сущест­ венное внимание уделяется как дискретной, так и непрерывной инфор­ мации, передаваемой, преобразуемой и хранящейся в таких системах. В общем плане рассматриваются методы выявления детерминирован­ ных и случайных сигналов на фоне помех, приводятся рекомендации по выбору оптимальных видов дискретных сигналов и преобразова­ нию непрерывных, способам согласования источников информации с потребителями в сетях связи телекоммуникационных систем. Зна­ чительное внимание уделяется информационному подходу к оценке качества функционирования систем связи. Анализируется верность преобразования информации в подсистемах сбора и передачи и уста­ навливаются границы эффективного использования избыточности для обеспечения заданного качества функционирования.

Основу учебного пособия составляют материалы лекций, кото­ рые в течение ряда лет читались автором в Пермском государствен­ ном техническом университете для студентов, специализирующихся в области телекоммуникаций.

Введение

Теория информации является одной из фундаментальных теорий, име­ ющих общее значение. Первоначально она предназначалась для решения проблем техники связи, однако вскоре была осознана возможность ис­ пользования меюдов теории информации в других технических, а затем и в естественных и общественных науках, в той или иной степени обслу­ живающих материальное и духовное производство.

иобработки информации. Теорию информации можно рассматривать как составную часть кибернетики, которая, по определению А.Н. Колмогорова, «занимается изучением систем любой природы, способных воспринимать, хранить и перерабатывать информацию и использовать ее для управления

ирегулирования».

Определились две ветви теории информации - математическая, ще дается строгое изложение результатов теории, и прикладная, направ­ ленная на использование основных положений теории при решении конк­

но в 40-50-х годах XX столетия трудами К. Шеннона, Н. Винера, А.Н. Колмогорова и В.А. Котельникова. В основу теории информации Шенноном было положено измерение количества информации, содержа­ щейся в сообщениях, на базе статистического описания источников сооб­ щений и каналов связи, по которым эти сообщения передаются. Исходя из фундаментальных информационных характеристик, вытекающих из поня­ тий энтропии источника и взаимной информации между ансамблями, была сформулирована совокупность теорем, составивших основное содержание «математической теории информации», которая в целом может быть оха­ рактеризована как исследование методов кодирования для наиболее эко­ номного представления сообщений от различных источников и для надеж­ ной передачи сообщений по каналам связи с помехами. Предметом этой теории являются положения, устанавливающие потенциальные возмож­ ности различных методов передачи, обработки и хранения информации.

Математическая теория информации практически не дает непос­ редственных рекомендаций инженерам - разработчикам техники связи. Тем не менее, она является важным инструментом синтеза и анализа сис­

тем связи; во многих случаях логика вывода, используемая в теории ин­ формации, подсказывает возможные пути поиска наиболее рациональных решений в области передачи и надежного приема сообщений. Со времени создания математических основ теории информации многие отечествен­ ные и зарубежные ученые внесли огромный вклад в дальнейшее развитие теоретических положений и дали достаточно прозрачную инженерную интерпретацию ее фундаментальных положений.

В настоящем курсе основное внимание уделяется прикладным вопросам теории информации, являющимся необходимыми сведени­ ями для современного специалиста в области передачи сообщений по электрическим, радио и оптическим каналам связи. Во многих слу­ чаях даже основные теоремы теории информации здесь даются без строгих доказательств. Вместе с тем, будучи введением в одно из важ­ нейших направлений современной науки, этот курс еще раз подтверж­ дает ценность основных положений математической теории вероят­ ностей и статистики в приложениях к теории связи.

Применение теории информации дает возможность получить численные оценки, характеризующие состояние и поведение систем управления, систем передачи и преобразования информации, систем обработки и отображения информации.

Стройная система принципов, положений и теорем, которая в настоящее время составляет теорию информации, естественно, возникла не сразу. Бурное развитие техники электро- и радиосвязи с конца двадца­ тых - начала тридцатых годов поставило ряд принципиальных задач на­ учного обоснования основных характеристик систем связи и объективной оценки качества передачи сообщений. В этот период стали появляться ра­ боты, посвященные различным аспектам этих задач. В 1928 г. Р. Хартли предпринял попытку количественного описания информации и ввел лога­ рифмический закон ее изменения в зависимости от числа возможных вы­ боров. В 1933 г. В.А. Котельников опубликовал работу с формулировкой теоремы о дискретном представлении функции времени с ограниченным спектром, с помощью которой были даны практические рекомендации по оценке пропускной способности каналов связи. В конце сороковых годов были сформулированы принципы, составившие современную тео­ рию информации, и статистическая концепция в теории связи и управле­ ния стала доминирующей. Фундаментальные работы А.Н. Котельникова (1941) и Н. Винера (1948) по интерполяции, экстраполяции и фильтрации

случайных процессов, исследования В.А. Котельникова в области поме­ хоустойчивости связи (1946) и, наконец, опубликованная в 1948 г. работа К. Шеннона «Математическая теория связи» завершили формирование основ нового научного направления, которое составило стержень всех последующих разделов статистической теории связи и управления.

Все проблемы, которыми занимается теория информации, более или менее отчетливо разделяются на несколько разделов. Совокуп­ ность вопросов, связанных со строением сигналов, образует первый раздел - теорию структуры сигналов. Проблемы второго раздела со­ стоят в обосновании и детальном изучении основных понятий теории - энтропии и количества информации. В третий раздел входят воп­ росы описания и изучения основных свойств информационных сис­ тем. Четвертый раздел - теория построения оптимальных и близких к оптимальным кодов. Многочисленные и разнообразные приложения можно отнести к пятой группе проблем теории информации.

1. ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ СИСТЕМЫ

1.1. Основные понятия и концепции теории информации

Трудно найти более широкое и употребительное понятие, чем информация, но отнюдь не легче дать ему определение, которое объ­ единило бы в себе множество смысловых значений, сопровождающих употребление этого термина.

Имеется множество определений понятия информации от наибо­ лее общего философского (информация есть отражение реального мира) до наиболее узкого практического (информация есть все сведе­ ния, являющиеся объектом хранения, передачи и преобразования).

Некоторыми зарубежными авторами информация трактуется с идеалистических позиций в отрыве от материи как некоторая суб­ станция, занимающая промежуточное положение между материей и сознанием.

Несомненно, что формулируемое определение должно характери­ зовать наиболее общие и существенные признаки информации. Так как теория информации плодотворно используется уже во многих областях, то обсуждение вопроса о том, что такое информация, вышло за рамки технических, естественных и других частных наук. Понятие информации должно рассматриваться в связи со структурой, сложностью, упорядочен­ ностью, организацией объектов любой природы.

Понятия структуры, системы, организации, упорядоченности предпо­ лагают использование понятия разнообразия, поэтому при анализе поня­ тия информации следует в качестве его основы принять концепцию разно­ образия, понимая под разнообразием не только разнообразие элементов, но и разнообразие связей, отношений, свойств и т.д.

Разнообразие имеет определенные аспекты и этот факт нашел свое отражение в различных подходах к созданию теории информа­ ции, в различных математических концепциях информации, изучаю­ щих различные классы разнообразия: статистическое, комбинаторное, алгоритмическое, топологическое и другие.

Впервые концепцию разнообразия, различия для построения те­ ории информации (точнее, ее статистического варианта) применил У. Эшби [17].

Под разнообразием У. Эшби понимает характеристику элементов некоторого конечного множества, заключающуюся в их отличии друг от друга, несовпадении. Если множество имеет некоторое разнообра­ зие и происходит выбор из этого множества, то различные возможные результаты этого выбора связаны с соответствующими вероятностями элементов, т. е множество с вероятностями отображается в множестве с разнообразием. Эта идея принята им в качестве статистической моде­ ли понятия информации на основе понятия различия, разнообразия.

Если разнообразие множества связать с понятием информации, то ло­ гарифмическая мера степени разнообразия, равная логарифму мощности этого конечного множества, может быть принята в качестве меры количес­ тва информации.

Некоторой мерой ограничения разнообразия в процессе его перехода от возможности к действительности является вероятность. С ограничени­ ем разнообразия как соотношением возможного и действительного раз­ нообразия также связано понятие неопределенности. Это свидетельствует о глубокой связи понятий информации, вероятности и неопределенности на основе концепции разнообразия и поэтому представляется закономер­ ным, что первый (статистический) вариант теории информации, разрабо­ танный К. Шенноном, был создан именно на этой основе.

Однако разнообразие - это еще не информация. Разнообразие есть ос­ нова информации, а понятие разнообразия - существенный признак содер­ жания понятия информации. Не менее существенным является и другой признак - отражение, а информация представляется как содержание отра­ жения. Такой подход наметил Н. Винер, определив понятие информации как обозначение содержания, полученного из внешнего мира в процессе нашего приспособления к нему и приспособления к нему наших чувств.

Отражение - это такое взаимодействие материальных систем, кото­ рое ведет к установлению определенного тождества между системами, когда содержание одной системы (отражающей) соответствует содер­ жанию другой (отражаемой). Общее определение отражения отнюдь не исключает наличия отражения и внутри системы, ибо между ее частями всегда существует взаимодействие, т.е. можно говорить о самоотражении как особом виде отражения.

Весьма распространенным является также мнение о том, что ин­ формация присуща лишь определенным образом организованной ма­ терии, в которой возможны процессы управления. Сторонники этой

точки зрения под информацией подразумевают только то, что воспри­ нято и осмыслено, т. е. то, что целесообразно использовать для управ,- ления. Нетрудно заметить, что вопрос о существовании информации здесь неправомерно отождествляется с вопросом о способности объ­ екта к восприятию и использованию информации. При таком подходе легко сойти на позиции субъективизма, ставящего объективно сущес­ твующее в зависимость от воспринимающего субъекта.

При всех различиях в трактовке понятия информации бесспорно то, что проявляется информация всегда в материально-энергетической форме в виде сигналов. Информацию, представленную в формализован­ ном виде, позволяющем осуществить ее обработку с помощью техничес­ ких средств, называют данными.

В настоящее время существует множество достаточно самостоя­ тельных ветвей развития теории информации, изучающих различные ее виды и функции, однако в каждой из них исследование ведется либо в количественном, либо в качественном аспекте. Первое направление, получившее название математического, изучает количественные соот­ ношения и в качестве одного из основных понятий оперирует с коли­ чеством информации. Второе, логическое направление изучает смыс­ ловое содержание (семантическая теория) и ценность информации (прагматическая теория).

Существующие математические теории информации используют один из следующих подходов: статистический (вероятностный), ком­ бинаторный, топологический и алгоритмический.

Статистическая теория информации, основы которой разработаны К.Шенноном, является исторически первой и достаточно законченной теорией, оказавшей существенное влияние на все последующие ис­ следования.

К. Шеннон одним из первых обратил внимание на то, что коли­ чество информации может быть определено на основе понятия веро­ ятности.

Неопределенность (определенность) может быть принята в качестве характеристики как объективной действительности, так и ее отражения в формах деятельности субъекта, а потому правомерно связать изменение неопределенности с количественной мерой информации.

Статистическая теория информации отвлекается от качественной стороны неопределенности, количественное снятие неопределенности

трактуется как процесс получения информации, а в качестве меры сня­ той неопределенности используется понятие количества информации.

Таким образом, в статистической теории информации мера снятой неопределенности в результате некоторого события, вероятность которого известна, называется количеством информации или, точнее, индивидуаль­ ным количеством информации. При этом не учитывается качество, смысл, ценность и т. д. информации.

Обычно рассматривается не индивидуальное, а среднее количес­ тво информации для некоторой совокупности событий, зависящее не только от их количества, но и от распределения вероятностей.

1.2.Основные направления в современной теории информации

Всовременной теории информации выделяется три основных на­ правления, которые в настоящее время развиваются наиболее интен­ сивно:

1.Семантическое, задачей которого является исследование смыс­ лового содержания информации.

2.Прагматическое, объектом исследования в котором является ценность информации.

3.Статистическое, в котором на основе вероятностного подхода

кинформационным процессам изучаются математические закономер­ ности получения, передачи и использования информации в системах связи и управления.

Рассмотрим кратко указанные направления развития теории ин­ формации.

1.2.1. Семантические теории информации Основная идея семантической концепции информации заключа­

ется в возможности измерения содержания суждений, которое связа­ но с его формой, т.е. здесь семантические свойства выражаются через синтаксические свойства информации.

Синтаксические свойства характеризуют внутренние отношения между элементами и их связями, это свойство конкретной системы, и цель синтакгики - изучение только формальных аспектов языка [Харкевич]. Семантика же изучает не только формальные правила, но и правила от­