«Теория информации и кодирования»

Тема № 1. Общие сведения о теории информации и кодирования

Лекция 1 Вводная лекция

Учебные вопросы лекции:

1 Предмет и задачи курса

2 Этапы обращения информации. Информационные системы

3 Модель системы передачи информации

	Для подготовки лекции использована литература:
1.	Кудряшов Б.Д. Теория информации: учебник для вузов. ИД «Питер». 2009, с. 10-11.
2.	Темников, Ф. Е. Теоретические основы информационной техники: учебное пособие для вузов. М. : Энергия, 1979, с. 5-17.
3.	Дмитриев В.И. Прикладная теория информации. Учебник для вузов. – М.: Высшая школа, 1989, с. 5-18.

Введение

Жизнь и деятельность современного общества связана с использованием и переработкой материалов, энергии и информации. Соответственно развиваются и научно- технические дисциплины, отражающие вопросы технологии, энергетики и информации.

В настоящее время значение информации переросло значение доминирующего в прошлом веке фактора развития общества – энергии. Значительно усложняется наука, техника, экономика. Возрастает и значение правильного управления ими. Следовательно, возрастает и значение информации, обращаемой в ходе управления, а, соответственно, и значение информационной науки.

Информационная наука находит применение в различных областях теории и практики как в научно-технической области (кибернетика, системотехника, исследование операций, бионика, автоматика, телемеханика, связь, измерительная техника, вычислительная техника), так и в других областях (математика, экономика, управление).

В связи с этим возникает ряд вопросов. Что же такое информация? Существуют ли для информации какие-либо общие закономерности, не зависящие от конкретного содержания информации? Возможно ли разработать теорию информации? Ответы на эти вопросы далеко не очевидны.

Можно выделить две стороны информации: количественную и качественную. В зависимости от конкретных условий иногда важным является общее количество информации в передаваемом сообщении, а иногда качественный вид сообщения, его конкретное содержание. Переработка информации из одного вида в другой является очень сложной технической задаче. Все это затрудняет разработку теории информации. Кроме того, возможно, что во многих практических задачах общая теория информации не принесет пользы, и эти задачи следует решать независимыми инженерными методами.

Тем не менее, существуют такие ситуации и задачи, в которых основную роль играют закономерности общей теории. Поэтому теория информации важна не только с общей философской, но и с практической точки зрения.

1. Предмет и задачи курса

Передачей и переработкой информации человек начал заниматься со дня своего появления. Рисунки наших далеких предков, первые попытки создать язык и письменность, передать сообщения на расстоянии с помощью звуков и световых сигналов, расшифровка следов диких животных - все это примеры выполнения операций по хранению, передаче и переработке информации.

Однако, несмотря на столь почтенную историю, информация совсем недавно стала предметом подлинно научного изучения. Начало новой науки - теории информации - было положено в 1928 году, когда аме­риканский ученый Р. Хартли опубликовал в журнале «Bell Sistem tecnical» статью «Передача информации». В этой статье он предложил меру количественной оценки информации, связав количество информации с числом состояний физической системы. Поскольку он работал инженером в телеграфной компании, он рассуждал о количестве информации, содержащемся в телеграфном тексте. Р. Хартли заложил основы теории информации, определив логарифмическую меру количества информации. Позже другую меру количества информации (вероятностную), принятую в настоящее время, предложил американский инженер Клод Шеннон в 1948 г.

Появившись на свет в качестве специального метода в теории связи, теория информации и кодирования заняла одно из передовых мест в науке. Это можно объяснить отчасти ее связью с такими современными областя­ми науки и техники, как кибернетика, теория автоматов, теория вычис­лительных машин, а отчасти новизной и актуальностью ее тематики. Данная теория нашла применение в биологии, психологии, линг­вистике, теоретической физике, экономике, теории организации произ­водства и во многих других отраслях науки и техники.

Однако, несмотря на достаточно широкое применение теории информации и кодирования в различных областях, с точки зрения самого Шеннона, она может корректно рассматриваться только как раздел математической теории связи. Именно с этой позиции и будет происходить изучение нашего курса, которая будет включать следующие разделы (направления):

1. Определение количественной меры информации. Будут изучены положения по оценке количества информации в дискретных и непрерывных источниках на основе вероятностного подхода.

2. Кодирование дискретных источников. Иногда эту часть теории информации называют кодированием без потерь, кодированием для канала без шума, сжатием информации.

3. Кодирование непрерывных источников. Информация аналоговых источников может быть представлена в цифровой форме с определенными искажениями, что не должно сказываться на качестве передачи и хранения информации. В данном разделе рассматриваются методы дискретизации и квантования непрерывной информации.

4. Информационные модели каналов связи. Здесь рассматриваются характеристики каналов, которые могут повлиять на качество передачи информации.

5. Кодирование информации для передачи по каналу с шумом. Речь идет о защите информации от помех в каналах связи.

Дисциплина изучается в течение 4 семестра, всего на дисциплину выделяется 80 часов плановых учебных занятий, в том числе:

Виды учебной работы	Количество	Аудиторных часов
Лекции	13	26
Групповые, практические занятия	10	20
Самостоятельная работа под руководством преподавателя	6	12
Лабораторные работы	5	10
Индивидуальное контрольное собеседование	3	6
Зачет	1	6
ДКЗ	1

Дисциплина «Теория информации и кодирования» входит в состав базовой части математического и естественнонаучного цикла дисциплин основной образовательной программы подготовки специалистов по специальности 090302 – «информационная безопасность телекоммуникационных систем».

Ядро курса составляет фундаментальная теория информации. Основное внимание уделяется изучению энтропии аналоговых и дискретных источников информации, разработке информационной модели каналов передачи информации, исследованию характеристик и способов построения различных видов кодов.

Целью преподавания дисциплины является изучение основ математической теории информации и теории кодирования сигналов как носителей информации, получение знаний о потенциальных возможностях передачи и преобразования информации.

Задачи дисциплины:

- получение базовых знаний о терминологии и основных определениях теории информации и кодирования, аппарата и методов теории информации применительно к решению типовых задач анализа телекоммуникационных систем; о потенциальных возможностях передачи и преобразования информации, способов построения кодов;

- формирование целостного представления об общих принципах передачи и обработки информации.