- •Тема 1. Предмет и методы теории информации и кодирования
- •1.1. Введение
- •1.2. Основные понятия и определения
- •1.3. Системы передачи информации
- •Тема 2. Математическая теория информации
- •2.1. Количество информации, и ее мера
- •2.2. Свойства количества информации
- •2.3. Энтропия информации
- •5.2. График энтропии для двух альтернативных событий
- •2.4. Свойства энтропии сообщений
- •2.5. Безусловная энтропия и ее свойства
- •2.6. Условная энтропия.
- •2.5. Энтропия объединения
- •Энтропия объединения (совместная энтропия) находится при помощи матрицы ( табл.3) путем суммирования по строкам или столбцам всех вероятностей вида
- •Уяснению взаимосвязи между рассмотренными видами энтропий дискретных систем способствует их графическое изображение.
- •Тема 3. Основы теории кодирования
- •3.1.Основные понятия и определения
- •3.2. Классификация кодов
- •3.3. Способы представления кодов
- •Тема 4. Каналы связи
- •4.1. Каналы связи, их классификация и характеристики
- •Пропускная способность дискретного канала связи
- •Дискретный канал связи без помех
- •Дискретный канал связи с помехами
- •Пример. По каналу связи передаются сообщения, вероятности которых соответственно равны:
- •Пропускная способность бинарного, симметричного канала
- •Избыточность сообщений
- •Тема 5. Оптимальное кодирование
- •5.1. Основные понятия и определения
- •5.2. Код Шеннона-Фано
- •5.3. Код Хаффмена
- •Тема 6. Помехоустойчивое кодирование
- •6.1. Общие положения
- •6.2. Обнаруживающие коды
- •Тема 7. Корректирующие коды
- •7.1. Основные понятия
- •7.2 Линейные групповые коды
- •7.3. Код хэмминга
- •Тема 8. Циклические коды
- •8.1. Операции над циклическими кодами
- •8.2. Циклические коды, исправляющие одиночную ошибку
- •Если задана длина кодовой комбинации, то число контрольных разрядов определяем по формуле
- •Так как частное q(X) имеет такую же степень, как и кодовая комбинация g(X) , то q(X) является кодовой комбинацией того же k - значного кода.
- •8.3. Матричная запись циклического кода
- •8.4. Циклические коды, обнаруживающие трехкратные ошибки
- •Тема 9. Коды боуза-чоудхури- хоквингема
- •Сигнальные символы это вспомогательные данные, облегчающие декодирование: служебные сигналы, сигналы синхронизации и т. Д.
- •Тема 10. Введение в криптологию
- •0 1 2 3 4 5 6 7 8 9 25 Ключ
- •4 7 9 2 3 5 1 6 8 Ключ
- •Функция дискретного логарифма обратная
Министерство образования и науки Украины
Национальный технический университет
«ХПИ»
Кафедра «Промышленная и биомедицинская электроника»
Конспект лекций
по курсу
«Теория информации и кодирования»
Харьков 2007
Составитель: Фетюхина Л.В.
Тема 1. Предмет и методы теории информации и кодирования
1.1. Введение
Теория информации – научная дисциплина, изучающая способы передачи, хранения и обработки информации наиболее надежным и экономным методом.
Информация является отражением реального мира. Под информацией (лат. informatio –разъяснение, изложение) первоначально подразумевались сведения, передаваемые усно, письменно или любым другим способом. В середине ХХ века произошли изменения в трактовке понятия «информация», что было связано с бурным развитием науки и техники, особенно компьютерной. Объем информации в настоящее время ежегодно удваивается.
Теория информации была вызвана к жизни практическими потребностями техники связи. Она базируется на методах теории вероятности, математической статистики, линейной алгебры и других разделах математики. Основы теории информации (математической теории передачи сообщений) сформулировал Клод Шеннон (США) в 1947-48 г. г. в связи с потребностями радиосвязи, телефонии, радиолокации, а также проблемами построения первых ЭВМ.
Теорию кодирования можно считать частью теории информации. Она изучает проблемы разработки алгоритмов кодирования и декодирования, оценивает их эффективность.
Теория информации и кодирования широко используется для анализа процессов в различных информационных системах, информации (вычислительные системы, системы связи, телевидение и т. д.). В компьютерной технике методы теории информации необходимы для оценки быстродействия, точности и надежности систем, сжатия и защиты информации, согласования сигналов и каналов в компьютерных сетях передачи данных и т. д.
1.2. Основные понятия и определения
Понятие “информация” принадлежит к исходным неопределяемым понятиям науки, т. к. оно является многозначным. Не существует единого определения этого понятия, которое охватывало бы все аспекты: количественную, содержательную, прагматическую и др. стороны.
Информация – в общем случае, совокупность сведений о каких-либо событиях, явлениях, предметах, получаемых в результате взаимодействия с внешней средой. Формой представления информации является сообщение.
Сообщение - любые сведения или данные, поступающие от отправителя (источника) сообщений на вход системы связи для передачи получателю. Для представления информации (хранения, обработки, преобразования) используют различные символы, позволяющие выразить ее в определенной форме (текст, речь, рисунок, колебания, цифры, числа, символы, жесты).
Информация от источника к приемнику передается с помощью сигнала. Сигнал - физический процесс, отображающий сообщение. Носителем информации может быть только такой сигнал, изменение которого во времени точно предсказать нельзя. Априорно известный сигнал не содержит информации. Информация - лишь те сведения в сообщении, которые неизвестны получателю, т.е. не всякое сообщение несет информацию. Информация характеризуется рядом показателей: количеством, скоростью передачи, надежностью передачи, достоверностью. Различают сигналы оптические, электрические, звуковые, радиосигналы и т.д.