- •Предисловие
- •Лекция 1. Информация. Начальные понятия и определения
- •1. Информация и данные
- •2. Адекватность и формы адекватности информации
- •3. Качество информации
- •4. Понятие об информационном процессе
- •5. Формы представления информации
- •6. Преобразование сообщений
- •Лекция 2. Необходимые сведения из теории вероятностей
- •1. Понятие вероятности
- •2. Сложение вероятностей независимых несовместных событий
- •3. Умножение вероятностей независимых совместных событий
- •4. Нахождение среднего для значений случайных независимых величин
- •5. Понятие условной вероятности
- •6. Общая формула для вероятности произведения событий
- •7. Общая формула для вероятности суммы событий
- •Лекция 3. Понятие энтропии
- •1. Энтропия как мера неопределенности
- •2. Свойства энтропии
- •3. Условная энтропия
- •Лекция 4. Энтропия и информация
- •1. Объемный подход к измерению количества информации
- •2. Энтропийный подход к измерению количества информации
- •Лекция 5. Информация и алфавит
- •Лекция 6. Постановка задачи кодирования. Первая теорема Шеннона.
- •Лекция 7. Способы построения двоичных кодов. Алфавитное неравномерное двоичное кодирование сигналами равной длительности. Префиксные коды.
- •1. Постановка задачи оптимизации неравномерного кодирования
- •00100010000111010101110000110
- •2. Неравномерный код с разделителем
- •3. Коды без разделителя. Условие Фано
- •00100010000111010101110000110
- •00100010000111010101110000110
- •4. Префиксный код Шеннона–Фано
- •5. Префиксный код Хаффмана
- •Лекция 8. Способы построения двоичных кодов. Другие варианты
- •1. Равномерное алфавитное двоичное кодирование. Байтовый код
- •2. Международные системы байтового кодирования текстовых данных. Универсальная система кодирования текстовых данных
- •3. Алфавитное кодирование с неравной длительностью элементарных сигналов. Код Морзе
- •4. Блочное двоичное кодирование
- •101010111001100010000000001000000000000001
- •5. Кодирование графических данных
- •6. Кодирование звуковой информации
- •Лекция 9. Системы счисления. Представление чисел в различных системах счисления. Часть 1
- •1. Системы счисления
- •2. Десятичная система счисления
- •3. Двоичная система счисления
- •4. 8- И 16-ричная системы счисления
- •5. Смешанные системы счисления
- •6. Понятие экономичности системы счисления
- •Лекция 10. Системы счисления. Представление чисел в различных системах счисления. Часть 2.
- •1. Задача перевода числа из одной системы счисления в другую
- •2. Перевод q p целых чисел
- •3. Перевод p q целых чисел
- •4. Перевод p q дробных чисел
- •6. Перевод чисел между 2-ичной, 8-ричной и 16-ричной системами счисления
- •Лекция 11. Кодирование чисел в компьютере и действия над ними
- •1. Нормализованные числа
- •2. Преобразование числа из естественной формы в нормализованную
- •3. Преобразование нормализованных чисел
- •4. Кодирование и обработка целых чисел без знака
- •5. Кодирование и обработка целых чисел со знаком
- •6. Кодирование и обработка вещественных чисел
- •Лекция 12. Передача информации в линии связи
- •1. Общая схема передачи информации в линии связи
- •2. Характеристики канала связи
- •3. Влияние шумов на пропускную способность канала
- •Лекция 13. Обеспечение надежности передачи информации.
- •1. Постановка задачи обеспечения надежности передачи
- •2. Коды, обнаруживающие одиночную ошибку
- •3. Коды, исправляющие одиночную ошибку
- •Лекция 14. Способы передачи информации в компьютерных линиях связи
- •1. Параллельная передача данных
- •2. Последовательная передача данных
- •3. Связь компьютеров по телефонным линиям
- •Лекция 15. Классификация данных. Представление данных в памяти компьютера
- •1. Классификация данных
- •2. Представление элементарных данных в озу
- •Лекция 16. Классификация структур данных
- •1. Классификация и примеры структур данных
- •2. Понятие логической записи
- •Лекция 17. Организация структур данных в оперативной памяти и на внешних носителях
- •1. Организация структур данных в озу
- •2. Иерархия структур данных на внешних носителях
- •3. Особенности устройств хранения информации
- •Контрольные вопросы
- •Список литературы
3. Влияние шумов на пропускную способность канала
Отличичие реального канала связи от идеального в том, что в реальном канале присутствуют шумы, снижающие пропускную способность канала.
Рассмотрим типичную ситуацию использования элементарных сигналов двух типов (импульс и пауз) равной длительности. После прохождения сигнала по идеальномуканалу на выходе импульс «1» интерпретируется именно как импульс, а пауза «0» – как пауза. Следовательно, связанная с этими сигналами информация не изменяется. Иная ситуация вреальномканале: из-за шумов при передаче может произойти искажение сигнала, в результате чего вместо 1 на выходе может быть получен 0, а вместо 0 может оказаться 1. Пусть вероятности таких искажений для 0 и 1 одинаковы и равныp. Тогда вероятность того, что исходный сигнал придет без искажений, очевидно, равна. Следовательно, при интерпретации (распознавании) конечного сигнала возникаетнеопределенность, которая может быть охарактеризованасредней энтропией:
. (13.8)
Эта неопределенность приведет к уменьшению количества информации, содержащейся в сигнале, на величину H:
. (13.9)
Длительность импульса определяется частотой тактового генератораи, разумеется, не зависит от шумов в канале связи, поэтому из (13.2):
. (13.10)
Подставляя (13.8) в (13.10), получаем:
. (13.11)
Из (13.2) следует, что отношение пропускной способности канала с помехами к пропускной этого же канала без учета помех равно
. (13.12)
На рис. 6показана зависимость в случае двоичного кода, когда с импульсом или паузой связано количество информации .
Рис. 6. Зависимость от p.
При получается . Это связано с тем, что в данном случае на приемном конце линии связи с одинаковой вероятностью появляются нули и единицы независимо от того, каков был сигнал на входе, так что передача по линии связи в таких условиях вообще невозможна.
Максимального значения пропускная способность достигает при , что соответствует отсутствию помех, а также при , то есть при таких помехах, которые каждый входной сигнал 1 переводят в 0 на выходе, а каждый входной 0 переводят в 1 на выходе. Ясно, что помехи такого рода не мешают распознаванию сигнала, который был на входе линии связи.
Таким образом, наличие помех (шумов) в канале связи приводит не только к искажению передаваемого сообщения и частичной утрате передаваемой информации, но и к уменьшению пропускной способности канала. Влияние шумов определяется соотношением мощности полезного (несущего информацию) сигнала и мощности помех.
Приведем в табл.21характеристики некоторых каналов связи.
Табл. 21. Пропускные способности некоторых каналов связи
Вид связи |
, Гц |
, бит/с |
Телеграф |
120 |
640 |
Телефон | ||
Телевидение | ||
Слух человека |
Из сопоставления данных видно, что пропускная способность телефонного канала связи совпадает с пропускной способностью органов слуха чекловека. Однако она существенно выше скорости обработки информации мозгом человека, которая составляет не более 50 бит/с. Другими словами, в мозг может поступать избыточная информация.