1.5.1. Передача информации. Сигнал

Передача информации – двухсторонний процесс (распространение информации в пространстве). Информация передаётся в форме сообщений от некоторого источника информации к её приёмнику посредством канала связи между ними. Источник посылает передаваемое сообщение, которое кодируется в передаваемый сигнал. Этот сигнал посылается по каналу связи (например, телефонная сеть, каналы теле- и радиосвязи, компьютерные сети и т.д.). В результате в приёмнике появляется принимаемый сигнал, который декодируется и становится принимаемым сообщением.

Передача информации по каналам связи часто сопровождается воздействием помех, вызывающих искажение и потерю информации (см. рис. 2).

Р ис. 2. Передача информации по каналам связи

Передача, обработка и хранение информации происходит в форме сигналов или знаков.

Сигнал – способ передачи информации, физический процесс, имеющий информационное значение. Любой сигнал переносится либо энергией, либо веществом.

Классификация сигналов.

1. по физической природе сигналы бывают электромагнитные, световые, звуковые, механические, биологические;

2. по способу восприятия выделяют сигналы зрительный, слуховой, осязательный, вкусовой, болевой, физиологический.

Сигнал может быть:

• аналоговым – непрерывным, изменяющимся по амплитуде и по времени (скорость автомобиля, кардиограмма);

• дискретным – принимающим конечное число значений (сигнал светофора, ноты, азбука Морзе).

К знакам можно отнести алфавит любого языка, знаки языка жестов, любые коды и шрифты, ноты и т.д.

Для обмена информацией между людьми используются естественные языки – русский, английский, китайский и др.

Существуют и формальные языки – нотная запись, математические формулы, языки программирования

Представление информации посредством языка производится с помощью алфавита – определённый набор знаков. (в основе русского языка лежит – кириллица-33 знака, в английском лежит – латиница – 26 знаков, в китайском – иероглифы, в математических выражениях алфавит состоит из цифр).

В качестве знаков алфавита используются не только цифры и буквы, но и другие знаки: знаки химических элементов, ноты дорожные знаки и др.

Знаки могут иметь различную физическую природу: звуки (фонемы), изображения на бумаге (буквы при письме, печати), последовательности электрических импульсов (обработка на компьютере).

Последовательности символов алфавита образуют в соответствии с правилами грамматики основные объекты языка – слова. Из слов в соответствии с синтаксисом образуются предложения.

Основное отличие формальных языков от естественных состоит в наличии жестко зафиксированного алфавита и строгих правил грамматики и синтаксиса.

1.6. Измерение количества информации

Существует два подхода к измерению информации: содержательный и алфавитный.

Содержательный подход связывает количество информации с содержанием сообщения. В алфавитном подходе учитывается последовательность сигналов или символов.

1.6.2. Содержательный подход к измерению информации

Люди обмениваются информацией в форме сообщений. Сообщение — это форма представления информации в виде речи, текстов, жестов, взглядов, изображений, цифровых данных, графиков, таблиц и т.п.

Одно и то же информационное сообщение (статья в газете, объявление, письмо, телеграмма, справка, рассказ, чертёж, радиопередача и т.п.) может содержать разное количество информации для разных людей — в зависимости от их предшествующих знаний, от уровня понимания этого сообщения и интереса к нему.

Сообщение информативно (содержит ненулевую информацию), если оно пополняет знания человека. Информативность одного и того же сообщения может быть разной для разных людей. Сообщение несет информацию для человека, если содержащиеся в сообщении сведения являются новыми и понятными для него.

Если мы кидаем шестигранный кубик, то мы не знаем перед броском, какой стороной он упадет на поверхность. В этом случае, возможно получить один результат из шести равновероятных. Неопределенность знаний равна шести, т.к. именно шесть равновероятных событий может произойти. Когда после броска кубика мы получаем зрительное сообщение о результате, то неопределенность наших знаний уменьшается в шесть раз.

Но мы не получаем информации в ситуации, когда происходит одно событие из одного возможного. Например: мы бросаем монету. Предположим, что у монеты обе стороны «орел». В этом случае не существует неопределенности знаний перед броском, так как мы заранее знаем, что выпадет в любом случае «орел». Мы не получим новой информации, так как ответ знали заранее и количество информации в этом случае будет равно нулю, так как сообщение о результатах броска неинформативно.

Следовательно, для того чтобы количество информации имело положительное значение, необходимо получить сообщение о том, что произошло событие как минимум из двух равновероятных.

Что такое вероятность? Данный подход называется еще вероятностным.

Равновероятные (равновозможные) и разновероятностные события

Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Неопределенность знаний о некотором событии – это количество возможных результатов события: если из двух возможных событий происходит одно, то неопределенность знаний уменьшается в два раза (было два варианта, остался один). И чем больше начальное число возможных равновероятных событий, тем в большее количество раз уменьшается неопределенность наших знаний, и тем большее количество информации будет содержать сообщение о результатах опыта.

Такое количество информации, которое находится в сообщении о том, что произошло в сообщении о том, что произошло одно событие из двух равновероятных, принято за единицу измерения информации и равно 1 биту.

Итак, с помощью битов информация кодируется. С точки зрения кодирования с помощью 1 бита можно закодировать два сообщения, события или два варианта некоторой информации. С точки зрения вероятности 1 бит – это такое количество информации, которое позволяет выбрать одно событие из двух равновероятных.

1 бит – это количество информации, уменьшающее неопределенность знаний в два раза – еще одно определение 1 бита.

Пусть потенциально может осуществиться некоторое множество событий (N), каждое из которых может произойти с вероятностью (р_i), т.е. существует неопределённость. Предположим, что одно из событий произошло, неопределенность уменьшилась, вернее, наступила полная определённость.

Таким образом, количество информации (I), содержащейся в выбранном сообщении является мерой уменьшения неопределенности.

Для определения количества информации используется формула Хартли и Шеннона.

Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N.