1. Основные подходы в определении понятия информации (характеристика информации как устранённой неопределённости, снятой неразличимости, отражённого разнообразия)

ОСНОВНЫЕ ПОДХОДЫ В ОПРЕДЕЛЕНИИ ПОНЯТИЯ ИНФОРМАЦИИ. ИСТОРИЯ СТАНОВЛЕНИЯ ПОНЯТИЯ ИНФОРМАЦИЯ

«Информация» от лат. — разъяснение, изложение, осведомленность. Сначала под этим словом понимали «представление», «понятие», затем — «сведения», «передачу сообщений». В XX в. бурное развитие получили средства связи (телефон, телеграф, радио), назначение которых заключалось в передаче сообщений. Требовалась разработка теории передачи сообщений, или теории информации. Основным стал вопрос о возможности измерения количества информации.

Попытки количественного измерения информации предпринимались неоднократно. Р.Фишером (1921) в процессе решения вопросов математической статистики. Проблемами хранения информации, передачи ее по каналам связи и задачами определения количества информации занимались Р.Хартли (1928) и Х.Найквист (1924). Хартли заложил основы теории информации, определив меру количества информации для некоторых задач. Наиболее убедительно эти вопросы были разработаны и обобщены американским инженером Клодом Шенноном в 1948. Тогда началось интенсивное развитие теории информацию

Основные подходы: - связанные с количественным аспектом понятия информации без учета смысловой стороны информации. В результате которых

были созданы кибернетические устройства, вычислительные машины и пр. Все это стало возможным благодаря достижениям теории информации. Для того чтобы применить математические средства для изучения информации, потребовалось отвлечься от смысла, содержания информации. Отправной точкой для информационной оценки события остается - множество отличных друг от друга событий и соответственно сообщений о них. Теория информации основана на вероятностных, статистических закономерностях явлений. В «структурно-синтаксическую» сторону ее передачи, т. е. выражают отношения сигналов.

- Попытки оценить содержательную сторону информации дали толчок к развитию семантической (смысловой) теории информации. Семиотика —

теорией знаковых систем.

ХАРАКТЕРИСТИКА АЛГОРИТМІЧЕСКОГО ПОДХОДЯ К ОПРЕДЕЛЕНИЯ ПОНЯТИЯ ИФОРМАЦИИ

Очень близка к «разнообразностной» трактовке информации идея алго­ритмического измерения ее количества, выдвинутая в 1965 г. А. Н. Колмо­горовым. СУТЬ - количество информации определяется как минимальная длина программы, позволяющей преобразовать один объект (множество) в другой (множество). Чем больше различаются два объекта между собой, тем сложнее (длиннее) программа перехода от одного объекта к другому. Так, воспроизвести последовательность букв а, а, а можно при помощи очень простой программы. Несколько большей окажется длина программы, восстанавливающей последовательность а, в, с, а, в, с,... Длина программы при этом измеряется количеством команд (операций), позволяющих вос­произвести последовательность. Этот подход, в отличие от подхода Шен­нона, не базирующийся на понятии вероятности, позволяет, например, оп­ределить прирост количества информации, содержащейся в результатах расчета, по сравнению с исходными данными. Вероятностная теория ин­формации на этот вопрос не может дать удовлетворительного ответа.

ХАРАКТЕРИСТИКА ИНФОРМАЦИИ КАК УСТРАНЁННОЙ НЕОПРЕДЕЛЁННОСТИ

Неопределенность неотъемлема от понятия вероятности. Уменьшение неопределен­ности всегда связано с выбором одного или нескольких элементов из некоторой их сово­купности. Такая взаимная обратимость понятий вероятности и неопределенности послу­жила основой для использования понятия вероятности при измерении степени неопре­деленности в теории информации. Одинаковая вероятность ответов обусловливает и равную неопределенность, снимаемую ответом в каждом из двух вопросов, и, следова­тельно, каждый ответ несет одинаковую информацию. Чем меньше вероятность какого-либо события, тем большую неопределенность снимает сообщение о его появлении и, следовательно, тем большую информацию оно несет. Хартли предложил информацию I, приходящуюся на одно сообщение, определять логарифмом общего числа возможных со­общений: I = logN т. е. количество информации, приходящееся на одно сообщение, равно сумме количеств информации, которые были бы получены от двух независимых источни­ков, взятых порознь. Если возможность появления любого символа алфавита равноверо­ятна, то эта вероятность р = 1/т. Полагая, что N = m, I =- log р, т. е. количество информа­ции на каждый равновероятный сигнал равно минус логарифму вероятности отдельного сигнала.

Предположим, что информация — это устраненная неопределенность. Тогда в простейшем случае неопределенности выбор будет производиться между двумя взаимо­исключающими друг друга равновероятными сообщениями, например между положи­тельным и отрицательным импульсами. Тогда количество информации удобно принять за единицу количества информации. Полученная единица количества информации, пред­ставляющая собой выбор из двух равновероятных событий, получила название двоичной единицы, или бита. Название bit (от агнг. binary unit - двоичная единица).

При определении количества информации необходимо учитывать не только количе­ство разнообразных сообщений, но и вероятность их получения.

Широкое распространение при определении среднего количества информации, кото­рое содержится в сообщениях от источников самой разной природы, получил подход К.Шеннона.

Чтобы определить среднее количество информации, приходящееся на один сигнал, нужно это число разделить на N. При неограниченном росте приблизительное равенство перейдет в точное. В результате будет получена формула

Формула Хартли, представляет собой частный случай более общей формулы Шеннона. Знак минус в формуле Объясняется тем, что вероятность р, меньше единицы, но больше нуля. Шенноном предложена абстрактная схема связи, состоящая из пяти элементов {источника информации, передатчика, линии связи, приемника и адре­сата).

Формула Шеннона очень похожа формулу энтропии, выведенную Больцманом. Энтропия обозначает степень неупорядоченности статистических форм движения моле­кул. Энтропия максимальна при равновероятном распределении параметров движения молекул. Значение энтропии уменьшается, если движение молекул упорядочить. По мере увеличения упорядоченности движения энтропия стремится к нулю Текст с максималь­ной энтропией -пример: ЙХЗЦЗМ.

Л.Бриллюэн охарактеризовал информацию как отрицательную энтропию, или не-гэнтропию. Информация может быть определена как мера упорядоченности матери­альных систем.

Теория информации основана на вероятностных, статистических закономерно­стях явлений. В «структурно-синтаксическую» сторону ее передачи, т. е. выражают от­ношения сигналов.

ХАРАКТЕРИСТИКА ИНФОРМАЦИИ КАК СНЯТОЙ НЕРАЗЛИЧИМОСТИ

Р.Эшби осуществил переход от толкования информации как «снятой» неопределенности к «снятой» неразличимости. Он считал, что информация есть там, где имеется разнообразие, неоднородность. Чем больше в некотором объекте отличных друг от друга элементов, тем больше этот объект содержит информации. Информация есть там, где имеется различие хотя бы между двумя элементами. Информации нет, если элементы неразличимы. Эшби изложил концепцию разнообразия, согласно которой под разнообразием следует подразумевать характеристику элементов множества, заключающуюся в их несовпадении. Эшби открыл закон необходимого разнообразия. Суть закона: для управления состоянием кибернетической системы нужен регулятор, ограничивающий разнообразие возмущений, которые могут разрушить систему. При этом регулятор допускает такое их разнообразие, которое необходимо и полезно для системы. В логарифмической форме этот закон имеет

вид LogP_p=logP_в/Р_с или Log_p=logP_в-logP_c Закон необходимого разнообразия является одним из основных в кибернетике (науке об управлении).

Академик В.М.Глушков Информацию характеризует как меру неоднородности. Информация существует поскольку существуют сами материальные тела и, следовательно, созданные ими неоднородности. Всякая неоднородность несет с собой какую-то информацию. Источник информации — разнообразие.

ХАРАКТЕРИСТИКА ИНФОРМАЦИИ КАК ОТРАЖЁННОГО РАЗНООБРАЗИЯ

Рассмотрим понятие информации как отраженного разнообразия. Источником разнообразия, по мнению В. М. Глушкова, является неоднородность распределения материи и энергии в пространстве и во времени. Отсюда и определение, данное В. М. Глушковым: информация — это мера неоднородности распределения материи и энергии в пространстве и во времени, показатель изменений, которыми сопровождаются все происходящие в мире процессы. Если теперь перейти к более общему определению, то можно считать информацию свойством материи.