ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ

ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ –

ЧЕРЕПОВЕЦКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

Кафедра ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

Л Е К Ц И Я

по дисциплине

ТЕОРИЯ ИНФОРМАЦИИ

Тема № 1/2 Структурно-синтаксический аспект информации

Автор

ктн, доцент Новиков А.Ю.

Содержание занятия

Введение.

Учебные вопросы (основная часть):

1. Структурно-синтаксический аспект информации

2. Кибернетика и структурно-синтаксический аспект информации

3. Информация и энтропия

Череповец

2011 г.

Введение

Процесс экспликации понятия «информация» привел к появлению теории информации как таковой. Уточнение этого понятия началось с изучения его количественного аспекта. Первые отчетливые предложения об общих способах измерения количества информации были сделаны Р. Фишером (1921 г.) в процессе решения вопросов математической статистики. Проблемами хранения информации, передачи ее по каналам связи и задачами определения количества информации занимались Р. Хартли (1928 г.) и X. Найквист (1924 г.). Р. Хартли заложил основы теории информации, определив меру количества информации для некоторых задач. Тем не менее, датой возникновения теории информации считаются 1947-1948 годы, когда американский ученый Клод Шеннон, обобщая свои работы по математическому анализу ряда вопросов теории проводной связи, выполнил и опубликовал работу «Математическая теория связи», в которой были даны основные для статистической теории информации понятия энтропии и информации. Однако вопросы, изучаемые в теории информации, были настолько актуальны, что можно не сомневаться в том, что и без К. Шеннона появление теории информации было бы неизбежным. Об этом свидетельствуют и близкие к теории информации значительные исследования, проведенные независимо от Шеннона рядом ученых в различных странах. К ним в первую очередь следует отнести работы отечественных академиков В.А. Котельникова и А.Н. Колмогорова. Именно результаты исследований этих ученых вместе с работой К. Шеннона составили стержень статистической теории информации. Шеннон, в частности, отмечал, что некоторые изыскания в этом направлении связаны с более ранней работой А. Н. Колмогорова в России [4]. 

Основополагающее значение статистической теории информации состояло в том, что эта теория с одной стороны уточнила структурно-синтаксический аспект информации, с другой - идеи этой теории оказали влияние на экспликацию качественных свойств информации. В настоящее время понятие «информация» рассматривается с позиций трех аспектов: структурно-синтаксического, логико-семантического и прагматического. Названные аспекты наряду с общими сторонами имеют свои особенности, характеристика которых приведена ниже.

1. Структурно-синтаксический аспект информации

Понятие «информация» как научное возникло при решении инженерных проблем связи и коммуникации, главным образом проблем передачи сигналов и их кодирования в электрических системах. Ко второй половине XX века земной шар гудел от информации, «бегущей» по телефонным и телеграфным кабелям и радиоканалам. Позже появились электронно-вычислительные машины. Эксплуатация их выдвинула ряд проблем: как обеспечить надежность связи при наличии помех, какой способ кодирования сообщения применять и др. Эти проблемы требовали разработки теории передачи сообщений, в данном случае - теории информации. Ниже мы убедимся, что на самом деле разрабатывалась не теория информации в целом, а лишь одно из направлений теории информации, связанное со структурно-синтаксическим аспектом этого понятия. «Шеннон отдавал себе, наверное, отчет в том, что слово «информация» может ввести в заблуждение, и поэтому назвал свою работу «Математическая теория связи». Употребляя слово «информация» в обычном смысле, можно сказать, что работа Шеннона касается больше передачи сигналов, несущих информацию, чем информации как таковой. Работа Шеннона больше имеет дело со связью, чем с трудно уловимым конечным результатом связи, которым собственно и является информация» [9].

Основной задачей теории информации того времени являлось, прежде всего, повышение эффективности функционирования систем связи. Сложность при проектировании и эксплуатации средств, систем и каналов связи заключалась в том, что конструктору и инженеру недостаточно решить задачу проектирования и эксплуатации систем с физических и энергетических позиций. С этих позиций система может быть самой совершенной и экономичной. При создании передающих систем не менее важно обратить внимание на то, какое количество информации без потерь пройдет через эту передающую систему в единицу времени. Поэтому на первый план вместе с задачей проектирования передающих устройств была выдвинута задача измерения количества информации, которое может быть передано посредством этих устройств. Чтобы подсчитать количество информации, содержащееся в сообщении, пошли простым путем: абстрагировались от смыслового содержания сообщения, как отрешились от конкретности в привычных всем нам арифметических действиях (как от сложения двух яблок и трех яблок перешли к сложению чисел вообще: 2+3). Такое определение количества информации является в высшей степени полезным и практичным в теории связи. Оно в точности соответствует задаче инженера связи. При автоматизированной обработке сообщения посредством технических устройств, на первый план выходит не смысловое содержание этого сообщения, а количество символов в нем, способ, каким это сообщение может быть передано по каналам связи без потерь, потребное для этого время, пропускная способность каналов связи и т.д. Таким образом, появилась задача определения количества информации, содержащегося в сообщении. Как же вычислить количество информации в конкретном сообщении, переданном по каналам связи? Впервые ответ на этот вопрос дал в 1928 году американский инженер Р. Хартли [29]. Количественная мера информации была сформулирована им для равновероятных сигналов¹: количество информации, приходящееся на каждый равновероятный сигнал равно логарифму числа таких сигналов:

I = logN, (1.1)

где I – количество информации, содержащееся в одном сигнале (сообщении); N – количество равновероятных сигналов (сообщений).

Развил и обобщил эту идею К. Шеннон [30]. Он определил среднее количество информации, которое содержится в сообщениях от источников различной природы: (1.2)

где I – среднее количество информации, приходящееся на один сигнал; р_i–вероятность получения i-го сигнала.

Предложенная Шенноном мера информации (1.2) оценивает и учитывает статистическую структуру сообщений. Шеннон решает проблему пропускной способности канала передачи при наличии шумов. Он устанавливает, что можно подобрать такой код², при котором вероятность искажения сообщения может быть сделана как угодно малой, если скорость поступления сведений не превышает пропускной способности канала передачи. Эти основные положения и по сию пору составляют фундамент статистической теории передачи сигналов и их кодирования. Более того, идеи Шеннона оказали глубокое влияние на разработку качественного аспекта понятия «информация», в частности на определение количественных мер семантической и прагматической информации. Однако было бы ошибочным заключить на этом основании, что шенноновская теория информации решает полностью семантические и прагматические проблемы коммуникации [9].

Хартли, Шеннон, а вслед за ними и многие другие авторы отказываются от рассмотрения таких понятий, как значение и смысл. В своем основополагающем труде К. Шеннон пишет: «Основная задача связи состоит в точном или приближенном воспроизведении в некотором месте сообщения, выбранного для передачи в другом месте. Часто сообщения имеют значения, то есть относятся к некоторой системе, имеющей определенный физический или умозрительный смысл, или находятся в соответствии с некоторой системой (эти семантические аспекты связи не имеют отношения к технической стороне вопроса). Существенно лишь, что посылаемое сообщение является сообщением, выбранным из некоторого множества возможных сообщений. Система связи должна быть спроектирована так, чтобы ее можно было использовать для передачи любого возможного сообщения, а не только того, которое будет в действительности выбрано, так как результат этого выбора еще не известен в момент проектирования». Шеннон утверждал, что «семантические аспекты коммуникации не принадлежат к числу инженерных проблем» [30]. Когда Хартли и Шеннон говорят о количестве информации, сообщаемой каким-либо сигналом, то здесь по существу подразумевается относительная частота появления его среди набора всех возможных сигналов, то есть имеются в виду статистические отношения между сигналами. Мера информации в форме, предложенной Шенноном, применима только к знакам самим по себе и не имеет отношения к их семантике. Эту же идею пропагандировал и Р. Хартли. Определяя предмет своего исследования, он отмечал: «В обычном понимании термин «информация» слишком эластичен; необходимо, прежде всего, установить для него специфический смысл...» [29]. Специфика смысла для Хартли определялась процессом передачи сигналов. Такое положение может удовлетворить авторов, не интересующихся самим понятием информации. Однако приходится все же считаться с теми авторами, для которых дело не заканчивается вопросами, связанными с одним лишь количеством информации. На эту тему отвечает К. Черри: «В определенном смысле вызывает сожаление то обстоятельство, что математическое понятие, введенное Хартли, стало вообще называться информацией» [33]. Формулы (1.1) и (1.2) являются в действительности мерой только одной грани (свойства) понятия информации, они являются оценкой «статистической редкости», или значением неожиданности источника сигналов.

Статистическая мера Шеннона не исчерпывает все стороны и структурно-синтаксического аспекта информации. Синтаксическая функция знаковых систем, например, включает в себя не только аспект образования знаковых последовательностей, но и аспект преобразования их друг в друга. Речь идет при этом о таких операциях внутри знаковой системы, которые связывают уже логико-синтаксическими отношениями формулы данной системы (например, правила вывода в логических исчислениях). Этот аспект не поддается вероятностно-статистическому анализу и требует разработки соответствующих средств для своего отражения – логических и математических.

Теория Шеннона вскрывает вероятностно-статистический аспект синтаксической информации. Такой аспект является необходимым, но не достаточным для анализа других сторон информации, которая, оставаясь на этом этапе своего развития в основном понятием, употребляемым для характеристики средств связи, все же приобретало более широкий характер. Это было осознано в кибернетике.