3. Условно-энтропийный, алгоритмический, семантический и прагматический (ценностный) подходы к определению количества информации

МИНОБРНАУКИ РОССИИ

Санкт-Петербургский государственный

электротехнический университет

«ЛЭТИ» им. В.И. Ульянова (Ленина)

Кафедра информационных систем

отчЁт

по практической работе №3

по дисциплине «Теория информации, данные, знания»

Тема: Условно-энтропийный, алгоритмический, семантический и прагматический (ценностный) подходы к определению количества информации.

Студент гр. 9300		ФИО
Преподаватель		Писарев И. А.

Санкт-Петербург

2020

Цель работы

Сформулировать ответы на вопросы с указанием источников информации.

Вопросы по теме:

1. Понятие условной энтропии.

2. Сущность алгоритмического подхода к измерению количества информации.

3. Формула А. А. Харкевича для оценки ценности информации.

Решить задачи:

1. Составьте информационный тезаурус по теме «информатика».

2. Приведите примеры двух последовательностей символов некоторого алфавита и предложите сравнительную оценку количества информации на основе алгоритмического подхода А. Н. Колмогорова.

Выполнение работы

Вопрос 1.

Условной энтропией случайной величины X при условии B называется величина:

Отличие от формулы Шеннона заключается в том, что вместо вероятностей используются условные вероятности . (2, С. 39)

Обозначим через событие, состоящее в том, что случайная величина примет значение . Условной энтропией случайной величины при заданном значении случайной величины называется величина :

После преобразований формула принимает вид: (2, С. 39–40)

Вопрос 2.

Идея алгоритмического измерения количества информации была выдвинута в 1965 г. А.Н. Колмогоровым. Суть её заключается в том, что количество информации определяется как минимальная длина программы, позволяющей преобразовать один объект (множество) в другой. Чем больше различаются два объекта между собой, тем сложнее программа перехода от одного объекта к другому. (2, С. 53)

Вопрос 3.

В основе определения ценности информации лежат такие её свойства, как операциональность и эмерджентность, а также предложенный А. А. Харкевичем способ исчисления ценности через приращение вероятности достижения той цели, для чего данная информация используется. (2, С. 58–59)

А. А. Харкевич предложил связать меру ценности информации с изменением вероятности достижения цели при получении этой информации:

где и — вероятность достижения цели соответственно до и после получения информации. (1, С. 5)

Задача 1.

Информатика — наука, изучающая структуру и общие свойства информации, а также вопросы, связанные с её сбором, хранением, поиском, преобразованием, распространением и использованием в различных сферах человеческой деятельности.

Информация — это передаваемые сведения, пополняющие чьи-либо знания, увеличивая их определённость.

Информационная энтропия — это мера неопределённости состояния некоторой случайной величины с конечным числом состояний.

Информационные технологии — машинизированные способы обработки, хранения, передачи и использования информации.

Задача 2.

Алгоритм для последовательности символов «АБАБАБАБАБАБ»:

1. Написать символ А.

2. Написать символ Б.

3. Повторить шаги 1–2 шесть раз.

Алгоритм для последовательности символов «АББВВВГДДЕЕЕ»:

1. Написать символ А.

2. Написать символ Б.

3. Повторить шаг 2 один раз.

4. Написать символ В.

5. Повторить шаг 4 два раза.

6. Написать символ Г.

7. Написать символ Д.

8. Повторить шаг 7 один раз.

9. Написать символ Е.

10. Повторить шаг 9 два раза.

Для первой последовательности символов потрачено меньше шагов. Значит, количество информации в первой последовательности меньше.

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Чанышев О. Г. Лекция 4. Информация, данные, знания. 8 с.

2. Луковкин С. Б. Теоретические основы информатики: учебное пособие. Мурманск: Изд-во МГТУ. 2008. 125 с.