Измерение информации

Бурное развитие средств и систем связи в 30-х годах нашего столетия привело к необходимости разработки методов оценки количества информации. Основные теоретические положения были сформулированы в 40-х годах в работах К. Шеннона в связи с необходимостью развития системы передачи военной информации. В качестве единицы количества информации было принято то количество информации, которое содержится в некотором стандартном сообщении.

Одно из представлений направлений включает следующие системы показателей: прагматическая, семантическая, синтаксическая, познавательная.

Прагматическоенаправление и показатели предназначено для систем передачи обработки и хранения информации, т.е. для технических параметров систем информации.

Дискретные значения аргумента и функции представляют в виде набора символов некоторого алфавита. Если обработка этих значений осуществляется арифметическими преобразованиями, то символы определяются цифровыми символами в выбранной системе счисления.

Для однозначного описания каждого уровня функции (или точки аргумента t_iрис.1.6) выделим некоторое количество символов -q, например, знаков выбранного алфавита (в русскомqбудет равно 33, в английском – 26 и т.п.) и некоторое количество позиций, длину слова, -n. Тогда общее возможное количество описываемых уровней функции будет определяться количеством общим числом комбинаций (числом произвольных слов, смысловая составляющая здесь не учитывается) и определится какN=qⁿ . При слове длиныn= 2 и русском алфавите, число комбинацийN= 33² = 1089, т.е. можно обозначить такое количество уровней.

В ИС, для простоты реализации, в цифровых системах, практически всегда выбирают двоичный алфавит, состоящий только из символов “1” и “0” Количество комбинаций двоичного слова длины nбудетN= 2ⁿ. Двоичное слово длиныnназываютбайтом, в настоящее время принято считатьn=8.

Объем информации может измеряться длиной необходимого слова в выбранном алфавите, так если имеется N– “количество информации”, число уровней, и выбран алфавит размерностиq, то требуется найтиn. Так какN=qⁿ, тоn=log_qN, это для технической информатики не выгодно (средства реализации!), поэтому все (количество информации -I(q)) сводят к определению количества необходимых бит

I(q) = n log₂q

Один бит соотносят одному элементу информации, тогда общее количество информации от множества kисточников с алфавитами длинойq_i, равно

I(q_1, q₂, q_k) = I(q₁) + I(q₂) + I(q₃) + ….+ I(q_k)

Рассмотренный метод оценки количества называется аддитивной (суммарной)меройинформации (по Хартли), гдеq– глубина числа, количество символов принятых для представления информации,n– число позиций, необходимых и достаточных для представления чисел заданной величины.

В целом заранее не известен вид и количество информации поступающей информации об объектах, она может быть произвольной, случайной. Аддитивная мера, в условиях неопределенности, “полагает”, что каждый знак поступает с равной вероятностью(“приближенно” – с равной частотой, возможностью).

В реальных условиях в сообщениях информация поступает с разной возможностью (вероятностью) для различных знаков. В этом случае объем информации определяют как

I = - p_ilog₂p_i,

где i– номер знака (символа),i- 1n, p_i – вероятность (возможность) появления знака (символа) в сообщении, p_i принимает значение 0p_iI.I– называютэнтропией, очевидно, что она определяет возможность появления различных знаков в условиях “неопределенности”, случайного появления знаков. Подобная оценка называетсястатистической меройинформации и широко используется в технических системах.

В систему показателей количества и качества информации включаются следующие показатели:

- важность- значимость информации с точки зрения тех задач, для решения которых используется оцениваемая информация, полнота информации для решаемых задач;

- адекватность- соответствие текущему состоянию соответствующих объектов или процессов;

- релевантностьинформации, поступающей для обеспечения решаемых задач;

- толерантностьпоступающей информации

Важностьинформации всецело определяется необходимостью и достаточностью для решения конкретных задач.

Под адекватностьюинформации понимается “…степень ее соответствия действительному состоянию тех реалий, которые отображает оцениваемая информация”. Определение адекватности осуществляется по двум параметрам: объективностью получения информации о предмете, процессе или явлении и продолжительностью интервала времени между моментом получения информации и текущим моментом, т. е. до момента оценивания ее адекватности.

Объективность, очевидно, зависит от способа получения значений характеристик предмета, процесса или явления и качества реализации (использования) способа в процессе получения этих знаний. Значения адекватности точно определить сложно (в отличие от статистических методов), поэтому методы сводятся к введению некоторых характеристик и коэффициентов.

Релевантность- характеристика соответствия содержания потребностям решаемой задачи. Количественно релевантность определяется коэффициентом К^p=N_p / N_o, где -N_p- количество релевантной информации, N_o - общее количество информации. Проблема заключается в сложности, а порою и невозможности, определения количества информации.

Толерантность- показатель удобства восприятия и использования информации для решаемых задач. Определение является неопределенным, субъективным и значение показателя представляется качественно.

Система семантическихпоказателей - характеризует смысловое содержание оцениваемой информации. Оценки ценности информации осуществляется двумя методами.

1. Оценивается количество ссылок на информацию в различных источниках. Ранее определяли ссылки только в документах, а в настоящее время такие же оценки можно осуществлять анализируя и файловую информацию (ряд оценок можно добавлять исходя из информации в Internet). В кибернетике иматематической лингвистикетакие методы хорошо разработаны.

2. Вводится понятие элементарной информационной семантической единицы, под которой понимается некоторая законченная мысль. Показатель информации, в этом случае, определяется как количество таких единиц в общем количестве информации. Определение достаточно сложное и система только разрабатывается.

Остальные показатели используются в различных направлениях и находятся в стадии разработки.

Таким образом: количество, качество и ценность информации в целом по информационной системе определяется оценкой по всей системе показателей.