Лекция №1. Теория информации.

1. Понятие видов информации.

В интересах технических проблем удобно информацию классифицировать по структурно-метрическим свойствам.

Вид информации	Формы представления информации
	Топологическая	Абстрактная	Лингвистическая
1.События	точка	суждение	знак
2. Величина	линия	понятие	буква
3. Функция	поверхность	образ	слово
4 Комплекс информации	объем	система	предложение
5.Поле	пространство	универсуум	фонд

Событие- это первичный и неделимый двоичный элемент информации. Как правило, это выбор из двух возможных состояний. Учитывая двоичный характер события, условно его можно представить в геометрической символике точкой или пробелом, в арифметике- 0 или 1, в сигнальной- импульсом или паузой. Еще говорят, что событие- это категория нулевой меры. Все другие категории информации могут быть представлены как совокупность отдельных событий.

Величина есть упорядоченное множество событий в одном измерении. Величина – одномерное поле событий. Функция- это соотношение между двумя величинами. Функция – двумерное поле событий. Комплекс информации – это соотношение между тремя величинами и, соответственно, трехмерное поле событий. Поле- это зависимость между большим количеством величин (больше трех).

1.2 Основные понятия комбинаторики.

Комбинаторика- это раздел математики, посвященный решению задач выбора и расположения элементов некоторого обычного конечного множества в соответствии с заданными правилами. Каждое такое правило определяет способ построения некоторой конструкции исходного множества, которое называется комбинаторной конфигурацией. К таким конфигурациям относятся перестановки, сочетание и размещение.

1.Перестановка.

Q_n = n! ( без повторений элементов)

Правило организации перестановок: комбинации отличаются порядком следования элементов и не зависит от состава.

Q_nn=

2. Сочетание- формирование из исходного множества n элементов комбинаторных конфигураций из m элементов, причем эти конфигурации отличаются только составом элементов и не зависят от порядка их следования.

Q_c= (без повторений элементов)

Q_c=

3. Размещения

Q_p = (без повторений элементов)

Q_p =

Главное свойство размещений в том, что комбинации отличаются как составом элементов, так и порядком их следования.

1.3 Случайные модели в теории информации.

Случайное событие – это любой факт, который в результате опыта может произойти, а может и не произойти.

Пусть А – некоторое событие, P(A)- вероятность этого события.

Если , а событие U=1,тогда U-достоверное, а события A_i образуют полную группу событий.

Если ,,V-невозможное, то А и B являются несовместными.

-обратные, если они несовместные и образуют полную группу.

Пусть N-серия опытов, , N-большое.

Во многих случаях случайное событие А является следствием происхождения некоторой совокупности

Случайная величина-переменная, которая в результате опыта может принимать то или иное неизвестное значение из известного множества значений. Случайные величины могут быть непрерывными и дискретными.

Полной статистической характеристикой случайной величины является закон распределения вероятностей (это зависимость между возможными значениями дискретной величины и вероятностями).

Пусть – дискретная случайная величина.

p_i

x

x₁ x₂ ……x_i....x_n

Функция распределения:

Свойства :

1..

2., если x₂ ≥ x₁.

3.

Математическое ожидание: (ДСВ)

Дисперсия: (ДСВ)

Чаще используют плотность распределения информации, которая является дифференциальной функцией распределения вероятности:

Свойства плотность распределения:

1. ≥ 0.

2. .

3. .

(HCB)

(HCB)