Тема 9. Статистический подход к распознаванию образов: оценка неизвестной плотности вероятности

1. Разобрать способ выбора неизвестной плотности вероятности на основе априорной информации:

• определить понятие энтропии как меры неопределенности опыта со случайными исходами;

• сформулировать и разъяснить принцип максимума энтропии, поставить задачу отыскания неизвестной плотности вероятности на основе этого принципа;

• дать общее решение задачи с помощью метода неопределенных множителей Лагранжа;

• разобрать конкретные примеры.

2. Разобрать способ оценки неизвестной плотности вероятности по апостериорным данным путем аппроксимации функциями:

• дать понятие ортогональной и ортонормированной системы функций одной и нескольких переменных, указать способ построения полной системы ортонормированных функций нескольких переменных по полной ортонормированной системе функций одной переменной, рассмотреть конкретные системы (многочлены Лежандра, Лаггера, Эрмита);

• сформулировать постановку задачи;

• дать общее решение задачи;

• разобрать конкретный пример.

1. Разобрать способ выбора неизвестной плотности вероятности на основе априорной информации.

1.1. Определить понятие энтропии как меры неопределенности опыта со случайными исходами.

Опыты, процессы, явления, исход которых точно предсказать нельзя (он зависит от случая) называют опытами со случайными исходами.

Численная величина, измеряющая неопределенность опыта называется энтропия, т.е это статическая мера неопределённости. Энтропия это числовая характеристика, отражающая ту степень неопределенности, которая исчезает после проведения опыта.

Пусть события А₁, … , А_n – возможные исходы некоторого опыта А. Тогда энтропия всего опыта A:

H(A) = ;

Энтропия H(X) дискретной случайной величины:

H(X) ==

Энтропия некоторой случайной величины выражает неопределенность нашего знания о том, какое именно значение примет эта случайная величина при очередном испытании.

В простейшем случае равновероятных значений случайной величины энтропия будет равна:

H(X) =

где N- это общее число возможных альтернатив (чем больше значение N, тем больше степень неопределенности).

Максимальной энтропией будет обладать та случайная величина, у которой вероятности возможных значений равны.

Значит, верно следующее равенство:

H(X)

Энтропия H(X) для непрерывной случайной величины:

H(X) =

1.2 Принцип максимума энтропии

Принцип максимума энтропии утверждает, что если плотность распределения некоторой случайной величины неизвестна, то из логических соображений следует выбрать такую плотность распределения, которая обеспечивает максимизацию энтропии случайной величины при учете всех известных ограничений. Применение этого критерия приводит к решению, отличаю­щемуся минимальным смещением, так как плотность распреде­ления любого другого вида будет обладать большим смещением «в сторону» информации, содержащейся в известном наборе данных. Плотность распределения, обеспечивающую максимум энтропии, особенно легко определять в тех случаях, когда все известные ограничения представлены в форме средних оценок, таких, например, как математические ожидания и дисперсии плотности распределения.

Энтропия совокупности образов с плотностью распределения р(х) определяется как

(1)

где p(x) - это плотность распределения _.

Пусть априорная информация о случайной величине x задается в виде:

(*)

и

(**)

Постановка задачи: необходимо так задать плотности распределения p(x), чтобы величина энтропии при выполнении ограничений (*) и (**), которые являются априорной информацией, была максимальной.