1)Постановка задачи

Решается задача классификации, то есть определения некоторого х к одному из классов _i.(обозначим для читабельности wi, i – нижний индекс, т.е. w и  далее одно и то же)

Классы расматриваются как подмножества одного общего пространства(1,2, ... n-мерного). х тоже можно рассматривать как точку в этом пространстве. задача, чтобы х попало в то, подмножество-класс, к которому он в действительности принадлежит.

Примем следующие обозначения:

p(wi) – априорная вероятность класса wi - известно или может быть оценено .

p(x/ wi ) – функция правдоподобия класса wi, то есть функция плотности вероятности х при заданном состоянии природы wi - известно или может быть непосредственно оценено из обучающей последовательности.

p(wi /x) вероятность, что х получено из класса wi - обычно неизвестно.

Функция потерь Lij – потери, т.е. стоимость принятия решения, что xwj, когда в действительности xwi. Задача – минимизировать средние потери.

Условные средние потери(или условный средний риск): rk(x)

r_k(x)=- это средние или ожидаемые потери ошибочной классификацииx из класса _k , при отнесении его к некоторым другим классам _i , i=1, 2,….M и i  k.

Задачей классификатора тогда является найти оптимальное решение которое минимизирует средний риск или стоимость . Решающее правило тогда состоит из следующих шагов :

1. Вычислить ожидаемые потери r_i(x) решения , что x_i  i, i=1,2, . . , M.

2. Решить , что x_k если r_k(x) r_i(x)  i  k.

Соответствующая дискриминантная функция тогда имеет вид

d_k(x) = - r_k(x)

Отрицательный знак перед rk(X) выбирается так чтобы dk(X) представляла наиболее правдоподобный класс . То-есть чемь меньше rk(X) тем более правдоподобно , что Xk . (далее менее важное до п.2)

L=,

где L_ij=0, i=1,2,……M , так как неправильная классификация в этом случае отсутствует; в то время как L_ij=1 соответствует неправильной классификации x_k, когда в действительности x_i , i=1,2,….,M, i  k.

Пример:

Для двух классовой проблемы L_ik = L₂₁, где i=2, k=1.

Это означает , что x может принадлежать ₂ , но неправильно классифицируется как _1. L_ik = L₁₂ , когда i=1, k=2, означает что x может принадлежать ₁ , но будет классифицироваться как _2. L_ik =0 когда i=k.

Тогда мы имеем

L =

Предположим , что ₁ – класс своего самолета и ₂ – класс вражеского самолета, тогда несомнено L₂₁  L₁₂ так как L₁₂ это ложная тревога, а L₂₁ соответствует опасности.

Во многих случаях считается L₁₂ = L₁₂, что соответствует симметрической

функции потерь.

2) Байесовская дискриминантная функция

По правилу Байеса мы можем написать

где , вероятность того , чтоx без указания класса, к которому он принадлежит.

r_k(x)=

Так как здесь является общим для всехr_j(x), j= 1, ……., M, мы можем убрать его из уравнения среднего риска и искать только следующий минимум

для получения наилучшего решения среди возможных решений. Тогда Байесовская дискриминантная функция получается из d_k(x) = - r_k(x)

Классификатор с такой минимизацией называется Байесовским классификатором, дающим оптимальные характеристики со статистической точки зрения .