1.3. Функция потерь и критерий качества выбора решения

Использование любого заранее установленного правила выбора решения в силу случайной природы объек­та наблюдения неминуемо связано с возможностью оши­бочных решений. Наблюдаемая выборка может оказаться в области , и будет принято решение ,что изучаемое явление находится в состоянии , хотя в дейст­вительности указанная выборка связана с другим состоя­нием , . Наличие в последовательности решений не только правильных, но и ошибочных является неизбеж­ной платой за попытку получить решение в условиях непол­ной информации.

Последствия ошибочных решений могут быть различны. Аналитически это обстоятельство учитывается путем вве­дения неотрицательной функции потерь, которая предпи­сывает каждому ошибочному решению, т. е. каждой комби­нации и , , плату . Наряду с этим могут быть введены также величины выигрышей (отрицательных потерь), приобретаемых при правильных решениях, или расходы, связанные с вынесением правильных решений , . Для заданного состояния средняя величина потерь при использовании определенного правила выбора решения (т. е. способа разбиения пространства выборок на области и установ­ления их соответствия набору решений ) в достаточно длинной последовательности экспериментов (результаты которых фиксируются выборками размера п)приближенно равна среднему в пространстве выборок значению (мате­матическому ожиданию) функции потерь

(1)

где — условная вероятность по­падания выборки в область ,если в действительности имеет место состояние . Условное среднее для данного состояния называется условной функцией риска.

Можнопринять условную функцию риска за кри­терий качества правила выбора решения и считать наилуч­шим правилом то, которое минимизирует по всем возмож­ным величину . Однако оптимальное свойство правила решения зависело бы при этом от заданного состояния . Для другого состояния , , правило, минимизирую­щее , возможно, уже не будет реализовывать наименьшее значение .

Усредняя условную функцию риска по всем возможным состояниям , получим

(2)

где - априорная вероятность состояния .

Определенное согласно(2) среднее значение функции потерь, которое зависит и от правила выбора решения, и от распределения вероятностей состояний, называется средней функцией риска.Эта функция может быть принята за критерий качества правила выбора решения. Тогда опти­мальным (наилучшим в смысле принятого критерия) прави­лом выбора решения будет такое, для которого при задан­ных функциях потерь, распределении вероятностей состоя­ний и условных распределениях вероятностей выборок при фиксированных состояниях величина средней функции риска будет наименьшей среди значений этой функции, относящихся к любым иным правилам выбора решения. Оптимальным правилом выбора решения задается один (из многообразия возможных) способ разбиения простран­ства выборок на непересекающиеся области, , , который обеспечивает при длительном его использовании минимальные средние потери.

Оптимальное правило выбора решения, минимизирую­щее среднюю функцию риска, называется байесовским реше­нием,а соответствующее ему минимальное значение сред­ней функции риска — байесовским риском.

Данная теория обладает существенным недостатком. Прежде чем воспользоваться ее результатами, необходимо запастись достаточно обширной априорной информацией не только об условных функциях распределения выборочных значений , которые во многих случаях можно обоснованно задать, но и о функции потерь и об априорном распределении состояний.

Если априорное распределение состояний неизвестно, то для установления критерия качества выбора решения имеется возможность использовать лишь условную функ­цию риска , которая представляет функцию целочисленно­го аргумента , указывающего состояние .Пусть - максимальное значение этой функции для правила выбора решения и - ее максимальное значение для правила выбора решения . Можно считать более благоприятным то из этих двух правил, для которого максимальное значе­ние условной функции риска меньше. Например, если , то правило лучше правила . Оптимальным прави­лом будет такое, которому соответствует минимум среди максимальных значений условных функций риска, опре­деленных при любых других правилах. Это правило назы­вают минимакснымправилом выбора решения.

Минимаксное правило выбора решения дает уверен­ность в том, что потери (в среднем) не будут больше некото­рой величины . Хотя во многих случаях использование этого правила разумно, могут быть ситуации, в которых оно будет слишком осторожным, и предпочтительным ока­жется иное правило решения, для которого максимальное значение условного риска будет больше, чем . Так, напри­мер, если в одном из состояний правило выбора решения приводит к условному риску, несколько большему, чем , а в остальных состояниях — намного меньшему, чем те, которые соответствуют минимаксному правилу , то целе­сообразно отдать предпочтение правилу . Указанное обстоя­тельство иллюстрируется на рис. 2, на котором изображе­ны типичные случаи, когда использование минимаксного правила обоснованно (рис. 2, а) и когда минимаксное прави­ло является чересчур осторожным (рис. 2,б).

а)

б)

Рис. 2. Использование минимаксного правила: а - приемлемо; б - неприемлемо (правило лучше, чем ).

Показано [2], что любое минимаксное правило выбора решения является специальным случаем байесовского решения для наименее благоприятного априорного распределения вероятностей состояний , , для которого мини­мальный (байесовский) средний риск имеет наибольшую величину по сравнению с величинами среднего риска, вы­численными для байесовского решения при любом другом распределении. К сожалению, не существует общего метода, при помощи которого можно было бы находить наименее благоприятное априорное распределение .

Однако там же доказано, что байесовское правило выбора решения, которому соответствуют одинаковые для всех состояний условные риски , , является минимаксным. Это обстоятельство может быть использовано для определения наименее благоприятногораспределения и, следовательно, минимаксного правила. Но следует иметь в виду, что равенство условных рисков при небайесовских решениях не приводит к минимаксному правилу. С другой стороны, если равенство условных рисков неосуществимо, то это еще не значит, что минимаксного правила не существует. Для его определения в этом случае нужно искать другие методы.

В условиях, когда известно априорное распределение состояний ,но нет каких-либо обоснованных соображенийотносительно величин потерь , может быть использованнесколько иной подход к выработке правил выбора решений.Найдем, используя формулу Байеса, апостериорную вероятность состояния , когда наблюдается выборка :

(3)

Указанные апостериорные вероятности представляют наи­более полную характеристику состояния изучаемого явления, какую можно получить, располагая только выбо­рочными значениями случайной величины, связанной с наб­людениями. Поэтому естественно принять следующий кри­терий: утверждается истинной та из гипотез относительно состояний , , для которой апостериорная вероятность(3) максимальна. Таким образом, критерием качества рассматриваемого правила выбора решения явля­ется максимум апостериорной вероятности.

Из этого критерия следует правило разбиения простран­ства выборок. К области относят те выборки , для которых при всех .

(4)

Если нет никаких априорных сведений и о распределе­нии вероятностей состояний, и о потерях, то можно вос­пользоваться критерием максимального правдоподобия, согласно которому при наблюдении выборки принимается та из гипотез относительно состояний ,

для которой функция правдоподобия больше других функций правдоподобия , . Этот критерий является частным случаем критерия максимальной апостериорной вероятности при условии, что все состояния равновероятны,т. е. .

Еще один критерий качества правила выбора решения связан со средним количеством информации, содержащимся в используемом правиле относительно исследуемого явле­ния (характеризуемого состояниями и их априорными распределениями ). По определению среднего количества информации [3].

(5)

где

(6)

- энтропия, характеризующая априорную неопределен­ность состояний исследуемого явления, и

₍₇₎

- условная энтропия явления после того, как принято решение , причем

В качестве наилучшего правила может быть принято такое, которое доставляет максимум информации , т. е. минимизирует среднее значение условной энтро­пии (или, как принято говорить в теории информации, ненадежности). Иначе говоря, правило выбора решения,

удовлетворяющее условию , гарантирует наименьшие в среднем потери информации, связанные с про­цессом принятия решения на основе выборочных зна­чений [4].