книги / Математические методы принятия решений

или неравенство

в противном случае выбирается гипотеза Н\.

§ 6.2. Статистические задачи решения с наблюдениями

Перед тем как выбрать решение из множества D, наблюдается значение случайной величины или случайного вектора х, которые связаны с параметром со. Наблюдение случайной величины х по­ могает принять рациональное решение. Предполагается, что для всех со 6 ft задано условное распределение значений случайной ве­ личины х при известном со. Подобные задачи называются стати­ стическими задачами принятия решения. Основными элементами статистической задачи принятия решения являются параметриче­ ское пространство О, пространство решений D, функция потерь L(со, d) и семейство условных обобщенных вероятностных плотно­ стей (о. в. п.) /(• | со), со е П, значений случайной величины х, на­ блюдаемой до принятия решения. Пусть S — выборочное простран­ ство возможных значений наблюдения х. Для принятия решения требуется знать решающую функцию 8, заданную для любого воз­ можного значения х е S решения d(x) е D. Класс всех решающих функций 8 обозначим А.

Для любой о. в. п. £(со) параметра со и любой решающей функ­ ции 8 6 А функция риска р(£, 8) определяется соотношением

p(Ç,8) = M{L(co,8(x))} =

=JJL(со, 8(х))/(х | co)S(co) d\i(x) dv(co). (6.1) u s

Предполагается, что при всех со е П функция Д(со, 8(-)) измерима и интегрируема на множестве S. Через d|i(x) и dv(x) обозначены меры, указывающие на то, что каждый из интегралов может быть как обычным интегралом от о. в. п., так и суммой значений дис­ кретной функции вероятностей. Функция риска определяет здесь средний ущерб (потери).

и*

Для каждого решения d e D функция риска р(£, 8) при о. в. п. Д о) определяется формулой

р(Д d) = JД о, сЩ о) dv(o),

п

для каждого значения о е fi функция риска р(о>,8), соответствую­ щая решающей функции 8 е Д, — формулой

s

Из соотношений (6.1) и (6.2) имеем

р(Д 8) = Jр(о, 8)Ç(o)dv(o).

п

Пусть 8* е Д — такая решающая функция, что

p(Ç,8*)= inf p(Ç,8) = p*(Ç);

ÔGA

тогда 8* называется байесовской решающей функцией при заданной о. в. п. Д о), а р*(2[) называется байесовским риском..

При заданной о. в. п. Д о) параметра о надо найти решающую функцию 8, минимизирующую функцию риска р(Д 8) (см. (6.1)). Если функция Д о , d) неотрицательна или ограничена, то в равен­ стве (6.1) можно изменить порядок интегрирования:

р(Д 8) = J J Д ы , b(x))f(x | о )Д о ) dv(o) d\i(x).

s n

Поэтому решающую функцию 8, минимизирующую риск, при каж­ дом значении х е S можно определить из условия минимизации внутреннего интеграла, т. е. байесовская решающая функция имеет вид Ь*(х) = d*, где d* — решение из D, минимизирующее интеграл

Вместо того чтобы искать минимизирующее решение d* для ин­ теграла (6.3), можно найти то же самое значение d* из условия

минимума интеграла

f(x | 0))£((0)

dv(o>),

/l(z)

n

= J / Д | co)Ç(co) dv(o>).

n

Поскольку дробь, заключенная в квадратные скобки, являет­ ся о. в. п. случайной величины со, то значение интеграла равно условному математическому ожиданию М{До>, d) | х}. Маргиналь­ ное распределение случайной величины со называется априорным распределением, оно задает распределение случайной величины со до проведения наблюдений над х. Условное распределение слу­ чайной величины со при известном значении х называется апо­ стериорным распределением, оно задает распределение со после наблюдения х.

Пример 1. Пространство П содержит только точки 0 и 1. Про­ странство решений D состоит из чисел d, d е [0,1]. Функция потерь определена для со е П и d e D формулой Дсо, d) = |со —d\. Заданы значения вероятностей Р(со) параметра со:

Р(0) = { , Р ( 1 ) = { . Тогда для любого решения d e D

р(Р, d) = ДО, d)Р(0) 4- Д 1, d)P(l) = J d + { (1 - d) = у d + j .

Отсюда получаем

inf р(Р, d) = р(Р, 0) =

т. е. р*(Р) = 1/4 —единственное байесовское решение.

Если предположить, что пространство решений — полуоткры­ тый интервал (0,1], то байесовский риск будет по-прежнему ра­ вен 1/4, но ни одно решение из D не будет байесовским.

Если решение принимается без предварительных наблюдений, то оптимальным является байесовское решение при априорном рас­ пределении случайной величины со. Если же было предварительное наблюдение, то априорное распределение случайной величины со заменяется на апостериорное. Отсюда видно, что решение d*(xо),

После наблюдения х = х\ = \ риск от принятия решения d\ ра­ вен 0 -р + 10(1 —5(ж)), а от принятия решения da равен 55(ж). Ре­ шение с?2 будет байесовским, если 10(1 —5(ж)) > 55(ж) и 5(ж) < 2 /3 ; решение d\ будет байесовским, если 5(ж) > 2/3. При 5(ж) = 2/3 и d\, и da —байесовское решение.

Если наблюдается значение х = 1, то для байесовской реша­

ния d\ и da являются байесовскими. Если наблюдается значение х = 0, то 8*(0) = di при ^(0) < 2/3 или р < 16/19 и 8*(0) = d\ при р> 16/19; при р = 16/19 оба решения d\ и da являются байесов­ скими.

Вычислим значения байесовского риска р*(р) для произволь­ ной априорной вероятности р. Если 0 ^ р ^ 8/17, то решение da будет байесовским независимо от наблюдаемых значений х; для

строение байесовской решающей функции (рис. 6.2). В данном при­ мере не учитывалась цена наблюдения. Если в рассмотренном при­ мере потребуется принять решение до проведения измерения х,

р ^ 8/17 или р ^ 16/19, то тот же риск может быть достигнут без Если же 8/17 < р < 16/19, то р*(р) < ро(р)- За воз­ можность наблюдения х может быть уплачена цена с < ро(р) — р*(р). Эта раз­ ность максимальна при р = 2/3 и равна

25/18.

получим то же апостериорное распреде­ ление, что и при одновременном учете всех случайных величин.

Например, пусть f(x , у | со) — совместная (многомерная) услов­ ная о. в. п. случайных величин х н у при сое fl. Апостериорная о. в. п. £(со | х, у) параметра со при наблюдениях х, у имеет вид

Пусть наблюдаем случайную величину х, затем у; функция д(х | со) означает условную о. в. п. х при заданном со. После наблюдения .т

где Xçi — множество значений х, по которым определяется образ to. Для данного множества априорных вероятностей Р = {P(<Oj)} сред­ ние потери (средний риск) определяется по формуле

Р(Р, d) = Y i p(wj)p("j> d),

3=1

где p(tOj, d) —условный риск, когда решение d приводит к гипотезе

Необходимо найти такое решение dj, j = 1 ,2 ,..., m, которое мини­ мизирует средний риск р(Р, d) или минимизирует максимум услов­ ного риска p(ojj, d) (критерий минимакса).

Оптимальное решающее правило минимизации среднего риска называется байесовским правилом. Из соотношения (6.8) следует, что достаточно рассмотреть каждый вектор х в отдельности и ми­ нимизировать функцию pI(P, d). Если d* — оптимальное решение в смысле минимума среднего риска, то

средний риск является также вероятностью ложного распознавания и байесовское решающее правило приводит к гипотезе х ~ to* при

для всех j = 1 ,2 ,..., т.

Определим отношение правдоподобия между классами следую­

щим образом:

А = P(s 1Uj) Р(х\и>зУ

Если информация об априорных вероятностях Р((ол) отсутству­ ет, то классификация строится на основе минимаксного критерия по отношению к наименее благоприятному априорному распреде­ лению. Из условия (6.9) получаем разделяющую функцию

Di(X) = P(oii)p(x | toj), i = 1, 2, . . . , т,

или эквивалентную ей функцию

Di(X) = ln(P(<ùi)p(x |o>i)), i = 1, 2, . . . , т.

Решающая граница между областями в О, разделяющая образы (о* и (x>j, определяется условием

P((Oj)p(x 16н) - P((ùj)p(x |(ùj) = О,

P ((ù j)p ix \ (ù j)

Пример 1. Рассмотрим статическую задачу принятия решения в случае, когда пространства П и D состоят из двух точек.

Пусть Q = {toi, (02}, D = {d],d2 }, функция потерь L(co,d) зада­ на в табл. 6.4, а(8) — условная вероятность для любой решающей

эту комбинацию. Согласно лемме Неймана—Пирсона решающая функция, доставляющая минимум линейной комбинации lipa(b) +

е х р { - у ( х - М ^ К ~ \ х - M i)}

Р(Х |(ùi) =

то уравнение решающей границы согласно соотношению (6.10) имеет вид

Получили уравнение гиперплоскости. При P(<0i) = P(<0j) имеем

xTK~\Mi - Mj) - y ( M i + M jfK ~\M i - Mj) = 0.

Вдействительности должны получить «полосу», так как х, М

иК определяются в процессе наблюдений с погрешностями.