25) Однофакторный, двуфакторный дисперсионный анализ. Однофакторный дисперсионный анализ

Предположим, что наши наблюдения: y_ij =_i+_ij i=1..I, j=1..J

Считаем, что на наблюдения влияет -фактор (например фактор наблюдения)

_i – i-ый способ обработки.

влияет ли способ обработки на наблюдение т.е.

H₀: _=_=…=_

Сначала покажем, что это линейная схема.

Y=;=;Надо чтобы Y=Xp+, тогда Х=R(x)=числу столбцов, т.е. R(X)=I

Проверим H₀: _=_=…=_

Рассмотрим H^T

H₁^T=R(H)=I-1

n=k=I-1; n-r=n-I

Чтобы найти min надо продифференцировать по _k

R₀²=min_;==0

_k=y_k.  некое усреднение

R₀²=

Предположим, что все _i равны и равны 

R₁²=min_

если продифференцировать по , получим

_k=y_.. ; R₁²=

R₁²-R₀²=; y.. –усреднение по двум параметрам

Двуфакторный дисперсионный анализ

y_ij=+_i+_j+_ij; i=1..I, j=1..y

Предположим, что = =0

Теперь на наблюдения действуют два фактора

H_A=₁=…=_I=0

H_B=₁=…=_y=0

Пусть существует пшеница разных сортов, она высажена в различных регионах.

Наблюдение – урожайность.

Вопрос – какой сорт лучше.

Но в различных районах – разный урожай, но фактор региона мешает, поэтому на все сорта высаживать, чтобы проверить.

можно наоборот.

 - общее решение.

Будем проверять только H_

=-независимы, X=

т.к. Y=X+

везде присутствует 

Ранг : r = R(x)=I+Y+1-2=I+Y-1

n-r = IY-I-Y+1=(I-1)(Y-1)

Ранг H - ?

H^T=

Ранг H : R(H)=Y-1=k

Как вычислять R₀² и R₀¹

R₀²=(*)

= =0

Метод множителей Лагранжа.

G=Q-2₁-2₂

|

просуммируем по i, с учетом, что = =0

если (*) дифференцируема по , то получим оценку для 

=y..  оценка для 

=> _`=<sub></sub>`=0

_i= y_i.-y..

_j= y._j-y..

Подставим в (*)

R₁²=? предположим, что Y_ij=+_i+_ij (считаем,  нет)

получим тоже самое

=y..

_i= y_i.

R₁²=; R₁²-R₀²=вычислили все для дисперсионного анализа

26) Байесовская классификация.

Имелось 2 гипотезы.

Теперь будем рассматривать k гипотез (простых), и надо из них выбрать оптимальную.

Существует вектор наблюдений X = (X₁, X₂, X₃, … X_n ).

H_i : p(x) = p_i(x), где i = 1,2…k

n наблюдений.

делим пространство Rⁿ на k областей.

w₁ w₂ …w_k критерий состоит в выборе множеств w_i

Пусть XW_i, то принимается H_i i<k (нерандомизированный критерий)

Введем проигрыш r_j/i – проигрыш от того, что принимается гипотеза H_j при условии, что H_i верна

Введем вектор потерь (средних)

(L₁…L_k), L_i=_w1 r_1/i P_i(x) d+…+_wk r_k/i P_i(x) d

r_1/i средняя потеря

L_i – средняя потеря от применения нашего критерия, если верна H_i

надо, чтобы потери были min.

L – вектор, векторы несравнимы.

Предположим, что существуют априорные вероятности гипотез.

L= min

можно построить такой критерий.

L===

S_j(x)= --дискриминантный информатор - те X для которых максимум достигается на W_j={XRⁿ, S_j=max_j<k S_i(x)}

Теорема: Оптимальный критерий определяется следующим образом

W_j={XRⁿ, S_j=max_j<k S_i(x)}

считаем, что все S_i различны.

Доказательство: Пусть существует разбиение w, L(w) – потери

L(w) – множество потерь, связанных с другим разбиением и критерием.

L(w)==>

X максимален по крайней мере в том w_i в котором S_i – максимально, если с минусом, то минимально.

> ==L(w)

значит можно пользоваться критерием w

S_j(x)= -

Рассмотрим проигрыши r_i/j={0, i=j; 1,ij}

если мы не ошиблись, то потерь нет, если ошиблись – то потери одинаковые.

S_j(x)= -=-=-+_jp_j(x), не зависит от j, его можно отбросить.

S_j(x)=p_j(x) – часто априорные вероятности одинаковы, тогда _j можно опустить, приходим к методу максимального правдоподобия.

Метод часто применяется, когда нормальное распределение, т.е. когда

p_i(x)= _i<j

можно это прологарифмировать, log возрастает => можно их сравнивать .

- квадратичная дискриминантная функция.

Нужно знать _i и m_i. Слишком много параметров.

- постоянный множитель его можно убрать.

- можно разбить.

- постоянный множитель, его можно вычислить до опыта.