Методы обработки и планирования эксперимента. Ч.1. Оценка распределений и их параметров (110
.pdfОценка с помощью медианы:
n |
= 15; |
n + 2 |
= 16 |
x = |
x[15] |
+ x[16] |
= |
1010 |
+1011 |
= 1010.5. |
|
|
|
|
|
|
|||||
2 |
|
2 |
|
med |
|
2 |
|
|
2 |
|
|
|
|
|
|
|
|
Оценка Ходжеса – Лемана
Вычислим оценку на примере пяти выборочных значений (полная
оценка должна быть получена по n(n +1) |
= 30 29 |
= 435 средним Уолша). Вы- |
|||
2 |
|
2 |
|
|
|
берем для примера пять выборочных |
|
|
): |
||
значений (вблизи среднего X |
|||||
xi : 1012, 1040, 1090, 1096, 1111. Вычислим n(n +1) |
= 5 |
4 = 10 средних Уолша: |
|||
|
2 |
2 |
|
|
zi = 1026; 1051; 1054; 1061,5; 1065; 1068; 1075,5; 1093; 1100,5; 1103,5.
Далее вычисляем медиану значений zi
μ ≈ med(z ) = |
z5 + z6 |
= 1065 +1068 = 1066.5. |
|
||
i |
2 |
2 |
|
31
5. РОБАСТНЫЕ ОЦЕНКИ ПАРАМЕТРОВ |
|
||||||||
Выборочная медиана как робастная оценка среднего |
|||||||||
На практике экспериментальные данные практически никогда не име- |
|||||||||
ют чисто гауссовского распределения. Это обусловлено как внутренним ха- |
|||||||||
рактером механизма формирования экспериментальных данных, так и на- |
|||||||||
личием нерегулярных аномальных ошибок измерения. При этом большин- |
|||||||||
ство оптимальных параметрических оценок резко теряют свои свойства да- |
|||||||||
же при незначительных отклонениях от стандартных условий. |
|
||||||||
Повысить качество оценки в реальных условиях можно путем исполь- |
|||||||||
зования робастных оценок. Робастность – слабая чувствительность к |
|||||||||
отклонениям от стандартных условий и высокая эффективность для широ- |
|||||||||
кого класса распределений. |
|
|
|
|
|
|
|||
Для анализа робастности часто используется модель Тьюки «засорен- |
|||||||||
ного» гауссовского закона: |
|
|
|
|
|
|
|||
W (x) = (1− ε) N (x,mX ,σ2X )+ εW (x,mX ,θ), |
(5.1) |
||||||||
где ε – доля «засоряющих» наблюдений. Модель Тьюки хорошо описывает ре- |
|||||||||
зультатыизмеренийсучетомвозможныхсбоевилипромахов приизмерениях. |
|||||||||
0.399 |
0.4 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
f1 ( x) |
|
0.3 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
fa ( x) |
|
0.2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
W ( p , x) |
|
|
|
|
|
|
|
|
|
|
|
0.1 |
|
|
|
|
|
|
|
1.487 × 10 |
− 6 |
0 |
6 |
4 |
2 |
0 |
2 |
4 |
6 |
|
|
||||||||
|
|
|
− 5 |
|
Рис. 5.1 |
x |
|
|
5 |
|
|
|
|
|
|
|
|
|
|
Компоненты распределения в модели Тьюки (5.1) при ε = 0.3. |
|
0.399 |
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
0.1 |
|
|
|
|
|
f1(x) |
|
0.01 |
|
|
|
|
|
|
fa(x) |
1 |
.10 3 |
|
|
|
|
|
|
W(p , x)1 |
.10 |
4 |
|
|
|
|
|
|
|
1 |
.10 |
5 |
|
|
|
|
|
1.487×10− 61 |
.10 |
6 |
1 |
2 |
3 |
4 |
5 |
|
|
|
|
0 |
|||||
|
|
|
0 |
|
x |
|
|
5 |
|
|
|
|
|
а – ε = 0.3 |
|
|
|
32
0.399 |
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
0.1 |
|
|
|
|
|
f1(x) |
|
0.01 |
|
|
|
|
|
|
fa(x) |
1 |
.10 3 |
|
|
|
|
|
|
W(0.1 , x)1 |
.10 |
4 |
|
|
|
|
|
|
|
1 |
.10 |
5 |
|
|
|
|
|
1.487×10− 61 |
.10 |
6 |
1 |
2 |
3 |
4 |
5 |
|
|
|
|
0 |
|||||
|
|
|
0 |
|
x |
|
|
5 |
|
|
|
|
|
б – ε=0.1 |
|
|
|
Рис. 5.2
На рис. 5.2 изображены «хвосты» распределений в модели Тьюки (5.1) при разных ε.
Наиболее известной из робастных оценок параметра сдвига распределения случайной величины является рассмотренная выше выборочная ме-
диана med(X ) = xmed . |
|
|
|
|
|
|
В таблице 5.1 представлены значения относительной |
эффективности |
|||||
выборочной медианы и выборочного среднего eff (x0.5 / X |
) . |
Т а б л и ц а 5.1 |
||||
|
|
|
|
|
||
Вид засорения W (x,mX ,θ) |
|
Степень засорения ε |
||||
|
|
|
|
|
|
|
0 |
|
0,05 |
|
1 |
||
|
|
|
||||
|
|
|
|
|
|
|
N (mX ,(3σX )2 ) |
0,637 |
|
0,828 |
|
0,637 |
|
Lp (mX ,1) |
0,637 |
|
1,310 |
|
2,000 |
|
R (mX − 3σX ,mX + 3σX ) |
0,637 |
|
2,157 |
|
13,254 |
|
C (mX ,1) |
0,637 |
|
2,713 |
|
25,344 |
Видно, что даже при незначительной «засоренности» измерений выборочная медиана эффективнее выборочного среднего. Если аномальные ошибки распределены по гауссовскому закону, выборочная медиана точнее
выборочного среднего при ε [0.1;0.9].
Устойчивые оценки
L-оценки
L-оценками называется линейная комбинация порядковых статистик
33
n
θ = wi xi′ ,
i=1
где wi – весовые коэффициенты, определяемые видом оцениваемого пара-
метра и типом распределения выборки. Примером служат выборочная медиана и усеченное среднее и др.
M-оценки. Выборочные среднее X и медиана med(X ) являются крайними вариантами отбора порядковых статистик. Усеченное среднее Xα яв-
ляется компромиссом между этими оценками. Другой компромисс предложил Хьюбер. Из статистики известно, что выборочные среднее X и медиана med(X ) получаются минимизацией функционалов
n
M1(θ ) = (xi − θ )2
, |
(5.2) |
i=1
n
M2 (θ ) = xi − θ
i=1
где θ ≡ m – математическое ожидание случайной выборки. Хьюбер предложил минимизировать функционал
|
|
|
n |
|
|
|
|
|
|
|
|
|
||
M (θ ) = ρb (xi − θ ) , |
|
|
(5.3) |
|||||||||||
где функция |
|
|
i=1 |
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x2 / 2, |
|
|
|
|||||||||
ρ (x) = |
|
|
|
|
|
|
|
|
. |
(5.4) |
||||
|
|
x |
|
|
− b |
2 |
/ 2, |
|
x |
|
> b |
|||
|
|
|
|
|||||||||||
|
b |
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Очевидно, (5.4) объединяет оценки (5.2). Тогда оценка θ ищется из ре- |
||||||||||||||
шения уравнения |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|
|
|
|
|
|
|
|
|
(5.5) |
M (θ ) = ψ b (xi − θ ) = 0 . |
|
|
||||||||||||
′ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
i=1
Здесь ψ (x) = ρ′ (x)
b b
ψb(x)
-b b x
Рис. 5.3
34
Из (5.4) следует вид ψ (x) = ρ′ (x) , приведенный на рис. 5.3. Как видно из
b b
рис. 5.3, эта оценка позволяет по-другому убрать слишком большие выборочные значения. В частном случае ρ (x) = ln (Wξ (x)) получается ОМП.
В самом деле ψ (x) = Wξ′(x) / Wξ (x) . Поскольку W (x) > 0 , то (5.3) принимает
вид
n
Wξ′(xi − θ ) = 0 .
i=1
Для нормального распределения Wξ (x,θ ) = N (θ ,σ x2 ) выборочное среднее X и будет искомой оценкой.
Робастные оценки масштаба (дисперсии)
Робастные оценки могут быть получены и для оценки параметра масштаба распределения. Например, для описания разброса случайной величины X наряду со среднеквадратическим значением σX может использовать-
ся среднее абсолютное значение:
∞
δX = x − mX W (x)dx,
−∞
оно связано с σX следующим соотношением:
δX / σX = 2 / π.
Используя эту связь, можно определить:
d |
|
= |
1 |
n |
|
x − m |
|
|
, |
(5.6) |
|
|
|
|
|||||||
|
|
|
|
|
|
|||||
|
x |
|
n |
|
i |
X |
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
i=1 |
|
|
|
|
после этого можно оценивать среднеквадратическое значение:
sd X = π / 2dX . |
(5.7) |
|
В таблице 5.2 приведены значения относительной эффективности этой оценки (5.7), (5.8) по сравнению с выборочным среднеквадратическим отклонением при различных значениях параметра засорения ε :
Т а б л и ц а 5.2
ε |
0 |
0,001 |
0,002 |
0,005 |
0,01 |
0,02 |
0,05 |
0,1 |
s |
|
|
|
|
|
|
|
|
|
|
|
eff |
dX |
|
0,876 |
0,948 |
1,016 |
1,196 |
1,439 |
1,752 |
2,035 |
1,903 |
|
|
|||||||||||
|
s |
X |
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
35
Приведем еще один простой, но эффективный алгоритм оценки среднеквадратического значения σ – оценку Даутона.
|
1,77245 |
n |
σ = |
n( n − 1) |
( 2i − n − 1)xi′ . |
|
i=1 |
|
|
|
При n ≤ 10 эффективность оценки равна 0,94 по сравнению с оценкой максимального правдоподобия.
Приведем пример: имеется набор результатов измерений
xi′ = 1.4; 2.1; 2.9; 3.1; 3.8; 4.1; 4.3; 4.6; 5.1; 6.1
6.18
Xi |
6 |
|
|
|
|
|
|
|
|
|
|
|
|
g(i) |
4 |
|
|
|
|
|
|
|
|
|
|
|
|
|
2 |
|
|
|
|
|
1.4 |
0 0 |
2 |
4 |
6 |
8 |
10 |
|
||||||
|
0 |
|
Рис. 5.4 |
i |
|
9 |
|
|
|
|
|
|
|
Иллюстрация упорядоченной выборки (пунктир линия |
g(i) = a i + b , |
a = 0.459, b = 1.685) приведена на рис. 5.4.
Вычислим оценку дисперсии и среднеквадратического отклонения различными методами.
Оценка максимального правдоподобия
Смещенная оценка
SX2 = |
1 (xi − x)2 |
= |
|
n |
|
|
n i=1 |
|
или несмещенная оценка
1 |
n |
2 |
|
1 |
n |
2 |
1 |
|
|
2 |
|
||
n |
xi |
− |
|
xi |
= |
|
|
158.51 |
− (3.75) |
|
= 1.7885 |
||
|
10 |
|
|||||||||||
i=1 |
|
n |
i=1 |
|
|
|
|
|
|
(с использованием поправки на смещение)
|
1 |
n |
|
SX2 = |
(xi − x)2 = 1.9872 . |
||
|
|||
|
n −1 i=1 |
Следует отметить, что при малых n смещение оценки может быть значительным.
Оценка по среднему абсолютному отклонению
|
|
|
1 |
n |
2 |
|
|
1 |
|
|
|||||
s |
* |
= |
|
|
xi − x |
|
, где c = |
|
|
||||||
|
|
|
|
||||||||||||
|
|
|
|
|
1 |
− |
|
|
|
= 0.75694. |
|||||
|
n c |
|
|
|
|||||||||||
|
|
|
π |
10 |
|||||||||||
|
|
|
i=1 |
|
|
|
|
36
|
|
|
|
|
n |
|
|
|
1 |
|
|
|
||||
|
|
Имеем |
|
xi − x |
|
= 11 и |
S*2 = |
|
|
11 = 1.4181. |
|
|
||||
|
|
|
|
|
|
|
||||||||||
|
|
|
10 |
0,75694 |
|
|
||||||||||
|
|
|
|
|
i=1 |
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
Оценка по выборочному размаху |
1 |
|
|||||
|
|
Имеем ω = xmax − xmin = 6.1−1.4 = 4.7 |
Для n = 10 получаем |
= 0,3249 |
||||||||||||
|
d |
|||||||||||||||
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
и |
sp = ω |
= 4.7 0.3249 = 1.529 |
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
||||||||||
|
|
|
d |
|
|
|
|
|
|
|
|
|
|
|
|
|
σ = 1,77245 |
|
|
|
|
Линейная оценка Даутона |
|
|
|||||||||
(2i − n −1) xi |
= 0,019694 (−9 1,4 − 7 2,1− 5 2,9 − 3 3,1−1 3,8 + 1 4,1+ |
|||||||||||||||
|
|
|
|
|
n |
|
|
|
|
|
|
|
||||
|
|
10 (10 −1) |
i=1 |
|
|
|
|
|
|
|
+3 4,3 + 5 4,6 + 7 5,1+ 9 6,1) = 1, 49083.
37
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1.Куликов Е.И. Прикладной статистический анализ / Е.И. Куликов. – М. : Горячая линия – Телеком, 2008. – 464 с.
2.Сидняев Н.И. Теория планирования эксперимента и анализ стати-
стических данных / Н.И. Сидняев. − М. : Юрайт, 2014. – 495 с.
3.Тюрин Ю.Н. Статистический анализ данных на компьютере / Ю.Н. Тюрин, А.А. Макаров. − М., 2003. – 543 с.
4.Кобзарь А.И. Прикладная математическая статистика. Для инженеров
инаучных работников / А.И. Кобзарь. – М. : ФИЗМАТЛИТ, 2006. – 816 с.
5.Айвазян С.А. Прикладная статистика. Основы эконометрики /
С.А. Айвазян, В.С. Мхатарян. – М. : Юнити-Дана, 2001. − 656.
6.Айвазян С.А. Прикладная статистика. Исследование зависимостей / С.А. Айвазян, И.С. Енюков, Л.М. Мешалкин. – М. : Финансы и статистика, 1985. – 487 с.
7.Брандт З. Анализ данных. Статистические и вычислительные методы для научных работников и инженеров / З. Брандт. – М. : Мир, АСТ, 2003. – 688 с.
8.Блохин В.Г. Современный эксперимент : подготовка проведение, анализ результатов / В.Г. Блохин. – М. : Радио и связь, 1997. – 350 с.
9.Статистические методы для ЭВМ : пер. с англ. – М. : Наука, 1986. –
464 с.
10.Радченко Т. А. Теория вероятностей и математическая статистика / Т.А. Радченко, Ю.С. Радченко. – Воронеж : Изд-во Воронеж. гос. ун-та, 1998. – 240 с.
38
Учебное издание
Радченко Юрий Стефанович, Зюльков Александр Владимирович, Захаров Александр Викторович
МЕТОДЫ ОБРАБОТКИ И ПЛАНИРОВАНИЯ ЭКСПЕРИМЕНТА
Часть 1
ОЦЕНКА РАСПРЕДЕЛЕНИЙ И ИХ ПАРАМЕТРОВ
Учебно-методическое пособие
Редактор И.Г. Валынкина
Компьютерная верстка О.В. Шкуратько
Электронное издание
Подписано в печать 26.05.2016. Уч.-изд. л. 2,3. Усл. печ. л. 1,7. Заказ 191.
Издательский дом ВГУ. 394000, г. Воронеж, пл. Ленина, 10
39