4 Предельные теоремы

Предельные теоремы позволяют выяснять свойства сумм и средних

арифметических нескольких случайных величин, при неограниченном воз-

растании числа слагаемых. Рассматриваемые теоремы лежат в основе асимп-

тотических методов в теории вероятностей и математической статистике.

Обычно рассматривают два крупных блока предельных теорем: закон

больших чисел и центральную предельную теорему.

Закон больших чисел утверждает, что среднее арифметическое боль-

шого числа независимых случайных величин мало отличается от среднего

арифметического из их математических ожиданий.

Согласно центральной предельной теореме достаточно большая сумма

примерно одинаковых случайных величин ведет себя приближенно как нор-

мально распределенная случайная величина.

4.1 Закон больших чисел

Закон больших чисел базируется на понятии сходимости случайных ве-

личин по вероятности и неравенствах Маркова и Чебышева.

Определение сходимости по вероятности.

Последовательность случайных величин X₁, X₂, . . . , X_n, . . . сходится

по вероятности к случайной величине X , что записывают в виде X_n→^PX

при n → ∞ , если для любого ε > 0 выполняется какое-либо из двух равно-

сильных условий:

lim P (|X_n− X | ≥ ε) = 0,

n→∞

lim P (|X_n− X | < ε) = 1.

n→∞

Часто используется сходимость по вероятности к постоянной случайной ве-

личине C (ω) , так что в данном выше определении случайная величина X

может быть равна некоторой постоянной величине.

Теорема (Неравенство Маркова). Если неотрицательная случай-

ная величина X (ω) имеет математическое ожидание m_x, то для любого

положительного числа ε справедливо неравенство Маркова

m_x

P (X (ω) ≥ ε) ≤

90

ε

.

Доказательство. Рассмотрим индикаторную случайную величину I_A

для события A , задаваемого следующим неравенством {X (ω) ≥ ε} :



I_A(ω) =



1, ω ∈ {X (ω) ≥ ε},

 0, ω ∈ {X (ω) < ε}.

Вычислим математическое ожидание случайной величины I_A:

M (I_A) = 0 · P (X < ε) + 1 · P (X ≥ ε) = P (X ≥ ε).

Учитывая неотрицательность случайной величины X и вид индика-

торной случайной величины I_A, получим следующие неравенства:

X ≥ X · I_A≥ ε · I_A.

Из неравенства X ≥ ε · I_Aи свойств оператора математического ожи-

дания следует справедливость следующих преобразований:

m_x= M (X ) ≥ M (εI_A) = εM (I_A) = ε · P (X ≥ ε).

Отсюда, следует доказываемое неравенство Маркова.

Неравенство Маркова позволяет ограничить сверху вероятность попа-

дания неотрицательной случайной величины X на промежуток [ε, +∞) .

Если рассмотреть противоположное событие

{X ≥ ε} = {X < ε} ,

то его вероятность равна P {X < ε} = 1 − P {X ≥ ε} .

Отсюда следует вторая форма неравенства Маркова

m_x

1 −

ε

≤ P (X < ε) ,

что позволяет ограничить снизу вероятность попадания неотрицательной слу-

чайной величины X на промежуток [0, ε) .

Пример. Коробки с конфетами упаковываются автоматом и их сред-

ний вес (математическое ожидание m_x) равен 0,5. Найти гарантированный

процент выпуска коробок с весом менее 1.

Решение. Положим во втором неравенстве Маркова значение ε рав-

ным 1 . Тогда вероятность P (X < 1) оценивается снизу в виде

m_x

1 −

ε

= 1 − 0, 5/1 = 0, 5.

Таким образом, гарантированный процент выпуска коробок с весом ме-

нее 1 равен 50%.

91

Теорема (Неравенство Чебышева). Если случайная величина X

имеет математическое ожидание m_xи дисперсию D_x= σ_x2 , то для любого

положительного числа ε справедливо неравенство Чебышева

σ2

x

P (|X − m_x| ≥ ε) ≤

ε²

.

Доказательство. Неравенство Чебышева следует из неравенства Мар-

кова. Действительно, случайная величина X имеет по условию теоремы дис-

персию, представимую по определению в виде D_x= σ²x⁼M [(X − m_x)²] .

Отсюда, воспользовавшись неравенством Маркова, получим неравенство

P (|X − m_x| ≥ ε) = P⁽(X − m_x)²≥ ε²≤

которое и требовалось доказать в теореме.

M_[(X − m_x)²]

ε2

=

σ2

x_,

ε2

Неравенство Чебышева в первой форме позволяет ограничить сверху

вероятность события (−∞, ε] ∪ [ε, +∞) для центрированной случайной ве-

личины X − m_x. Если перейти к противоположному событию

{|X − m_x| ≥ ε} = {|X − m_x| < ε} ,

то его вероятность равна P {|X − m_x| < ε} = 1 − P {|X − m_x| ≥ ε} .

Отсюда, следует неравенство Чебышева во второй форме

σ2

x

1 −

ε2

≤ P (|X − m_x| < ε) = P (m_x− ε < X < m_x+ ε) .

Данное неравенство позволяет ограничить снизу вероятность попада-

ния случайной величины X на интервал (m_x− ε, m_x+ ε) .

При решении задач неравенства Маркова и Чебышёва можно использо-

вать для оценки вероятностей событий, связанных со случайными величина-

ми законы распределения которых неизвестны, но известно, что они имеют

математическое ожидание или дисперсию.

Пример. Найти нижнюю границу вероятности попадания случайной

величины X с математическим ожиданием m_xи стандартным отклонением

σ_xна симметричный относительно m_xинтервал длины 6σ_x

(m_x− 3σ_x< X < m_x+ 3σ_x) = {|X − m_x| < 3σ_x} .

Решение. Положим во втором неравенстве Чебышева значение ε рав-

ным 3σ_x. Тогда вероятность попадания на указанный интервал будет не ме-

нее 8/9 = 0, 8889 . Данная оценка является оценкой снизу и найдена для

широкого класса случайных величин X , о которых известно только то, что

92

они имеют математическое ожидание и дисперсию. Если иметь более пол-

ную информацию об исходной случайной величине, то можно получить более

точный результат. В частности, для нормально распределенной случайной

величины вероятность попаданий на тот же интервал вычисляется точно и

равна значению 0, 9973 . Так как вероятность того, что случайная величина

будет гарантировнно находиться в интервале (m_x− 3σ_x; m_x+ 3σ_x) доста-

точно велика, то вероятность выйти из данного интервала очень мала. Этот

расчет является дополнительным аргументом в пользу истинности правила

трёх сигм, утверждающего, что выйти из интервала (m_x− 3σ_x; m_x+ 3σ_x)

только за счет случайных факторов практически невозможно.

Теорема (Чебышева).

Если случайные величины X₁, X₂, . . . , X_n, . . . независимы, одинаково

распределены, имеют одинаковые математические ожидания m и одина-

ковые дисперсии D , то последовательность средних арифметических

n

XЇ_n=¹∑_Xk^,n ∈ N

n

k=1

сходится по вероятности к их общему математическому ожиданию m :

XЇ_n→^Pm при n → ∞.

Доказательство. Пользуясь условиями теоремы и свойствами мате-

матического ожидания, найдем математические ожидания элементов после-

довательности средних арифметических случайных величин в виде

M ( Ї_n) = M

1

n

n

∑

k=1

X_k

!

=

1

n

n

∑

k=1

M (X_k) =

1

n

· nm = m, n ∈ N.

Аналогично вычисляются дисперсии средних арифметических

D( Ї_n) = D

1

n

n

∑

k=1

X_k

!

=

1

n2

n

∑

k=1

D(X_k) =

1

n2

· nD =^D

n

, n ∈ N.

Далее, используя полученные выше результаты, применим неравенство

Чебышева в первой форме к среднему арифметическому XЇ_n:

D_{( Ї}n)

0 ≤ P⁽|XЇ_n− M ( Ї_n)| ≥ ε ≤

⇔ 0 ≤ P⁽|XЇ_n− m| ≥ ε ≤^D·¹.

ε²

ε²

n

Таким образом, вероятность P⁽|XЇ_n− m| ≥ ε слева ограничена нулем,

а справа последовательностью^D· 1

→ ∞

ε²

n , которая при n

93

стремится к нулю.

Следовательно, по теореме о переходе к пределу в неравенствах, централь-

ная часть также стремится к нулю. Отсюда, по определению сходимости по

вероятности следует доказательство теоремы.

Теорема Чебышева сформулирована для случая одинаково распреде-

ленных случайных величин. Есть теоремы, в которых рассматриваются слу-

чайные величины с различными математическими ожиданиями и дисперсия-

ми. В них при разнообразных требованиях к существованию дисперсий и их

ограниченности доказывается сходимость по вероятности средних арифмети-

ческих случайных величин к среднему арифметическому их математических

ожиданий. Во всех указанных теоремах принято говорить, что к таким слу-

чайным величинам применим закон больших чисел.

Теорема Чебышева лежит в основе асимптотических методов в мате-

матической статистике. Действительно, выборочные наблюдения случайной

величины X рассматриваются в математической статистике как одинаково

распределенные и взаимно независимые компоненты n - мерного случайного

вектора. Вычисляя их среднее арифметическое, можно за счет увеличения

объема выборки n сколь угодно точно оценить математическое ожидание.

Пример. Ошибка измерения прибора X имеет математическое ожи-

дание m_x= 3 и стандартное отклонение σ_x= 0, 2 .

Оценить снизу вероятность P⁽|XЇ₄− 3| < 0, 2 того, что абсолютная

ошибка среднего из 4 измерений менее, чем 0, 2 .

Решение. Как показано при доказательстве теоремы Чебышева мате-

матическое ожидание среднего арифметического равно общему математиче-

скому ожиданию m_xотдельных слагаемых, т. е. M⁽XЇ_n= m_x= 3 . Диспер-

сия среднего арифметического выражается через общую для всех слагаемых

дисперсию D_x= σ²x по формуле D( Ї_n) = D_x/n = σ²x^/n= 0, 2²/4 . Положим

во втором неравенстве Чебышева значение ε равным 0, 2 . Тогда вероятность

P⁽|XЇ₄− 3| < 0, 2 оценивается снизу в виде

1 −

D( Ї₄)

ε2

= 1 −

0, 2²

4 · 0, 22

= 0, 75.

Теорема (Бернулли). Относительная частота^kn события A при

n независимых испытаниях по схеме Бернулли сходится по вероятности

к вероятности p = P (A) события A при одном испытании:

k

n

P

→ P (A) при n → ∞.

Доказательство. Теорема Бернулли является следствием теоремы Че-

бышева. Рассмотрим последовательность индикаторных случайных величин

94

I₁, I₂, . . . , I_n, . . . , задающих число появления некоторого события A ⊂ Ω . Так

как реализуется схема Бернулли, то при любом натуральном n и любом со-

бытии A данные индикаторные случайные величины независимы и имеют

распределение Бернулли. Следовательно, они имеют одно и то же множество

значений {0; 1} , одинаковые математические ожидания m = p = P (A) и

одинаковые дисперсии D = p · q, q = 1 − p .

Сумма ∑n_k=1^Ik^,n ∈ N индикаторных случайных величин принима-

ет значения k = 0, 1, . . . , n . Отсюда, среднее арифметическое из значений

индикаторных случайных величин рассчитывается по формуле

n

IЇ =¹∑_Ik⁼k_.

n n

k=1

Математическое ожидание среднего арифметического IЇ =^k

равно p , а дисперсия pq/n .

n в данном случае

Таким образом, все условия теоремы Чебышева выполнены и среднее

арифметическое IЇ из значений индикаторных случайных величин, равное от-

носительной частоте^kn появления события A при проведении n испытаний,

сходится по вероятности к вероятности события A при одном испытании, что

и требовалось доказать.

Теорема Бернулли теоретически обосновывает возможность сколь угод-

но точной оценки вероятности события A по формуле

k

P (A) =

n

в достаточно большой серии из n независимых испытаний.

Отметим, что если произведено конечное число n независимых испы-

таний по схеме Бернулли, то для относительной частоты числа ѕУспеховї^k

второе неравенство Чебышева имеет вид

n

P

(_ k

n

− p < ε ≥ 1 −^pq

nε2

.

Данное неравенство позволяет утверждать, что относительная частота числа

ѕУспеховї^kn при проведении сериии из n независимых испытаний находится

в интервале (p − ε, p + ε) с вероятностью не меньшей 1 −^pq

nε².

Пример. Правильная игральная кость подбрасывается 100 раз. Оце-

нить вероятность того, что относительная частота выпадения шести очков

не выйдет из диапазона (1/6 − 0, 1; 1/6 + 0, 1) .

Решение. В данной задаче число испытаний равно 100, вероятность

ѕУспехаї равна 1/6 , вероятность ѕОтказаї 5/6 , ε = 0, 1 . Подставим ука-

95

занные значения во второе неравенство Чебышева. Тогда вероятность попа-

дания в указанный интервал (1/6 − 0, 1; 1/6 + 0, 1) будет не менее

1 −

(1/6) · (5/6)

100 · 0, 1²

= 1 −

5

36

=

31

36

.