харламов тер-вер
.pdfЛЕКЦИИ ПО ТЕОРИИ ВЕРОЯТНОСТЕЙ
ХАРЛАМОВ А. В.
Аннотация. Лекции по теории вероятностей, прочитанные на факультете КНиИТ СГУ для специальностей ¾Прикладная математика и информатика¿ и ¾Компьютерная безопасность¿ зимой и весной 2010 года. Набраны и св¼рстаны в системе LATEX.
I
II
|
Содержание |
|
Предмет теории вероятностей |
1 |
|
1. |
Статистическое обоснование вероятности |
1 |
2. |
Случайные события |
1 |
3. |
Классическое определение вероятности событий |
2 |
Алгоритм решения задач |
2 |
|
4. |
Элементы комбинаторики |
2 |
5. |
Дискретное вероятностное пространство |
3 |
6. |
Геометрическое определение вероятности |
4 |
7. |
Аксиоматическое определение вероятности |
4 |
8. |
Условная вероятность |
7 |
9. |
Независимость случайных событий |
7 |
10. |
Формула полной вероятности |
8 |
11. |
Схема Бернулли |
8 |
Наивероятнейшее число успехов в схеме Бернулли |
9 |
|
Приближ¼нные вычисления в схеме Бернулли |
9 |
|
12. |
Случайные величины |
11 |
13. |
Дискретные случайные величины |
12 |
Примеры дискретных распределений |
12 |
|
14. |
Функция распределения случайной величины |
13 |
15. |
Абсолютно непрерывные случайные величины |
15 |
Равномерное распределение |
15 |
|
Показательное распределение |
16 |
|
Нормальное распределение Гаусса |
16 |
|
16. |
Многомерные случайные величины |
16 |
17. |
Независимость случайных величин |
19 |
18. |
Функции от случайных величин |
20 |
Распределение функции от случайной величины |
20 |
|
19. |
Условное распределение |
22 |
20. |
Числовые характеристики случайных величин |
23 |
Математическое ожидание |
23 |
|
Ковариация |
27 |
|
Дисперсия |
27 |
|
Коэффициент корреляции |
31 |
|
21. |
Сходимость случайных величин |
33 |
22. |
Закон больших чисел |
34 |
Усиленный закон больших чисел |
36 |
|
23. |
Характеристические функции |
36 |
Примеры вычисления характеристических функций |
38 |
|
Характеристическая функция случайного вектора |
40 |
|
24. |
Центральная предельная проблема |
40 |
ЛЕКЦИИ ПО ТЕОРИИ ВЕРОЯТНОСТЕЙ |
1 |
Предмет теории вероятностей
События делятся на закономерные (происходящие всегда) и слу- чайные (происходящие не всегда). Предметом теории вероятностей являются массовые случайные события. Под массовыми понимаются события, которые либо происходят в массовом порядке, либо эксперимент с этим событием можно проводить бесконечное число раз.
1. Статистическое обоснование вероятности
Проводятся серии испытаний с случайными свойствами. В каждом испытании может появиться или не появиться случайное событие. Для каждой серии фиксируется относительная частота появления данного случайного события. Для i-й серии относительная
частота |
i |
|
|
i = |
: |
||
|
|||
|
ni |
При достаточно большом числе экспериментов в серии и достаточно большом числе серий относительные частоты колеблются около некоторого числа p, называемого вероятностью (мерой ре-
ализации случайного события).
2. Случайные события
Предполагается, что выполняется некоторый комплекс условий и все утверждения формулируются относительно этих условий.
Определение. Событие называется достоверным, если оно всегда происходит. Событие ? называется невозможным, если оно никогда не происходит. Событие A называется случайным, если оно происходит или не происходит.
Определение. Говорят, что случайное событие A влеч¼т случайное событие B (пишут A B), если при наступлении события A с необходимостью наступает событие B.
Определение. Суммой событий A и B называется событие A+B, состоящее в наступлении хотя бы одного из событий A или B.
Определение. Произведением событий A и B называется событие AB, состоящее в одновременном наступлении событий A и B.
Определение. Разностью событий A и B называется событие A B, состоящее в наступлении события A и ненаступлении события B.
Определение. Противоположным событию A называется собы-
тие A, состоящее в ненаступлении события A.
Определение. События A и B называются несовместными, если их произведение AB = ?.
2 ХАРЛАМОВ А. В.
Определение. Говорят, что события A1; : : : ; An образуют полную
n
группу, если P Ai = . Если при этом события A1; : : : ; An попарно
i=1
несовместны, то говорят, что они образуют полную группу несовместных событий.
Операции суммы и произведения случайных событий коммутативны, ассоциативны и дистрибутивны. Кроме того, для них выполняются следующие свойства:
AA = A; A+A = A; A+A = ; AA = ?; A = A; A+? = A:
3. Классическое определение вероятности событий
Рассмотрим случайный эксперимент с неоднозначным исходом. Множество всех элементарных (наиболее мелких) исходов эксперимента = f!g. Исходы считаются равновозможными, если нет
разумных оснований предпочесть какой-либо.
Определение. Под случайным событием будем понимать любое подмножество множества исходов . Множество случайных собы-
òèé S = P( ).
Определение. Будем говорить, что элементарный исход благоприятствует случайному событию, если он влеч¼т его.
Определение. Вероятность случайного события A 2 S опреде-
ляется классическим образом как
P(A) = mn ;
где n число всех элементарных исходов, а m число элементарных исходов, благоприятствующих событию A.
Алгоритм решения задач.
1.Определяется элементарный исход.
2.Строится множество элементарных исходов.
3.Определяются случайные события и благоприятствующие исходы.
4.Вычисляются m и n.
5.Вычисляется искомая вероятность.
4. Элементы комбинаторики
Пусть имеется множество
A = fa1; : : : ; ang:
Упорядочивание элементов множества A друг относительно друга называется перестановкой. Число перестановок без повторений
P (n) = n!;
ЛЕКЦИИ ПО ТЕОРИИ ВЕРОЯТНОСТЕЙ |
3 |
число перестановок с повторениями
P (k1; : : : ; kn) = (k1 + : : : + kn)!:
Упорядоченный набор по k элементов множества A называется размещением. Число размещений без повторений
Ank = |
n! |
|
|
; |
|
|
||
|
(n k)! |
число размещений с повторениями
Akn = nk:
Неупорядоченный набор по k элементов множества A называется сочетанием. Число сочетаний без повторений
|
|
Cnk = |
|
n! |
|
|
|
|
|
|
; |
|
|
|
|
|
||||
|
|
|
k!(n k)! |
|
||
число сочетаний с повторениями |
|
|
|
|||
|
|
nk = Cnk+k 1 = |
(k + n 1)! |
|
||
|
C |
: |
||||
|
k!(n 1)! |
|||||
|
|
|
|
|
5. Дискретное вероятностное пространство
Пусть случайный эксперимент имеет не более чем сч¼тное множество элементарных исходов
= f!1; : : : ; !ng;
ïðè÷¼ì !i!j = ?, åñëè i 6= j, è
n
X
f!ig = :
i=1
Если каждому элементарному исходу !i поставить в соответствие число pi = p(!i), то оно будет называться вероятностью этого элементарного исхода. В классическом случае pi = 1=n äëÿ i = 1; : : : ; n.
В качестве множества случайных событий будем рассматривать множество S = P( ). Тогда вероятность случайного события A
определяется как
X
P(A) = pi:
!i2A
Тройка ( ; S; P) называется вероятностным пространством.
4 |
ХАРЛАМОВ А. В. |
6. Геометрическое определение вероятности
Рассмотрим случайный эксперимент с бесконечным числом равновозможных исходов, в котором каждый элементарный исход можно изобразить точкой в пространстве, прич¼м множество всех
элементарных исходов будет ограниченным и измеримым. В каче- стве множества случайных событий возьм¼м S множество изме-
римых подмножеств множества . Тогда вероятность случайного события A 2 S определяется как
P(A) = (A);( )
где мера множества.
7. Аксиоматическое определение вероятности
Пусть = f!g множество элементарных исходов случайного эксперимента.
Определение. Множеством случайных событий A называется класс подмножеств множества такой, что:
1. 2 A;
2. åñëè A 2 A, òî A 2 A;
3. åñëè äëÿ âñåõ i 2 N Ai 2 A, òî
1 |
1 |
[ |
\ |
Ai 2 A; |
Ai 2 A: |
i=1 |
i=1 |
Таким образом, A является -алгеброй, образуемой множеством .
Определение. Пусть на множестве элементарных исходов задана -алгебра случайных событий A. Тогда для любого случайного события A 2 A вероятность определяется как нормирован-
ная сч¼тно-аддитивная мера множества, имеющая следующие свойства:
1.P(A) > 0;
2.P( ) = 1;
1 1
PP
3. P |
Ai = P(Ai). |
i=1 |
i=1 |
Классическое и геометрическое определения вероятности удовлетворяют аксиоматическому. Задание вероятностной меры на множестве случайных событий неоднозначно.
Определение. Тройка ( ; A; P) называется вероятностным пространством.
Свойства вероятности: 1. P(?) = 0.
ЛЕКЦИИ ПО ТЕОРИИ ВЕРОЯТНОСТЕЙ |
5 |
Доказательство. Невозможное событие представимо в виде
X
? = ?;
P
откуда P(?) = P(?), что возможно только при P(?) = 0.
2. Åñëè A1; : : : ; An 2 A, ïðè÷¼ì AiAj = ? äëÿ âñåõ i 6= j, òî
!
n n
XX
P |
Ai = P(Ai): |
i=1 |
i=1 |
Доказательство. Дополним последовательность A1; : : : ; An äî ñ÷¼òíîé: A1; : : : ; An; ?; : : : . По определению
1 ! 1
XX
P |
Ai = P(Ai); |
i=1 |
i=1 |
откуда
!
n n
XX
P |
Ai = P(Ai): |
i=1 |
i=1 |
3.P(A) = 1 P(A).
Доказательство.
P( ) = P(A + A) = P(A) + P(A) = 1;
откуда следует требуемое свойство. |
|
4.Åñëè A B, òî P(A) 6 P(B).
Доказательство.
P(B) = P(B ) = P B(A + A) = P(BA + BA) = = P(A + BA) = P(A) + P(BA) > P(A):
5.Для любого события A 0 6 P(A) 6 1.
Доказательство. Действительно, ? 6 A 6 , откуда
0 = P(?) 6 P(A) 6 P( ) = 1:
6. Для произвольных событий A и B
P(A + B) = P(A) + P(B) P(AB):
6 |
ХАРЛАМОВ А. В. |
Доказательство. Так как события A и B AB несовместны, то
P(A + B) = P A + (B AB) = P(A) + P(B AB):
Аналогично, так как AB и B AB несовместны, то
P(B) = P(AB) + P(B AB);
откуда
P(A + B) P(B) = P(A) P(AB):
|
|
|
|
|
|
|
|
В общем случае |
|
P(AiAj) + : : : + ( 1)n 1 P(A1 : : : An): |
|
P |
i=1 |
Ai |
! = i=1 P(Ai) i<j |
||
|
n |
|
n |
X |
|
|
X |
|
X |
|
7.Аксиома непрерывности вероятностной меры: если есть последовательность вложенных случайных событий
B1 : : : Bn : : :
è
|
|
1 |
|
|
|
i\ |
|
|
|
Bi = ?; |
|
|
|
=1 |
|
òî |
|
n!1 |
n |
n!1 |
n |
||
lim P(B |
) = P lim B |
= 0: |
Доказательство.
11
X\
Bn = BkBk+1 + Bk;
|
k=n |
|
k=n |
|
k! |
|||
n!1 |
n n!1 |
k k+1 |
1 |
|||||
|
|
|
|
1 |
|
|
|
|
|
|
|
Xk |
|
|
\ |
= |
|
lim P(B ) = lim P |
B B |
+ B |
||||||
= n!1 |
k k+1! |
=n |
|
|
k=n |
|
||
n!1 |
k! |
|||||||
|
1 |
|
|
|
|
|
1 |
|
lim P |
X |
|
|
+ lim P |
k\ |
= 0: |
||
B B |
|
B |
||||||
|
k=n |
|
|
|
|
=n |
|
Вместо ? можно написать произвольное событие B, тогда предел будет P(B). Это свойство можно использовать вместо аксиомы (3) в определении вероятности.
ЛЕКЦИИ ПО ТЕОРИИ ВЕРОЯТНОСТЕЙ |
7 |
8. Условная вероятность
Определение. Вероятность события A при условии, что произошло событие B, определяется как
def P(AB)
P(AjB) = P(B) :
Если P(B) = 0, то полагаем, что P(AjB) = 0.
Условную вероятность можно рассматривать как вероятностную меру на уменьшенном пространстве элементарных исходов, удовлетворяющую всем аксиомам вероятностной меры. Действительно, P(BjB) = 1, а P(AjB) > 0 для всех A. Кроме того, если собы-
òèÿ A1; : : : ; An; : : : попарно несовместны, то
|
|
|
P |
1 |
|
B |
|
1 |
|
1 |
|
|
|
1 |
|
|
i=1 Ai |
|
P |
i=1(AiB) |
|
i=1 P(AiB) |
1 |
|
|||
P |
Ai |
B = |
|
P |
|
|
= |
|
P |
= |
P |
= P(Ai |
B): |
|
P(B) |
|
|
|
P(B) |
P(B) |
|||||||
i=1 |
|
! |
|
|
|
|
|
|
j |
|
|||
|
|
|
|
|
|
|
|
|
|
|
i=1 |
|
|
X |
|
|
|
|
|
|
|
|
|
|
|
X |
|
Теорема умножения.
P(A1 : : : An) = P(A1) P(A2jA1) : : : P(AnjA1 : : : An 1):
9. Независимость случайных событий
Определение. Говорят, что событие A не зависит от события B, если наступление события B не меняет вероятности наступления события A, т. е.
P(AjB) = P(A):
Отношение независимости симметрично: если событие A не зависит от события B, то P(BA) = P(B) P(AjB) = P(B) P(A). С другой стороны, P(BA) = P(AB) = P(A) P(BjA), откуда P(BjA) = P(B), т. е. событие B не зависит от события A.
Определение. События A и B называются независимыми, если
P(AB) = P(A) P(B):
Определение. События A1; : : : ; An называются попарно независимыми, если для всех i 6= j
P(AiAj) = P(Ai) P(Aj):
События A и B называются независимыми в совокупности, если для всех k = 2; : : : ; n
P(Ai1 ; : : : ; Aik ) = P(Ai1 ) : : : P(Aik ):
Из независимости в совокупности следует попарная независимость.
Если события A и B независимы, то также независимы события
A è B, A è B, A è B.
8 |
ХАРЛАМОВ А. В. |
Несовместные события зависимы, так как наступление одного из них исключает наступление другого.
10. Формула полной вероятности
Теорема. Если случайный эксперимент осуществляется в условиях неопредел¼нности, то вероятность случайного события A
вычисляется по формуле полной вероятности
n
X
P(A) = P(Hi) P(AjHi);
i=1
где гипотезы fHigni=1, описывающие неопредел¼нность, образуют полную группу попарно несовместных событий.
Доказательство.
n |
! |
n |
! |
X |
|
X |
|
P(A) = P(A ) = P A Hi |
= P |
AHi |
= |
i=1 |
|
i=1 |
|
nn
XX
=P(HiA) = P(Hi) P(AjHi):
i=1 |
i=1 |
Формула Бейеса
P(HkjA) = nP(Hk) P(AjHk)
P
P(Hi) P(AjHi)
i=1
используется для пересч¼та вероятностей гипотез.
11. Схема Бернулли
Рассмотрим последовательность испытаний, каждое из которых может произойти или не произойти, и некоторое случайное событие A. Наступление события назов¼м успехом, ненаступление неуспе-
хом. Все испытания происходят в одинаковых условиях и организованы таким образом, что исход каждого последующего испытания не зависит от исхода предыдущего. Подобная организация называется схемой Бернулли.
Теорема (формула Бернулли). Пусть вероятность успеха P(A) = p,
вероятность неуспеха P(A) = q, p + q = 1. Вероятность того, что при n испытаниях k раз наступит успех, равна
Pn(k) = Cnk pkqn k (k = 0; : : : ; n):