- •Наблюдаемые явления (результат испытаний)
- •Алгебра событий
- •Диаграммы Эйлера-Венна
- •Доказательство теоремы о сложении вероятностей совместных событий
- •Формула полной вероятности
- •Формула вероятности гипотез
- •Формула Бернулли
- •Локальная формула Лапласа
- •Интегральная формула Лапласа
- •Случайные одномерные величины
- •Распределения вероятностей дискретной случайной величины
- •2.Распределение Пуассона
- •Основные формулы комбинаторики, используемые для определения вероятностей алгебры событий
- •Функция (интегральный закон) распределения с.В.
- •Плотность вероятности (дифференциальный закон) распределения непрерывной с.В.
- •Числовые характеристики распределения с.В.
- •Математическое (безусловное) ожидание с.В.
- •Дисперсия (безусловная) с.В.
- •5.Квантили распределения
- •Нормальное (Гауссово) распределение
- •Функция Лапласа
- •Равномерное (равновероятное, прямоугольное)
- •Показательное (экспоненциальное) распределение
- •Распределение χ2
- •Двумерные с.В. («проклятие размерности»)
- •Свойства
- •Условные математические ожидания (регрессии)
- •II. Математическая статистика
- •Построение эмпирической (статистической) функция распределения
- •Статистические оценки параметров распределения
- •Точечные оценки точности оценок (статистик) генеральных числовых характеристик
- •Математического ожидания и дисперсии
- •Доверительные интервалы оценки среднеквадратического отклонения
- •Методы оценки параметров известного распределения
- •1.Метод моментов (Пирсона)
- •2. Метод максимального правдоподобия (Фишера)
- •Парная линейная регрессия
- •Множественная линейная регрессия
- •Коэффициент детерминации регрессий
Методы оценки параметров известного распределения
Пусть - с.в.; - выборка; - известный вид распределения с.в., - неизвестные параметры. Например,
Существуют два основных метода оценки параметров (параметризации):
1.Метод моментов (Пирсона)
Метод исходит из того, что оценки начального и центрального моментов распределения являются состоятельными оценками соответствующих начальных и центральных моментов. Это дает право приравнять соответствующие эмпирические и теоретические моменты, для точечной оценки параметров, например:
При этом надо получить не менее, чем уравнений для определения параметров распределения. Выбор начальных или центральных моментов должен производиться исходя из простоты вычислений эмпирических моментов и простоты аналитического выражения теоретических моментов.
Пример 1.
Пример 2. .
Достоинство метода моментов – простота.
2. Метод максимального правдоподобия (Фишера)
На основе выборки составляется функция правдоподобия:
,
где - есть вероятность того, что первое наблюдение равно , при векторе параметров , а - вероятность того, что второе наблюдение равно , при векторе параметров и т.д.
В качестве точечной оценки вектора параметров принимают такое его значение , при котором функция правдоподобия достигает максимума.
Чаще для удобства вычислений берут вместо функции правдоподобия ее логарифм: - логарифмическая функция правдоподобия.
И функция правдоподобия, и логарифмическая функция правдоподобия достигают максимума при одном и том же значении вектора параметров .
Последовательность действий при реализации метода максимального правдоподобия:
1. ;
2. ;
3. - уравнение правдоподобия; - корень уравнения.
4. .
Достоинства метода максимального правдоподобия:
1.оценки состоятельны;
2.оценки распределены асимптотически нормальны (при закон распределения оценок стремится к нормальному);
3.оценки имеют наименьшую дисперсию по сравнению с другими асимптотически нормальными оценками (эффективность является важнейшим свойством оценок в экономике).
4. Метод наиболее полно использует данные выборки об оцениваемом параметре, поэтому он особенно полезен в случае малых выборок.
Недостатки метода максимального правдоподобия:
1.сложность вычислений;
2.возможна смещенность оценок параметров распределения.
Парная линейная регрессия
- парная регрессия
- генеральная () линейная регрессия на ,
- - неслучайные величины;
- выборочная () линейная регрессия на ,
- - с.в., характеризующиеся распределением и числовыми характеристиками (матожиданием и дисперсией);
- парная линейная регрессия на
Если число объясняющих переменных велико, то говорят о множественной регрессии.
Если условное ожидание объясняемой переменной нелинейно зависит от объясняющих переменных, то говорят о криволинейной регрессии.
- невязка
1. - не может выступить в качестве метрики (компенсация знаков)
2. - метод наименьших квадратов (МНК) (>200 лет)
3. - метод наименьших модулей (МНМ)
- квадратическая функция потерь (зависит от выбора параметров ), неотрицательна, ограничена снизу.
Система нормальных уравнений:
- необходимое условие существования экстремума двух переменных
приводит к системе линейных алгебраических уравнений (СЛАУ)
второго порядка
МНК дает оптимальные (эффективные, состоятельные, несмещенные) оценки (т.е. ) при соблюдении следующих условий (условий Гаусса-Маркова):
1. - невязка является центрированной с.в.;
2. - при выполнении этого условия невязка гомоскедастична, в противном случае – гетероскедастична);
Гетероскедастичность (неравноточность оценок по оси аргумента) является одним из наиболее нежелательных и, силу этого, специальными приемами обеспечиваемых свойств в прикладной статистике и в эконометрике.
3. - некоррелированность невязок;
4. ~
- несмещенность, эффективность оценок