15. Параметрическое оценивание распределений случайной величины. Метод моментов. Метод наибольшего правдоподобия и его численная реализация. Способы проверки качества параметрического оценивания.

Параметрическое оценивание распределений случайной величины. В статистике одной из распространенных задач является оценка параметров распределения вероятности, которое наилучшим образом соответствует заданному набору данных. Этот процесс известен как параметрическое оценивание. Существует несколько методов оценки параметров распределения, включая метод моментов и метод максимального правдоподобия.

Метод моментов. Метод моментов – это простой и интуитивно понятный подход к оценке параметров распределения. Он основан на сопоставлении теоретических моментов распределения с соответствующими моментами выборки. Моменты распределения – это математические величины, которые описывают его форму и характеристики.

Чтобы применить метод моментов, мы приравниваем теоретические моменты , где – функция плотности распределения вероятности случайно величины , к соответствующим моментам выборки . Решая систему полученных уравнений, мы можем оценить значения параметров генеральной совокупности.

Например, допустим, что у нас есть случайная величина , которая следует нормальному распределению с неизвестным средним , дисперсией и . Мы можем оценить эти параметры методом моментов, приравняв первые два выборочных момента (выборочное среднее и выборочную дисперсию) к их теоретическим аналогам:

Выборочное среднее ( ) = Теоретическое среднее ( )

Выборочная дисперсия ( ) = Теоретическая дисперсия ( )

Метод наибольшего правдоподобия и его численная реализация. Метод максимального правдоподобия – еще один широко используемый подход к оценке параметров. Он предполагает нахождение значений параметров, которые максимизируют функцию правдоподобия, измеряющую вероятность наблюдения данных при определенном наборе значений параметров.

Чтобы применить метод максимального правдоподобия, мы сначала определяем функцию правдоподобия на основе предполагаемого распределения и его параметров. Затем мы находим значения параметров, которые максимизируют эту функцию, используя такие методы оптимизации, как градиентный спуск или метод Ньютона.

Например, если мы предполагаем, что наши данные соответствуют нормальному распределению, мы можем определить функцию правдоподобия как произведение вероятностей наблюдения каждой точки данных с учетом среднего ( ) и дисперсии ( ):

Затем мы находим значения и , которые максимизируют эту функцию правдоподобия.

Аналитически вычислить оценки максимального правдоподобия не всегда возможно, особенно для сложных распределений или больших наборов данных. В таких случаях для аппроксимации оценок максимального правдоподобия используются численные методы.

Одной из распространенных численных реализаций является итерационный алгоритм, называемый алгоритмом Expectation-Maximization.

Алгоритм EM чередует шаги оценки значения функции правдоподобия для каждого наблюдения (E-step) и обновления параметров распределения таким образом, чтобы получившееся распределение лучше советовало наблюдаемым данным, которые наиболее вероятно ему соответствуют (M-step) до тех пор, пока не сойдется.

Шаг 1. Проинициализировать начальные параметры распределений случайным образом или исходя из своих представлений о данных.

Шаг 2 (E-step). Рассчитать значение функции плотности вероятности для каждой точки в наборе данных, основываясь на текущих параметрах смешанного распределения, т.е. в нашем случае и .

Затем, руководствуясь формулой Байеса, рассчитаем вероятность того, что наблюдаемое значение принадлежит к одному из двух возможных распределений:

Определим и подставим значения вероятностей для распределения 1:

Тогда «вероятность» наблюдения события при заданных параметрах распределения 1 вычисляется как значение функции плотности вероятности в этой точке:

Хотя, строго говоря, это не вероятность, но пропорциональная ей величина, которую иногда называют мерой правдоподобия, т.к. вероятность получения конкретного числа в непрерывном распределении всегда равна 0.

Априорная вероятность распределения 1 задается на первом шаге вместе с параметрами самого распределения и определена как:

Обычно, априорные вероятности исследуемых распределений выбирают приблизительно равнозначными, например, по 0.5.

Вероятность того, что наблюдение принадлежит хотя бы одному из двух рассматриваемых распределений задается как:

В общем случае лежит в диапазоне , т.к. мы заранее не знаем из какого набора независимых распределений состоит смешанное распределение и моделируем его лишь приблизительно. Т.е. отражает вероятность того, что наблюдение в принципе порождено одним из рассматриваемых вариантов распределений, а не является скрытой частью генеральной совокупности.

Проделав аналогичные вычисления для каждой точки со вторым распределением, перейдем к шагу 3.

Шаг 3 (M-step). Чтобы обновить параметры распределений воспользуемся значениями рассчитанной вероятностью в качестве весов для каждого наблюдения и посчитаем взвешенное среднее как:

И аналогично взвешенную дисперсию как:

где – значение функции правдоподобия в точке.

Априорные вероятности тоже меняются, их можно пересчитать как среднее всех для выбранного распределения.

Шаг 4. Шаги 2-3 повторяются до тех пор, пока моделирование не сойдется, т.е. до тех пор, пока параметры модели не перестанут меняться или не будет достигнуто заданное количество эпох.

Способы проверки качества параметрического оценивания. После того как мы оценили параметры с помощью метода моментов или максимального правдоподобия, важно оценить качество наших оценок. Существуют различные способы проверки правильности параметрической оценки, включая проверку гипотез и графические методы. Тесты гипотез, такие как тест χ-квадрат Пирсона или тест Колмогорова-Смирнова, сравнивают наблюдаемые данные с ожидаемыми значениями на основе оцененных параметров. Эти тесты дают представление о том, насколько хорошо оценочное распределение соответствует данным. Графические методы включают визуализацию оценочного распределения рядом с наблюдаемыми данными с помощью гистограмм, графиков плотности или Q-Q графиков.

Если расчетное распределение близко совпадает с распределением данных, это говорит о хорошем соответствии.