16 Критерий Байеса.

Байесовский информационный критерий (Bayesian information criterion, BIC, иногда - Schwarz Criterion) - критерий выбора модели из класса параметризованных моделей, зависящих от разного числа параметров. Для оценивания модели обычно используется метод нахождения максимума функции правдоподобия, значение которого можно увеличить добавлением дополнительных параметров. Однако, это может вызвать переобучение. Байесовский критерий устраняет проблему переобучения, штрафуя увеличение числа параметров модели. Тесно связан с критерием Акаике, но в случае байесовского критерия увеличение параметров штрафуется строже.

Описание критерия

Байесовский критерий получается при допущении того, что распределение выборки принадлежит к семейству экспоненциальных распределений. Пусть:

•  - наблюдаемая часть выборки, где каждый объект характеризуется набором параметров  .

•  - максимальное значение функции правдоподобия наблюдаемой выборки с известным числом параметров.

Тогда байесовский информационный критерий определяется формулой:

Таким образом байесовский критерий является аналогом критерия Акаике с более строгой функцией штрафа (функция штрафа зависит также от размерности модели). В случае линейной регрессионной модели критерий выражается через SSE (Sum of Squared Errors) - сумму квадратов остатков: В данном случае логарифмируется смещенная оценка дисперсии регрессионных остатков.

Особенности примения

• Из двух моделей предпочтительно выбрать с меньшим значением байесовского критерия.

• Байесовский критерий представляет собой возрастающую функцию от числа параметров модели и от остаточной суммы квадратов ошибок модели.

• Изменение зависимых переменных и увеличение числа наблюдаемых увеличивает байесовский критерий,в то же время уменьшение критерия означает уменьшение размерности модели.

• Используется при длинных выборках данных.

Области применения

Широко применяется для анализа временных рядов и решения задач линейной регрессии. В большинстве случаев применение байесовского критерия сводится к максимизации функции правдоподобия, поскольку, как правило, в этих исследованиях число параметров моделей совпадает с числом рассматриваемых моделей. К таким исследованиям можно отнести, например, задачи астрофизики: поиск модели абсолютно черного тела и нахождение модели спектра излучения.

17 Частные случаи критерия Байеса.

Критерий Лапласа.

Это частный случай критерия  Байеса. Если по каким-то причинам оценка вероятности состояний природы невозможна, то Лаплас предлагает считать эти вероятности равновероятными. Получается такой критерий:

 , тогда:

, 

Решение =a₂

                 Критерий Неймана-Пирсона.

Этот Критерий применяется в частном случае, когда:

1)всего 2 состояния природы.

2)вероятности этих состояний можно оценить только в порядковой шкале. Т.о. один критерий считается более значимым чем другой. Полезность по этому критерию не должна быть меньше некоторой пороговой величины и уже в этих условиях  оптимизируем по второму состоянию. Пусть b₂предпочтительнее и выбираем порог  - параметр критерия.  Удовлетворяют альтернативы по второму критерию: a₂ и a_3. По b₁ – 0.9, 0.1 – решение a₂ по 1-ому состоянию.

Замечание: Важность состояний природы можно установить с помощью методов математической статистики.