- •2. Суть корреляционного и регрессионного анализа. Основные задачи решаемые методами анализа
- •3. Поле корреляции
- •4. Линейная регрессия и корреляция, смысл и оценка параметров. Сопряженные регрессионные прямые
- •5. Метод наименьших квадратов (мнк). Обобщенный мнк
- •6. Свойства оценок мнк. Проверка качества уравнения регрессии.
- •7. Проверка значимости коэффициента корреляции и коэффициента детерминации
- •8. Оценка существенности параметров линейной регрессии и корреляции.
- •9. Интервалы прогноза по линейному уравнению регрессии. Проверка значимости оценок параметров регрессии
- •10 Влияние неучтенных факторов на коэффициент корреляции
- •11. Распределение коэффициентов регрессии и корреляции
- •12. Множественная регрессия.
- •13. Линейная модель множественной регрессии. Проверка линейности модели
- •14. Спецификация модели. Коэффициент множественной детерминации. Коэффициент частной детерминации. Коэффициент частной детерминации между объясняющими переменными
- •15. Отбор факторов при построении множественной регрессии
- •16. Мультиколлениарность
- •17. Выбор формы уравнения регрессии
- •18. Оценка параметров уравнения множественной регрессии.
- •19. Обобщенный метод наименьших квадратов
- •20. Частные уравнения регрессии
- •21. Множественная корреляция.
- •22. Частная корреляция.
- •23. Оценка надежности результатов множественной регрессии и корреляции.
- •24. Нелинейные модели регрессии. Множественная нелинейная регрессия
- •25. Логарифмические модели
- •26. Полулогарифмические модели
- •33. Метод максимального правдоподобия
- •34. Метод линеаризации
- •35. Коэффициент детерминации. Коэффициент конкордации
- •36. Функция правдоподобия в математической статистике - это совместное распределение выборки из параметрического распределения как функция параметра.
- •37. Метод Бокса-Кокса
- •38. Коэффициент ранговой корреляции Спирмена.
- •39. Коэффициенты эластичности
- •40. Фиктивные переменные
- •41. Проверка значимости для коэффициента корреляции
- •42. Проверка значимости для коэффициента детерминации.
- •43. Проверка линейной регрессии
- •44. Коэффициент детерминации при простой линейной регрессии.
- •45. Коэффициент множественной детерминации
- •46. Коэффициент частной детерминации
- •47. Коэффициент детерминации между объясняющими переменными
- •48. Стандартные ошибки оценок
5. Метод наименьших квадратов (мнк). Обобщенный мнк
Метод наименьших квадратов — один из методов регрессионного анализадля оценки неизвестных величин по результатам измерений, содержащим случайные ошибки.
Метод наименьших квадратов применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений.
Задача метода наименьших квадратов состоит в выборе вектора , минимизирующего ошибку . Эта ошибка есть расстояние от вектора до вектора .
Аппроксимация данных и регрессионный анализ
Пусть имеется n значений некоторой переменной y (это могут быть результаты наблюдений, экспериментов и т. д.) и соответствующих переменных x. Задача заключается в том, чтобы взаимосвязь между y и x аппроксимировать некоторой функцией f(x,b), известной с точностью до некоторых неизвестных параметров b, то есть фактически найти наилучшие значения параметров b, максимально приближающие значения к фактическим значениям y. Фактически это сводится к случаю «решения» переопределенной системы уравнений относительно b:
В регрессионном анализе и в частности в эконометрике используются вероятностные модели зависимости между переменными
где et — так называемые случайные ошибки модели.
Соответственно, отклонения наблюдаемых значений y от модельных f(x,b) предполагается уже в самой модели. Сущность МНК (обычного, классического) заключается в том, чтобы найти такие параметры b, при которых сумма квадратов отклонений (ошибок, для регрессионных моделей их часто называют остатками регрессии) et будет минимальной:
где RRS— англ. Residual Sum of Squares[3] определяется как:
В общем случае решение этой задачи может осуществляться численными методами оптимизации (минимизации). В этом случае говорят о нелинейном МНК (NLS или NLLS — англ. Non-Linear Least Squares). Во многих случаях можно получить аналитическое решение. Для решения задачи минимизации необходимо найти стационарные точки функции RRS(b), продифференцировав её по неизвестным параметрам b, приравняв производные к нулю и решив полученную систему уравнений:
Сущность обобщённого МНК
Известно, что симметрическую положительно определенную матрицу можно разложить как , где P- некоторая невырожденная квадратная матрица. Тогда обобщённая сумма квадратов может быть представлена как сумма квадратов преобразованных (с помощью P) остатков . Для линейной регрессии это означает, что минимизируется величина:
где , то есть фактически суть обобщённого МНК сводится к линейному преобразованию данных и применению к этим данным обычного МНК. Если в качестве весовой матрицы W используется обратная ковариационная матрица V случайных ошибок e (то есть ), преобразование P приводит к тому, что преобразованная модель удовлетворяет классическим предположениям (Гаусса-Маркова), следовательно оценки параметров с помощью обычного МНК будут наиболее эффективными в классе линейных несмещенных оценок. А поскольку параметры исходной и преобразованной модели одинаковы, то отсюда следует утверждение — оценки ОМНК являются наиболее эффективными в классе линейных несмещенных оценок (теорема Айткена). Формула обобщённого МНК имеет вид:
Ковариационная матрица этих оценок равна: