13. Свойства оценок параметров, полученных методом наименьших квадратов. Условия Гаусса – Маркова.

Условия Гаусса – Маркова:

1-е условие Гаусса—Маркова: M(e_i) = 0 для всех наблюдений

Первое условие состоит в том, что математическое ожидание случайного члена в любом наблюдении должно быть равно нулю. Иногда случайный член будет положительным, иногда отрицательным, но он не должен иметь систематичес­кого смещения ни в одном из двух возможных направлений.

2-е условие Гаусса—Маркова: M(e_i²) постоянна для всех наблюдений

Второе условие состоит в том, что дисперсия случайного члена должна быть постоянна для всех наблюдений. Иногда случайный член будет больше, иногда меньше, однако не должно быть априорной причины для того, чтобы он по­рождал большую ошибку в одних наблюдениях, чем в других.Эта постоянная дисперсия обычно обозначается σ², а условие записывается следующим образом: M(e_i²)=σ²

Величина σ² конечно, неизвестна. Одна из задач регрессионного анализа состоит в оценке стандартного отклонения случайного члена. Если рассматриваемое условие не выполняется, то коэффициенты регрес­сии, найденные по обычному методу наименьших квадратов, будут неэффек­тивны, и можно получить более надежные результаты путем применения мо­дифицированного метода регрессии.

3-е условие Гаусса—Маркова: Cov (e_i,e_j) = 0 (i≠j)

Это условие предполагает отсутствие систематической связи между значени­ями случайного члена в любых двух наблюдениях. Например, если случайный член велик и положителен в одном наблюдении, это не должно обусловливать систематическую тенденцию к тому, что он будет большим и положительным в следующем наблюдении (или большим и отрицательным, или малым и поло­жительным, или малым и отрицательным). Случайные члены должны быть аб­солютно независимы друг от друга. В силу того, что Е (e_i) = Е(e_j) = 0, данное условие можно записать следую­щим образом: M(e_ie_j) = 0 (i≠j).Если это условие не будет выполнено, то регрессия, оцененная по обыч­ному методу наименьших квадратов, вновь даст неэффективные результаты.

4-е условие Гаусса—Маркова: случайный член должен быть распределен независимо от объясняющих переменных

Если это условие выполнено, то теоретическая ковариация между независи­мой переменной и случайным членом равна нулю. Так как Е(e) = 0, то Cov(x_i,e_i) = M{(х_i – )(e_i)} = M(x_ie_i)- M(e_t) = M(x_iu_i). Следовательно, данное условие можно записать также в виде: M(x_ie_i) = 0

Подробнее:

1. регрессия модель линейна по параметрам (коэффициентам), корректно специфицирована, и содержит аддитивный случайный член.

2. случайный член имеет нулевое среднее.

3. все объясняющие переменные не коррелированны мо случайным членом.

4. наблюдаемые значения случайного члена не коррелированные друг с другом.

5. Случайный член имеет постоянную дисперсию

6. Ни одна из объясняющих переменных не является строгой линейной функцией других объясняющих переменных.

7. Случайный член распределен нормально (необязательное, но часто используемое условие)

13. Коэффициент детерминации и его свойства.

Для оценки качества подбора линейной функции рассчитывается квадрат линейного коэффициента корреляции , 0=< =<0. называемый коэффициентом детерминации. Если в выборке отсутствует видимая связь между у и х, то коэффициент R² будет близок к нулю, а желательно, чтобы коэффициент R² был как можно больше. В частности, мы заинтересованы в таком выборе коэффициен­тов а и Ь, чтобы максимизировать R². Расчёт коэ-та детерминации связан с основным тождеством дисперсионного анализа

= ( +

-это сумма квадратов отклонений фактич.значений переменной у от её сред.значения(общая дисперсия)

( - это сумма квадратов отклонений теоретич. Значений переменной у от её сред значения (факторная дисперсия)

-это сумма квадратов остатков (е -остаточная дисперсия), которая хар-ет влияние неучтенных факторов.

= ( ДЕЛИМ НА

Соответственно величина 1 – R характеризует долю дисперсии y, вызванную влиянием остальных не учтенных в модели факторов.

Например = 0,982. Таким образом, уравнением регрессии объясняется 98,2% дисперсии результативного признака, а на долю прочих факторов приходится лишь 1,8% ее дисперсии (т.е. остаточная дисперсия). Максимальное значение коэффициента R² равно единице. Это происходит в том случае, когда линия регрессии точно соответствует всем наблюдениям, так что , для всех i и все остатки равны нулю.