11)Метод наименьших квадратов для нахождения параметров множественной линейной регрессии.

Итак, пусть задана выборка из n значений объясняемой переменной, рассматривается влияние k факторов, т.е. задана (k+1)-мерная СВ

Для нахождения параметров МЛР составим систему n линейных уравнений с k+1 неизвестными: (уравнений столько же, сколько наблюдений, неизвестных – на 1 больше, чем факторов.)

y1=a + b1*x11 + b2*x21 +…+bk*xk1 e1 = y1- (a + b1*x11 + b2*x21 +…+bk*xk1)

y2=a + b1*x12 + b2*x22 +…+bk*xk2 e2 = y2- (a + b1*x12 + b2*x22 +…+bk*xk2)

……………………………

yn=a + b1*x1n + b2*x2n +…+bk*xkn en = yn-(a + b1*x1n + b2*x2n +…+bk*xkn)

Очевидно, что если количество уравнений меньше, чем число неизвестных, (n< k+1), т.е.если факторов столько же или больше, чем наблюдений, то система имеет бесконечно много решений. Если есть 3 наблюдения, то никак нельзя рассматривать 3 или больше факторов – система будет иметь бесконечно много решений, которые абсолютно бессмысленны.. Если рассмотреть в этом случае 2 фактора, то получим систему 3 уравнений с 3 неизвестными, которую вообще говоря можно решить точно, т.е. в этом случае ei i=1,2,3 будут равны 0, ESS=0, следовательно будет получена точная подгонка, т.е. модель опишет полную вариацию объясняемой переменной. Однако смысла в такой регрессии нет, так как это полный аналог построения ПЛР по двум наблюдениям. Если добавить еще одно наблюдение, то получим систему 4 уравнений с тремя неизвестными. Такая система может быть решена точно, только если все 4 точки лежат на одной плоскости, что маловероятно. Такую систему, как и в случае ПЛР следует решать МНК (ESS>0). (Но если добавить 4-ый фактор, то снова можно получить ESS=0!) Числом степеней свободы в МЛР называется величина

ν=n-m-1. Если число степеней свободы мало, то статистическая надежность регрессии будет низкой. Важное замечание - считается, что число наблюдений должно быть как минимум в три раза больше, чем число оцениваемых параметров (в некоторых источниках – даже в 5 раз!). Это означает, что если требуется построить модель с тремя факторами, то число наблюдений должно быть порядка 20.

Как и в случае ПЛР для решения системы n линейных уравнений с (k+1) неизвестным используем метод наименьших квадратов, т.е. будем искать минимум функции

Аналогично случаю ПЛР строится система нормальных уравнений, решение которой позволяет определить параметры регрессии.

12)Проверка значимости коэффициентов множественной линейной регрессии

Построение эмпирического уравнения регрессии — начальный этап эконометрического анализа. Первое же построенное по выборке уравнение регрессии очень редко является удовлетворительным по тем или иным характеристикам. Поэтому следующей важнейшей задачей эконометрики анализа будет проверка качества уравнения регрессии. Проверка качества уравнения регрессии проводится по следующим параметрам:

проверка статистической значимости коэффициентов регрессионного уравнения;

проверка качества уравнения регрессии в целом;

проверка свойств данных, выполнимость которых предполагалась при оценивании уравнения (проверка выполняемости предпосылок МНК).

Как и в случае парной регрессии, статистическая значимость коэффициентов множественной линейной регрессии с m объясняющими переменными проверяется на основе t-статистики:

имеющей в данной ситуации распределение Стьюдента с числом степеней свободы α = n - m - 1 (n — объем выборки, m — количество объясняющих переменных в модели). При требуемом уровне значимости наблюдаемое α значение t-статистики сравнивается с критической точкой t α/2;n-m-1 распределения Стьюдента.

Если | t | > t α/2;n-m-1, то коэффициент bj считается статистически значимым. В противном случае коэффициент bj считается статистически незначимым статистически близким к нулю. Это означает, что фактор Xj линейно не связан с зависимой переменной Y. Наличие этого фактора среди объясняющих переменных не оправдано со статистической точки зрения. Он не оказывает сколько-нибудь серьезного влияния на зависимую переменную, а лишь искажает реальную картину взаимосвязи. Если коэффициент bj статистически незначим, рекомендуется исключить из уравнения регрессии переменную Xj. Это не приведет к существенной потере качества модели, но сделает ее более конкретной.