Лабораторная работа № 3 «Регрессионный анализ»

Регрессионный анализ предназначен для исследования зависимости исследуемой переменной от различных факторов и отображения их взаимосвязи в форме регрессионной модели.

В регрессионных моделях зависимая (объясняемая) переменная Y может быть представлена в виде функции f (X₁, X₂, X₃, … Xm), где X₁, X₂, X₃, … Xm - независимые (объясняющие) переменные, или факторы. В качестве зависимой переменной может выступать практически любой показатель, харак­теризующий, например, деятельность предприятия или курс ценной бумаги. В зависимости от вида функции f (X₁, X₂, X₃, … Xm) модели делятся на линейные и нелинейные. В зависимости от количества включенных в модель факторов Х модели делятся на однофакторные (парная модель регрессии) и многофакторные (модель множественной регрессии).

Связь между переменной Y и m независимыми факторами можно охарактеризовать функцией регрессии Y= f (X₁, X₂, X₃, … Xm), которая показывает, каково будет в среднем значение переменной y_i, если переменные x_i примут конкретные значения.

Данное обстоятельство позволяет использовать модель регрессии не только для анализа, но и для прогнозирования экономических явлений.

Линейная парная регрессия

Под линейностью здесь имеется в виду, что переменная y предположительно находиться под влиянием переменной x в следующей зависимости:

, (3.6)

где - постоянная величина (или свободный член уравнения), - коэффициент регрессии, определяющий наклон линии, вдоль которой рассеяны данные наблюдений. Это показатель, характеризующий изменение переменной , при изменении значения на единицу. Если - переменные и положительно коррелированные, если  0 – отрицательно коррелированны; - независимые одинаково распределенные случайные величины – остаток с нулевым математическим ожиданием ( ) и постоянной дисперсией ( ). Она отражает тот факт, что изменение будет неточно описываться изменением Х – присутствуют другие факторы, неучтенные в данной модели.

Оценка параметров регрессионного уравнения

Дня оценки параметров регрессионного уравнения наиболее часто используют метод наименьших квадратов (МНК), который минимизирует сумму квадратов отклонения наблюдаемых значений от модельных значений .

Согласно принципу метода наименьших квадратов, оценки и находятся путем минимизации суммы квадратов

по всем возможным значениям и при заданных (наблюдаемых) значениях . Задача сводится к известной математической задаче поиска точки минимума функции двух переменных. Точка минимума находится путем приравнивания нулю частных производных функции по переменным и . Это приводит к системе нормальных уравнений

решением которой и является пара , . Согласно правилам вычисления производных имеем

так что искомые значения , удовлетворяют соотношениям

Эту систему двух уравнений можно записать также в виде

Эта система является системой двух линейных уравнений с двумя неизвестными и может быть легко решена, например, методом подстановки. В результате получаем

(3.7)

Такое решение может существовать только при выполнении условия

что равносильно отличию от нуля определителя системы нормальных уравнений. Действительно, этот определитель равен

Последнее условие называется условием идентифицируемости модели наблюдений , и означает, что не все значения совпадают между собой. При нарушении этого условия все точки , лежат на одной вертикальной прямой

Оценки и называют оценками наименьших квадратов. Обратим еще раз внимание на полученное выражение для . Нетрудно видеть, что в это выражение входят уже знакомые нам суммы квадратов, участвовавшие ранее в определении выборочной дисперсии

и выборочной ковариации так что, в этих терминах,

= = =

= (3.8)