Отбор наиболее существенных объясняющих переменных
Еще одним из возможных методов устранения или уменьшения мультиколлинеарности является использование пошаговых процедур отбора наиболее информативных переменных. Например, на первом шаге рассматривается лишь одна объясняющая переменная, имеющая с зависимой переменной наибольший коэффициент детерминации. На втором шаге включается в регрессию новая объясняющая переменная, которая вместе с первоначально отобранной образует пару объясняющих переменных, имеющую с наиболее высокий (скорректированный) коэффициент детерминации. На третьем шаге вводится в регрессию еще одна объясняющая переменная, которая вместе с двумя первоначально отобранными образует тройку объясняющих переменных, имеющую с наибольший (скорректированный) коэффициент детерминации, и т.д.
Процедура введения новых переменных продолжается до тех пор, пока будет увеличиваться соответствующий (скорректированный) коэффициент детерминации.
Замещающие переменные
Часто бывает, что вы не можете найти данных по переменной, которую хотелось бы включить в уравнение регрессии. Некоторые переменные, относящиеся к социально-экономическому положению или к качеству образования, имеют такое расплывчатое определение, что их в принципе даже невозможно измерить. Другие могут поддаваться измерению, но оно требует столько времени и энергии, что на практике их приходится отбрасывать. Иногда вы можете быть расстроены тем, что пользуетесь какими-то данными, собранными другим человеком, в которых (с вашей точки зрения) опущена важная переменная.
Независимо от причины обычно бывает полезно вместо отсутствующей переменной использовать некоторый ее заменитель (proxy), а не пренебрегать ею совершенно. В качестве показателя общего социально-экономического положения вы можете использовать его заменитель – показатель дохода, если данные о нем имеются. В качестве показателя качества образования можно использовать отношение числа преподавателей и сотрудников к числу студентов или расходы на одного студента. Вместо переменной, опущенной в каком-либо обзоре, вы можете обратиться к другим, уже фактически собранным данным, если в них имеется подходящая замещающая переменная.
Имеются две причины для поиска такой переменной. Во-первых, если вы просто опустите важную переменную, то регрессия может пострадать от смещения оценок, описанного раннее, и статистическая проверка будет неполноценной. Во-вторых, результаты оценки регрессии с включением замещающей переменной могут дать косвенную информацию о той переменной, которая замещена данной переменной.
Нелинейные модели регрессии
До сих пор мы рассматривали линейные регрессионные модели, в которых переменные имели первую степень (модели, линейные по переменным), а параметры выступали в виде коэффициентов при этих переменных (модели, линейные по параметрам). Однако соотношение между социально-экономическими явлениями и процессами далеко не всегда можно выразить линейными функциями, так как при этом могут возникать неоправданно большие ошибки.
Так, например, нелинейными оказываются производственные функции (зависимости между объемом произведенной продукции и основными факторами производства – трудом, капиталом и т. п.), функции спроса (зависимость между спросом на товары или услуги и их ценами или доходом) и другие.
Для оценки параметров нелинейных моделей используются два подхода.
Первый подход основан на линеаризации модели и заключается в том, что с помощью подходящих преобразований исходных переменных исследуемую зависимость представляют в виде линейного соотношения между преобразованными переменными.
Второй подход обычно применяется в случае, когда подобрать соответствующее линеаризующее преобразование не удается. В этом случае применяются методы нелинейной оптимизации на основе исходных переменных.
Для линеаризации модели в рамках первого подхода могут использоваться как модели, нелинейные по переменным, так и нелинейные по параметрам.
Если модель нелинейна по переменным, то введением новых переменных ее можно свести к линейной модели, для оценки параметров которой использовать обычный метод наименьших квадратов.
Так, например, если нам необходимо оценить параметры регрессионной модели
|
(1) |
,то
вводя новые переменные
,
,
получим линейную модель
|
(2) |
,параметры которой находятся обычным методом наименьших квадратов.
Следует, однако,
отметить и недостаток такой замены
переменных, связанный с тем, что оценки
параметров
и
получаются не из условия минимизации
суммы квадратов отклонений для исходных
переменных, а из условия минимизации
суммы квадратов отклонений для
преобразованных переменных, что не одно
и то же. В связи с этим необходимо
определенное уточнение полученных
оценок.
Более сложной проблемой является нелинейность модели по параметрам, так как непосредственное применение метода наименьших квадратов для их оценивания невозможно. К числу таких моделей можно отнести, например, мультипликативную (степенную) модель
|
(3) |
,экспоненциальную модель
|
(4) |
,и другие.
В ряде случаев путем подходящих преобразований эти модели удается привести к линейной форме. Так, модели (3) и (4) могут быть приведены к линейным логарифмированием обеих частей уравнений. Тогда, например, модель (3) примет вид:
|
(2) |
,
К модели (5) уже
можно применять обычные методы
исследования линейной регрессии. Однако
следует подчеркнуть, что критерии
значимости и интервальные оценки
параметров, применяемые для нормальной
линейной регрессии, требуют, чтобы
нормальный закон распределения в
моделях (3), (4) имел логарифм вектора
возмущений
(т.е.
).
Другими словами, вектор возмущений
должен иметь логарифмически нормальное
распределение.
В качестве примера использования линеаризирующего преобразования регрессии рассмотрим производственную функцию Кобба-Дугласа
,
где
– объем производства,
– затраты капитала,
– затраты труда.
Показатели и являются коэффициентами частной эластичности объема производства соответственно по затратам капитала и труда .
Учитывая влияние случайных возмущений, присущих каждому экономическому явлению, функцию Кобба-Дугласа можно представить в виде
.
Полученную мультипликативную (степенную) модель легко свести к линейной путем логарифмирования обеих частей уравнения
.