1. Использование регрессионного анализа для статистической обработки данных

Регрессио́нный анализ — статистический метод исследования влияния одной или нескольких независимых переменных на зависимую переменную . Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные — критериальными. Терминология зависимых и независимых переменных отражает лишь математическую зависимость переменных (см. Ложная корреляция), а не причинно-следственные отношения.

Цель:

1. Определение степени детерминированности вариации критериальной (зависимой) переменной предикторами (независимыми переменными)

2. Предсказание значения зависимой переменной с помощью независимой(-ых)

3. Определение вклада отдельных независимых переменных в вариацию зависимой

Регрессионный анализ нельзя использовать для определения наличия связи между переменными, поскольку наличие такой связи и есть предпосылка для применения анализа.

В случае если имеется большой объем данных, то существуют подходы позволяющие описать такие зависимости функционально. В случае получения функционального описания данный результат можно использовать для прогнозирования данных как в будущее так и в прошлое. Методы поиска функциональной зависимости делятся на 2 подкласса, это методы интерполяции и экстраполяции. Методы интерполяции свойственно точное прохождение искомой функции через имеющийся массив данных, методам экстраполяции свойственно улавливание тенденций по изменению значений, при этом на участке на котором имеются статистические данные, допускаются отклонения значений функций от данных статистики.

Экстраполяция зависит от количества имеющихся статистических данных. Чем больше объем, тем выше точность.

Работа экстраполяционного метода заключается в том, что необходимо выбрать вид функции определить коэффициент данной функции. Для определения внешнего вида функции можно выдвинуть гипотезы на основе внешнего вида функции, либо если это не удастся сделать, то из того соображения, что любая функция м/б описана рядом, допускают следующим образом выдвижение гипотезы, которую после проверки на адекватность постепенно усложняют путем добавления высших степеней ряда

Y = Co+C1x+C2x^2+….+Cnx^n

После выдвижения гипотезы о виде функции необходимо найти коэффициент согласия функции и проверить ее адекватность.

J = J(F(x_i)- y_i)

Который минимизирует отклонение между экспериментальной теорией и значением полученным с использованием выдвинутой нами гипотезы.

2. Корреляционный анализ занимается степенью связи между двумя переменными, x и y. 

Сначала предполагаем, что как x, так иy количественные, например рост и масса тела. Предположим, пара величин (x, у)измерена у каждого изnобъектов в выборке.

Мы можем отметить точку, соответствующую паре величин каждого объекта, на двумерном графике рассеяния точек. 

Обычно на графике переменную xрасполагают на горизонтальной оси, ау— на вертикальной. Размещая точки для всехnобъектов, получают график рассеяния точек, который говорит о соотношении между этими двумя переменными.

Коэффициент корреляции Пирсона

Соотношение хиу линейное, если прямая линия, проведенная через центральную часть скопления точек, дает наиболее подходящую аппроксимацию наблюдаемого соотношения.

Можно измерить, как близко находятся наблюдения к прямой линии, которая лучше всего описывает их линейное соотношение путем вычисления коэффициента корреляции Пирсона, обычно называемого просто коэффициентом корреляции. 

Его истинная величина в популяции (генеральный коэффициент корреляции) (греческая буква «ро») оценивается в выборке как r (выборочный коэффициент корреляции), которую обычно получают в результатах компьютерного расчета.

Пусть (x₁. y₁), (x₂, y₂),…,(x_n, y_n)- выборка изnнаблюдений пары переменных(X, Y).

Выборочный коэффициент корреляции rопределяется как

,  

где ,- выборочные средние, определяющиеся следующим образом:

В данном узле рассчитывается корреляционная матрица. Корреляционный анализ применяется для оценки зависимости выходных полей данных от входных факторов и устранения незначащих факторов.

Принцип корреляционного анализа состоит в поиске таких значений, которые в наименьшей степени коррелированны (взаимосвязаны) с выходным результатом. Такие факторы могут быть исключены из результирующего набора данных практически без потери полезной информации. Критерием принятия решения об исключении является порог значимости. Если корреляция (степень взаимозависимости) между входным и выходным факторами меньше порога значимости, то соответствующий фактор отбрасывается как незначащий.

При выборе метода расчета Максимум взаимокорреляционной функции будет вычислен максимум из коэффициентов корреляции двух процессов, рассчитанных при всевозможных временных сдвигах. Следует применять, если необходимо узнать линейную зависимость между двумя процессами или частями процессов происходящих с определённым временным лагом. Расчет коэффициента корреляции Пирсона происходит с использованием алгоритма БПФ. Здесь можно выделить два шага: быстрое преобразование Фурье и Расчет коэффициента корреляции.

3. Факторный анализ - это методика комплексного и системного изучения и измерения воздействия факторов на величину результативного показателя. Факторы в результате анализа получают количественную и качественную оценку. Каждый показатель может в свою очередь выступать и в роли факторного, и результативного.

Различают следующие противоположные типы факторного анализа:

• детерминированный и стохастический;

• прямой и обратный;

• одноступенчатый и многоступенчатый;

• статический и динамический;

• ретроспективный (исторический) и перспективный (прогнозный).

Факторный анализ может быть одноуровневым и многоуровневым.

Одноуровневый факторный анализ - используется для исследования факторов только одного уровня (одной ступени) подчинения без их детализации на составные части. Например, y = ax+b.

Многоуровневый, многоступенчатый факторный анализ - проводит детализацию факторов а и b на составные элементы с целью изучения их сущности. Детализация факторов может быть продолжена. В таком случае изучается влияние факторов различных уровней соподчиненности.

Статический факторный анализ - применяется при изучении влияния факторов на результативные показатели на соответствующую дату.

Динамический факторный анализ - представляет собой методику исследования причинно-следственных связей в динамике.

Ретроспективный факторный анализ - изучает причины изменения результатов хозяйственной деятельности за прошлые периоды.

Перспективный факторный анализ - исследует поведение факторов и результативных показателей в перспективе.

Основные задачи факторного анализа:

1. Выявление, поиск факторов.

2. Отбор факторов для анализа исследуемых показателей.

3. Классификация и систематизация их с целью обеспечения системного подхода.

4. Моделирование взаимосвязей между результативными и факторными показателями.

5. Расчет влияния факторов и оценка роли каждого из них в изменении величины результативного показателя.

6. Работа с факторной моделью (практическое ее использование для управления экономическими процессами).

Факторный анализ - это один из способов снижения размерности, то есть выделения во всей совокупности признаков тех, которые действительно влияют на изменение зависимой переменной. Или группировки сходно влияющих на изменение зависимой переменной признаков. Или группировки просто сходно изменяющихся признаков. Предполагается, что наблюдаемые переменные являются лишь линейной комбинацией неких ненаблюдаемых факторов. Некоторые из этих факторов являются общими для нескольких переменных, некоторые характерно проявляют себя только в одной. Те, что проявляют себя только в одной, очевидно, ортогональны друг другу и не вносят вклад к ковариацию переменных, а общие - как раз и вносят эту ковариацию. Задачей факторного анализа является как раз восстановление исходной факторной структуры исходя из наблюдаемой структуры ковариации переменных, несмотря на случайные ошибки ковариации, неизбежно возникающие в процессе снятия наблюдения.

Коэффициент взаимосвязи между некоторой переменной и общим фактором, выражающий меру влияния фактора на признак, называется факторной нагрузкой(Factorload) данной переменной по данному общему фактору. Значение (мера проявления) фактора у отдельного объекта называется факторным весом объекта по данному фактору.