2. Применение корреляционного и регрессионного анализа для обработки лидарного сигнала.

2.1 Применение корреляционного анализа для обработки лидарного сигнала

Как известно, классический корреляционный анализ имеет своей задачей количественное определение тесноты связи между признаками (при парной связи) и между результативным и множеством факторных признаков (при многофакторной связи). Теснота связи количественно выражается величиной коэффициентов корреляции. Связи между признаками могут быть слабыми и сильными (тесными). Их критерии показаны в табл.2.1.

Таблица 2.1.

Количественные критерии оценки тесноты связи (шкала Чеддока)

При прямолинейной форме связи показатель тесноты связи двух признаков определяется по формуле линейного коэффициента корреляции r:

где x - значение факторного признака;

y – значение результативного признака;

n – число пар данных.

Величины r, исчисленные по данным сравнительно небольшой статистической совокупности, могут искажаться под действием случайных причин. Поэтому необходима проверка их сущности. Для оценки значимости r применяется t-критерий Стьюдента. При этом определяется фактическое значение критерия t_r:

Исчисленное t_r сравнивается с критерием t_к, которое берется из таблицы значений t-Стьюдента с учетом заданного уровня значения  и числа степеней свободы.

Если t_r>t_к, то величина коэффициента корреляции признается существенной.

При анализе лидарного сигнала в качестве факторного признака рассматривается спектр конкретного вещества из базы данных, а в качестве результативного признака экспериментальный лидарный сигнал. Использование исключительно корреляционного алгоритма в рассматриваемой задаче анализа лидарного сигнала является недостаточным. Он позволяет лишь выделить вещество с максимальной концентрацией и, далее, ориентировочно определить его концентрацию и «вычесть» кривую этого вещества из общего экспериментального сигнала.

На рис.2.1 в качестве примера показаны достаточно схожие спектры двух веществ – лавсана и тефлона, полученные на Фурье-спектрометре, экспериментальные значения пропускания, полученные при лидарном эксперименте с лавсаном и результаты корреляционного анализа эксперимента, позволившие достоверно определить зондируемое вещество – лавсан.

2.2 Применение регрессионного анализа для обработки лидарного сигнала

Основной алгоритм регрессионного анализа для обработки лидарного сигнала заключается в следующем. Имеются измерения спектральных кривых известных веществ ( – частота или энергия, ); измеряется спектр исследуемого образца, содержащего 1-е,..., k+1-е вещества, однако процентный состав его неизвестен. Тогда спектр образца допускает представление

,

причём , где  - вектор неизвестных параметров .

Таким образом, задача определения процентного состава смеси приводит к модели

, (2.1)

где - вектор параметров (коэффициентов регрессии), X – матрица (nk), j-й столбец которой представляет собой значения j-й контролируемой переменной (регрессора) в

1-м, ..., n-м измерениях, - вектор математических ожиданий наблюдаемой величины y (отклика) в 1-м, ..., n-м измерениях.

Нелинейная модель

, (2.2)

где  - случайная ошибка иногда сводится к линейной подходящим функциональным преобразованием.

Так если

,

то переход к (2.1) осуществляется логарифмированием. В общем случае определение параметров нелинейной модели сводят к решению последовательности линейных задач, линеаризуя функцию  в (2.2) и используя итерационную процедуру.

Итак, пусть

(2.3)

Если закон распределения ошибок произволен (но известен), оптимальные по эффективности (при больших n) оценки среди всех несмещённых можно найти по методу МП. Эти оценки не будут линейными по , несмотря на линейность (2.3). Если же ограничиться классом линейных оценок , то независимо от закона распределения ошибок оценки с оптимальными свойствами получаются при заданном виде матрицы.

Будем искать такую оценку вектора параметров, чтобы при постановке её в (2.3) сумма квадратов уклонений экспериментальных от предсказываемых была минимальной. При этом предполагаем, что:

1. ;

2. ;

3. ;

4. ошибки независимы.

Минимизация по выражения

(2.4)

приводит к исследованию решений системы

(2.5)

В силу условия 3 матрица невырожденная, так что система нормальных уравнений (2.5) имеет единственное решение

. (2.6)

Очевидно, что оно соответствует минимуму (2.4), поскольку при Q неограниченно возрастает. Способ нахождения оценки вектора параметров из условия минимума (2.4) называется методом наименьших квадратов (МНК), а оценка (2.6) – оценкой метода наименьших квадратов (МНК оценкой).

Рассмотрим геометрическую интерпретацию метода наименьших квадратов. Пусть - n-мерное евклидово пространство. Наблюдение определяют в коней вектора , проведённого из начала координат. Столбцы матрицы X, являющиеся в силу условия 3 независимыми n-мерными векторами , порождают в линейное многообразие векторов . Вообще, не принадлежит к этому многообразию. Вектор представляет собой наклонную из конца в точку многообразия. Минимизируя

в (2.4), мы решаем задачу нахождения наклонной минимальной длины, т.е. построения перпендикуляра из на плоскость . При соответствующем выборе вектор перпендикулярен , а значит, он ортогонален любому из , : , откуда , т.е. получаем нормальные уравнения (2.5). В силу линейной независимости , откуда следует (2.6).