1.4. Метод наименьших квадратов

Одним из важных практических применений экстремума функции нескольких переменных является метод наименьших квадратов.

Пусть в результате некоторого опыта или наблюдения установлена зависимость между переменными величинами х и у, выражаемая в виде таблицы:

х	х1	х2	…	хn
у	у1	у2	…	уn

Пусть требуется перейти от табличного метода задания функции к аналитическому (т.е. выраженному в виде формулы), причем, если это нельзя сделать точно, постараемся получить аналитическую связь приближенно.

Теперь обратимся к графическому изображению данной системы рис. 1.

х

Рис. 1. Графическая интерпретация зависимости х и у

Рассматривая значения х и у как координаты точек в прямоугольной системе координат, наносим эти точки на график. Пусть, например построенные точки расположились достаточно близко к некоторой прямой. Поэтому можно приблизительно считать, что между х и у существует линейная зависимость, выражаемая формулой,

у = ах + b.

Поставим задачу аналитического определения неизвестных коэффициентов а и b.

В основе аналитического метода определения а и b лежит метод наименьших квадратов. Точки, полученные на основании опытных данных, вообще говоря, не лежат на искомой прямой. Если бы некоторая точка (хi, уi) лежала на прямой, то ее координаты удовлетворяли бы уравнению прямой, т.е. имело бы место равенство:

у_i = ax_i + b или

ax_i + b - y_i = 0

Однако в общем случае подстановка координат точки в уравнение прямой дала бы:

ax_i + b - y_i = ε_i,

где ε_i ─ какая то малая величина.

Для первой точки получаем

ax₁ + b - y₁ = ε₁,

Для второй точки

ax₂ + b - y₂ = ε₂, и т.д.

Для последней точки

ax_n + b - y_n = ε_n.

Величины ε₁, ε₂, …, ε_n характеризуют отклонения рассматриваемых точек от точек искомой прямой: они выражают отклонения ординат точек наблюдения от ординат точек искомой прямой.

Метод наименьших квадратов требует подобрать значения параметров а и b таким образом, чтобы сумма квадратов отклонения ε_i, была при этом наименьшей, т.е.

Здесь x₁, x₂,..., x_n, y₁, y₂,..., y_n - заданные числа. Функция S есть функция двух независимых переменных a и b, т.е.:

S = f (a, b).

Необходимые условия существования экстремума функции дают:

S / a = 0; S / b = 0.

Вычислим эти частные производные:

S / a = 2 (ax₁ + b - y₁) x₁ + 2 (ax₂ + b - y₂) x₂ + ... +

+ 2 (ax_n + b - y_n) x_n,

S / b = 2 (ax₁ + b - y₁) · 1 + 2 (ax₂ + b - y₂) · 1 + ... +

+ 2 (ax_n + b - y_n) · 1.

Приравнивая частные производные к нулю и сокращая на 2, получаем систему двух линейных уравнений с двумя неизвестными a и b:

(ax₁ + b - y₁) x₁ + (ax₂ + b - y₂) x₂ + ...+ (ax_n + b - y_n) x_n = 0,

(ax₁ + b - y₁) + (ax₂ + b - y₂) + ... + (ax_n + b - y_n) = 0.

Раскрывая скобки, и после соответствующих преобразований получаем:

(1)

Эти уравнения называются стандартными уравнениями, решение которых дает искомые значения a и b.

Система (1) может быть для удобства переписана следующим образом: