16. Метод наименьших квадратов…Системы норм ур-ий.

Для произвольного вектора х = (x₁,x₂, ... ,х_п)^T вектор δ = Ах -b называется вектором не­вязки. х является решением системы Ах =b, когда вектор невязки равен 0 (или норма вектора невязки равна нулю).Под псевдоре-шением системы Ах = b понимают любой вектор x, для которого ||А –b|| достигает наименьшего значения. Псев­дорешение с наименьшей длиной вектора невязки называется нор­мальным псевдорешением. Оно всегда существует. Метод наименьших квадратов основывается на исполь­зовании евклидовой нормы для вычисления длины вектора невязки δ, т.е. минимизируется || δ ||=√ δ^T δ. Поскольку система Ах =b несовместна, то b не является ли­нейной комбинацией вектор-столбцов матрицы А. Норма вектора невязки ||Аx –b|| представляет собой расстояние от b до вектора Ах, лежащего в пространстве столбцов матрицы А (так как Ах -линейная комбинация вектор-столбцов матрицы А с коэффициен­тами х₁,..., х_п).И нахождение псевдорешения х системы Ах=b по методу наименьших квадратов эквивалентно нахождению вектора р = А , наиболее близкого к b, т.е. вектор р должен быть проекцией вектора b на пространство вектор-столбцов матрицы А, и вектор невязки А -b должен быть ортогонален к этому пространству.

Каждый вектор в пространстве столбцов матрицы А является линейной комбинацией столбцов с некоторыми коэффициентами y₁,...,y_n т.е. это вектор вида Ау. Для всех у эти век­торы на плоскости должны быть перпендикулярны вектору невязки А -b, т.е. (Ау}^T(А -b) = 0 или у^T(А^TА - А^Тb) = 0. Послед­нее равенство должно выполняться для произвольного вектора у. Отсюда следует, что А^TА -А^Тb = 0 или А^TА = А^Tb.

Система А^TА = А^Тb носит название системы нормальных уравнений. Если ранг матрицы А равен n, то нормальное псев­дорешение является обычным решением квадратной системы нор­мальных уравнений, т.е. = (А^ТА)^-1А^Тb.

Для произвольного вектора вектор S=Ax-b называется вектором невязки. Х является решением системы Ax=b, когда вектор невязки равен 0 (или норма вектора невязки равна 0). Под псевдорешением системы Ax=b понимают любой вектор , для которого достигает наименьшего значения. Псевдорешение с наим. длиной вектора невязки наз-ся нормальным псевдорешением. Оно всегда существует.

Метод наименьших квадратов. Основывается на использовании евклидовой нормы для вычисления длины вектора невязки S, т.е. минимизируется .

Нахождение псевдорешения системы Ax=b по методу наим. квадратов эквивалентно нахождению вектора , наиболее близкого к b.

Каждый вектор в пространстве столбцов матрицы А явл-ся линейной комбинацией столбцов с некоторыми коэффициентами , другими словами, это вектор вида Ay. Для всех у эти векторы на плоскости должны быть перпендикулярны вектору невязки , т.е. или . Последнее равенство должно выполнятся для произвольного вектора у. Отсюда следует: или .

Система наз-ся системой нормальных уравнений.

Если ранг матрицы равен n, то нормальное псевдорешение явл-ся обычным решением квадратной системы нормальных уравнений, т.е. .