Глава 5. Несовместные системы линейных уравнений и метод наименьших квадратов § 1. Задача о проекции вектора и перпендикуляре к нему

Введем в рассмотрение евклидово пространство и произвольный векторэтого пространства. Обозначим через некоторое подпространство . Требуется представить векторв виде суммы

, (5.1)

где вектор принадлежит подпространству , а вектор ортогонален к этому подпространству. Векторназываетсяпроекцией вектора на подпространство , а вектор –перпендикуляром к вектору (перпендикуляром к проекции векторана подпространство ).

Примем для определенности, что подпространство -мерное и выберем в нем ортонормированный базис . Тогда некоторый векторможно представить в виде

, (5.2)

где числа подлежат определению. Согласно условию вектордолжен быть ортогональным к подпространству, то есть он должен быть ортогонален к каждому из векторов базиса. Необходимым и достаточным условием этой ортогональности должно быть выполнение равенств

,. (5.3)

Подставив выражение для вектора в (5.3), получим равенств

, . (5.4)

Так как векторы ортогональны и нормированы, то равенства (5.4) могут быть записаны в виде

, ,

откуда следует выражений для искомых чисел.

. (5.5)

Отсюда следует существование и единственность разложения (5.2).

§ 2. Несовместные системы линейных уравнений

Рассмотрим несовместную систему линейных уравнений

(5.6)

относительно неизвестных . Так как система (5.6) несовместна, то это значит, что не существует такого набора чисел, которые при подстановке в систему (5.6) вместо неизвестныхобращали бы каждое уравнение системы в тождество.

Подставляя различные наборы чисел вместо неизвестныхв левые части уравнений (5.6), мы будем получать наборы чисел.

Требуется найти такой набор чисел , чтобы среднее квадратное отклонение соответствующих чиселот данных величин, т.е. значение выражения

(5.7)

было наименьшим по сравнению с другими возможными значениями. Заметим, что требование отыскать наименьшее значение величины (5.7) означает требование найти такие значения коэффициентов , для которых абсолютные величины ошибокбыли в каком-то смысле малыми в совокупности.

Для решения поставленной задачи введем в рассмотрение векторов, компонентами которых являются столбцы коэффициентов присоответственно, то есть

,,…,,

. (5.8)

Обозначим через линейную комбинацию векторов (5.8), так что

, (5.9)

где числа принимают любые значения.

Совокупность всех линейных комбинаций (5.9) образуют подпространство . С геометрической точки зрения ясно, что выражение (5.7) принимает наименьшее значение тогда, когда векторсовпадает с перпендикуляром к проекции вектора на подпространство, а это значит, что вектордолжен быть ортогонален каждому из векторов, т.е. должны выполнятьсяравенств

;;. (5.10)

Заменив вектор во всехуравнениях (5.10) на соответствующие выражения из (5.9) и произведя очевидные операции, получим системулинейных неоднородных уравнений относительно неизвестных.

(5.11)

Так как поставленная задача имеет единственное решение, то определитель системы (5.11)

(5.12)

отличен от нуля и, следовательно, по теореме Крамера получаем выражения для коэффициентов ,

(5.13)

Из изложенного следует, что полученный набор чисел решает поставленную задачу.