Лекции по алгебре.Баскаков

Умножая обе части этого равенства скалярно на векторы ai; 1 i n;

получим однородную систему уравнений вида

коэффициенты которой образуют матрицу Грама. Поскольку эта матрица

G(a1; : : : ; an) = 0: Тогда столбцы матрицы Грама (1) линейно зависимы и поэтому существуют такие числа (x1; : : : ; xn) 2 K; не все равные нулю, что

x1(ai; a1) + x2(ai; a2) + + xn(ai; an) = 0; i = 1; : : : ; n:

Эти равенства можно записать в виде

(x1a1 + x2a2 + + xnan; ai) = 0; i = 1; : : : ; n:

Умножая i - ое равенство на xi и складывая эти равенства, получим

(x1a1 + + xnan; x1a1 + + xnan) = 0;

т.е. jjx1a1 + + xnanjj2 = 0; и поэтому x1a1 + + xnan = 0: Следовательно, векторы a1; : : : ; an линейно зависимы. Теорема доказана.

До сих пор мы рассматривали системы линейных уравнений, которые либо имели решения, либо их не имели, и используемые нами методы решений относились лишь к системам уравнений, которые заведомо имели решения.

Здесь мы рассмотрим систему уравнений вида

где m > n и ранг матрицы A = (aij) 2 Matrm;n(R) равен n, т. е. столбцы матрицы A линейно независимы. В этих условиях система (2) может не иметь решений.

Будем ставить задачу поиска такого вектора x0 = (x01; : : : ; x0n); чтобы при подстановке чисел (x01; : : : ; x0n) в левую часть разных частей уравнений

(2) правые части уравнений отличались от левых как можно меньше (минимизировать среднюю ошибку для всех уравнений). Существует много способов такой минимизации, но среди наиболее распространенных является поиск такого вектора x0 с тем, чтобы суммарное среднеквадратичное отклонение левых частей от правых (отсюда следует наименование метода, как метода наименьших квадратов)

XX

i=1 j=1

принимало наименьшее возможное значение. Вектор x0 = (x01; : : : ; x0n) назовем решением системы (2) по методу наименьших квадратов.

Эта задача может быть с успехом решена с использованием результатов x 17. Систему (2) запишем в виде уравнения

x1a1 + + xnan = b;

где a1 = (a11; a21 : : : am1); ; an = (a1n; a2n : : : amn) - векторы из евклидова пространства Rm со скалярным произведением

Положим x = x1a1 + + xnan 2 Km . Тогда

и поэтому минимум среднеквадратичного отклонения, согласно терминологии x 17, есть квадрат расстояния от вектора b 2 Km до линейной оболочки

M векторов a1; : : : ; an: Следовательно, в силу замечания 3 из x 17 минимум отклонения достигается на единственном векторе x0 = x01a1 + + x0nan; являющемся ортогональной проекцией вектора b на подпространство M . Из условия ортогональности вектора x0 b всем элементам из M (см. определение 7 из x 17) получаем, что имеют место равенства

(ai; x0 b) = 0; i = 1; : : : ; n;

из которых следует, что упорядоченный набор (x01; : : : ; x0n) является решением линейной системы алгебраических уравнений вида

Систему уравнений (4) называют фундаментальной системой уравнений метода наименьших квадратов. Матрицей коэффициентов этой системы является матрица Грама G(A) = (ai; aj) 2 Matrn(R) системы векторов

a1; : : : ; an и поэтому, согласно теореме 1, ее определитель отличен от нуля, так как предполагалось, что ранг этой системы векторов равен n: Таким образом, имеет место

Т е о р е м а 2. Решение x0 = (x01; : : : ; x0n) системы уравнений (2) по методу наименьших квадратов существует, единственно, и является решением совместной системы уравнений (4).

Упражнения к § 25

2. По методу наименьших квадратов решите систему линейных уравнений

указанных точек в среднем квадратичном (т.е. укажите такие числа

a; b 2 R, чтобы величина (at1 + b x1)2 + (at2 + b x2)2 + (at3 + b x3)2 + (at4 + b x4)2 принимала наименьшее значение).

4.Проверьте, что матрица Грама G(A); построенная по столбцам матрицы A системы уравнений 2, совпадает с матрицей AtA 2 Matrn(R); а

уравнение 4 можно записать в виде AtAx = Atb (см. начало § 23).)

5.Докажите, что проекция x0 вектора b на подпространство M , являющегося линейной оболочкой векторов столбцов матрицы A системы (2), задается формулой x0 = A(AtA) 1Atb:

x 26. Собственные значения и собственные векторы. Операторы простой структуры

Начиная с этого параграфа, будут рассматриваться только конечномерные линейные пространства размерности 1 и линейные операторы, определенные на линейном пространстве со значениями в том же пространстве.

Пусть X - линейное пространство размерности n 1 и L(X) - алгебра линейных операторов, действующих в X:

Если dim X = n = 1; то алгебра L(X) изоморфна полю K . Более того, каждый оператор A 2 L(X) имеет вид

где 2 K; т.е. A = I: Операторы такого вида называют скалярными.

В общем случае (для n 2) ситуация значительно сложнее (например, нам известно, что L(X) - некоммутативная алгебра) и в нашем распоряжении нет изученных алгебр, которым, скажем, алгебра L(X) алгебраически

изоморфна.

Мы начнем изучение специальных классов линейных операторов из алгебры L(X), структура которых в некотором смысле проста и по своему виду

они наиболее близки к операторам вида (1).

Определение 1. Скажем, что оператор A 2 L(X) имеет простую структуру, если существует базис e1; : : : ; en в X и числа 1; : : : ; n 2 K

(не обязательно различные) такие, что имеют место равенства

Операторами простой структуры являются операторы 0 и I . Таким образом, для оператора простой структуры можно указать векторы e1; : : : ; en;

образующие базис в X; и каждый из которых оператор A переводит в коллинеарный вектор (векторы вида a; 2 K называются векторами, колли-

неарными вектору a 2 X ).

Из-за своей близости по виду к скалярным операторам операторы про-

стой структуры называют также операторами скалярного типа.

Непосредственно из равенств (2) следует, что матрица A =

= (aij) 2 Matrn(K) оператора простой структуры A будет диагональной aij = i ij; i; j = 1; : : : ; n:

Лемма 1. Оператор простой структуры A, определяемый равенствами

Доказательство. Поскольку det A = det A = 1 n , то в силу теоре-

182 Глава 3. Линейная алгебра

мы 8 из x 22 условие 1 : : : n 6= 0 необходимо и достаточно для обратимости оператора A. Поскольку обратная матрица A 1 имеет вид ( i 1 ij); то оператор A 1 задается равенствами (3).

Замечание 1. Непосредственно из определения 1 следует, что оператор

A 2 L(X) является оператором простой структуры тогда и только тогда, когда матрица оператора A в некотором базисе из X имеет диагональный вид.

Замечание 2. Если A 2 L(X) - оператор простой структуры вида (2) и m - натуральное число, то оператор Am является оператором простой структуры, причем он определяется на базисных векторах равенствами

Amek = mk ek; k = 1; : : : ; n:

Лемма 1 и приведенные замечания показывают, что операторы простой структуры оправдывают свое название. Однако сразу же возникает вопрос: каждый ли линейный оператор A 2 L(X) для dim 2 имеет простую структуру? Ответ на этот вопрос отрицательный. Именно операторы из следующего определения не являются операторами простой структуры.

Определение 2. Ненулевой оператор Q 2 L(X) называется нильпотентным, если Qm = 0 для некоторого натурального числа m. Наименьшее из чисел m, для которых имеет место это равенство, называется индексом нильпотентности оператора Q.

Пример 1. Оператор дифференцирования D : Pn(C) ! Pn(C); где n 1, является нильпотентным оператором. Действительно, Dn+1' =

='(n+1) = 0 8' 2 Pn(C); т.е. Dn+1 = 0.

Те о р е м а 1. Ненулевой нильпотентный оператор Q 2 L(X) не является оператором простой структуры.

Доказательство. Допустим, что Q является оператором простой структуры. Тогда существует базис e1; : : : ; en в X и числа 1; : : : ; n 2 K

такие, что имеют место равенства

Пусть Qm = 0, где m 2: Применяя последовательно m 1 раз оператор

Q к обеим частям равенств (4), получим равенства mk 1ek = 0; k = 1; : : : ; n:

Следовательно, k = 0 8k = 1; : : : ; n: Тогда из равенств (4) следует, что оператор Q нулевой. Это противоречит условиям теоремы. Теорема доказана.

Итак, из теоремы 1 следует, что оператор дифференцирования из примера 1 не является оператором простой структуры.

Несмотря на этот негативный пример, можно показать, что для любого оператора A 2 L(X) в случае комплексного пространства X существуют ненулевые векторы, которые он переводит в коллинеарные. Наличие таких векторов позволяет существенно упростить изучение линейного оператора. Это будет предметом рассмотрения в следующих параграфах.

Определение 3. Ненулевой вектор x0 2 X называется собственным вектором оператора A 2 L(X), если существует число 0 2 K такое, что имеет место равенство

Ax0 = 0x0:

Число 0 называется собственным значением оператора A (отвечающим собственному вектору x0 ).

Определение 3 можно переформулировать следующим образом, первоначально вводя понятие собственного значения: число 0 2 K называется

собственным значением оператора A 2 L(X), если существует ненулевой вектор x0 2 X такой, что Ax0 = 0x0: Вектор x0 называется собственным вектором оператора A, отвечающим собственному значению 0:

Непосредственно из определения следует, что если A 2 L(X) - оператор простой структуры из определения 1, то числа 1; : : : ; n из равенств

(2) являются собственными значениями, а векторы e1; : : : ; en - собственными векторами оператора A.

Отметим еще, что каждый ненулевой вектор из X является собственным вектором операторов 0 и I , причем 0 - единственное собственное значение нулевого оператора 0, а 1 - единственное собственное значение тождественного оператора I .

Определение 4. Совокупность всех собственных значений оператора

A 2 L(X) обозначается символом (A) ( K) и называется спектром оператора A.

Таким образом, (0) = f0g; (I) = f1g; ( I) = f g 8 2 K:

Замечание 3. Из определения следует, что совокупность собственных векторов оператора A 2 L(X); отвечающих собственному значению

0 2 (A); состоит из ненулевых векторов подпространства Ker(A 0I):

Подпространство Ker(A 0I) назовем собственным подпространством

оператора A и обозначим символом E( 0; A). Отметим, что размерность собственного подпространства может совпадать с n = dim X: Например, это верно для операторов вида I; 2 K:

Замечание 4. Из замечания 3 и теоремы 3, x 19 следует, что 0 является собственным значением оператора A тогда и только тогда, когда оператор

A 0I необратим. Поэтому имеет место

Т е о р е м а 2. Спектр (A) оператора A 2 L(X) состоит из множества комплексных чисел 0 , для которых оператор A 0I необратим.

Замечание 5. Из замечания 4 и теоремы 8, x 22 следует, что число

= det(A 0E); где A = (aij) 2 Matrn(K) - некоторая матрица оператора

A, то (A) = f 0 2 K : det(A 0E) = 0g; т.е. спектр (A) оператора A

совпадает с нулями функции pA( ) = det(A E):

Поскольку

то функция pA : K ! K является многочленом степени n, который имеет вид

pA( ) = ( 1)n n + p1 n 1 + + pn;

где p1 = ( 1)n 1(a11 + a22 + + ann); pn = pA(0) = det A:

Определение 5. Многочлен pA( ) = det(A I) (pA( ) = det(A

E)) из P(K) называется характеристическим многочленом оператора A

(матрицы A = (aij) 2 Matrn(K)).

Определение 6. Число a11 +a22 + +ann называется следом оператора

A (матрицы A) и обозначается символом tr A (tr A):

Поскольку характеристический многочлен оператора A не зависит от выбора его матрицы, то определение следа оператора корректно.

Из замечания 5 и основной теоремы высшей алгебры следует

Т е о р е м а 3. Пусть X - комплексное линейное пространство

(dim X 1): Тогда каждый линейный оператор A 2 L(X) имеет хотя бы одно собственное значение, его спектр (A) состоит из не более чем n = dim X

комплексных чисел, совпадающих с корнями характеристического многочлена pA оператора A.

Определение 7. Кратность корня 0 характеристического многочлена оператора A называется алгебраической кратностью собственного значения

0 оператора A, а размерность собственного подпространства E( 0; A) оператора A называется геометрической кратностью собственного значения

0:

В следующем примере показано, что алгебраическая и геометрическая кратности собственного значения могут не совпадать.

Пример 2. Рассмотрим оператор дифференцирования D : Pn(C) ! Pn(C): Из доказательства теоремы 1 видно, что (D) = f0g; и поэтому pD( ) = ( 1)n+1 n+1; т.е. 0 - собственное значение алгебраической кратности n+1: В то же время E(0; D) = KerD = f 0 : 0 2 Cg состоит из многочленов степени 0; т.е. геометрическая кратность числа 0 равна 1.

Можно доказать (это будет сделано в x 33), что геометрическая кратность любого собственного значения линейного оператора всегда не превосходит его алгебраической кратности.

Определение 8. Собственное значение линейного оператора называется

простым, если его алгебраическая кратность равна единице. Непосредственно из теоремы 3 и формул Виета (см. x 11) получаем

Следствие 1. Имеют место равенства

tr A = tr A = k1 1 + ; +km m; det A = det A = k11 k22 kmm;

где (A) = f 1; : : : ; mg и kj - алгебраическая кратность собственного значения j оператора A 2 L(X) (A - его матрица).

Замечание 6. Именно использование основной теоремы высшей алгебры привело к требованию в условиях теоремы 3 комплексности линейных пространств. Утверждения этой теоремы неверны для вещественных линейных пространств. Об этом говорит следующий пример.

Пример 3. Пусть оператор A : R2 ! R2 - задается матрицей

Т е о р е м а 4. Пусть 1; : : : ; m 2 K - различные собственные значения оператора A. Тогда соответствующие им собственные векторы e1; : : : ; em (т.е.

Aek = kek; k = 1; : : : ; m) линейно независимы.

Доказательство проведем индукцией по числу m линейно независимых векторов. При m = 1 имеем один ненулевой собственной вектор e1 , который всегда линейно независим.