Д.В.Беклемишев
ДОПОЛНИТЕЛЬНЫЕ ГЛАВЫ ЛИНЕЙНОЙ АЛГЕБРЫ
М.: Наука. Главная редакция физико-математической литературы, 1983.— 336 с.
Учебное пособие содержит следующие главы: Линейные отображения,
теорема Жордана и функции от матриц, введение в численные методы,
псевдорешення и псевдообратные матрицы, основные понятия линейного
программирования. Элементарные факты из теории матриц и линейной алгебры
не излагаются, а используются в том виде, как они изложены в книге автора
«Курс аналитической геометрии и линейной алгебры». Книга призвана заполнить
пробел, который существует между общим курсом линейной алгебры и
приложениями этой дисциплины к научным и техническим задачам.
Для студентов втузов и университетов, обучающихся по специальностям
«Физика» и «Прикладная математика».
ОГЛАВЛЕНИЕ
Предисловие 6
Глава 1. Линейные отображения 7
§ 1. Сопряженное отображение 7
1. Ортогональность G) 2. Определение сопряженного отображения
(8). 3. Координатная запись A0). 4. Свойства сопряженных
отображений A1). 5. Сопряженное преобразование A2). 6.
Отображаемые пространства евклидовы A3). 7. Сингулярные базисы
отображений A7). 8. Обобщение на комплексные пространства A9).
§ 2. Линейные преобразования в евклидовом пространстве 22
1. Экстремальные свойства собственных значений B2). 2. Полярное
разложение B5). 3. Единственность полярного разложения B7). 4.
Сингулярные числа и сингулярные базисы преобразований B8). 5.
Обзор результатов для унитарных пространств C1).
§ 3. Линейные преобразования в унитарном пространстве 32
1. Перестановочные преобразования C2). 2. Приведение матрицы
линейного преобразования к треугольному виду C2). 3. Нормальные
преобразования C4). 4. Свойства нормальных преобразований C6).
§ 4. Нормированные пространства 38
1. Определение C8). 2. Примеры норм D0). 3. Эквивалентность норм
D2). 4. Нормы матриц D4). 5. Наиболее употребительные нормы
матриц D8). 6. Поэлементная сходимость E2).
Глава 2. Теорема Жордана. Функции от матриц 53
§ 1. Аннулирующие многочлены 53
1 Делимость многочленов E3) 2. Многочлены от преобразований
E7). 3. Минимальный аннулирующий многочлен преобразования
E9). 4. Нильпотентные преобразования F1).
§ 2. Жорданова нормальная форма 62
1 Корневые подпространства F2). 2. Жордановы цепочки F6). 3.
Нахождение начальных векторов цепочек F7). 4. Разложение

корневого подпространства в сумму циклических F7). 5.
Размерности циклических прямых слагаемых F9). 6. Вид матрицы
нильпотентного преобразования а жордановом базисе G0). 7.
Теорема Жор дана G1). 8. Замечания и следствия G2). 9 Построение
жорданова базиса G4).
§ 3. Функции от матриц 77
1. Введение G7). 2. Регулярные функции от матриц G7). 3.
Исследование сходимости матричных степенных рядов G9). 4.
Проектирование и отождествление (85) 5. Спектральное разложение
(85). 6. Свойства компонентных матриц (88). 7 Вычисление
компонентных матриц (90). 8. Сохранение тождеств (92). 9.
Аналитическое продолжение (93). 10. Характеристические числа
регулярной функции (95).
§ 4. Приложение к обыкновенным дифференциальным уравнениям 95
1. Матричные функции скалярного аргумента (96). 2. Системы
линейных уравнений с постоянными коэффициентами (97). 3.
Вычисление матрицы е^ A00).
§ 5. Локализация корней характеристического многочлена 101
1. Введение A01). 2. Оценки для модулей характеристических чисел
A03). 3. Оценки для вещественных и мнимых частей
характеристических чисел A04). 4. Локализационные круги A05). 5.
Замечания и следствия A08).
Глава 3. Введение в численные методы 111
§ 1. Введение 111
1. Цель главы A11). 2. Ошибки округления A11). 3. Влияние
неточности исходной информации A15). 4. Почти вырожденные
матрицы A17). 5. Ограниченность памяти A19).
§ 2. Обусловленность 122
1. Верхняя оценка возмущения A22). 2. Число обусловленности
A23). 3. Почти вырожденные матрицы A25). 4. Обусловленность
задачи о нахождении собственных векторов и собственных значений
A29).
§ 3 Прямые методы решения систем линейных уравнений 134
1. Метод Гаусса A34). 2. Z, [/-разложения A38). 3- Выбор главного
элемента A42). 4. Масштабирование A45). 5. Вычисления с двойной
точностью и компактная схема A48). 6. Разложение на
ортогональный и треугольный множители A51). 7. Метод вращений
A56). 8. Применение процесса ортогонализации A57). 9. Сравнение
методов и оценка их точности A58)
§ 4. Итерационные методы решения систем линейных уравнений 160
1. Введение A60) 2. Метод простой итерации A62). 3. Итерационное
уточнение A66) 4. Метод Зейделя A67). 5. Метод верхней
релаксации A68).

§ 5. Вычисление собственных векторов и собственных значений 170
1. Вводные замечания A70). 2. Степенной метод A71). 3. Обратный
степенной метод A73). 4. Дальнейшее развитие степенного метода
A77). 5. 0/?-алгоритм A80). 6. Приведение матрицы к почти
треугольной форме A82). 7. Ускорение сходимости QR -алгоритма
A84). 8. Апостериорные оценки точности вычислений A85).
Глава 4. Псевдорешения и псевдообратные матрицы 187
§ 1. Элементарные свойства 187
1. Вводные замечания A87). 2. Минимизация невязки A88). 3.
Псевдообратная матрица A93).
§ 2. Псевдообратное отображение 200
1. Определение B00). 2. Запись в сингулярных базисах B01). 3.
Псевдообращение при помощи предельного перехода B04).
§ 3. Методы вычисления 207
1. Нахождение псевдорешения при помощи сингулярного
разложения B07). 2. Использование регуляризации B09). 6.
Вычисление псевдообратной матрицы B11). 4. Прямое получение
скелетного разложения матрицы B12). 5. QR -разложение для
прямоугольных матриц B13). 6. Метод переортогонализации B14).
7. Использование qR -разложения B17). 8. Вторая форма
сингулярного разложения Bi8). 9. Использование сингулярного
разложения B21). 10. Метод Гревиля B22).
§ 4. Метод наименьших квадратов 226
1. Задача приближения функции B26). 2. Линейная регрессия B29).
Глава 5. Системы линейных неравенств и линейное 235
программирование
§ 1. Однородные системы линейных неравенств 235
1. Основные определения B35). 2. Строение выпуклого
многогранного конуса B39). 3. Неравенства — следствия системы
линейных неравенств B45). 4. Двойственные конусы B49). 5.
Теорема отделимости B51). 6. Построение общего решения B51).
§ 2. Неоднородные системы линейных неравенств 255
1. Выпуклые множества в аффинном пространстве B55). 2.
Множество решений неоднородной системы линейных неравенств
B60). 3. Грани выпуклого многогранного множества B62). 4.
Условия совместности B66). 5. Неравенства — следствия
неоднородной системы линейных неравенств B69). 6. Принцип
граничных решений B71).
§ 3. Основы линейного программирования 273
1. Введение B73). 2. Постановка задачи B75). 3. Существование
решения B77). 4. Двойственная задача B79). 5. Функция Лагранжа
B86).
§ 4. Симплекс-метод 286

1. Введение B86). 2. Каноническая форма задачи B86). 3. Задача,
двойственная канонической B88). 4. Вершины и ребра
многогранника канонической задачи B89). 5. Шаг симплекс-метода
B93). 6. Элиминативная форма записи обратной матрицы B96). 7.
Нахождение начального базиса B98) 8. Двойственный симплекс-
метод C00). 9. Зацикливание C05).
§ 5. Приложения линейного программирования 306
1. Транспортная задача C06). 2. Задача о максимальном потоке C10).
3. Дискретное линейное программирование C15). 4. Матричные
игры C17). 5. Гарантированные выигрыши C18). 6. Смешанные
стратегии C20). 7. Применение линейного программирования C23).
Добавление. Вычисление коэффициентов характеристического 328
многочлена
Литература 332
Предметный указатель 334
Предметный указатель
Алгоритм деления с остатком 63
Алгоритм Евклида 55
Анализ ошибок обратный 114
прямой 114
Базис задачи л. п. 291
допустимый 291
— сингулярный 17, 29
— циклический 61
Вектор внутренний 238
— крайний 244
— присоединенный 66
Вершина 263
Вещественная часть преобразования
87
Внутренность конуса 238
относительная 238
Выпуклая комбинация 256
— оболочка 256
Выпуклое множество 42, 257
многогранное 259
Выпуклый конус 236
— многогранник 259
Вырожденная вершина 289
— задача 290
Главный элемент 143
Граничное подпространство 236
Грань 239, 263
— минимальная 239
Жесткое неравенство 237, 269
Жорданов базис 69, 71
Жорданова клетка 71
— нормальная форма 72
— цепочка 66
Задача двойственная 279
— о максимальном потоке 310
— о назначениях 316
— размещения 315
— о верхними ограничениями 304
— о двусторонними ограничениями
304
— транспортная 306
Запятая плавающая 112
— фиксированная 113
Зацикливание 305
Значение игры 325
Значения на спектре 84
Игра 317
— вполне определенная 320
— динамическая 318
— конечная 318
— матричная 318
— симметрическая 318
— о нулевой суммой 317
Итерационное уточнение 168

Конус двойственный 249
— заостренный 240
— тупой 240
Коэффициент перекоса 132
Локализационные круги 106
Луч 236
— крайний 244
Масштабирование 145
Матрица вычислимая 120
диагональная 201
— двойного описания 250
— жорданова 72
— идемпотентная 198
— клеточно диагональная 64
— ковариаций 232
— ленточная 121
— перестановки 142
— почти вырожденная 118
треугольная 182
— псевдообратная 193
— равновесная 148
— разреженная 120
— регрессии 129
— с доминирующей диагональю 105
— сопровождающая 102
— треугольная 33, 136
— трехдиагональная 184
— фундаментальная 99
Матрицы компонентные 87
— подобные 72
Машинное е 114
Метод вращений 156, 171
— Гаусса 134, 149
— Гревиля 222
— Жор дана 138
— квадратного корня 151
— наименьших квадратов 226
— оптимального исключения 137
— отражений 152
— переортогонализации 214
— последовательных смещений 167
— потенциалов 310
— простой итерации 162
— степенной 171
обратный 174
— Якоби165, 171
Методы исчерпывания 178
Мнимая часть преобразования 37
Многочлен аннулирующий 59
— интерполяционный 88, 90
— матричный 57
— минимальный 60
Наибольший общий делитель 54
Наименьшее общее кратное 56
Невязка 158
Норма 39
— евклидова 40, 50
— индуцированная 46
Норма кольцевая 47
— мажорирующая 42
— согласованная 45
— сохраняющая единицу 46
— спектральная 48
— унитарная 40, 50
Нормы эквивалентные 42
Нормальная система 189
— форма игры 318
матрицы 138
Образующие конуса 243
Общее решение 200
Ограниченное множество 258
Окрестность 39
Ортогональное дополнение 7
Остаток при делении 53
Остаточная сумма квадратов 233
Остов конуса 243
Отношение Релея 22
обобщенное 186
Отображение псевдообратное 200
— сжимающее 62
— сопряженное 9
Отождествление 85
Отражение 152
Отрезок 42
Оценка 227
— замещения 293

— линейная 230
— несмещенная 230
— точности апостериорная 160
априорная 160
Ошибка 230
— округления 114
Переменная дополнительная 287
— искусственная 298
Погрешность 115, 158
Подпространство корневое 62
— собственное 32
— циклическое 61
Показатель нильпотентности 61
Полная система решений 243
Полупространство 235
Преобразование нильпотентное 61
нормальное 34
— нулевое 59
— простой структуры 73
— сопряженное 12
Преобразования перестановочные 32
Принцип граничных решений 271
— неподвижной точки 162
Проблема собственных значений 170
Проектирование 85
Пространство нормированное 39
— эрмитово сопряженное 20
Псевдобазис 301
Псевдорешение 190
Разложение полярное 25
— сингулярное 18, 219
— скелетное 196
— спектральное 87
Размерность конуса 236
— многогранного множества 262
Разрез сети 314
минимальный 315
Расстояние 39
Ребро 242, 263
Регрессор 229
Режим накопления 148
Решение игры 325
Ряд матричный 78, 97
Сеть 310
Симплекс 322
Симплекс-метод 286
двойственный 303
Симплексная таблица 295
Система возмущенная 115
— невозмущенная 115
— ограничений 276
Спектральный радиус 103
Столбец неотрицательный 235
Стратегия 318
— оптимальная 320, 325
— смешанная 321
— чистая 320, 321
Сумма множеств 240
— прямая 63
— ряда 78
Сфера единичная 22, 41
Схема единственного деления 133
Сходимость по норме 39
— по форме 181
— поэлементная 52
Теорема Гамильтона — Кэли 66
— двойственности 280
— Жордана 72
— Куна — Таккера 285
— о максимальном потоке 313
— отделимости 251
— Фаркаша 247, 269
— Фредгольма 12
Точка внутренняя 278
допустимая 276
— крайняя 265
Фундаментальная система решений
243
Функции линейно зависимые 227
— параметрические 231
Функция Лагранжа 285
— матричная 77, 96
регулярная 78
— полулинейная 19
— целевая 276
Частное двух многочленов 53

Числа сингулярные 17, 29 /-норма 40
Число обусловленности 123 Z, [/-разложение 139
спектральное 124 М -задача 298
Эквивалентное возмущение 159 0/?-алгоритм 180
Элиминативная форма 297 0/?-разложение 152
Ядро отображения 11 gr-разложение 213
с-норма 40 ^7?-разложевие 214
с'-норма 51

ПРЕДИСЛОВИЕ
Эта' книга написана на основе специального курса, который
автор читал в течение ряда лет в Московском физико-техническом
институте. Курс был рассчитан на студентов физических и инженер-
инженерных специальностей, но посещали его также и студенты, специали-
специализирующиеся по прикладной математике.
Цель этих лекций состояла в том, чтобы заполнить пробел между
общим курсом линейной алгебры и приложениями линейной алгебры
к научным и техническим задачам. В соответствии с этим более
близкие к приложениям сведения выбирались в зависимости от спе-
специализации и интересов слушателей. В книгу вошли почти все
темы, когда-либо бывшие в программе, и потому объем материала
в ней превосходит обычный объем спецкурса. Подробнее содержа-
содержание книги видно из оглавления.
Отдельные главы книги изложены достаточно независимо, для
того чтобы оставить изучающему свободу выбора материала: гл. III,
IV и V практически независимы, хотя отдельные места гл. IV и V,
посвященные методам вычислений, предполагают знакомство с гл. III.
Почти вся гл. I необходима для дальнейшего изложения,
но сведения о комплексных пространствах используются в мень-
меньшей мере. Из гл. II в последующих главах чаще всего приходится
ссылаться на § 3 и, в частности, на теорему о спектральном раз-
разложении функции от матрицы. Теорема Жордана почти не исполь-
используется, и потому из § 2 гл. II для дальнейшего нужен лишь п. 1.
Частично изложение имеет ознакомительный характер, и ряд
результатов приводится без доказательства. В этих случаях де-
делаются ссылки на источник, в котором доказательство можно найти.
При ссылках указывается фамилия автора и номер по списку ли-
литературы в квадратных скобках. В качестве рекомендуемой лите-
литературы выбраны достаточно распространенные учебники и моно-
монографии. Читатель, который захочет продолжить изучение предмета,
сможет найти дополнительные ссылки в упоминаемых здесь книгах.
Предполагается, что читатель знаком с основными фактами из
линейной алгебры. Эти факты используются в том виде, как они
изложены в «Курсе аналитической геометрии и линейной алгебры»
[3]. Ссылки на этот курс начинаются с буквы К (например, К.,
предложение 1 § 2 гл. IV). Кроме того, Ёыражение «как известно, ...»
или любое эквивалентное можно рассматривать как неявную ссылку
на тот же учебник.
Проф. А. А. Абрамов, проф. В. В. Воеводин и канд. ф.-м. н.
А. Ф. Заболоцкая были так любезны, что прочли рукопись книги.
Ряд замечаний сделали доц. О. В. Висков и доц. Б. В. Федосов.
Всем им я выражаю свою глубокую благодарность.

ГЛАВА 1
ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
§ 1. Сопряженное отображение
Известно, что в евклидовом пространстве для линейного преоб-
преобразования А существует сопряженное преобразование А*. Тот же
термин и то же обозначение «звездочка» применялись и по отноше-
отношению к линейному пространству X*, сопряженному данному ли-
линейному пространству 33, т. е. к множеству линейных функций,
определенных на X. Это сходство в названиях отражает глубокую
связь между указанными понятиями. В настоящем параграфе эта
связь будет описана подробно. Цель параграфа — определение и
изучение отображения, сопряженного заданному линейному отобра-
отображению одного линейного пространства в другое. Будет предпола-
предполагаться знакомство с основными свойствами отображений (К., § 3
гл. VI) и с понятием сопряженного пространства (К-, § 1 гл. VIII).
1. Ортогональность. Ниже мы введем для линейных функций
на линейном пространстве 35п некоторые обозначения и термины.
Они напоминают о связи, которая существует между линейными
функциями и векторами в евклидовых пространствах, и упрощают
формулировки некоторых предложений.
Рассмотрим линейную функцию / на линейном пространстве =$?„.
Значение функции / на векторе х мы будем обозначать не / (х),
a (J, х). В такую запись fax входят более симметрично.
Известно, что вектор х е =5?„ можно рассматривать как линей-
линейную функцию на %*1, сопоставляющую каждому / из 35*п число
(/, х) i). Поскольку значение / на х и значение х на / — одно и
то же число, мы имеем право писать (/, х) = (х, /).
Вектор х е 35 п мы назовем ортогональным вектору f из =5?*,
если (/, х) = 0. Заметим, что термин «биортогональные базисы»
предполагает ортогональность именно в этом смысле. Очевидно,
что отношение ортогональности симметрично: / ортогонален к
тогда и только тогда, когда х ортогонален /.
Определение. Пусть <Jlk — линейное подпространство
в 36 п. Множество всех векторов из 35%, ортогональных каждому
вектору из е^, называется ортогональным дополнением <Лк и
обозначается <^J-.
Подчеркнем, что ортогональное дополнение подпространства
в !%.„ лежит в другом пространстве — в %*п.
*) Для читателя, знакомого с тензорной алгеброй, возможног стоит заметить,
>что (f, х) — свертка вектора х и ковектора /,

8 ГЛ. I. ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
Предложение 1. Ортогональное дополнение k-мерного под-
подпространства aSk есть линейное подпространство, причем di m <Jt J- =
- л — к.
Доказательство почти не отличается от доказательства анало-
аналогичного предложения для евклидова пространства. Заметим сна-
сначала, что / е <мк тогда и только тогда, когда / ортогонально всем
векторам какого-либо базиса в еЖк. Действительно, если ах, ..., ak —
базис в <Лк, то для каждого х из <J(-k имеем х = 1хаг + ... + \как
и </, х) = g1 (J,ax) + ... + lk(f, ak) в силу линейности функ-
функции /. Поэтому из (f,a1) = O, ..., </, ак) — 0 следует, что (/, х) =
= 0. Обратно, если </, х) — 0 для всех х е <Mk, то, в частности, это
верно и для базисных векторов.
Выбрав в Хп какой-либо базис, мы можем записать в нем ра-
равенства (/, di) = 0 для всех { = 1, ..., k. Это будет система ли-
линейных уравнений
7 = 0,
««fe = 0
относительно коэффициентов функции / в выбранном нами базисе.
оД, ..., а'! обозначают компоненты вектора щ. Так как векторы
аъ ..., ak линейно независимы, ранг матрицы системы равен k. Мы
знаем, что множество решений системы образует линейное про-
пространство размерности п — k. Это равносильно доказываемому
утверждению.
Рассмотрим для некоторого подпространства а&ь пространство
у ортогональное дополнение его ортогонального допол-
дополнения. Из взаимности отношения ортогональности следует, что
<ЛЧ s (oSjtI-. Но размерность {aSjtI равна п — (п — k), т. е. к.
Это значит, что (е^^I совпадает с <Лк.
2. Определение сопряженного отображения. Мы будем рассмат-
рассматривать два линейных пространства Хп и Хт размерностей пят,
вообще говоря, различных. X* и ?%,, как всегда, обозначают соот-
соответствующие сопряженные пространства. Пусть дано некоторое
линейное отображение А: Хп -> Хт.
Если / е Хт — какая-то линейная функция на Хт, то можно
взять суперпозицию отображения А и этой функции, т. е. на вектор
х е Хп подействовать сначала отображением А, а затем взять
значение функции / от вектора А(х) е Хт. Таким образом будет
определена числовая функция g на пространстве Хп, которая может
быть обозначена / • А. Итак,
= (f, A(x)). A)

§ I СОПРЯЖЕННОЕ ОТОБРАЖЕНИЕ 9
Функция / может рассматриваться как линейное отображение Хт
в множество чисел, и потому g линейна как произведение двух ли-
линейных отображений. Впрочем, линейность g нетрудно проверить
и непосредственно.
Теперь сопоставим каждой линейной функции / на Хт функцию
/ ° А на Хп. Полученное отображение 35*п -> %% мы обозначим
через А*. Таким образом,
А* (/) = /• А. B)
Возьмем значение каждой из частей равенства B) на векторе х.
Мы получим
(А*(/), *> = </, А(х)>. C)
Равенство C) очень похоже на определение сопряженного преобра-
преобразования в евклидовом пространстве. Ниже мы покажем, что это
не просто внешнее сходство. Заметим, что сходство в записи до-
достигнуто за счет удачных обозначений. Если бы значение функции
мы обозначали, как обычно, / (х), то правую часть равенства C)
пришлось бы написать так: / (А (х)), а левую часть — в совсем
неудобном виде А* (Л (х).
Докажем, что отображение А* является линейным. Для этого
напомним определения суммы двух линейных функций и произведе-
произведения линейной функции на число. В наших новых обозначениях эти
определения имеют вид
2, x),
(af, x)=a(f, x).
Используя эти равенства и равенство C), мы можем написать
<А*(/! + /,), *> = </i + /«. А(*)> = <Д, А(х)> + </2, А(*)> =
= (А*(/1), *> + <А*(/3), х) = (А*(/1) + А*(/2), х)
<А*(а/), *> = <«/, А(х)) = а</, А(*)>=«<А*(/), х),
что и исчерпывает вопрос. Теперь мы можем ввести следующее
Определение. Линейное отображение А*: %% ->¦ J?%,
определенное формулой B), называется сопряженным линейному
отображению А: %п-*-%т.
Можно было бы считать определением формулу C), потребовав,
чтобы равенство выполнялось для всех х е Хп.
Из сказанного выше видно, что каждое линейное отображение
имеет единственное сопряженное отображение.
Рассмотрим отображение А**, сопряженное отображению А*.
Согласно определению, А** отображает Хп в Хт, причем, если
х е Хп рассматривать как линейную функцию на X* , для любого

10 ГЛ. I. ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
/ е 35%. выполнено равенство
<А**D, />-<*, А*(/)>.
Как указывалось выше, мы вправе переписать это равенство в вид
</, A**W> = (A*(/I х).
Отсюда, применяя определение к А*, имеем]
</, А•¦(*» = </, А(*)>.
Поскольку это верно для любых / е ?%, векторы А** (х) и А (х),
рассматриваемые как функции на %%, должны совпадать. Их совпа-
совпадение при любых х е Хп означает, что
3. Координатная запись. Пусть в пространствах Хп и %т вы-
выбраны базисы е — || ех, ..., е„ II и / = \\ lu ..., lm \\ соответственно.
Тогда образ вектора х при отображении А имеет в базисе / коорди-
координатный столбец
где | — координатный столбец х в базисе е, а А —матрица отобра-
отображения А в выбранной паре базисов. Рассмотрим линейную функцию/
на ?т и обозначим ее строку коэффициентов в базисе / через я =
с= || щ, ..., хт ||. Тогда значение функции / • А на векторе х равно
и поэтому функция А* (/) = /• А в базисе е имеет координатную
строку
jw = х, А. D)
Остается вспомнить, что коэффициенты линейной функции в неко-
некотором базисе — это ее координаты в базисе сопряженного простран-
пространства, биортогональном данному базису. Если и для сопряженного
пространства писать координаты вектора в столбец, формулу D)
нужно преобразовать к виду |лг =АТ кт. Мы получаем
Предложение 2. Если в некоторой паре базисов отобра-
отображение А: %п ->¦ &т записывается матрицей А, то сопряженное
отображение А *: %% -*- %t в биортогоналъных базисах задается
транспонированной матрицей АТ.
Если придерживаться чисто матричной точки зрения, то можно
было бы сказать, что матрицу А размеров m X п можно употреблять
как матрицу отображения двумя способами:
I) Умножать справа на столбец высоты п и получать столбец
высоты т. Это — отображение А пространства столбцов высоты п
в пространство столбцов высоты т.

§ 1. СОПРЯЖЕННОЕ ОТОБРАЖЕНИЕ И
2) Умножать слева на строку длины т, получая строку длины п.
Это — отображение А* пространства строк длины т в пространство
строк длины л.
4. Свойства сопряженных отображений. Переход к сопряжен-
сопряженному отображению следующим образом связан с алгебраическими
операциями над отображениями.
Предложение 3. Если определены отображения ВА, А
или А + В, то имеем соответственно
(ВА)* = А*В*, E)
(А-1)* = (А*)-1, F)
(А + В)* = А* + В*. G)
(аА)* = аА*. (8)
Для доказательства формулы E) рассмотрим три линейных
пространства X, X и X и отображения А: Х->- X и В: X -> X,
Если в X, X и X выбраны базисы е, I и h соответственно, то отоб-
отображение В-А в паре базисов е и h имеет матрицу В А, где А —
матрица А в базисах e,l,a В — матрица В в базисах /, h. Мы знаем,
что (ВА)Т — АТВТ для любых матриц А и В, для которых опреде-
определено произведение В А. Поэтому отображение (В • А)* в базисах,
биортогональных hue, имеет матрицу АТВТ и,, следовательно,
равно произведению А*В*. Итак, формула E) доказана.
Если отображение А имеет обратное, и Л — его матрица в бази-
базисах е я l,io обратное отображение А имеет матрицу А'1 в базисах
/ и е. Поскольку (Ат)'г = (А'1)т, сопряженное отображение А*
также имеет обратное, и его матрица равна {А'г)т.
На доказательстве формул G) и (8) мы останавливаться не бу-
будем. Они также легко вытекают из координатной записи отображе-
отображений.
Напомним, что ядром отображения А называется множество
всех таких векторов х, что А (х) = о. Мы будем обознаегаяъ ядро А
символом Кех А. Несложно доказать, что Кег А — линейное под-
подпространство Хл.
Предложение 4. Ортогональное дополнение, множества
значений отображения А совладает с ядром, его сопряженного отобра-
отображения
(A(JSra))i-=KerA*. (9)
Ядро Кег А* отображения А* по определению состой! из всех
таких векторов-/ е Х*ту что А* (/) = о. Это значит, чт.а / е Кег А*
равносильно равенству (А* (/), х) = Q для любых ж е=К„,> что
в свою очередь равносильно (J, А (л)) = 0.
Но ортогшадьвае дедалыеыие подпрострканетва A (^J как раз
и есть множество всех таких /¦ е %%, что- </, А (х)) = ©;для любых
Х

12 ГЛ. I. ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ Ч
Следствие. Применяя предложение 4 к отображению А*,
находим
В координатной записи предложение 4 совпадает с теоремой
Фредгольма о совместности систем линейных уравнений. Напом-
Напомним ее формулировку.
Теорема Фредгольма. Система из т линейных урав-
уравнений с п нешахтнымиА\ — Ь совместна тогда и только тогда,
когда каждое решение транспонированной однородной системы
Ату\ = 0 удовлетворяет условию vjb = 0.
Рассмотрим пару пространств Хп и Хт и базисы в этих простран-
пространствах. Каждый столбец в формулировке теоремы будем считать ко-
координатным столбцом некоторого вектора, а матрицу системы А —
матрицей линейного отображения А. Совместность системы А\ — Ь
означает, что &еА (X). Множество решений транспонированной
однородной системы есть Кег А*. Отметив это, легко видеть, что
утверждение теоремы Фредгольма записывается формулой (9).
Предложение 5. Rg A* = Rg A.
Это прямо следует из предложения 2, но читателю в качестве
упражнения рекомендуется получить это предложение из сравне-
сравнения размерностей обеих частей равенства (9).
5. Сопряженное преобразование. Выше было определено сопря-
сопряженное отображение для любого линейного отображения линей-
линейных пространств. Сейчас рассмотрим сопряженное отображе-
отображение для преобразования А: Хп -> Хп, т.е. такого отображения,
для которого пространства Хп и Хт совпадают. В этом случае
совпадают также пространства X* и Х%, и сопряженное отображе-
отображение является преобразованием пространства Х%. Таким образом,
два сопряженных друг другу преобразования А и А* действуют
в сопряженных друг другу пространствах Х„ и Х%.
Напомним, что матрица отображения А: Хп -*¦ Хт определена,
когда выбраны базисы е в Хп и / в Хп. По определению в случае
преобразования базисы е и / должны совпадать: матрица преобра-
преобразования А в базисе е состоит из координатных столбцов векторов
А (ег), ..., А (е„) в базисе е. Принимая во внимание это определение,
мы получаем
Предложение 6. Если преобразование А в базисе е имеет
матрицу А, то сопряженное преобразование А* в базисе р, биорто-
еональном базису е, имеет матрицу АТ.
Для линейных преобразований, в отличие от произвольных ли-
линейных отображений, определены инвариантные подпространства,
собственные значения и собственные векторы. Исследуем, как они
связаны для преобразования А и его сопряженного А*.
Характеристический многочлен не меняется при транспониро-
транспонировании матрицы: det (Л — КЕ) — det (Лг — КЕ). Более того,

§ 1. СОПРЯЖЕННОЕ ОТОБРАЖЕНИЕ
13
Rg (A — кЕ) = Rg (Ат — кЕ). Поэтому из предложения 6 сле-
следует
Предложение 7. Собственные значения преобразований А
и А* совпадают, и равные собственные значения имеют одинаковые
кратности. Если собственному значению к преобразования А соот-
соответствует k линейно независимых собственных векторов, то столько
же линейно независимых собственных векторов соответствует ему
и для преобразования А*.
Предложение 8. Если подпространство Ж <=, Хп инва-
инвариантно относительно преобразования А, то его ортогональное до-
дополнение оЖ± s ?*п инвариантно относительно преобразования А*.
Доказательство. Пусть х е &%. Тогда А (х) е eSt
и для произвольного вектора / е <Ж^- выполнено (/, А (х)) = 0.
Но это означает, что (А* (/), х) — 0, и, таким образом, A* (f) e eS-L.
Предложение 9. Пусть х и f — собственные векторы пре-
преобразований А и А* соответственно, принадлежащие собственным
значениям к и ц,. При X ф ц, векторы х и f ортогональны.
Действительно, пусть
A(x) = hc, х, A(x)ei?n,
Рассмотрим значение линейной функции / на векторе А (х). Имеем
(/, А(*)> = <А*(/), x) = v(f,x).
Но (/, А (х)> = к (f, x). Следовательно,
Отсюда прямо вытекает наше утверждение.
Предложение 10. Если базис е состоит из собственных
векторов преобразования А, то его биортогональный базис состоит
из собственных векторов преобразования А*.
Для доказательства достаточно вспомнить, что в базисе е мат-
матрица преобразования А диагональна. Следовательно, диагональна
и ее транспонированная матрица, а это—матрица преобразова-
преобразования А* в биортогональном базисе.
6. Отображаемые пространства евклидовы. Пусть 1„ и 1га —
евклидовы пространства соответственно пит измерений. Рассмот-
Рассмотрим линейное отображение А: Ш„ -> Шт и сопряженное ему отобра-
отображение А*. Наиболее существенная для нас отличительная черта
евклидова пространства состоит в том, что его можно отождествить
с сопряженным ему пространством.
Такое отождествление возможно благодаря тому, что суще-
существует естественный, не зависящий от выбора базиса, изоморфизм
Г: Ш% -> Щп, Именно, следует напомнить, что для каждой линей-
линейной функции / на Шп существует единственный присоединенный
; вектор атакой, что для любого х е Щ „ выполнено равенство (/, х) —

14 ГЛ. I. ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
= {а, х), в шторам круглые скобки обозначают скалярное произ-
произведение в Шп. При этом отображение Г, сопоставляющее функции
ее тгрргеоединентяый вектор, взаимно однозначно и линейно. Действи-
Действительно, если к — строка коэффициентов функции / в некотором
базисе, а« и \ — координатные столбцы векторов а и х, то {/, х) =
= к| и (а, х) — атТ%, где Г — матрица Грама выбранного базиса.
Таким образом, для любого столбца | имеем к| = «ГГ|, что
равносильно
Так как del Г Ф 0, это равенство может быть решено относитель-
относительно а:
Отсюда следует, что Г — изоморфизм линейных пространств. Введя
в Шп скаяарное произведение по формуле if, g) = (Г if), Г (g)),
мы можем считать его изоморфизмом евклидовых пространств.
Таким образом, для отображения А: Ш„ -> Шт сопряженное А*
отображает Шт в Шп и может быть определено равенством
(A*(j,U') = (i,,AD A0)
которое должно быть выполнено для любых векторов х е Ш„ и
у е Шт. Здесь круглые скобки в левой части равенства обозна-
обозначают скалярное произведение в Ш„, а в правой части равенства —
в Шт. В дальнейшем мы не будем делать подобные указания, по-
полагая, что принадлежность сомножителей какому-либо простран-
пространству говорит о том, что операция скалярного умножения рассматри-
рассматривается в этом пространстве так же, как это принято по отношению
к знаку +.
Заметим, что в случае, когда А — преобразование простран-
пространства Шп, сопряженное ему А* будет также преобразованием в Шп,
и определевие A0) совпадает с известным определением сопряжен-
сопряженного преобразования евклидова пространства.
Рассмотрим формулу A0) в координатной записи. Выберем
в Шп и в Шт базисы и обозначим через | и ц координатные столбцы
векторов х е Ш„ и у е Шт, через А и А* матрицы отображений
А и А*, а через Г и Г матрицы Грама выбранных базисов. Тогда
равенство A0) примет вид
из которого в силу произвольности | и ц следует
ила
Л*=Г-МГГ. (И)

§ 1. СОПРЯЖЕННОЕ ОТОБРАЖЕНИЕ г5
Это выражение значительно сложнее, чем связь между матфицама,
указанная в предложении 6, поскольку, отождествив Шл с Щ%
и Шт с Йт, мы выбираем в отождествленных пространстаах один
и тот же базис, а не два биортогональных друг другу базиса. Если
базис ортонормированный, он совпадает со своим биортогональным.
Для ортонормированных базисов A1) превращается в А* = АТ,
что соответствует предложению 5.
По сравнению с рассмотренным в предыдущих пунктах общим
случаем сейчас новым является то, что в силу отождествления Щп
с Ш% и Щт с Щщ определены произведения А*А и АА*. Первое
из них есть преобразование пространства Щп, а второе — аростран-
ства Шт. Свойства этих преобразований сходны. Действительно,
преобразование АА* может быть записано в виде (А*)*(А*), и,
следовательно, второе из преобразований совпадает с первым, взя-
взятым для отображения А*. Изучим свойства А*А.
Основную роль при этом будет играть следующее очевидное
соотношение:
(А*А (х), х) = (А (х), А (х))=э 0, A2)
в котором равенство нулю достигается тогда и только тогда, когда
А (х) = о.
Предложение 11. Преобразование А* А самосопряженное.
Его собственные значения неотрицательны.
Действительно, согласно предложению 3, (А*А)* = А*А** =
= А* А, что доказывает первое утверждение. Далее, пусть А* А (х) =
= hx. Тогда ' (А*А (х), х) = К (х, х) ^ 0 в силу равенства A2).
Отсюда 1^0.
Предложение 12. Ядро преобразования А*А совпадает
с ядром отображения А. Множество значений А*А совладает с мно-
множеством значений А*.
Доказательство. Из А (х) = о следует А*А (х) = о
и потому Ker A s Ker А*А. Кроме того, из А*А (х) = о следует
(А*А (х), х) = 0 и, согласно A2), А (х) = о. Поэтому Ker A*A ?
Е Кег А, что и доказывает утверждение
Ker A = Ker А* А. A3)
Для доказательства второго утверждения сравним ранги А и
А*А, что представляет и самостоятельный интерес. Известаог что
сумма ранга отображения и размерности его ядра равна размер-
размерности отображаемого пространства. Отображаемое проетражтво ё„
у отображений А и А*А одно и то же, и ядра их совпадают. Сле-
Следовательно,
A4)
Далее, поскольку А(?а) = Шш, разумеется, А*А ($a} s А*
Но по определению ранга отображения имеем Rg A = Rg A* =

16 ГЛ I, ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
= dim A* (fm) и Rg A*A = dim A*A (&„). Ранги равны, следо-
следовательно, подпространства совпадают в силу указанного выше вклю-
включения и равенства размерностей
Предложение доказано.
В евклидовом пространстве самосопряженному преобразова-
преобразованию В сопоставляется квадратичная форма (В (х),х). Из предло-
предложения 11 вытекает
Следствие. Квадратичная форма (А* А(л;), х) положи-
положительно полуопределенная. Она положительно определена тогда и
только тогда, когда Кег А = о.
Мы знаем, что Rg A = Rg А*. Отсюда, применяя формулу A4)
к отображению А*, имеем
RgA*A = RgAA*- A5)
Исследуем связь собственных векторов и собственных значений
преобразований А*А и АА*. Она выражается следующим предло-
предложением.
Предложение 13. Если х — собственный вектор преобра-
преобразования А*А, принадлежащий собственному значению ХфО, то
А {х) — собственный вектор преобразования АА*, принадлежащий
тому же еобственному значению. При этом линейно независимым
собственным векторам х1г ..., xs преобразования А*А соответствуют
линейно независимые собственные векторы A (xi), . , A(xs) преобра-
преобразования АА*.
Доказательство. Пусть А* А (х) — %х. Подействуем
отображением А на обе части этого равенства. Результат можно
записать в виде (АА*)А(х) = К А (х). Если Я. ф О, то А*А (х) Ф о
и, следовательно, А (х) Ф о. В этом случае вектор А (х) собствен-
собственный для АА* и принадлежит значению К.
Далее, рассмотрим линейно независимые собственные векторы
Xi,...,xs преобразования А*А, принадлежащие ненулевым соб-
собственным значениям Я*, ..., Ks, среди которых могут быть и равные.
Предположим, что векторы A (xi), ..., A (xs) линейно зависимы
и аг A (xj) + ... + as A (xs) — их нетривиальная линейная ком-
комбинация, равная нулю. Подействовав на нее отображением А*,
получим
что при ненулевых Яь ..., Ks противоречит линейной независимости
векторов xlt ..., xs. Предложение доказано.
Поскольку для самосопряженных преобразований максималь-
максимальное число линейно независимых собственных векторов, принадле-
принадлежащих собственному значению Я., равно его кратности, мы полу-
получаем

§ 1. СОПРЯЖЕННОЕ ОТОБРАЖЕНИЕ
17
Следствие. Ненулевые собственные значения преобразо-
преобразований А*А и АА* совпадают, причем равные собственные значения
имеют одинаковые кратности.
Замечание. Наличие нулевого собственного значения и
его кратность у преобразований А*А и АА* определяются раз-
размерностями Кег А и Кег А* соответственно.
7. Сингулярные базисы отображений. Рассмотрим отображе-
отображение А: Шп-+Шт, где Щп и Шт — евклидовы пространства, и
введем
Определение. Первым сингулярным базисом отображения
А называется ортонормированный базис в Шп, состоящий из соб-
собственных векторов преобразования А*А, если векторы базиса упо-
упорядочены так, что соответствующие собственные значения не воз-
возрастают: ki ^ ... ^ кп.
Таким образом, если г = Rg А, то kt > 0 при i =g г и kj — О
при /> г. Пусть еи ..., еп — первый сингулярный базис А. Тогда
(A (ei), А(е/)) = (А*А (е;), в/) — kt (e,-, е;-).
Отсюда следует, что векторы А (е,) попарно ортогональны и
\A(ei)} = V~k~i. A6)
Это означает, что А (е,) Ф о при (' < г и А (е,-) = о при i > г ').
Определение. Числа а,- = \/~K~it где kt — собственные
преобразования А*А, называются сингулярными числами отобра-
отображения А, а также сингулярными числами матрицы этого отображе-
отображения в произвольном базисе.
Согласно A6) при i ^ г векторы af'A {et) образуют ортонорми-
рованную систему в ёт. Дополним ее до ортонормированного ба-
базиса / в Шт и введем
Определение. Вторым сингулярным базисом отображе-
отображения А называется ортонормированный базис / в &т, первые г век-
векторов которого имеют вид а7'А(ег), 1=1, ..., г, где elt ..., е„ —
первый сингулярный базис, а г = Rg A.
Из определений видно, что сингулярные базисы определены не-
неоднозначно.
Теорема 1.5 паре сингулярных базисов отображения А
матрица этого отображения имеет следующий вид:
г 011 .._.
011 * \ /
Здесь Dr — квадратная диагональная матрица порядка г с числами
Щ на диагонали, а остальные элементы А равны нулю.
Доказательство. По определению столбцы А — коорди-
координатные столбцы векторов A (et) в базисе /. Из A6) следует, что
"~~ 1 sfH^^II'l T JiY"
1) Ср. предложение 12. | к„ у

18 ГЛ.Л ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
последние п — т столбцов матрицы А нулевые. Из определения /
для / ^ г следует, что А(е;) = ajt. Это заканчивает доказатель-
доказательство.
Вспомним, что при замене базисов в пространствах Щп в Шт
матрица отображения преобразуется по формуле A' = P~1AQ, где
Р и Q — матрицы перехода. Если исходные базисы ортонормиро-
ванные, то матрицы перехода к еингулярным базисам будут орто-
ортогональными. Поэтому мы можем придать теореме 1 следующую
матричную формулировку.
Теорема 1м. Для произвольной матрицы А размеров т X п
найдутся такие ортогональные матрицы U и V, что матрица
UAV имеет вид A7).
Бывает полезна следующая равносильная формулировка:
Произвольная матрица А размеров т X п может быть разло-
разложена в произведение
A8)
где Q и Р — ортогональные матрицы, a D — матрица вида A7).
Это разложение называется сингулярным разложением матрицы.
Дополнением теоремы 1 служит следующая
Теорема 2. Пусть матрица А отображения А в некоторой
паре ортонормированных базисов представлена в виде произведения
A8), причем числа at на диагонали матрицы D расположены в невоз-
распгающем порядке. Тогда столбцы матриц Рг и Q — координат-
координатные столбцы векторов соответственно первого и второго сингуляр-
сингулярных базисов А. Первые г сингулярных чисел А равны а,-, / = 1, ..., г,
а остальные п — г равны нулю.
Доказательство. Рассмотрим некоторый столбец pi
матрицы РТ. Так как Р — ортогональная матрица, имеем
А т Api = Рт DT DPfii = Рт DT Dsh
где е,- — столбец единичной матрицы порядка п. Матрица DTD —
квадратная диагональная матрица порядка п, причем первые г
ее диагональных элементов равны af, а остальные — нули. По-
Поэтому при / ==S r
и ATApt = 0 при i > г. Таким образом, ph i = 1, ..., п, — ко-
координатные столбцы собственных векторов преобразования А*А.
Этим доказаны утверждения о первом сингулярном базисе и сингу-
сингулярных числах.
Далее,
Пусть е,- — столбец единичной матрицы порядка т. Произведе-
Произведение De,- равно а,-8,- при |<г и нулю в остальных случаях. Поэтому

§ 1 СОПРЯЖЕННОЕ ОТОБРАЖЕНИЕ 19
для всех 1 = 1, ..., г
Api = atQBt = afli,
где qt — столбец матрицы Q. Это заканчивает доказательство тео-
теоремы.
Если матрица отображения А в паре ортонормнрованных бази-
базисов представлена в виде A8), то матрица сопряженного отображе-
отображения А* равна
Ат =PTDTQT.
Отсюда следует
Предложение 14. Пусть е — II elt ..., еп || и / = (I flt ...
..., fm\\ — первый и второй сингулярные базисы отображения А.
Тогда f— первый, ае — второй сингулярные базисы отображения А *.
Ненулевые сингулярные числа отображений А и А* совпадают.
Допустим, что отображение А обратимо, и его матрица в паре
ортонормированных базисов равложена в произведение A8). Тогда
матрица отображения А равна
А'1 = Р-Ю-Ц-1 = РТ D~lQT,
и мы приходим к следующему предложению.
Предложение 15. Пусть отображение А обратимо и
е и f — его первый и второй сингулярные базисы. Тогда базисы е
и f отличаются соответственно от второго и первого сингулярных
базисов отображения А не больше чем порядком векторов. Если
ah i = 1, ..., п, — сингулярные числа А, то ajl—сингулярные
числа А.
8. Обобщение на комплексные пространства. В случае комплекс-
комплексных пространств мы можем определить сопряженное отображение
так же, как это было сделано в п. 2, и все свойства такого отобра-
отображения, изложенные в пп. 2—5, сохранятся, так как в этой части
изложения вещественность пространств никак не использовалась.
Однако связь сопряженного отображения со скалярным произве-
произведением, которая имеет место для евклидовых пространств, в таком
виде непосредственно не обобщается на унитарные пространства.
(Эта связь может быть перенесена на комплексные евклидовы про-
пространства, не представляющие значительного интереса.)
Для того чтобы связь сопряженного отображения со скалярным
произведением сохранилась для унитарных пространств, необхо-
необходимо изменить определение сопряженного пространства, что мы
и сделаем. Рассмотрим комплексное линейное пространство Хп
и введем следующее
Определение. Функция на Хп называется полулинейной
(или эрмитово линейной), если для любых х, у е %п она удовле-
удовлетворяет условиям
(f,x) + (f, у),

20 ГЛ. I. ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
в которых а — число, комплексно сопряженное a, a (f, x) по-преж-
по-прежнему обозначает значение / на векторе х.
Это определение приводит к следующему выражению для (f, x)
«ерез компоненты х в некотором базисе е = II ех е„ ||:
где | — столбец, комплексно сопряженный координатному столбцу
вектора х, а и — строка коэффициентов функции /, причем, как и
в случае линейной функции, иг = (/, е,->.
Как и для линейных функций, определим сложение полули-
полулинейных функций и умножение их на число при помощи следующих
равенств:
<сс/, x) = a(f, x).
Нетрудно проверить, что в силу такого определения линейных
операций множество всех полулинейных функций на «-мерном
комплексном линейном пространстве Хп само является п-мерным
комплексным линейным пространством. Это пространство мы и
назовем сопряженным или эрмитово сопряженным пространству Хп
и обозначим %*.
Базис р1, ..., рп пространства J6* называется биортогональным
базису еи ..., е„ пространства <??„, если
Если и — строка коэффициентов полулинейной функции / в ба-
базисе е, то координатный столбец/ в биортогональном базисе есть иг.
Рассмотрим два комплексных линейных пространства Хп и $5т
и отображение А: %п-+&т. Отображение А*: %% ->¦ ¦%% на-
зосем сопряженным отображению А, если для всех х е %п и/ е 56%
выполнено
A9)
Таким образом, определение сопряженного отображения по
форме не отличается от соответствующего определения для веще-
вещественных пространств. Поэтому все свойства, изложенные в пер-
первых пунктах этого параграфа, сохранятся с незначительными изме-
изменениями. Именно, предложение 2 заменится на
Предложение 16. Если в некоторой паре базисов отобра-
отображение А: <??„-> ?т имеет матрицу А, то сопряженное отобра-
отображение в биортогональных базисах имеет матрицу А* = АТ.
Действительно, выберем в %%, и <??* базисы и обозначим через
||их координатные строки полулинейных функций/и А* (/) в этих

§ 1. СОПРЯЖЕННОЕ ОТОБРАЖЕНИЕ 21
базисах. Тогда равенство A9) равносильно матричному равенству
|л| = иЛ| = хЛ|, из которого в силу произвольности столбца |
следует
ц = иД. B0)
Отсюда доказываемое предложение вытекает непосредственно.
Соответственно должно быть изменено в применении к линей-
линейным преобразованиям комплексных пространств и предложение 6.
В предложении 3 все утверждения остаются справедливыми,
за исключением формулы (8), которая принимает вид
(аА)* = аА*. B1)
Доказательство предложения 7 основывается на совпадении
характеристических многочленов матриц А и Аг. Поскольку
det (Ат —ХЕ) = det (А - ХЕ),
предложение 7 заменится на
Предложение 17. Если Я — собственное значение преоб-
преобразования А комплексного линейного пространства <??„, то К — соб-
собственное значение сопряженного преобразования А*: <??*-><#?* и
Я имеет ту же кратность, что и X.
В предложении 9 в случае комплексных пространств следует
потребовать, чтобы собственные значения не были комплексно
сопряжены, т. е. X Ф р вместо Я ф ц для вещественных пространств.
Остальные результаты пп. 2 — 5 переносятся на комплексные
пространства без изменений, если под сопряженным понимается
эрмитово сопряженное пространство.
Рассмотрим унитарное пространство #„ и в нем фиксирован-
фиксированный вектор а. Сопоставим каждому вектору х е Un число (а, х).
Нетрудно проверить, что тем самым будет определена полулиней-
полулинейная функция на Un. Обратно, для каждой полулинейной функции /
на Un найдется присоединенный ей вектор а такой, что
</, *> = (а, х)
для всех х е 21п. Соответствие, относящее каждой полулинейной
функции на Un ее присоединенный вектор, является изоморфизмом
Г: #*->- tln, позволяющим отождествить эти пространства. Такое
отождествление общепринято.
Пусть задано линейное отображение унитарных пространств А:
2ln -> Um. В силу того, что каждое из пространств отождествлено
со своими сопряженным, отображение А*, сопряженное А, отобра-
отображает йт в Un. Оно удовлетворяет условию
(А*(у), *) = (*, А (*))
для любых хей„и(/е ит. Матрицы отображений А и А* связа-
связаны соотношением
(Л*)ТГ=ГЛ,

22 гл. г. линейные отображения
в котором Г и Г — матрицы Грама пространств Un и Um. Таким
образом, формула (LL) для унитарных пространств принимает вид
При введенных нами определениях все содержание пл. 6—7 пе-
переносится на случаи отображений унитарных пространств с незна-
незначительными изменениями. Например, в формулировке следствия
из предложения 11 речь должна идти не о квадратичной форме,
а об эрмитовой квадратичной форме.
§ 2. Линейные преобразования в евклидовом
пространстве
В этом параграфе мы применим результаты § 1 к преобразова-
преобразованиям в евклидовом пространстве. Однако в начале удобно будет
остановиться на некоторых важных свойствах самосопряженных
преобразований, не связанных с предыдущим материалом.
1. Экстремальные свойства собственных значений. Рассмотрим
самосопряженное преобразование А евклидова пространства Шп.
Функция
-,/,л (AM, x)
определенная на всем пространстве Шп, за исключением нулевого
вектора, называется отноимниеи Релея для преобразования А или
для квадратичной формы (А (х), х). Единичной сферой §п в Шп
мы будем называть множество векторов длины 1.
Предложение 1. Множество значений отношения Релея
совпадает с множеством значений квадратичной формы (А (х), х)
на единичной сфере.
Действительно, каждое значение квадратичной формы на век-
векторе из <§„ есть значение отношения Релея на том же векторе. Об-
Обратно, если для какого-то ненулевого х е ёп имеем р (х) — а,
то а = (А (у), у), где у = | х Г1* е %„.
Нас будут интересовать максимальные и минимальные значе-
значения отношения Релея. В силу предложения 1 мы можем вместо
них рассматривать максимальные и минимальные значения (А (х), х}
на ёп.
Пусть et е„ — ортогаормкрованньш базис из собственных
векторов преобразования А. Мы будем предполасать, что базис-
базисные векторы упорядочены так, чао соответствующие собственные
значения расположены в невозрастающем порядке: Хъ 3* К Э* ... ^
Запишем в базисе е = II ех, ..., е„ II значение квадратичной формы
на векторе х е %„:
(А (*),*)-SMI')'. 0)

§ 2 ПРЕОБРАЗОВАНИЯ В ЕВКЛИДОВОМ ПРОСТРАНСТВЕ 23
Поскольку х е $„, здесь 2 (J1J = 1. Если все собственные значе-
значения мы заменим на наибольшее из них, то, вообще говоря, нарушим
равенство A), увеличив его аравую часть. Поэтому
р (х) = (А (х), ^1, 2 (VJ = h- B)
i — i
Указанная верхняя граница достигается на первом базисном век-
векторе:
Аналогично доказывается, что р(х) ^Кп и р(е„) — Кп. Итак,
Мы получили
Предложение 2. Максимальное значение отношения Релея
равно наибольшему собственному значению преобразования А, а ми-
минимальное — наименьшему собственному значению. Эти значения
достигаются на соответствующих собственных векторах.
Следствие. Если квадратичная форма I положительно
определена, то для любого вектора х отношение значений двух
квадратичных форм к (х)/1 (х) заключено между наибольшим и наи-
наименьшим корнями уравнения йеЬ(А — KB) = 0, где А и В — мат-
матрицы квадратичных форм к и I в некотором базисе е.
Действительно, пусть \ — координатный столбец вектора х
$ базисе е, а т\ — координатный столбец того же вектора в канони-
ческомбазисе квадратичной формы I. Тогда, если | = S% то STBS =
•= Е и В = S7""^. Для отношения к (х)/] (х) мы находим
1ТА1 _r\TSTASr)
1ТВ\ ~ т)гт,
Введем скалярное произведение при помощи квадратичной
формы 1 (К-, теорема 2 § 3 гл. VIII). Канонический базис будет орто-
йормированным по отношению к этому скалярному произведению,
а рассматриваемое отношение будет отношением Релея для преоб-
преобразования с матрицей STAS в этом базисе. Следовательно, к (х)/\ (х)
Заключено между наибольшим и наименьшим корнями уравнения
det (SrAS — КЕ) = 0. Но
det (ST AS - XE) = det ST det (A -LS^-'S-1) det S,
и корни уравнения совпадают с корнями уравнения det (А — ХВ) =
« 0. Это заканчивает доказательство.
Рассмотр им теперь подпространство^ в Щ„ и ограничение квад-
квадратичной формы к (х) = (А (х), х) на подпространстве Щ'и. Ограниче-
Ограничение квадратичной формы — это такая функция к' на подпростран-
подпространстве Ш'к, что к' (х) = к (х) для каждого вектора х из Ш'ь. Конечно,
к' — квадратичная форма на Щ'к, и для нее существует ортонорми-

24 ГЛ. I ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
рованный базис в Ш'к, в котором она имеет диагональный вид
(= 1
Пусть нумерация векторов базиса выбрана так, что ць ..., Ць рас-
расположены в невозрастающем порядке: ц± Зг ц2 Зг ... is \ik. Тогда
Их — максимум отношения Релея для к' (х) и тем самым — макси-
максимальное значение, которое принимает отношение Релея для к (х)
на подпространстве Щ'к.
Предложение 3. Пусть %и ..., кп — собственные значения
самосопряженного преобразования А, а ци ..., \itl — собственные
значения его ограничения на k-мерном инвариантном подпростран-
подпространстве, занумерованные в невозрастающем порядке. Тогда
^i Ss iii ^ кп-ш- C)
Действительно, единичная сфера %k пространства Щ'к принад-
принадлежит единичной сфере пространства Шп, а максимальное значение
функции на подмножестве не больше максимального ее значения
на всем множестве. Поэтому ^ ^ цг.
Докажем второе неравенство. Для этого выберем в Ш'к вектор х
с координатами вида (I1, ..., ?"~*+i, 0, ..., 0) в каноническом базисе
квадратичной формы к(х), т. е. лежащий в пересечении Ш'к с ли-
линейной оболочкой первых п — k -f 1 базисных ве'кторов. Ненуле-
Ненулевой вектор в пересечении этих пространств существует, так как
сумма их размерностей больше чем п. Пусть у = | х \~*х. Заменяя
все собственные значения на Xn_k+1, имеем
к' (У) = к (у) = К(ц1J + ... + Vw(if
откуда и вытекает доказываемое неравенство.
Для фиксированного подпространства Ш'к величина уц — кон-
константа, но она изменяется при переходе к другому подпространству
Щ"и, оставаясь в границах C). При этом обе границы могут быть
достигнуты. Действительно, обозначим через Шь линейную оболоч-
оболочку векторов ег, ..., ek. В этом подпространстве на векторе ех до-
достигается абсолютный максимум отношения Релея: "кх — Р fe),
и потому на нем цх — Хх. Для линейной оболочки векторов
en-k+i, .... еп имеем р (х) = К-ш (л^**1J + ••• + К (ifJ, где
П
2 (t]'J == 1. Значит, р (х) < К-k+u и Hi = р(е„_к+1) = Я„_*+1.
Таким образом, мы приходим к следующей теореме.
Теорема 1. Пусть собственные значения самосопряженного
линейного преобразования расположены в невозрастающем порядке:
К ^ ^ 5г ... 5^ К- Тогда
К-ы = min max p (д:),

§ 2. ПРЕОБРАЗОВАНИЯ В ЕВКЛИДОВОМ ПРОСТРАНСТВЕ '25
причем максимум берется по всем ненулевым векторам подпро-
подпространства Шк, а минимум —¦ по всевозможным инвариантным
подпространствам размерности k.
Действительно, мы видели, что K-k+i есть достижимая нижняя
граница для ци а цх = max p (я) по предложению 2.
Обозначим через Ш'п-ь линейную оболочку первых п — k базис-
базисных векторовelt ..., en_k. Ее ортогональное дополнение Ш'п^и со-
- держит вектор е„_*+1, для которого р (en_ft+1) = А,„_*+1. Это означает,
что минимум, о котором идет речь в теореме 1, достигается для
подпространства Ш'п^г Эти соображения позволяют представить
себе процесс построения ортонормированного базиса из собствен-
собственных векторов преобразования А, который мы опишем, не вдаваясь
в вопрос о том, как он может быть осуществлен.
Сначала находим вектор, на котором достигается максимум
отношения Релея, точнее, любой такой вектор. Затем в ортого-
ортогональном дополнении подпространства, порождаемого этим векто-
вектором, снова ищем вектор, на котором достигается максимум. Затем
ищем максимум в ортогональном дополнении линейной оболочки
двух выбранных векторов и т. д. В конце остается пронормировать
полученную систему векторов.
Для обоснования этого построения следует доказать, что мак-
максимум отношения Релея достигается только на собственном век-
векторе. Это делается при помощи метода Лагранжа для отыскания
условного экстремума (см. Кудрявцев [16], т. II, § 42). Функция
Лагранжа имеет вид
J] ayW-XS (?')'.
i, j = l i = 1
Приравнивая нулю ее частные производные, мы получаем систему
уравнений, которой удовлетворяют собственные векторы:
2. Полярное разложение. Известно, что аффинное преобразова-
преобразование плоскости разлагается в произведение ортогонального пре-
преобразования и двух сжатий к взаимно перпендикулярным прямым.
Сейчас мы получим обобщение этого разложения для произ-
произвольного линейного преобразования А векторного евклидова про-
пространства. Оно называется полярным разложением А.
Теорема 2. Для каждого линейного преобразования А евкли-
евклидова пространства Шп найдутся самосопряженное преобразование
S с неотрицательными собственными значениями и ортогональное
преобразование Р такие, что
A = PS. D)

26 ТЛ. I. ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
Доказательству теоремы удобно будет предпослать следующее
простое
Предложение 4. Если еи ..., еп и fu ..., /„ — ортонорми-
роваппые базисы в ё„, то существует такое ортогональное преобра-
преобразование Р, что Р (в,) — ft (i = 1, ..., п).
Действительно, условие Р fa) = Д- однозначно определяет все
столбцы матрицы преобразования в базисе е — это координатные
столбцы векторов flt ..., /„. Обозначим их ф,-. Так как система век-
векторов / ортокормирована, имеем
О, 1Ф1,
и, следовательно, матрица преобразования ортогональна. Отсюда
прямо следует нужное заключение.
Перейдем телерь к доказательству теоремы 2. Пусть е = II е1у ...
...,еп ||.и/ = [|/х, ...,/„ || — сингулярные базисы преобразования А.
(Поскольку А — преобразование, оба базиса являются базисами
в Щп.) Тогда для всех / = 1, ..., п имеем
А (е,) = а,/,,
где а,- — сингулярные числа преобразования А. Действительно,
для i =c Rg А это — определение векторов /,•, а для остальных i,
с одной стороны, аг = 0, ас другой стороны, А (ег) = о, и равенство
выполнено.
Рассмотрим теперь ортогональное преобразование Р, перево-
переводящее первый сингулярный базис во второй: Р fa) = fh i = l, ..., п.
Докажем, что преобразование 8 = ?"^ самосопряженное. Действи-
Действительно, для любого i имеем
р-1А(е,) = Р-Ч^/,) = ад- E)
Таким образом, преобразование S обладает ортонормированным
базисом из собственных векторов elt ...,en. В нем его матрица диа-
гональна и, тем самым, симметрична. Следовательно, S — само-
самосопряженное преобразование. Кроме того, из E) видно, что собст-
собственные значения S равны ах ап и потому неотрицательны.
Это заканчивает доказательство теоремы.
Теорема 2 может быть сформулирована в терминах матриц.
Теорема 2м. Для произвольной квадратной матрицы А
найдутся такая ортогональная матрица Р и такая симметричная
матрица S с неотрицательными характеристическими числами, что
A = PS. F)
Предложение 5. Для каждого линейного преобразова-
преобразования А евклидова пространства Шп найдутся такое ортогональное
Преобразование Р' и такое самосопряженное преобразование S' с не-
неотрицательными собственными значениями, что А = S'P';

§ 2 ПРЕОБРАЗОВАНИЯ В ЕВКЛИДОВОМ ПРОСТРАНСТВЕ
27
Для доказательства напишем разложение D) доя юреобр-аэова-
ния А*. Пусть А* = PxSi. Отсюда следует, что А = S*P? =
= SiPr1. и можно положить S' = Si н Р'' = Рт1-
3. Единственность полярного разложения^ Есав. преобразова-
ние А представлено в виде PS, где S — самосопряженное, а Р —>
ортогональное преобразование, то А*А = S*P*PS=S2. Пока-
Покажем, что преобразование S определено no S2, а следовательно, и
по А единственны!.! образом. Для этого докажем сначала следующее
Предложение 6. Собственные векторы преобразования S
являются собственными векторами преобразования S2. Если S —
самосопряженное преобразование с неотрицательными собственными
значениями, то и, обратно, собственные векторы преобразования S2
являются собственными для S. В этом случае собственные значения
преобразования S равны арифметическим квадратным корням из
соответствующих собственных значений S2.
Доказательство. 1) Пусть S (х) — ах для вектора
х ф о. Тогда S2 (х) *= S (S (х)) = S (ах) = а2х.
2) Пусть S2 (х) = Хх и ?' — координаты вектора х в ортонорми-
ортонормированием базисе е = II ех еп II из собственных векторов преобра-
преобразования S- Тогда имеем
С другой стороны, если аг — собственные значения S, то
Отсюла следует, что V Ы. — Я) = 0 для всех i = 1, ..,, п. Таким
образом, I1 = 0 для всех i, для котс^)ьгх а\ Ф %. Так как а,- неотри-
неотрицательны, равенства ctf = К и а| = А могут быть выполнены только
при условии а,- = af. Следовательно, вектор х раскладывается
только по тем векторам базиса е, которые соответствуют одному
и тому же собственному значению. Это озетач-ает, что он также яв-
является собственным для преобразования S, и принадлежит собствен-
собственному значению а; = J/X Предложение доказано.
Теперь единственность преобразования S вытекает из следую-
следующего предложения.
Предложение 7. Самосопряженное преобразование S одно-
однозначно определяется его собственными значениями и собственными
векторами.
Для доказательства рассмотрим систему подпространств Xlt ...
..... <5?р, каждое из которых состоит из всех собственных векторов,
принадлежащих одному собственному значению-, и нулевого век-
вектора. Этих подпространств столько, сколько различных собствен-
собственных значений. Каждый вектор х однозначно* раскладывается в сумму
вида

28 ГЛ. I. ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
Действительно, разложение такого вида можно получить, объеди-
объединяя слагаемые в разложении х по любому базису из собственных
векторов. Докажем единственность разложения. Если бы таких
разложений было два: х = хх + ... + хр — у1 + ... + ур, то мы
имели бы (xi — г/х) + ... + (хр — ур) = о. Произвольная раз-
разность ха — уа, принадлежащая %а, в этом случае принадлежит
также и сумме всех остальных подпространств. Если она не равна
нулю, отсюда прямо вытекает линейная зависимость собственных
векторов, принадлежащих различным собственным значениям.
Далее, если разложение определено однозначно, то и образ S (л-)
вектора х однозначно определен:
S (X) = CCiXi + • . • + OLpXp.
Предложение доказано.
Не представило бы труда сразу выписать выражение S (л:) в ор-
тонормированном базисе из собственных векторов:
л
S<x) = 2; at{x, в,) в,, G)
но необходимо было бы устанавливать независимость результата
от выбора базиса.
В общем случае ортогональное преобразование Р в полярном
разложении преобразования А определено не однозначно. Однако
если преобразование А не вырождено, т. е. RgA = n, то не вырож-
вырождено также и S, а потому Р однозначно определено как AS.
4. Сингулярные числа и сингулярные базисы преобразований.
В § 1 сингулярные числа и сингулярные базисы были введены для
отображений евклидовых пространств. Сейчас мы изучим их под-
подробнее в случае преобразований.
Из формулы E), полученной при доказательстве теоремы 2,
следует, что сингулярные числа преобразования равны собствен-
собственным значениям самосопряженного преобразования S в полярном
разложении преобразования А, а первый сингулярный базис А
состоит из собственных векторов S.
Выясним геометрический смысл сингулярных чисел в трехмер-
трехмерном евклидовом векторном пространстве. При преобразовании А
единичная сфера §а перейдет в некоторый эллипсоид. Рассмотрим
произвольный радиус этого эллипсоида, т. е. длину вектора А (х)
при условии (х, х) — 1. Имеем
IА (х) |г = (А (х), А (х)) = (А*А (х), х). (8)
Для вектора х на единичной сфере последнее выражение совпадает
с отношением Релея для преобразования А*А, собственные значе-
значения которого — квадраты сингулярных чисел. Поэтому из пред-
предложения 2 вытекает

§ 2. ПРЕОБРАЗОВАНИЯ В ЕВКЛИДОВОМ ПРОСТРАНСТВЕ 29
для.всех х е <§з- Это означает, что ах и а3 — наибольшее и наи-
наименьшее отношения длин образа и прообраза при преобразовании А.
Ясно, что at и а3 — большая и малая полуоси эллипсоида.
Далее, согласно теореме 1,
i max
Минимум достигается на плоскости, ортогональной большой оси
эллипсоида, причем max | A (x) | равен большей полуоси эллипса,
лежащего в этой плоскости. Поэтому а2 — средняя полуось эллип-
эллипсоида.
Таким образом, сингулярные числа характеризуют растяжение
пространства, возникающее в результате преобразования А, безот-
безотносительно к тому, как поворачиваются векторы при преобразо-
преобразовании. Для самосопряженного преобразования они равны модулям
собственных значений, но они определены и для произвольного пре-
преобразования. Их геометрический смысл легко может быть обобщен
на пространства произвольной размерности, так как формула (8)
не зависит от размерности пространства. Отметим, в частности,
следующее
Предложение 8. Для произвольного линейного преобра-
преобразования А евклидова пространства Шп
max ,V =aly min ' v" =а„,
о **?<?„ \*l офхе@п <xl
где аг и а„ — наибольшее и наименьшее сингулярные числа преобра-
преобразования А.
Действительно, полагая у = | х I х, мы видим из формулы (8),
что квадрат отношения | А (дг) |/ | х | равен отношению Релея для
преобразования А*А. Отсюда в силу предложения 2 получаем
требуемое заключение.
Приведем некоторые свойства сингулярных чисел. Детерминант
и след матрицы линейного преобразования, как и любые коэффи-
коэффициенты ее характеристического многочлена, являются инвариантами
преобразования. Следующие предложения показывают их связь
с сингулярными числами.
Предложение 9. Детерминант матрицы линейного пре-
преобразования в евклидовом пространстве по абсолютной величине равен
произведению сингулярных чисел.
Для доказательства вычислим модуль детерминанта обеих ча-
частей равенства F). Получим
I det SI.
Здесь | det Р | = 1, так как преобразование Р ортогональное, а
det S равен произведению собственных значений преобразования S,
равных сингулярным числам. Отсюда | det A | = аг ... а„, как и
требовалось.

30 ГЛ, I. ЛИНЕЙНЫЕ ОТОБРАЖЕНИЙ
Предложение 10. Абсолютная величина следа матрицы
линейного преобразования А не превосходит суммы его сингулярных
чисел.
Для доказательства запишем полярное разложение преобразо-
преобразования А в первом сингулярном базисе и представим его матрицу
в виде А = PS, где S — диагональная матрица с сингулярными
числами на диагонали. Нетрудно проверить, что при умножении Р
на диагональную матрицу каждый столбец Р умножится на соот-
соответствующий элемент диагонали S. Поэтому след А равен сумме
произведений соответствующих элементов диагоналей Р и S. Но
элементы ортогональной матрицы по абсолютной величине не пре-
превосходят единицы. Отсюда
как и требовалось.
Предложение 11. При умножении преобразования А
слева или справа на ортогональное преобразование U его сингулярные
числа остаются неизменными.
Доказательство. Пусть А — матрица преобразова-
преобразования А в ортонормированном базисе. Напишем ее сингулярное раз-
разложение A8) § 1: Л = QDP. Здесь Q и Р — ортогональные мат-
матрицы, а D — квадратная диагональная матрица порядка п. Сингу-
Сингулярные числа преобразования А — это диагональные элементы
матрицы D. Матрица преобразования AU равна AU = QDPU,
причем PU — ортогональная матрица. Применяя теорему 2 § 1,
мы видим, что диагональные элементы матрицы D — сингулярные
числа преобразования. AU.
Для произведения UA предложение доказывается аналогично.
Отметим еще следующее
Предложение 12. Сингулярные числа преобразования А сов-
совпадают с сингулярными числами его сопряженного преобразования
А*.
Это предложение — прямое следствие предложения 14 § 1.
Предложение 13. Образ любого вектора при преобразова-
преобразовании может быть найден, если известны сингулярные числа и син-
сингулярные базисы этого преобразования.
Действительно, напишем разложение произвольного вектора по
первому сингулярному базису
х = ? (х, efiei
i
и подействуем на обе части равенства самосопряженным преобразо-
преобразованием S, входящим в полярное разложение А = PS:
S (*) = Ц (х, et) S (е,) == 2 о, (х, е,) eh

§ 2. ПРЕОБРАЗОВАНИЯ В ЕВКЛИДОВОМ ПРОСТРАНСТВЕ 31
На обе части этого равенства подействуем ортогональным преобра-
преобразованием Р и получим разложение
А (х) = 2 а, (х, et) Р (в,) = ? «< (*. *<) Л.
в котором /; — векторы второго сингулярного базиса, а а,- — син-
сингулярные числа.
В качестве упражнения читатель может попробовать получить
предложение 13 из теоремы 2 § 1, а предложения 11 и 12 с помощью
полярного разложения.
5. Обзор результатов для унитарных пространств. Рассмотрим
самосопряженное преобразование А унитарного пространства #„.
Отношение Релея для А определяется так же, как и в случае евкли-
евклидова пространства. В ортонормированном базисе из собственных
векторов преобразования А мы можем записать
, _ (А (*), х) __ z WV
(х, х) Её,-?<
где Xi — собственные значения преобразования А. Отсюда следует
утверждение, равносильное предложению 2: для любого х
К^Р (х) ^ U (9)
(при условии, что собственные значения упорядочены в невозра-
стающем порядке).
Экстремальные свойства собственных значений, сформулирован-
сформулированные в теореме 1, переносятся на самосопряженные преобразования
унитарных пространств без изменений.
Полярное разложение линейного преобразования в унитарном
пространстве имеет вид
A = PS,
где Р — унитарное, a S — самосопряженное преобразование о не-
неотрицательными собственными значениями. Доказательство суще-
существования этого разложения и его единственности для обратимых
преобразований практически не отличается от приведенного дока-
доказательства, относящегося к евклидовым пространствам: в качестве Р
берется унитарное преобразование, переводящее первый сингуляр-
сингулярный базис во второй, а 3 = Р"'А оказывается самосопряженным
преобразованием, собственные значения которого равны сингуляр-
сингулярным числам А.
Свойства сингулярных чисел, полученные в п. 4, почти без
изменения переносятся на унитарные пространства. Так, имеет
место
Предложение 14. При умноохении преобразования /V
справа или слева на унитарное преобразование О. сингулярные числа А
остаются неизменными.

32 ГЛ. I. ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
§ 3. Линейные преобразования в унитарном пространстве
Основная часть параграфа будет посвящена результатам, не
имеющим места в вещественном случае. Они, как правило, связаны
с тем, что в комплексном пространстве каждый корень характери-
характеристического уравнения является собственным значением, и с тем,
что каждый комплексный многочлен имеет хоть один комплексный
корень.
1. Перестановочные преобразования. Преобразования А и В
называются перестановочными, если A3 = ВА. Следующие свой-
свойства таких преобразований имеют место в равной мере и для ком-
комплексных, и для вещественных пространств. Ниже всюду Im В
обозначает область значений преобразования В, ранее обозначав-
обозначавшуюся В (X).
Предложение 1. Если линейные преобразования А и В
линейного пространства Хп перестановочны, то подпространства
Кег В и Im В инвариантны относительно А.
Действительно, пусть х е 1га В, т. е, существует у е Хп такой,
что х = В (у). Тогда А (л:) = АВ (у) = ВА (j/)elm В, как и тре-
требовалось.
Далее, пусть х е Кег В, т. е. В (х) = о. Тогда В (А (*)) ==
= АВ (х) = о. Это означает, что А (х) е Кег В, и, таким образом,
Кег В инвариантно.
Будем называть собственным подпространством преобразова-
преобразования А подпространство, которое состоит из всех собственных век-
векторов, принадлежащих какому-нибудь одному собственному зна-
значению, и нулевого вектора.
Предложение 2. Если АВ = ВА, то собственные под-
подпространства В инвариантны относительно А.
Собственное подпространство, соответствующее собственному
значению X, есть Кег (В — IE). Если АВ = ВА, то А (В — ХЕ) =
= (В — ХЕ) А. Отсюда утверждение следует в силу предложения 1.
Преобразования А и А — ХЕ перестановочны, и мы имеем
Следствие. Подпространство I m (А — ХЕ) инвариантно
относительно преобразования А.
Заметим, что инвариантность Кег (А — ХЕ) очевидна: это или
собственное подпространство, или нулевое подпространство.
Перейдем теперь к результатам, относящимся только к ком-
комплексным пространствам.
2. Приведение матрицы линейного преобразования к треуголь-
треугольному виду.
Предложение 3. Каждое линейное преобразование А ком-
комплексного линейного пространства 35 п имеет собственный вектор.
В каждом инвариантном подпространстве преобразования^ А со-
содержится собственный вектор.
Первое утверждение очевидно, поскольку характеристическое
уравнение обязательно имеет хоть один корень, и он является соб-

§ 3. ПРЕОБРАЗОВАНИЯ В УНИТАРНОМ ПРОСТРАНСТВЕ ч _ 33
сгвенным значением. Второе утверждение следует из первого, если
его применить- к ограничению рассматриваемого преобразования
на инвариантном подпространстве.
Отсюда и из предложения 2 следует
Предложение 4. Любые два перестановочных преобразо-
преобразования комплексного пространства имеют общий собственный век-
тор.
Действительно, пусть А и В перестановочны. Любое собствен-
собственное пространство преобразования В инвариантно относительно А
и, следовательно, содержит собственный вектор А.
Предложение 3 по существу означает, что в каждом инвариант-
инвариантном подпространстве содержится одномерное инвариантное под-
подпространство. Можно доказать также и следующее
Предложение Ъ. В каждом k-мер ном инвариантном про-
пространстве линейного преобразования А комплексного пространст-
пространства ?п содержится (k — \)-мерное инвариантное подпростран-
подпространство.
Докажем сначала, что у линейного преобразования А комп-
комплексного линейного пространства <??„ существует (п — 1)-мерное
инвариантное подпространство Xn_v Для этого рассмотрим подпро-
подпространство Im (А — ЭДЕ), где Я — собственное значение А. Это
подпространство, как мы видели, инвариантно относительно А и
имеет размерность Rg (А — ХЕ), меньшую п. Она может оказаться
и меньше чем п— 1. В этом случае докажем, что любое подпро-
подпространство ¦??„_!, содержащее Im (А — АЕ), инвариантно относи-
относительно А.
Действительно, пусть Im (А — ЯЕ) s Хп_х. Тогда (А — ЯЕ) х е
е %п_1 для любого вектора х. Теперь, если х <= Хп__х, то из
А (х) — he е %ал следует А (л:) е <%п-ъ что и означает инвариант-
инвариантность подпространства Xn_v
Чтобы доказать предложение для любого k, теперь достаточно
применить доказанное нами утверждение к ограничению преобразо-
преобразования А на произвольном инвариантном подпространстве.
Из доказанного нами предложения 5 вытекает, что для любого
линейного преобразования комплексного линейного пространства
существует последовательность вложенных одно в другое инвариант-
инвариантных подпространств размерностей п— 1, п — 2, ..., 1:
XxdX%d...^Xn^dXn^ciXn. A)
Действительно, для построения этих подпространств можно
применять- предложение E) последовательно: на каждом шагу оно
применяется к инвариантному подпространству, построенному на
предыдущем.
Определение. Матрица Л о элементами ct. называется
верхней (соответственно нижней) треугольной, если с' = 0 при
i > / (соответственно при ( < /).

34 ГЛ. I. ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
Предложение 6. пая каждого линейного преобразова-
преобразования А в комплексном линейном пространстве Хп существует базис,
в котором его матрица является верхней треугольной.
Для доказательства рассмотрим базис, связанный с цепочкой
инвариантных подпространств A) следующим образом: ех е %х,
вектор ег дополняет ех до базиса в <5?2, вектор е3 дополняет ех, е2 до
базиса в Хъ и т. д. В результате для всех k = 1, ..., п векторы еъ ...
..., ek образуют базис в Xk. Поскольку подпространства X\ инва-
инвариантны, для каждого k вектор А (еь) принадлежит подпростран-
подпространству %k и, следовательно, раскладывается по векторам еи ..., е*.
Поэтому для элементов а\ матрицы преобразования А мы имеем
alk = 0 при i > k, как и требовалось.
Для унитарных пространств усилением предложения 6 яв-
является.
Теорема 1. Для каждого линейного преобразования унитар-
унитарного пространства Un существует ортонормированный базис, в ко-
котором его матрица — верхняя треугольная.
Для доказательства достаточно заметить, что базис, построен-
построенный в предложении 6, в значительной мере произволен, и его можно
выбрать ортонормированным. Действительно, применяя процесо
ортогонализации Грама — Шмидта, мы добавляем к любому век-
вектору ek слагаемое, лежащее в линейной оболочке еи ..., ek_u т. е.
в %k-\i и. следовательно, не выводим его из Xk.
3. Нормальные преобразования. Важный класс линейных пре-
преобразований вводит следующее.
Определение. Линейное преобразование в унитарном или
евклидовом пространстве называется нормальным, если оно переста-
перестановочно со своим сопряженным преобразованием:
А*А = АА*.
Примерами нормальных преобразований являются самосопря-
самосопряженные преобразования, унитарные преобразования, ортогональные
преобразования евклидова пространства.
Основное свойство нормальных преобразований содержит
Теорема 2. В унитарном пространстве нормальные преоб-
преобразования и только они имеют ортонормированный базис из собст-
собственных векторов.
Заметим, что в евклидовом пространстве теорема не имеет места.
Указанное в ней свойство в этом случае характеризует самосопря-
самосопряженные преобразования.
Доказательство теоремы 2 можно получить из теоремы 1, если
проверить, что верхняя треугольная матрица Л, которая переста-
перестановочна со своей сопряженной АТ, является диагональной. Однако
этот способ доказательства при простоте идеи не является ни корот-
коротким, ни поучительным. Чувствуется, что свойства нормальных
преобразований должны быть тесно связаны с результатами § 1

§ 3. ПРЕОБРАЗОВАНИЯ В УНИТАРНОМ ПРОСТРАНСТВЕ 35
о преобразованиях вида А*А. Из этих соображений мы и получим
теорему 2.
Применяя предложение 12 § 1 к нормальному преобразованию
и к его сопряженному, имеем
KerA*A = KerA, ImA*A = ImA*
и
KerAA* = KerA*, ImAA* = ImA,
откуда для нормального преобразования
ImA* = ImA, KerA* = KerA. B)
Теперь в силу предложения 4 § 1
ImA* = IraA = (Ker A)J-.
Мы доказали
Предложение 7. Если А — нормальное преобразование
евклидова или унитарного пространства ?„, то Хп есть прямая
сумма ортогональных подпространств Кег А и 1т А:
5? А© 1т А.
Доказательство теоремы 2 начнем со следующих простых заме-
замечаний: 1) Для нормального преобразования А и любого А преобра-
преобразование А — АЕ также является нормальным. 2) Ограничение А'
нормального преобразования А на любом инвариантном подпро-
подпространстве — нормальное преобразование, причем собственные век-
векторы А' являются собственными и для А.
Существование ортонормированного базиса из собственных век-
векторов нормального преобразования докажем индукцией по размер-
размерности пространства. Для пространств размерности 1 утверждение
теоремы очевидно.
Рассмотрим /г-мерное унитарное пространство Un и его нормаль-
нормальное преобразование А. Согласно предложению 3, А имеет собствен-
собственный вектор. Обозначим через к соответствующее собственное зна-
значение и рассмотрим преобразование А — АЕ. Для него имеем
Un = Кег (А - АЕ ф Im (А - АЕ),
причем Кег (А — АЕ) — собственное подпространство преобразо-
преобразования A, a Im (А — АЕ) инвариантно относительно А по следст-
следствию из предложения 2. Кроме того, dim Im (A —АЕ) «s; п — I.
К подпространству Im (А — АЕ) и ограничению преобразова-
преобразования А на нем мы применим предположение индукции, согласно
которому в Im (А — АЕ) существует ортонормированный базис из
собственных векторов А. Объединение этого базиса и любого орто-
ортонормированного базиса в Кег (А — АЕ) будет ортонормированным
базисом в 21п, состоящим из собственных векторов преобразова-
преобразования А. ..--.,

36 ГЛ. I. ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
Нам остается проверить, что только нормальные преобразова-
преобразования в унитарном пространстве обладают ортонормированными бази-
базисами из собственных векторов. Это сделать нетрудно. Действительно,
в таком базисе матрица А преобразования А диагональна и мат-
матрица преобразования А* также диагональна (она равна Лт). Две
диагональные матрицы перестановочны, следовательно, перестано-
еочкы и преобразования А и А*.
4. Свойства нормальных преобразований. Как было отмечено,
самосопряженные и унитарные преобразования являются нормаль-
нормальными. Известно также, что собственные значения самосопряженных
преобразований унитарного пространства вещественны. Из тео-
теоремы 2 следует, что любое нормальное преобравование с вещест-
вещественными собственными значениями является самосопряженным:
матрица такого преобразования в ортонормированием базисе из
собственных векторов вещественная диагональная и, тем самым,
зрмитова.
Собственные значения унитарного преобразования по модулю
ргвкы 1. Действительно, если Р — унитарное преобразование и
Р (х) = he, то
(х, х) = (Р(х), Р(х)) = (Хх, кх) = кЦх, х).
При хФ о это означает, что 7Ск—\, как и требовалось.
Если все собственные значения нормального преобразования Р
по модулю равны 1, то в ортонормированном базисе из собственных
Еекторов его матрица унитарная и потому Р — унитарное преоб-
преобразование. Итак, мы имеем
Предложение 8. Самосопряженные преобразования в уни-
унитарном пространстве могут быть охарактеризованы как нормаль-
нормальные преобразования с вещественными собственными значениями.
Унитарные преобразования и только они являются нормальными
преобразованиями, собственные значения которых по модулю равны 1.
Рассмотрим полярное разложение нормального преобразова-
преобразования. В ортонормированном базисе е из собственных векторов нор-
нормальное преобразование А имеет матрицу
hi О
[о к
которую для краткости мы обозначим diag (Къ ..., %„). (Это — при-
принятое обозначение диагональной матрицы, и мы будем пользоваться
им в дальнейшем.) Каждое из чисел Xk мы можем записать в виде
К *= Р* (cos ер*, + i sin cpft), где pft= | %k | — вещественное неот-
неотрицательное число, а число 6а = cos cp* -f- i; sin <pft по модулю
равно 1.
Обозначим через S и Р матрицы diag (рь ..., р„) и diag (Qlt ...
..., 6П) соответственно. Очевидно, что А = SP — PS. Для пре-
преобразований S и Р, определяемых матрицами 5 и Р в базисе е,

§ 3. ПРЕОБРАЗОВАНИЯ В УНИТАРНОМ ПРОСТРАНСТВЕ 37
выполнено равенство
A = SP = PS. C)
При этом S — самосопряженное с неотрицательными собственными
значениями, а Р — унитарное. Следовательно, C) — полярное раз-
разложение.
Предложение 9. Для того чтобы линейное преобразова-
преобразование в унитарном пространстве было нормальным, необходимо и до-
достаточно, чтобы сомножители в некотором его полярном разложе-
разложении были перестановочны.
Необходимость условия установлена выше. Нетрудно устано-
установить и достаточность. Пусть А = SP = PS. Тогда А* = p-'S =
= SP, и мы имеем
АА* =SPP-1S = SP^PS = A* A.
Пусть А — произвольное линейное преобразование унитарного
пространства. Преобразования
| *) и С = -^(А-А*) D)
называются соответственно вещественной и мнимой частью преобра-
преобразования А. Очевидно, что А = В + Ю.
Находя В* и С* согласно формулам G) и (8) § 1, мы без труда
заметим, что преобразования В и С самосопряженные. Обратно,
каковы бы ни были самосопряженные преобразования В и С, они
являются соответственно вещественной и мнимой частью преобразо-
преобразования А = В 4- Ю. Действительно, если В и С самосопряженные,
то А* == В* — Ю* = В — Ю, откуда следуют соотношения D).
Предложение 10. Пусть В и С — самосопряженные пре-
преобразования унитарного пространства. Тогда следующие утверж-
утверждения эквивалентны:
(а) Преобразование А = В + Ю нормальное.
(б) Преобразования В и С обладают общим базисом из собствен-
собственных векторов.
(в) Преобразования В и С перестановочны.
Доказательство. 1) Эквивалентность (а) и (в) следует
из равенства
ВС-СВ=^(А*А-АА*),
которое легко проверяется.
2) Из (а) следует (б). Действительно, в ортонормированном
базисе матрицы преобразований А, В и С связаны равенствами
где А* обозначает АТ. Следовательно, в ортонормированном ба-
^зисе из собственных векторов преобразования А матрицы В к С
диагональные, так же, как и А. Значит, векторы этого базиса —
собственные для преобразований В и С.

38 ГЛ. I. ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
3) Из (б) следует (в). Если В и С обладают общим фазисом из
собственных векторов, то в нем их матрицы диагональны и, следо-
следовательно, перестановочны. Значит, перестановочны и преобразо-
преобразования.
Предложение доказано. Заметим, что один из способов доказа-
доказательства теоремы 2 состоит в том, чтобы непосредственно проверить,
что из (в) следует (б).
Следующие три предложения вытекают из теоремы 2. Мы при-
приведем их непосредственные доказательства, так как они переносятся
на евклидовы пространства, для которых теорема 2 не имеет места.
Предложение 11. Если А — нормальное преобразование
унитарного (или евклидова) пространства, то его собственный век-
вектор, соответствующий собственному значению X, является собст-
собственным вектором преобразования А*, соответствующим собствен-
собственному значению X (для евклидова пространства — тому же значе-
значению К).
Для доказательства достаточно применить формулу B) к пре-
преобразованию А — АЕ, которое нормально, если нормально А.
Предложение 12. Собственные векторы нормального пре-
преобразования, принадлежащие различным собственным значениям,
ортогональны.
Действительно, если А (х) = Хх и А (у) = \iy, то в силу преды-
предыдущего предложения
А.(х, У) = (А (х), у) = (х, А* (у)) = (х, fly) = ц (х, у),
откуда (X — (х) (х, у) = 0.
Предложение 13. Пусть <Jl — собственное подпрост-
подпространство нормального преобразования А. Тогда его ортогональное
дополнение <М±- инвариантно относительно А.
Доказательство. Преобразования А и А* перестано-
перестановочны, поэтому вМ инвариантно относительно А*. Из предложе-
предложения 8 § 1 теперь вытекает, что <М±- инвариантно относительно (А*)*,
т. е. А.
Предложение 14. Сингулярные числа нормального преоб-
преобразования равны модулям его собственных значений.
В ортонормированном базисе из собственных векторов преоб-
преобразования А матрица преобразования А*А диагональна, и ее ди-
диагональные элементы равны ЯД,-, где Xt — собственные значения А.
Значит, квадраты сингулярных чисел равны квадратам модулей
собственных значений.
§ 4. Нормированные пространства
1. Определение. Во многих задачах, связанных с линейными
пространствами, возникает необходимость сравнивать между собой
элементы пространства, например иметь возможность сказать, что
один вектор в каком-то смысле мал по сравнению с другим. Если

§ 4. НОРМИРОВАННЫЕ ПРОСТРАНСТВА 39
пространство евклидово, естественно сравнивать векторы по длине.
Можно ввести скалярное произведение в пространстве специально
с этой целью, но часто природа объектов, составляющих простран-
пространство, такова, что нет никакого естественно связанного с ней скаляр-
скалярного произведения. Кроме того, скалярное произведение как та-
таковое может быть и ненужным, нужен только какой-то аналог длины
вектора — числовая функция от вектора, обладающая несколькими
важными свойствами. Такие функции вводятся следующим опре-
определением.
Определение. Пусть функция <р сопоставляет каждому
вектору в вещественном или комплексном линейном пространстве X
некоторое вещественное число. Эта функция называется нормой, а
ее значение на векторе х — нормой этого вектора, если выполнены
следующие условия для любых векторов х и у и любого числа к:
1) ф (х) > 0 для всех хф о.
2) ф (кх) = | Я | ф (х) «положительная однородность».
3) ф (х + у) =^ ф (х) + ф (у) «выпуклость».
Линейное пространство, в котором задана норма, называется
нормированным. Часто норму вектора х обозначают || х ||. Вместо
слов «норма, значение которой на векторе х обозначается || х II» мы
будем писать «норма || * ||».
Заметим, что из свойства 2) следует ф (о) = 0.
Еще одно свойство норм записывается неравенством
0)
Действительно,
Ф (х) - ф (у) = ф {х - у + у) - Ф (у) s? ф (х - у) + ф (у) - ф {у) =
= Ф (*-#)•
Аналогично доказывается, что
Ф (У) — Ф (х) =sS <р (у — х) = ф (х — у).
В нормированном пространстве мы можем определить расстоя-
расстояние между векторами х и у как норму их разности \\ у — х \\. Так
определенное расстояние обладает характерными свойствами рас-
расстояния между точками евклидова пространства: оно неотрицательно
и обращение его в нуль равносильно совпадению х и у. Кроме
того, || у — х || = || х — у ||, т. е. расстояние симметрично, и выпол-
выполнено неравенство треугольника || х — у || + || у — г || 5= II х — г i|.
Множество векторов нормированного пространства, расстояние
от которых до некоторого вектора а не превосходит заданного чи-
числа е, называется г-окрестностью вектора а.
Используя понятие окрестности, можно определить предел по-
последовательности векторов нормированного пространства: вектор а
называется пределом последовательности векторов {xk), если для
каждого е > 0 найдется такое число k0 (г), что все элементы после-
последовательности, начиная с элемента с номером k0, лежат в е-окресг-

40 ГЛ. I. ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
ности вектора а, или, короче, в каждой окрестности вектора а лежат
Есе, за исключением конечного множества, элементы последова-
последовательности.
Таким образом, возникает возможность перенести на нормиро-
нормированные пространства в том или ином виде все понятия элементар-
элементарного математического анализа. В нашу задачу не входит изложение
этой теории. С ее основами можно ознакомиться по курсам матема-
математического анализа. В § 3 гл. II мы будем предполагать, что читателю
известны основные факты о нормированных пространствах в объеме,
соответствующем § 57 книги Кудрявцева [16!, т. II.
Нормированные пространства играют в математическом анализе
очень важную роль. Это объясняется тем, что задачи математиче-
математического анализа относятся большей частью не к отдельным функциям,
а к широким классам функций, и классы эти являются бесконечно-
бесконечномерными линейными пространствами, нормированными или еще
более общими, так называемыми линейными топологическими про-
пространствами. Область математики, изучающая такие пространства,
называется функциональным анализом.
В линейной алгебре исследуются конечномерные линейные про-
пространства, и потому понятия анализа, связанные с предельным пере-
переходом, не будут играть для нас решающей роли. В этом параграфе
мы обсудим наиболее употребительные нормы в конечномерных ли-
линейных пространствах и, в частности, в пространствах матриц.
Однако ниже мы покажем, что с точки зрения сходимости последо-
последовательностей по норме различие норм в конечномерном простран-
пространстве не существенно.
2. Примеры норм. Рассмотрим n-мерное арифметическое про-
пространство, безразлично, вещественное или комплексное, т. е. ли-
линейное пространство вещественных или комплексных столбцов вы-
высоты п. В таком пространстве наиболее употребительны следующие
нормы для столбца с элементами ?', i = 1, ..., п:
1) 11 i!i = 2 I ?'!1 — октаэдрическая норма, или 1-норма.
i
2) II На = /2 I ?' i2V'2 ~~ евклидова, или, в комплексном простран-
пространстве, унитарная норма.
3) II Ир = B I ?' \p)i/p> р > 1, —норма Гельдера, или 1р-норма.
4) [11» = max \V\— кубическая норма, или с-норма.
i
Если в арифметическом пространстве ввести скалярное произ-
произведение, потребовав, чтобы базис из столбцов единичной матрицы
был ортонормированным, то для каждого х
В силу свойств скалярного произведения, отсюда следует, что евк-

§ 4. НОРМИРОВАННЫЕ ПРОСТРАНСТВА
41
о
лидова (унитарная) норма действительно удовлетворяет аксиомам,
определяющим норму.
Проверка выполнения аксиом для /-нормы и с-нормы не пред-
представляет труда. Для нормы Гельдера мы не будем проверять ак-
аксиомы, так как у нас не будет случая воспользоваться этой нор-
нормой.
В произвольном линейном пространстве можно использовать
те же нормы, если фиксировать в нем базис, и сопостааить каждому
вектору одну из вышеперечисленных норм его координатного
столбца. Естественно, что так построенная норма зависит от выбора
базиса.
Для каждой нормы в линейном пространстве Хп можно рассмат-
рассматривать множество линейных преобразований пространства, сохра-
сохраняющих норму, т. е. удовлетворяющих условию || А (х) || = || х \\.
Для евклидовой (унитар-
(унитарной) нормы это — орто- \у
тональные (унитарные)
преобразования.
Назовем единичной сфе-
сферой нормированного про-
пространства множество век-
векторов, норма которых
равна единице. -
Предложение 1.
Норма любого вектора в
нормированном простран-
пространстве может быть вычис-
вычислена, если известна еди-
единичная сфера.
Действительно, любое
одномерное подпростран-
подпространство Хх пересекает еди-
единичную сферу 8, так как если х е Хх, то х0 = || х II* е
е Хх f| 8. Далее, каждый вектор у е Хх отличается числовым
множителем от вектора х0 е 8. Теперь мы можем заметить, что
II у II = II hc0 || = | % |.
На рис. 1 нарисованы единичные сферы в двумерном простран-
пространстве, соответствующие различным нормам. Октаэдричежая и куби-
кубическая нормы называются так потому, что при п — 3 соответствую-
соответствующие единичные сферы являются соответственно октаэдром и кубом.
Предоставим читателю это проверить.
Легко можно понять, что, например, октаэдрическая норма не
порождается никаким скалярным произведением. Ее единичная
сфера обладает совсем иными свойствами симметрии, чем обычная
сфера. Поэтому существование скалярного произведения, порож-
порождающего эту норму,, противоречит теореме об изоморфизме евклидо-
евклидовых пространств. Подробного доказательства мы не приводим. -,
Рис. 1,

42 ГЛ. I. ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
Для двух векторов хх и х2 в нормированном пространстве рас-
рассмотрим множество всех векторов вида
для произвольных а из отрезка [0, 1]. Это множество векторов на-
называется отрезком с концами хх и х2.
Какова бы ни была норма, единичный шар, т. е. множество век-
векторов, по норме не превосходящих единицу, обладает следующим
свойством.
Предложение 2. Если концы хх и х2 отрезка принадле-
принадлежат единичному шару, то ему принадлежит и весь отрезок.
Действительно, в силу третьего условия из определения нормы,
для любого вектора отрезка мы имеем
Отсюда прямо вытекает доказываемое утверждение.
Множества, которые обладают сформулированным в предложе-
предложении 2 свойством, называются выпуклыми.. Отсюда происходит на-
название третьего условия.
Из предложения 2, например, следует, что астроида — линия
с уравнением х"/а + уг/з = 1 — не может быть единичной окруж-
окружностью ни для какой нсрмы на плоскости.
3. Эквивалентность норм. Пусть <р — норма в линейном про-
пространстве %п. Если a — положительное вещественное число, то
функция ip (х) такая, что г[> (л:) = аф (х) для любого х е Хп, также
является нормой. Эта норма обозначается аф.
Рассмотрим две нормы ф и г|х Мы будем говорить, что норма ф
мажорирует норму гр, и писать \|з ^ ф, если для любого вектора х
из %п выполнено неравенство ф (х) ==s ц> (х). Ясно, что две произ-
произвольные нормы могут быть и не связаны подобным отношением.
Обозначим е-окрестность вектора а относительно нормы ф символом
Оф (а, е). Еслигр ==S ф, то нетрудно проверить, что Оф (а, е) s Оф (а, е)
для любых а е Хп и е > 0.
Нормы ф и гр называются эквивалентными, если существуют такие
положительные числа ах и а2, что
о^ф^гр^агф. B)
Очевидно, что отношение-эквивалентности рефлексивно, т. е. каж-
каждая норма эквивалентна самой себе. Это отношение также транзи-
тивно: если с^ф «S гр г^ а2ф и Р^ ^ % «S Р2г|:, то а1р1ф ==с; % s^ а2р2ф.
Кроме того, из B) следует, аг'гр *S ф =^ аТ'-ф. Это означает, что
отношение эквивалентности норм симметрично.
Пусть ф и гр — две эквивалентные нормы. Легко доказать, что
В этом случае для любых а е X„ и е > 0
) C)
где числа aa и а2 определены соотношением B).

§ 4. НОРМИРОВАННЫЕ ПРОСТРАНСТВА 43
Предложение 3. Последовательность векторов {хь} в %п
сходится по норме г[> тогда и только тогда, когда она сходится по
любой эквивалентной ей норме <р.
Доказательство. Пусть последовательность {xk} схо-
сходится к вектору а но норме ф. Докажем, что она сходится к а по
эквивалентной норме ср. Выберем произвольное е > 0. В силу схо-
сходимости по норме г|> существует такой номер ka (e/a2), что xk e
е Оф (а, е/а2) для всех k ^ k0 (е/а2). Тем самым, согласно C),
Xk s Оф (а, е). Следовательно, число k0 (e/a2) удовлетворяет требо-
требованиям из определения сходимости по норме <р.
Обратное утверждение следует из уже доказанного в силу сим-
симметричности отношения эквивалентности норм.
Мы докажем, что в конечномерном линейном пространстве все
нормы эквивалентны. Доказательство использует свойства непре-
непрерывных функций (см. Кудрявцев, [16], т. I, § 19), однако эквивалент-
эквивалентность трех основных норм можно показать без труда.
Предложение 4. В арифметическом пространстве {-нор-
{-норма, с-норма и евклидова норма эквивалентны.
Доказательство. Произвольный столбец | может быть
разложен по столбцам единичной матрицы. Применяя свойства нор-
нормы к этому разложению, мы имеем для произвольной нормы || * [)
ш^21б'н*|- D)
Оценим правую часть, заменяя каждое из чисел || е,-1| на максималь-
максимальное из них. Обозначив max || ег || через а, получаем
E)
Но правую часть D) можно оценить и заменяя каждое из чисел
на максимальное из них. Отсюда
j II ei II PIS 1.00, ' F)
где p = H || et ||. Применим E) к с-норме, а F) — к /-норме. Тогда,
поскольку а Ф О,
Этим доказана эквивалентность /-нормы и с-нормы.
Из оценки
max | V | ^(У. 16' |2У/2 ^Уп max | V \
\t I i
следует эквивалентность с-нормы и евклидовой нормы. Предложе-
Предложение доказано. Одновременно мы доказали следующее
Предложение 5. Каждая норма в арифметическом про*
странстве мажорируется произведением 1-нормы на некоторое число

44 ' ГЛ. I. ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
а, произведением с-нормы на число р и произведением евклидовой нор-
нормы на число р.
Предложение 6. Любая норма <р есть непрерывная функ-
функция в каждой из трех основных норм, т. е. Ф-A*) -> ф Aо) для ка-
каждой последовательности {%к}, сходящейся к |0 п0 l-норме, с-норме
или евклидовой норме.
Достаточно доказать это, скажем, для с-нормы. Мы имеем,
согласно A),
Поскольку || |ft — lollc»-*- 0. наше утверждение следует из свойств
числовых последовательностей.
Предложение 7. Для любой нормы ф существуют такие
положительные числа р] и р2, что каждый столбец g, для которого
II 1 Иг = 1. удовлетворяет неравенству рх =^ ф (|) <; p2.
Для доказательства воспользуемся результатами из математи-
математического анализа (см. Кудрявцев [16], т. I, § 19). Евклидова единич-
единичная сфера — множество столбцов таких, что || g ||2 = 1, — замк-
замкнута и ограничена в евклидовой норме. Функция ф непрерывна
в евклидовой норме и потому достигает на сфере максимального и
минимального значения. Обозначив эти значения через р2 и р.,
мы получаем нужное неравенство. Остается доказать, что рх > 0.
Но это очевидно, так как существует столбец |0, для которого
Ф (?о) = Pi и || go || = 1.
Теперь мы можем доказать следующую теорему.
Теорема 1. Все нормы в арифметическом пространстве
эквивалентны.
Доказательство. Мы докажем эквивалентность любой
нормы ф и евклидовой нормы. Отсюда в силу транзитивности отно-
отношения эквивалентности норм будет следовать утверждение теоремы.
Произвольному столбцу | ф 0 сопоставим столбец |° такой, что
\ = II glUl0- Тогда ф A) = II 1 ||2ф A°), и, согласно предложению 7,
мы" можем написать
Так как для g = 0 это неравенство очевидно, теорема доказана.
Поскольку все нормы эквивалентны, иногда бывает безразлично,
какой нормой пользоваться, и нам будут встречаться формули-
формулировки, содержащие слова вроде следующих: «если данное неравен-
неравенство выполнено в какой либо норме...». Однако проводимые вы-
выкладки часто очень существенно зависят от того, с какой нормой
мы имеем дело, и возможность свободно пользоваться любой наи-
наиболее подходящей к случаю нормой существенно упрощает рассуж-
рассуждения.
4. Нормы матриц. Рассмотрим линейное пространство <Лтл
матриц размеров т X п. В нем, как и в любом линейном простран-
пространстве, могут быть введены различные нормы. Нас будут интересо-

Г § 4. НОРМИРОВАННЫЕ ПРОСТРАНСТВА 43?
вать те из них, которые связаны с нормами столбцов и с тем обстоя-
обстоятельством, что элементы пространства — именно матрицы.
Дальнейшее изложение проводится для вещественных матриц.
Для комплексных матриц возникают очевидные незначительные раз-
различия. Например, евклидова норма заменяется унитарной нормой,
ортогональные матрицы — унитарными.
Определение. Норма в е?-т,п называется согласованной
с нормами в арифметических пространствах сМт и <Мп, если для
любой матрицы А и любого столбца | е <Мп выполнено
Иш^цлщц. G)
Здесь А\ и g— столбцы высоты соответственно т и п, и в нера-
неравенство входят их нормы, выбранные в пространствах <Мт и <Мп.
Покажем на примере, что согласованные нормы существуют.
Именно, рассмотрим функцию от матрицы А е aSm,n'
ф D) = sup i^l. (8)
Поскольку || А% ||/ || I || = || Л go ||, где 1" = || \ 1%, функция q>
может быть записана также и в виде
Ф(Л)= sup \\АЦ (9)
Предложение 8. Функция (8) определена и является
согласованной нормой в eSm,n, каковы бы ни были нормы, выбранные
в <Мт и <Мп.
Существование точной верхней грани будет установлено, если
мы докажем ограниченность отношения || А\ ||/ || | ||. Используя
теорему 1, мы можем написать
Отсюда || А\ II/ II 111 =sSY.
Проверим условия, входящие в определение нормы.
1) Выражение II А% II/ II g II неотрицательно, и потому <р (А) Зэ 0.
При этом ф (А) = 0 тогда и только тогда, когда || Л| || = 0 для
всех |. Но условие || А% \\ = 0 равносильно ЛД = 0 и выполнено
для всех | в том и только том случае, когда А = О.
2) Из тождества AА) % = 1 (Л?) следует || (Ы) 11| = \Х \ • 1 А% ||.
Нетрудно доказать, используя определение точной верхней грани,
что при умножении всех элементов множества на неотрицатель*
ное число точная верхняя грань множества умножится на этб
число: sup ШII Л|| = |Я,| sup [ ЛЩ.Этим будет доказана положи-
№11=1 Ш = 1
тельная однородность функции ф (Л).
3) Для любых А и В и || | || = 1 имеем

4в ГЛ. I. ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
а в качестве общего свойства точной верхней грани можно дока-
доказать, что
sup
если Р и Q — множества вещественных чисел (ср. Кудрявцев [16],
т. I, стр. 26, упр. 1).
Таким образом, функция (8) является нормой. Докажем, что
она согласована. Действительно, при | Ф О по определению точ-
точной верхней грани || А\ ||/ ||| ||< <р (А), откуда || Л| || «р (А)\\% II.
Определение. Норма в <Мт,п, определяемая форму-
формулой (8), называется нормой, индуцированной нормами в пространст-
пространствах G%m и <Мп, или просто индуцированной нормой.
Предложение 9. Каждая согласованная норма мажори-
мажорирует индуцированную норму.
В самом деле, согласованная норма матрицы А является верх-
верхней границей для отношения || А\ II/ II ? II, а верхняя грань —
наименьшая из верхних границ. Поэтому индуцированная норма
матрицы А не превосходит любой ее согласованной нормы.
Дадим определение двух важных свойств норм матриц. Если
норма в пространстве квадратных матриц <Лпг обладает тем свой-
свойством, что || Е || = 1, то говорят, что она «сохраняет единицу».
Легко видеть, что для любой нормы ф в еЛпг среди норм вида Сф
одна и только одна норма обладает этим свойством.
Нормы в пространстве &$„*, удовлетворяющие при любых
А а В условию
A0)
называются матричными или кольцевыми нормами. Мы будем
придерживаться последнего термина, хотя он и менее распростра-
распространен, для того чтобы избежать трудно воспринимаемой на слух
ситуации, когда норма матрицы не является матричной нормой.
Условие A0) будем называть кольцевым свойством нормы.
Легко видеть, что для кольцевых норм \\ А II sg: II ? II • II А ||,
откуда
|?[|зэ1. . (И)
Кроме того, из кольцевого свойства вытекает, что
|А*|<М1* A2)
для любого натурального k и
цл-ч^И!-1. A3)
Докажем также следующее
Предложение 10. Любая индуцированная норма в eSni со-
сохраняет единицу и обладает кольцевым свойством.
Первая часть предложения очевидна. Вторая вытекает из сле-
следующей оценки, в которой еще раз используется свойство точной

§ 4. НО.Р.МИРОВАННЫЕ ПРОСТРАНСТВА
верхней грани, примененное в доказательстве предложения 8:
= sup (Л(В6)]^5пр МН51« = ||Л1 sup
iiSi = J Ш=! 418 = 1
Обратим теперь внимание на то, что неравенство A0) может
иметь место и в более общем случае. Достаточно считать, что ма-
матрицы А и В прямоугольные и имеют такие размеры, что опре-
определено их произведение (например, А е <Мтл, В So^n,/). Тогда
нормы в трех матричных пространствах а^т,„, е?Пш1 и &*т>/ могут
быть согласованы таким образом, что
!ЛБ|,и<И|Н|В|п. A4)
Это свойство согласованности мы будем также называть кольцевым
свойством. В частности, при / = 1 свойство A4) означает согла-
согласованность нормы ||* Hi с нормами || * ]|ц и || * ||щ в арифметиче-
арифметических пространствах.
Просматривая доказательство предложения 10, мы можем заме-
заметить, что имеет место следующее
Предложение 11. Неравенство A4) справедливо при
любых матрицах подходящих размеров, если нормы II * ||щ и || * ||ц
являются индуцированными, а норма || * Hi — согласованной.
В связи с определением индуцированной нормы естественно
возникает интерес к точной нижней грани
Она существует, так как множество чисел вида || А% ||/ II g II огра-
ограничено снизу нулем.
Будем предполагать, что А — квадратная матрица, и для
столбцов Ц11| и II A g || берется одна и та же норма. Тогда имеет
место
Предложение 12. Пусть Ц * || — индуцированная норма.
Если det А Ф 0, то g (А) = (|| А'1 II). Если же det А = 0, то
8 (А) = 0.
Доказательство. Если det А Ф 0, то выражение A5)
можно переписать в виде inf (|| ц ||/ || А'1 ц ||), где tj = A\. Заме-
Заметим, что t] Ф 0. Далее нужно сослаться на следующее свойство
точных нижних и верхних граней числовых множеств: если мно-
множество Р состоит из положительных чисел, а множество Q — из всех
чисел вида /Г1, где psP, то inf Q = (sup P). Предоставим
читателю проверить это. Отсюда мы имеем
и первое утверждение доказано.
Второе утверждение очевидно, так как inf II Л|Ц/Л Ц^Ц,
но при det Л =0 существует ненулевой столбец |„, для которого
А^ = 0.

48 ГЛ. I. ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
5. Наиболее употребительные нормы матриц. Посмотрим, ка-
какие нормы индуцируются в пространстве матриц теми нормами
в арифметических пространствах, которые мы рассматривали
в п. 1.
а) Пусть в арифметических пространствах выбраны евклидовы
(или унитарные) нормы. Индуцированная ими норма носит назва-
название спектральной нормы матрицы. Это
В предложении 8 § 2 мы видели, что для квадратных матриц эта
точная верхняя грань достигается и равна максимальному сингу-
сингулярному числу матрицы А. Ниже мы увидим, что это справед-
справедливо и для прямоугольных матриц, но сначала докажем
Предложение 13. Спектральная норма матрицы не ме-
меняется при умножении этой матрицы справа или слева на орто-
ортогональную (унитарную) матрицу.
Доказательство. Умножение столбца на ортогональ-
ортогональную матрицу не меняет его евклидовой нормы: || U% II = II ? II.
Отсюда следует, что спектральная норма ортогональной (как и
унитарной) матрицы равна 1. Теперь в силу предложения 4 мы
можем написать
откуда следует доказываемое для левых множителей. Для правых
доказательство почти не отличается от приведенного.
Для вычисления спектральной нормы можно воспользоваться
предыдущим предложением 13 и теоремой 1м § 1. Они позволяют
свести вычисление спектральной нормы матрицы А размеров т X п
к вычислению нормы матрицы А' вида (ср. A7) § 1):
A' — \\Dr °
\\ О О
Здесь Dr — диагональная квадратная матрица порядка г = Rg Л,
на диагонали которой стоят ненулевые сингулярные числа щ
матрицы А. При этом их нумерация такова, что aL Ss а2 ^ ... ^ аг.
Рассмотрим столбец | е ё$?„. Для него
\1/2 / г \1/2
и II Л '% Л _| V /'п,.Е1\2
Отсюда, заменяя все а2,..., аг на аъ получаем || А'\ II/ II | II ^ аь
причем равенство достигается в том случае, когда \ = \\ 1, 0 О ||г.
Итак, доказано
Предложение 14. Спектральная норма матрицы равна
ее максимальному сингулярному числу: || А || — av

§ 4. НОРМИРОВАННЫЕ ПРОСТРАНСТВА
49
Для невырожденной квадратной матрицы из предложения 12
и предложения 8 § 2 мы находим, что
\А-Ц^а-п\ A6)
где а„ — минимальное сингулярное число (при det А Ф О оно
не равно нулю).
б) Пусть в <Мт и s^n выбраны /-нормы. Оценим II А% Hi для
столбца | Ф 0:
Итак,
\
:max
II ? ' —-
I S !Д к
Покажем, что здесь достижимо равенство. Пусть максимум дости-
достигается при значении k = s. В качестве | выберем s-й столбец еди-
единичной матрицы порядка п. Тогда Л| есть s-й столбец матрицы А,
и его /-норма равна
Поскольку |ej|i=l, имеем | Ле^|1/;|е^11 = ^ а{| = тах
i
k
Следовательно, нормой, индуцированной /-нормами в арифмети-
арифметических пространствах, является норма
= max
т. е. максимальная из сумм модулей элементов матрицы по столб-
столбцам, или, иначе, максимальная из /-норм столбцов.
в) Пусть в d%m и е%„ выбраны с-нормы. Оценим || А% II» для
столбца | Ф 0:
Отсюда
\ax 2
: max / ii*-. I
k
Покажем, что здесь возможно равенство. Пусть максимум дости-
достигается при значении k = s. Мы хотим, чтобы s-й элемент столбца
т\ = А% был равен
Для этого достаточно выбрать | так, чтобы для всех k было выпол-
выполнено а||* = | а\ |. Очевидно, это всегда можно сделать, причем

50 ГЛ. I. ЛИНЕЙНЫЕ ОТОБРАЖЕНИЯ
II1 Ооэ — 1' Далее, для любого столбца max | т^ | Ss rf, и мы
имеем ^
I ft / ft
что вместе с предыдущей оценкой дает
Следовательно, нормой, индуцированной с-нормами в арифметиче-
арифметических пространствах, является норма
т. е. максимальная из сумм модулей элементов матрицы по строкам.
Элементы матрицы размеров га X п можно записать в виде
столбца высоты тп и рассматривать для матриц те же нормы,
которые были определены для столбцов в п. 2. При этом, не будучи
индуцированными, эти нормы не обязательно обладают полезными
свойствами индуцированных норм.
г) Евклидова или, в случае комплексной матрицы, унитарная
норма матрицы. По определению полагаем
\i, i
Элемент матрицы А ТА, стоящий в г-й строке и /-м столбце, равен
к
Отсюда видно, что квадрат Ц А \\е равен следу АТА, т. е.
Аналогично доказывается, что унитарная норма комплексной
матрицы
Далее мы будем говорить только о вещественных матрицах, пре-
предоставив читателю перенести результаты на комплексные матрицы.
Полученное нами выражение для (I А \\Е показывает, что верно
Предложение 15. Евклидова норма матрицы равна ква-
квадратному корню из суммы квадратов ее сингулярных чисел.
Предложение 16. Евклидова норма матрицы А не меня*
ется при умножении А справа или слева на ортогональную матрицу.
Доказательство. Если U — ортогональная матрица, то
= te AT A.

§ 4. НОРМИРОВАННЫЕ ПРОСТРАНСТВА Б!
Поскольку евклидова норма не меняется при транспонировании,
мы имеем также
Это заканчивает доказательство предложения.
Евклидова норма обладает кольцевым свойством: если опреде-
определено произведение матриц Л и В, то || АВ \\Е ^ || А \\ Е II В \\Е.
Действительно, в силу неравенства Коши — Бунякозского
для любых i и k. Суммируя эти неравенства по всем i и k, полу-
получаем [| АВ HI ==g II Л |[| || В |[|, что равносильно доказываемому.
Отсюда, в частности, следует, что евклидова норма согласо-
согласована с евклидовыми нормами в арифметических пространствах:
Не существует такой нормы в арифметическом пространстве,
которая индуцировала бы евклидову матричную норму. В самом
деле, И Е \\Б = Yn.
д) Норма | Л1 = max [а? не обладает кольцевым свойством,
i.i ' '
хотя и сохраняет единицу. Гораздо чаще используется следующая
норма в пространстве квадратных матриц порядка т
!Л1<=п.тах!а< .
t.i ' '
Она обладает кольцевым свойством и согласована со всеми тремя
основными нормами в арифметических пространствах. Докажем
это.
Элемент произведения АВ можно оценить по модулю так:
Эта оценка имеет место и для максимального по модулю элемента А В.
Умножая обе части неравенства на п, получаем || АВ \\С' ^
*=? II Л ||с- || В \\с.. Этим доказано кольцевое свойство.
Поскольку п2 fmax\aif\Y' не меньше суммы квадратов всех
элементов матрицы, рассматриваемая норма не меньше евклидовой
Йормы. Мы видели, что евклидова матричная норма согласована
С евклидовой нормой в (Мп- Поэтому и норма || * ||С' согласована
6 евклидовой нормой в е^и.
Аналвгично, норма lljjJIe' не меньше, чем нормы, индуциро-
Эанные /-нормой и с-но'ртгой, а потому является согласованной
й ^-нормой и с c-HopMojy? <0Ц>,

52 гл. i. линейные отображения
е) Норма 2]|я»| для нас интеРеса не представляет. Отметим,
i.i
что норма — / а{.\ обладает свойством сохранения единицы.
I, i
6. Поэлементная сходимость. Для последовательностей в ариф-
арифметическом пространстве рассматривается поэлементная (или, иначе,
покоординатная) сходимость. Последовательность {§„} поэлементно
сходится к |0, если последовательности, образованные элементами
столбцов |А, сходятся к соответствующим элементам столбца |0:
lIm6i = EJ, < = 1 п.
Более подробно это означает, что, каковы бы ни были положитель-
положительные числа еь ..., е„, найдутся такие номера kx (ex), ..., kn (е„),
что для всех i = 1, ..., п при k > kt (ef) выполнено неравенство
Легко заметить, что поэлементная сходимость совпадает со схо-
сходимостью по с-норме. Действительно, если последовательность
сходится поэлементно, выбрав произвольное е > 0, положим
б! = ... = е„ = е. И тогда для &>тах&г-(е) будет выполнено
t
max \%lk — Ъ*о | <; е, что означает сходимость последовательности
по с-норме. Обратное утверждение столь же очевидно.
Из теоремы 1 и предложения 3 теперь следует, что последова-
последовательность сходится поэлементно тогда и только тогда, когда она
сходится по какой бы то ни было норме.
Все сказанное выше относится и к поэлементной сходимости
последовательностей матриц. Записывая элементы матрицы раз-
размеров т X п в столбец высоты тп, мы можем рассматривать про-
пространство еМт,п как арифметическое пространство и сформулиро-
сформулировать следующий результат.
Последовательность матриц Ak сходится к матрице Ао поэле-
поэлементно тогда и только тогда, когда она сходится к Ло по какой-
либо норме.

ГЛАВА II
ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
§ 1. Аннулирующие многочлены
1. Делимость многочленов. В этом пункте мы рассмотрим необ-
необходимые для дальнейшего элементарные свойства делимости мно-
многочленов от одной переменной. Напомним (см. К., п. 1 § 1 гл. VI),
что многочлены с комплексными коэффициентами образуют ком-
комплексное (а многочлены с вещественными коэффициентами —
вещественное) линейное пространство по отношению к обычным
операциям сложения и умножения на число. Нулевой элемент
этого пространства — многочлен, тождественно равный нулю, иначе
говоря, такой, у которого все коэффициенты равны нулю. Ниже
мы будем называть его нулевым или равным нулю многочленом.
Кроме линейных операций в множестве многочленов известна
операция умножения. Отметим, что умножение на число совпадает
с умножением на многочлен нулевой степени, свободный член
которого равен этому числу.
Известно, что для многочленов не существует операции деле-
деления, обратной операции умножения. Определим деление многочлена
на многочлен с остатком.
Рассмотрим многочлены q и р. Пусть найдутся такие много-
многочлены h и г, что q = hp + г, и степень г меньше степени р. Тогда
h называется частным от деления q на р, а г называется остатком.
Предложение 1. Каждый многочлен можно разделить
с остатком на любой ненулевой многочлен. При этом частное и
остаток однозначно определены.
Докажем это предложение методом, который позволяет найти
частное и остаток, и носит название алгоритма деления с остатком.
Если многочлен р отличен от нуля, то его коэффициент при
наибольшей степени переменной не равен нулю, поскольку мы
считаем степенью многочлена максимальную степень переменной,
входящую с ненулевым коэффициентом.
Итак, даны многочлены р a q степеней т и п от переменной t
и ctm ф 0. Если п < т, то мы положим h = 0 и г =* р. Рассмотрим
случай п^т.

54 ГЛ. П. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
Пусть hi = -Ё5- tn~m. Рассмотрим многочлен qx = q — hj>. Легка
ат
видеть, что его степень пх меньше п. Мы имеем равенство q =*
= hxp + ft и, следовательно при пх<,т можем положить h =я ht
и г = 9i- В противном случае п2 5э /п, и мы, поступая с qx так же,
как и с q, получим равенство qx = h2p + q2, где степень ла много-
многочлена ^2 меньше, чем пх. Теперь
Если п2 <т, то /• = <7г. Л = hx + /г2. В противном случае
представляем </2 в виде h3p + q3- Этот процесс может продолжаться,
пока степень очередного многочлена qk не станет меньше т. Такой
многочлен qk обязательно будет получен, так как степени много-
многочленов qt убывают с ростом i. Найдя qk степени, меньшей т, мы
полагаем h — hx + ... + hk и г — qk. Этим существование част-
частного и остатка установлено.
Докажем единственность. Пусть многочлен q имеет два пред-
представления в интересующем нас виде: hp + г и h'p + г'. Тогда
(h — ti) p — г' — г. Если КфК', то многочлен в левой чавти
равенства имеет степень, не меньшую чем т, а многочлен в пра-
правой части равенства имеет степень, меньшую т. Значит h — hl,
а отсюда и г — г'. Предложение доказано.
Если остаток от деления q на р равен нулю, т. е. для некото-
некоторого многочлена h имеем q = hp, то говорят, что q делится на р,
или что р есть делитель q.
Нетрудно проверить следующие свойства делимости: для того
чтобы произведение многочленов делилось на многочлен р, доста-
достаточно, чтобы на него делился один из сомножителей. Для того
чтобы сумма многочленов делилась на р, достаточно, чтобы каж-
каждое слагаемое делилось на р. Конечно, это не необходимые условия.
Предложение 2 (теорема Без у). Многочлен р
делится на двучлен t — |л тогда и только тогда, когда р (\i) = 0.
Остаток г от деления р на t — ц имеет степень меньшую, чем
степень t — ц, т. е. является константой. Подставляя ц в равенство
р = h (t — ц) -Ь г, мы найдем г = р (\i). Отсюда сразу следует
доказываемое утверждение.
Определение. Многочлен d называется наибольшим об-
общим делителем многочленов ръ ..., ps, если он является делителем
каждого из них и делится на любой другой их общий делитель.
Наибольший общий делитель многочленов рх, ..., ps обозна-
обозначается НОД (/?!, ..., ps). Он определен с точностью до числового
множителя а Ф 0. Действительно, пусть многочлены рх ps
имеют два наибольших общих делителя d и d'. Тогда каждый из них
должен делиться на другой, и, следовательно, ни у одного из них
степень не больше, чем у другого. Значит, их частное — мно-
многочлен степени 0, т. е. d' = ad и а Ф 0. Наоборот, умножая

§ I. АННУЛИРУЮЩИЕ МНОГОЧЛЕНЫ " 55
НОД(/>1, ..., ps) на число, отличное от нуля, мы снова получаем
НОД тех же многочленов.
Определение. Многочлены ри ..., ps называется взаимно
простыми, если НОД (ри ..., ps) имеет степень 0.
ПредложениеЗ. Для того чтобы комплексные многочлены
Рх, ..., ps не были взаимно просты, необходимо и достаточно, чтобы
Ьни имели общий корень.
1°. Необходимость. Пусть указанные многочлены имеют
общий делитель d ненулевой степени. Тогда каждый из них имеет
вид pi = hid. Но комплексный многочлен d ненулевой степени
обязательно имеет хоть один корень f.i. Подставляя его, полу-
получаем р^ (ц) = hi (ц) d (f.i) = 0. Таким образом, ц — общий корень
всех многочленов.
2°. Достаточность условия непосредственно вытекает
из теоремы Безу.
Для нахождения наибольшего общего делителя двух многочленов приме-
применяется следующий способ, называемый алгоритмом Евклида.
Пусть нужно построить НОД многочленов р и q степеней тип соответственно,
ЙРичем т s? п. Не уменьшая общности, мы можем считать, что коэффициент
при tm в р и коэффициент при tn в q отличны от нуля. Разделим q на р и обозна-
обозначим остаток от деления через гх. Если г^ = 0, то очевидно, что НОД (р, q) = р.
Если Г] ф 0, то разделим р на гг и обозначим остаток через г2. Затем, если г2 Ф 0,
разделим г, на гг и получим остаток rs. Будем далее делить предпоследний оста-
остаток на последний до тех пор, пока после некоторого (s -j- 1)-го деления не по-
поручится остаток, равный нулю. Это обязательно произойдет, поскольку степени
остатков постоянно уменьшаются, и если мы не получим нулевого остатка раньше,
мы дойдем до остатка степени 0, на который предыдущий остаток разделится
нацело. Таким образом, мы получаем равенства
rs-s — hs-irs-
Докажем, что НОД (р, q) = rs. Действительно, так как rx_j и rs делятся на rs,
согласно (\s) остаток rs_2 будет делиться на rs. Тогда в силу равенства (lx_i) rs_3
делится на rs. Двигаясь далее вверх по цепочке равенств (I), мы, наконец, най-
Дем, что на rs делятся г: и гг, а следовательно, и р, а тогда в силу A3) и q. Таким
образом, rs есть общий делитель многочленов р и q.
Пусть теперь d есть произвольный общий делитель многочленов р и <?. Из
равенства (lj) вытекает, что d является делителем остатка гг. Затем из равен-
равенства A2) мы заключаем, что г3 делится на d. Двигаясь далее вниз по цепочке ра-
равенств A), мы получим из равенства (ls), что rs делится на d. Этим утверждение
Доказано.
У Алгощтм Евклида позволяет найти наибольший общий делитель любых
ЙВух ненвгевых многочленов. .Наибольший общий делитель любого числа мно-
гбчленов мЙсно посвроить. п^^дщи^ъро применяя формулу
..., р,_х), Ps).
Доказываедся она не сложйо, и читателю полезно будет провести это доказа-
доказательство» " " ~ " "' .

56 ~ ГЛ. II. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
Предложение 4. Пусть рх, ..., ps — многочлены, [ среди
которых есть отличный от нуля, и d = НОД (ръ ..., ps). Тогда
найдутся такие многочлены их, •••> us, что
d = uxp! +... + usps. B)
Доказательство. Обозначим через S множество всех
многочленов вида /,/?! + ... + f?ps, где /ь ..., fs —многочлены.
Ш обладает следующими свойствами:
а) Если g, /i е I, то ^ + Л е I.
б) Если g e <§¦, то hg e $, каков бы ни был многочлен h.
Разумеется, каждый из многочленов plt ..., ps лежит в $. Отсюда,
в частности, следует, что § содержит многочлены, отличные от нуля.
В каждом множестве, содержащем ненулевые многочлены, есть
многочлен минимальной степени, не равный нулю. В самом деле,
степени многочленов — неотрицательные целые числа, и потому
в множестве степеней ненулевых многочленов найдется минималь-
минимальный элемент. Пусть d = ихрх + ... + usps — ненулевой многочлен
минимальной степени из S. Тогда d есть делитель любого много-
многочлена g из S. Действительно, пусть g = hd + г и г Ф 0. Тогда
г = g —hd и, следовательно, г лежит в $ вместе с g и d. Но сте-
степень г меньше степени d, что противоречит выбору d. Итак, г — 0
и d является делителем любого многочлена из §, в частности, каж-
каждого из ръ .... ps.
Пусть теперь йх — произвольный общий делитель многочле-
многочленов plt ..., ps. Тогда di является делителем каждого слагаемого
в правой части равенства B) и, следовательно, делителем d. Это
заканчивает доказательство предложения.
Пример. Пусть pi = t3 + 1, р2 = t2 — 1. Тогда НОД (plt p2) =
= t + 1. Мы имеем
Следствие. Многочлены ръ ..., 'ps взаимно просты тогда
и только тогда, когда найдутся такие многочлены и1у ..., us, что
+ •¦¦ + Usps = 1.
Определение. Пусть даны ненулевые многочлены рх, ...,ps.
Многочлен q называется общим кратным этих многочленов, если
он делится на каждый из них. Общее кратное многочленов px...ps
называется их наименьшим общим кратным, если оно является
делителем любого другого общего кратного этих многочленов.
Наименьшее общее кратное многочленов ръ ..., ps обозначается
НОК (plt..,pt).
Предложение 5. Общее кратное q многочленов рх, ¦•-, ps
является их наименьшим общим кратным тогда и только тогда,
когда частные от деления q на pt, ..., ps взаимно просты.
Доказательство. Для всех i = 1, ..., s частные ht опре-
определены равенствами q = ft.,-p,-. Если d = НОД (hlt ..., hs) — мно-

§ 1. АННУЛИРУЮЩИЕ МНОГОЧЛЕНЫ
57
гочлен ненулевой степени, то найдутся такие многочлены /ь ..., /5,
что при всех i=l, ..., s выполнены равенства q = fidpi. Следо-
Следовательно, q делится на d, и, обозначив частное через q', мы имеем
fiPi— •¦• —fsPs = Q'- Это означает, что ?' — общее кратное много-
многочленов plt ..., р .Но его степень меньше, чем степень q, и потому
оно не делится ни q. Следовательно, q не есть наименьшее общее
кратное.
Сбратно, пусть q*—общее кратное многочленов ри ..., ps,
ко не наименьшее. Тогда его степень больше, чем степень q —
= hOK (Pi, ..., ps)- В самом деле, q* делится на q, и потому его
степень не может быть ниже степени q. Если бы степени q* и q были
равны, то по той же причине q* отличалось бы от q на числовой
множитель. В этом случае q* также было бы наименьшим общим
кратным вопреки предположению.
Итак, существует многочлен / ненулевой степени такой, что
q* = fq. Теперь для каждого i мы можем написать q* — fhiph
где hi — частное от деления q на pi. Отсюда видно, что частные
от деления q* на pt имеют общий делитель положительной степени.
Предложение доказано.
2. Многочлены от преобразований. Рассмотрим /г-мерное линей-
линейное пространство Хп, не уточняя пока, вещественное или комплекс-
комплексное. Напомним (см. К-, п. 6 § 3 гл. VI), что для линейных пре-
преобразований пространства Хп определены операции сложения,
умножения на число и умножения преобразований. В частности,
определено возведение линейного преобразования в целую поло-
положительную степень. Ведем дополнительно определение, согласно
которому каждое линейное преобразование в нулевой степени
равно тождественному преобразованию Е пространства Хп.
Это позволяет нам подставить линейное преобразование А
в качестве значения переменной t в любой многочлен р:
р (А) = а0Е + aiA + а2 А2 +... -f amAm.
Разумеется, полученное значение р (А) многочлена р будет также
линейным преобразованием пространства Хп. Образ вектора х
при этом преобразовании будет обозначаться р (А) (х) или р А(х).
Значение многочлена на преобразовании А коротко называют
многочленом от преобразования А.
Если в Хп выбран базис, то преобразование А имеет матрицу А.
Так как операциям с преобразованиями соответствуют те же опе-
операции с их матрицами, преобразование р (А) будет иметь матрицу
Выражения такого вида называются матричными многочленами.
Сложение, вычитание и умножение матриц имеют такие же
основные свойства, что и те же операции с числами, за исключе-
исключением коммутативности умножения. Поскольку при выводе свойств
числовых многочленов не приходится делить на независимую пере-

68 ГЛ. II. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
менную, потребности в обращении матриц не возникает. При умно-
умножении матричных многочленов приходится перемножать степени
рдной и той же матрицы, которые коммутативны: A'AS = AsAl =
«= ЛЧ
Отсюда следует, что алгебраические операции с матричными
многочленами от одной и той же матрицы А или от коммутатив-
рых матриц обладают теми же свойствами, что и операции с число-
числовыми многочленами. Естественно, это же утверждение распростра-
распространяется на многочлены от преобразований.
Напомним, что ядром отображения (в частности, преобразова-
преобразования) называется множество векторов, которые оно переводит
в нулевой вектор. Ядро преобразования А есть линейное под-
подпространство, которое мы будем обозначать Кег А. Область зна-
значений А (%„) преобразования А будем обозначать Im A.
Предложение 6. Для любых преобразований А и В выпол-
выполнено Кег A s Кег ВА. В частности, Кег A s Ker Afe при k 5= 1.
Действительно, если х е Кег А, то А (х) = о и В А (х) = о.
Из предложения 6 вытекает следующая формула: если q —
общее кратное многочленов ри ..., ps, то
Кег # (А) = Кег? (А)
для всех i = 1, ..., s.
Если каждое из подпространств Ker pt (А) лежит в Ker q (A),
то там же лежит и их сумма. Поэтому
C)
1 = 1
Предложение 7. Если q = HOK (pi, ..., ps), то
2 Ker p, (A) = Кег? (А).
Ввиду формулы C) нам осталось доказать только, что каждый
вектор из Ker q (А) разлагается в сумму векторов xlt ..., xs таких,
что xi e Ker pt (A).
Для доказательства обозначим частное от деления многочлена q
на многочлен pi через ht. В силу предложения 5 и следствия из
предложения 4 найдутся такие многочлены щ us, что 1 =
= h\ui-{¦ ••- + hsus. Это означает, что тождественное преобразо-
преобразование Е раскладывается в сумму произведений
Применим обе части этого равенства к произвольному вектору х
из -Ker q (А). Мы получим х = хх + ... -f xs, где xt =
« щ (А) Тм (А) (*).
Докажем; что xt e Ker pt (А). В самом деле, если для ком-
компактности записи заменить обозначения pt (А) на р^, то мы

§ 1. АННУЛИРУЮЩИЕ МНОГОЧЛЕНЫ 89
сможем написать
рА (х.) = p^hf{x) = u?q* (х) = 0.
Это заканчивает доказательство предложения.
Пусть d — общий делитель многочленов ри ..., ps. Это озна-
означает, что при каждом i найдется многочлен ht такой, что pt — hid.
Поэтому предложение 6 показывает, что Ker d (А) принадлежит
каждому из подпространств Ker pt (А), а значит, и их пересечению!
<=П Кегр?(А). D)
i = i
Предложение 8. Если d = НОД (ри ..., ps), то
= f| Kerp,(A).
ii
Ввиду формулы D) нам остается доказать только то, что каж-
каждый вектор из пересечения пространств Ker pi (А) принадлежит
Ker d (А). Для доказательства напишем d в виде d = и^рх + ...
...+ usps. Отсюда dA = «Ар* + ... + "SA/?$A- Применим обе части
этого равенства к произвольному вектору и х из пересечения.
Мы получим
dA (х) = «X {х) + ...+ ИАрА {Х) = о,
что равносильно доказываемому утверждению.
Если многочлены ръ ..., ps взаимно просты, то d (А) = Е.
Но Ker E = о. Поэтому из предложения 8 вытекает
Следствие. Для взаимно простых многочленов
f] Ker Pi (A) = о.
3. Минимальный аннулирующий многочлен преобразования.
Преобразование О линейного пространства Хп называется нуле~
вым, если оно сопоставляет каждому вектору нулевой вектор.
Это равносильно тому, что ядро этого преобразования совпадает
со всем пространством Хп.
Определение. Ненулевой многочлен р мы будем называть
аннулирующим преобразование А или аннулирующим много-
многочленом преобразования А, если р (А) = О.
Очевидно, что р — аннулирующий многочлен преобразования А
тогда и только тогда, когда Ker р (А) = Хп.
Каков бы ни был базис в пространстве Хп% нулевое преобразо-
преобразование имеет нулевую матрицу О. Поэтому матрица А преобразо-
преобразования А удовлетворяет уравнению р (А) = О в том и только том
случае, когда р — аннулирующий А многочлен.

fiO ГЛ. II. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
Предложение 9. Для каждого линейного преобразования А
существует аннулирующий его многочлен.
Доказательство. Пусть А — матрица преобразования А
в каком-либо базисе. Среди неотрицательных целых степеней
матрицы А не более чем п2 линейно независимых, так как вообще
не может быть больше чем п% линейно независимых матриц по-
порядка п. Пусть а0, ..., ат — коэффициенты равной нулю нетри-
нетривиальной линейной комбинации степеней матрицы А. Тогда
а0Е + агА +... + аткт = О,
что и заканчивает доказательство предложения.
Говоря об аннулирующих многочленах, мы стоим на точке
зрения, отличной от принятой в элементарной алгебре. Там инте-
интересуются корнями заданного многочлена, мы же рассматриваем
множество многочленов, значения которых при данном А равны
нулю.
Множество аР всех многочленов, аннулирующих данное пре-
преобразование А, обладает следующими легко проверяемыми свой-
свойствами:
а) Если g, h е а?5, то g + h s §Р.
б) Если g <= аР, то gh e аР, каков бы ни был многочлен h.
Этими же свойствами обладает множество §, определенное
нами при доказательстве предложения 4. Опираясь на них, мы
доказали, что в этом множестве существует многочлен минималь-
минимальной степени, который является делителем всех остальных много-
многочленов. То же самое рассуждение приведет нас к следующему
предложению.
Предложение 10. Среди многочленов, аннулирующих пре-
преобразование А, существует многочлен минимальной степени, кото
рый является делителем всех аннулирующих А многочленов. Этот
многочлен определен с точностью до числового множителя.
Определение. Многочлен, описанный в предложении 10,
называется -минимальным многочленом преобразования А, если его
старший коэффициент равен 1.
Пример. Пусть преобразование А в некотором базисе задано
матрицей
10 0 0
. _ 0 1 0 0
А~~ 0 0 2 0
0 0 0 2
Докажем, что многочлен t2 — Ш + 2 = (t — 1) (/ — 2) есть мини-
минимальный многочлен преобразования А. Действительно, он анну-
аннулирующий, так как
II0 0 0 0[
Но о о о
О 1 О
1о о о 1
—1 0 0 01
0—1 0 о)
0 0 0 0,
0 0 0 0
= 0.

§ !. АННУЛИРУЮЩИЕ МНОГОЧЛЕНЫ 61
Если бы нашелся аннулирующий многочлен первой степени I — а,
то матрица А должна была бы удовлетворять равенству А —аЕ = О,
откуда следовало бы а = 1 и а = 2.
4. Нильпотентные преобразования. Дадим следующее
О п р е д е л е"н и е. Линейное преобразование В линейного
пространства Ж называется нильпотентньсм, если его минималь-
минимальный многочлен имеет вид tl. Число I называется показателем ниль-
нильпотентности.
Таким образом, если / — показатель нильпотентности, то
В' (х) = о для любого х из Ж, но найдется такой вектор у е К,
что В' (у) ф о. Разумеется для некоторых х окажется, что
Bh (х) = о при h < /.
Обратим внимание на то, что все собственные значения ниль-
потентного преобразования равны нулю. Действительно, для соб-
собственного вектора х имеем В' (х) = К1х — о, откуда Я, = 0. По-
Поэтому для нильпотентного преобразования все собственные век-
векторы вместе с нулевым вектором составляют ядро Кег В.
Предложение 11. Пусть В — нильпотентное преобразо-
преобразование и-для вектора х при некотором h выполнены условия В* (х) ф
фо и Bh (х) = о. Тогда векторы х, В(х), ..., В11'1 (х) линейно
независимы.
Для доказательства предположим, что векторы линейно зави-
зависимы и аг (i 5= 0) — первый отличный от нуля коэффициент в их
нулевой линейной комбинации
аох + ... + а& (*) + ... + ад^В*-1 (х) = о. E)
Из условия следует, что i <ih—1, и мы вправе рассматривать
преобразование В*"'. Подействуем им на обе части равенства E).
Мы получим а.-В'* (х) = о, откуда следует <хг = 0 вопреки пред-
предположению. Предложение доказано.
Следствие 1. Любой набор векторов х, В (х), ..., & (х),
кончающийся ненулевым вектором, линейно независим, так как он
может быть расширен до линейно независимого набора.
Следствие 2. Показатель нильпотентности не превосхо-
превосходит размерности пространства.
Определение. Подпространством, циклическим относи-
относительно нильпотентного преобразования В, мы назовем линейную
оболочку векторов х, В (х), ..., Bft-1 (х), если Вн'г (х) Ф о и Вл (х) =
= о. Мы будем говорить, что циклическое подпространство по-
порождается вектором х.
Согласно предложению 1 указанные в определении векторы
образуют базис в циклическом подпространстве. Мы назовем этот
базис циклическим базисом (порождаемым вектором х).
Предложение^. Пусть % — циклическое подпростран-
подпространство размерности h, порождаемое вектором х. Тогда при г <; ft.
подпространство Вг (Ш) циклическое. Оно порождается векто-

<Й ГЛ. II. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
ром Вг (х) и имеет размерность h — г. Если же г ^ h, то под-
подпространство Вг {%} нулевое.
Доказательство. Пусть у = аох + ах В(х) + ...
j,. + a^B* (х) — произвольный вектор из Ш. Тогда в силу
В* (х) = о образ вектора у имеет вид В (у) = а0 В (х) + ...
...(+ aA_2BA"i (х). По предложению 11 векторы В (х), ..., Вн~* (х)
составляют базис в В (%). Поэтому В (Ш) — циклическое под-
подпространство, порождаемое вектором В (х), и dim В (I) = h — 1,
если только h > 1. Применяя этот результат последовательно г раз,
ыы получим нужное заключение.
Следствие. Каокдое циклическое подпространство инва-
инвариантно относительно преобразования В.
Действительно, из предложения 12 имеем В {%) с: U.
§ 2. Жорданова нормальная форма
1. Корневые подпространства. Мы будем рассматривать ком-
комплексные линейные пространства, хотя частично наши результаты
будут справедливы и для вещественных пространств. Собственно,
Вам потребуется предположение, что минимальный многочлен
изучаемого линейного преобразования допускает следующее раз-
разложение на множители:
р @ = (*-*!)**.• •('-*«)*'• A)
Здесь натуральные числа klt ..., ks — кратности корней Яь ..., %s.
Их сумма &! + ... -\-ks равна степени минимального многочлена.
Корни %и ..., %s мы предполагаем попарно различными.
Любой многочлен имеет разложение вида A), если в качестве Xt
допускаются комплексные числа. Поэтому дальнейшие результаты
будут справедливы для любого линейного преобразования в ком-
комплексном пространстве и только для тех линейных преобразова-
вий в вещественном пространстве, у которых минимальный много-
многочлен имеет лишь вещественные корни.
Определение. Корневыми подпространствами преобра-
преобразования А называются подпространства ?%i = Кег (А — Я,-Е)Ч
*= 1, ..., s, где числа К{ и kt определены разложением A) для
минимального многочлена преобразования А.
Предложение 1. Корневые подпространства преобразо-
преобразования А инвариантны относительно этого преобразования.
1^ждый многочлен от А перестановочен с А. Поэтому ядро
йюбштрлнегочлена от А будет инвариантно относительно А (пред-
(предложение 1 § 3 гл. I). В частности, это относится к многочленам
(А - %JE)\
Наща ближайшая цель — доказать теорему о разложении про-
пространства Хп в прямую сумму корневых подпространств. Для
^ на свойствах прямых сумм,

§ 2. ЖОРДАНОВА НОРМАЛЬНАЯ ФОРМА 03
В К., п. 3 § 2 гл. VI было дано определение прямой суммы двух
подпространств. Так была названа сумма подпространств X' + X'
при X' [\ X" — о. На произвольное число подпространств это
определение распространяется так:
Определение. Сумма подпространств X A) + ... + Х№
называется прямой суммой и обозначается Xw ф ... ф &W или
© Х^\ если
Х^{] 2 ^(" = одля всех k = \, .... s.
Легко видеть, что в этом случае
/ = 2, .."., s.
Используя эту формулу и свойства прямой суммы двух подпрост-
подпространств, по индукции нетрудно доказать, что объединение базисов
подпространств Х^> образует базис в их прямой сумме. Отсюда,
в частности, следует, что размерность прямой суммы равна сумме
размерностей слагаемых.
Каждый вектор суммы подпространств раскладывается в сум-
му 2*«> гДе xi G =5fli)- В случае прямой суммы такое разложение
единственно. Действительно, из существования для вектора х
двух различных разложений такого вида х = ^jct = ^jyt выте-
вытекало бы, что 2 (xi —уд — 0> а из этого равенства нетрудно полу-
получить линейную зависимость векторов из объединения базисов
подпространств X(i).
Предоставим читателю проверить, что все перечисленные здесь
свойства прямой суммы являются характеристическими, т. е. рав-
равносильны определению прямой суммы.
Теорема 1. Если А — линейное преобразование комплексного
линейного пространства Хп, то Х'п — прямая сумма корневых
подпространств Ж-г преобразования А.
Доказательство. Запишем для краткости разложе-
разложение A) минимального многочлена преобразования А в виде р =з
= Ь1&2...Ь* и обозначим через gy частное от деления р на Ь/, т. е.
g/^bi... bf-ibj+i ...bs.
Так как ни один корень не является общим для всех многочленов
Sit ••., gs, они взаимно просты в силу предложения 3 § 1. Поэтому,
согласно предложению 5 § 1, р = НОК (Ьи ..., bs).
Поскольку Кег р (А) = ХП} из предложения 7 § 1 имеем
1]«Ъ B)
Аналогично доказывается, что

в* ГЛ. II. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
Многочлены bj и g, взаимно просты. Поэтому, согласно следствию
из предложения 8 § 1, S%f f) Ker gf = о. Таким образом,, сумма B)
прямая, и теорема доказана.
Пусть е — базис пространства %п, являющийся объединением
базисов корневых подпространств. Как нетрудно .доказать (ср. К.,
п. 2 § 4 гл. VI), инвариантность подпространств с/?,- приводит к тому,
что матрица преобразования А в базисе е имеет вид, который на-
называют блочно диагональным или клеточно диагональным:
C)
Здесь Аи ..., As—квадратные матрицы порядков тх, ..., ms,
равных размерностям корневых пространств. При этом т1 + ...
...+ ms — п. Матрицы Л,- (i — 1, ..., s) являются матрицами огра-
ограничений преобразования А на подпространствах 5?,-.
Клеточно диагональную матрицу C) мы будем записывать
также символом diag (Ль ..., As).
Детерминант клеточно диагональной матрицы С = diag (Clt ...
..., Cs) равен произведению детерминантов диагональных клеток
Сг, ..., Cs. Для доказательства этого предложения индукцией
по порядку матрицы достаточно разложить детерминант матрицы С
по первой строке и применить предположение индукции к каждому
минору в полученном разложении.
Используем этот результат для вычисления характеристиче-
характеристического многочлена преобразования А. Пусть А — матрица А в ба-
базисе, являющемся объединением базисов корневых подпространств.
Тогда
q {%) = det (A - Щ = П det (At - %Em^ D)
где Ет. — единичная матрица порядка т^
Таким образом, характеристический многочлен преобразования
равен произведению характеристических многочленов его ограни-
ограничений на корневых подпространствах.
Рассмотрим какое-нибудь одно корневое подпространство S/?t =*
= Ker (A — XiE)fe'. Пусть ц, — собственное значение ограниче*
ния А на этом подпространстве, ах — соответствующий собствен-
собственный вектор. Подействуем на вектор х преобразованием А — ЯгЕ*
Мы получим
(А — XjE) (х) = А (х) — %{Х «\хх — %iX = (ц, —
Отсюда вытекает, что
(А - %iE)k' (х) = (ц - Kip х - о.

§ 2. ЖОРДАНОВА НОРМАЛЬНАЯ ФОРМА 65
Или, поскольку хф о,
~ и = V
Таким образом, мы видим, что все корни характеристического мно-
многочлена ограничения А на е/Г/ совпадают с Xit и потому этот харак-
характеристический многочлен имеет вид
Согласно формуле D) находим характеристический много-
многочлен А
л/1\ /1 \ \т\ /\ 1 \тч /СЧ
t/ ^Л^ — \А\ — А) х . . . yfas — fa) л ¦ \р)
Отсюда вытекает
Предложение 2. Множество корней минимального мно-
многочлена преобразования А совпадает с множеством корней его ха-
характеристического многочлена. Кратности корней в характеристи-
характеристическом многочлене равны размерностям корневых подпространств.
Обозначим через В,- ограничение преобразования А — А,,-Е на
корневом подпространстве с/?,-, соответствующем корню %{. Тогда,
согласно определению корневого подпространства, В,- нильпотентно
и показатель его нильпотентности не превосходит кратности kt
корня ki в минимальном многочлене.
Предложение 3. Показатель нильпотентности U пре-
преобразования В; в точности равен кратности корня Я; в минималь-
минимальном многочлене.
Предположим противное: lt <. kt. Рассмотрим многочлен
и подействуем преобразованием р (А) на произвольный вектор х
пространства Хп, который мы представим разложенным в сумму
векторов, принадлежащих корневым подпространствам: х = хх + ...
... + xs. Мы имеем
(**)- F)
Для вычисления каждого слагаемого переставим в р (А) на послед-
последнее место тот сомножитель, который обращает в нуль вектор х}-,
входящий в это слагаемое. Так мы покажем, что все слагаемые,
включая рА (*,), равны нулю, и, следовательно, рА (х) — о для
любого х из Хп. Но степень р меньше степени минимального мно-
многочлена, что противоречит определению последнего. Предложение
доказано.
Из предложений 2 и 3 и следствия 2 предложения 11 § 1 выте-
вытекает, что кратности корней в минимальном многочлене не прево-
превосходят их кратностей в характеристическом многочлене
ki sg tJli.
Отсюда следует, что характеристический многочлен делится на
минимальный, и мы приходим к такой теореме.

66
ГЛ. И. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
Теорема 2 (Гамильтона — Кэли). Характеристи-
Характеристический многочлен преобразования является его аннулирующим мно-
многочленом.
Эта теорема имеет матричную формулировку:
Теорема 2м. Каждая матрица удовлетворяет своему ха-
рактеристическому уравнению.
Простое доказательство теоремы Гамильтона — Кэли получено
в результате длительного исследования свойств преобразований.
В литературе (см., например, [21]) читатель может найти и непо-
непосредственные ее доказательства. Впрочем, эта красивая теорема
используется довольно редко.
2. Жордановы цепочки. В следующих трех пунктах мы будем
изучать одно фиксированное корневое подпространство &d и огра-
ограничение Вг- преобразования А — А.,Е на нем. Поскольку значение i
будет только одно, мы будем пропускать этот индекс для сокраще-
сокращения записи. Итак, рассматривается m-мерное пространство &С и
нильпотентное преобразование В этого пространства, имеющее
показатель нильпотентности k.
Мы докажем, что пространство Ж распадается в прямую сумму
подпространств, циклических относительно В. Для этого мы пост-
построим циклические базисы, объединение которых составляет базис
в Ж.
Пусть для некоторого вектора В* (х) ф о, Bft+1 (х) — о. Введем
следующие обозначения для векторов циклического базиса:
Нетрудно заметить, что вектор е° — собственный для В, так как
В (е°) = Вл+1 (х) = о.
Определение. Пусть какие-то векторы е1, ..., eh вместе
с собственным вектором е° удовлетворяют условиям
В(е1) = е°, В(е2)=е1, .... В(е*)=>е*-1. G)
Тогда они называются соответственно первым, вторым и т. д. при-
присоединенными к е° векторами. Говорят также, что е°, е1, ..., eh обра-
образуют жорданову цепочку с началом в е°.
Легко видеть, что каждый циклический базис состоит из собст-
собственного и присоединенных к нему векторов. Обратно, каждая
Жорданова цепочка образует циклический базис, в чем нетрудно
убедиться, подставляя равенства G) одно в другое.
Предложение 4. Вектор е° имеет ровно h присоединен-
присоединенных (т. е. является началом цепочки из h + 1 вектора) тогда и
только тогда, когда
е°е=1тВ"ПКегВ, е°
Действительно, как отмечалось на стр. 61, включение е° е
е Кег В равносильно утверждению, что вектор еа собственный.
Если е° е Im Вл, то найдется такой вектор х, что е° = Вл (х).

§ 2. ЖОРДАНОВА НОРМАЛЬНАЯ ФОРМА G7
Циклический базис, порождаемый вектором х, дает нам нужную1
цепочку. Условие е° ф Im Bft+1 означает, что не найдется цепочки
большей длины, начинающейся с е°.
Обратное утверждение доказывается аналогично.
3. Нахождение начальных векторов цепочек. Из предложения 4
видно, что подпространства Im Bft П Кег В для различных h
должны играть большую роль в построении цепочек. Мы обозна-
обозначим Im Bft П Кег В через <Mh.
Так как вектор Bft+1 (x) можно представить в виде Bft ( В(х)),
мы имеем включения
Im В*-1 е 1га В*-2 =... = Im В2 = Im В. (8)
Если k — показатель нильпотентности, то Im В* s Кег В, т. е.
e^*-i = i-m В*. Пересечения подпространств из системы (8) с под-
подпространством Кег В, очевидно, вложены одно в другое таким же
образом, как и сами подпространства. Итак,
Im В*-1 = eft"-1 = e^ft-a =... = s^2 = s^1 = Кег В. (9)
Выберем в пространстве собственных векторов Кег В базис,
связанный с системой пространств (9). В первую очередь отнесем
к этому базису все векторы какого-нибудь базиса в е^*. Далее,
присоединим линейно независимые от предыдущих векторы из
е^*~2, затем из <Mk'z и т. д. Вектор из какого-либо пространства
(Мк~г может быть включен в базис только тогда, когда в <Mh больше
нет векторов, которые не раскладывались бы в линейную комби-
комбинацию векторов, уже отнесенных к базису. Таким образом, для
любого h каждый вектор из <Mh раскладывается по векторам базиса,
лежащим в e^ft.
Описанный процесс добавления векторов закончится, когда
будет построен базис в Кег В. Последними, если потребуется,
будут включены в базис векторы из Кег В, не лежащие в I m В.
Обозначим так построенный базис через е° = || е\, ..., вр ||.
4. Разложение корневого подпространства в сумму циклических.
Если к каждому вектору базиса е° добавить цепочку присоединен-
присоединенных к нему векторов, мы получим следующую систему векторов
в пространстве ?%\
ей е\,
A0)
¦> &
Предложение 5. Система из собственных и присоединен-
присоединенных к ним векторов линейно независима, если входящие в нее собст-
собственные векторы линейно независимы.

.'$8 ГЛ. II. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
Докажем это индукцией по числу векторов в системе. Если
в ней только один вектор, то он — собственный, и утверждение
очевидно.
Предположим, что утверждение справедливо для любых систем
вида A0), содержащих не более N — 1 вектора. Для некоторой
системы вида A0), содержащей Лг векторов, составим произвольную
линейную комбинацию, равную нулю:
e
Докажем, что эта линейная комбинация тривиальная. Подейство-
Подействовав на обе части равенства A1) преобразованием В, мы получим
с учетом G)
e
Здесь написано равенство нулю линейной комбинации векторов,
входящих в систему вида A0) из меньшего числа векторов (длина
каждой цепочки уменьшена на 1). Следовательно, все коэффициенты
последней линейной комбинации равны нулю. Если мы учтем это
в равенстве A1), то оно сведется к следующему:
Поскольку собственные векторы линейно независимы, оставшиеся
коэффициенты также равны нулю. Предложение доказано.
Предложение 6. Каждый вектор пространства SfC рас-
раскладывается в линейную комбинацию векторов системы A0).
Для удобства доказательства будем говорить, что вектор х
из 5? имеет высоту h, если х е Ker Bft. Каждый ненулевой вектор
имеет некоторую высоту h, 1 «? h «s k, так как В нильпотентно
с показателем нильпотентности k. Мы докажем предложение индук-
индукцией по высоте вектора.
Ненулевой вектор высоты 1 собственный, и по построению си-
системы е° он раскладывается по векторам е\ е°р.
Допустим, что утверждение справедливо для векторов высоты h,
и докажем его для произвольного вектора х высоты h + 1. С этой
целью рассмотрим вектор х0 = Вл (х). Очевидно, что х0 s Ker В,
так как В (Вл (х)) = о. Поэтому х0 <= е^л = Im Вл П Ker В.
Система векторов е° построена так, что каждый вектор из d%h
раскладывается по тем векторам этой системы, которые принадле-

§ 2. ЖОРДАНОВА НОРМАЛЬНАЯ ФОРМА 69
жат е^л. Поэтому в системе е° найдутся векторы е^, ..., еа,
такие, что
Но векторы из <Mh имеют h-e присоединенные, для которых е»
= ВА(е?1), ¦•¦, eaCT = Bft(eaa). Итак, мы имеем
Отсюда мы можем заключить, что вектор у = х — la e*f —...
... — |ae? лежит в Кег Вл, т. е. имеет высоту h и удовлетворяет
предположению индукции. Поэтому он раскладывается по системе
векторов A0). Отсюда сразу вытекает, что и х раскладывается по
этой системе.
Предложения 5 и 6 показывают, что нами построен базис про-
пространства &С, который является объединением циклических бази-
базисов. Этот базис называется жордановым базисом пространства <%*
для нильпотентного преобразования В.
Из того, что линейная оболочка каждой цепочки векторов —
циклическое пространство, мы получаем следующую теорему.
Теорема 3. Пространство Ж, в котором задано нильпо-
тентное преобразование В, распадается в прямую сумму подпро-
подпространств, циклических относительно В.
5. Размерности циклических прямых слагаемых. Разложение,
имеющее место в силу теоремы 3, далеко не единственно. Однако
число слагаемых в прямой сумме и их размерности определены
однозначно. Доказательство этого факта начнем со следующего
простого предложения.
Предложение 7. Если пространство S% двумя способами
разнежено в прямую сумму циклических подпространств, то число
ненулевых слагаемых в обоих разложениях одинаково.
Действительно, пусть
ffti0...0fup.= ?/]©...0g,(r A2)
Сумма размерностей подпространств в правой и левой частях ра-
равенства равна размерности SK:
Подействуем преобразованием В на оба разложения. Мы полу-
получим два разложения пространства В (Ж):
В (% h) 0... 0 В (? ftp) = В (? /х) 0... 0 ВB,д). A3)
Сумма здесь будет прямой, так как циклические подпространства
инвариантнй, и любой вектор из пересечения их образов должен
лежать в их пересечении, т. е. быть нулевым.

70 ГЛ. II. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
Для разложения A3) подсчет размерностей, согласно предложе-
предложению 12 § 1 дает (h-l) + ... + (ftp— 1) = (/х - 1) + ... + (/*- 1)
или т — р = т — а, откуда а = р.
Теорема 4. Пудть пространство Ж двумя способами A2)
разложено в прямую сумму подпространств, циклических относи-
относительно нильпотентного преобразования В. Тогда, если одно из раз-
разложений содержит t слагаемых какой-либо размерности К, то вто-
второе разложение тоже содержит ровно t слагаемых размерности h.
Доказательство. Пусть Лх — минимальная из размер-
размерностей циклических подпространств, встречающихся хоть в одном
из разложений A2). Предположим для определенности, что ровно tx
пространств такой размерности входит в левое разложение. Подейст-
Подействуем на обе части равенства A2) преобразованием Bft>. Мы получим
два разложения пространства ВЛ> (Ж) в прямую сумму цикличе-
циклических пространств:
в {% Ьг) е... е в (gftp)=Bfti (f h) ©... e в"- (i g.
В левой части равенства осталось р — tx ненулевых слагаемых.
Столько же их должно остаться и в правой части. Значит, и в пра-
правой части исходного разложения было ровно tx пространств раз-
размерности hv
Пусть, далее, теорема доказана для размерностей, которые не
превосходят h — 1, и левое разложение содержит t подпространств
размерности п. Подействуем на обе части равенства A2) преобразо-
преобразованием. Bft. Оно обратит в нуль все слагаемые в обеих частях равен-
равенства, размерности которых ^Л. Поскольку в полученном равен-
равенстве в обеих частях будет одно и то же число слагаемых, общее
число пространств размерности, не большей h, одно и то же в обоих
разложениях A2). В силу предположения индукции, это означает,
что правая часть равенства A2) содержит ровно t подпространств
размерности п.
6. Вид матрицы нильпотентного преобразования в жордановом
базисе. Рассмотрим сначала ограничение нильпотентного преобра-
преобразования В на циклическом подпространстве % размерности h.
Если в качестве базиса в % выбрана цепочка векторов е°, ..., eh~l,
то в силу соотношений G) матрица ограничения В на % имеет вид
A4)
так как столбцы матрицы преобразования — координатные столбцы
образов базисных векторов.
Пусть теперь в пространстве Ж выбран базис A0). Так как на
каждую из составляющих его цепочек натянуто инвариантное под-
0
0
0
0
1
0
0
0
0
1
0
0
... 0
... 0
... 1
0

§ 2. ЖОРДАНОВА НОРМАЛЬНАЯ ФОРМА 71
пространство, матрица преобразования В в этом базисе будет кле-
точно диагональной diag (J± @), ..., /р @)), где Jv @) — клетка
вида A4) порядка hv (v = 1, ..., р).
7. Теорема Жордана. Вернемся теперь от изучения одного кор-
корневого подпространства к рассмотрению всего пространства Хп,
Каждому корневому подпространству <^{ соответствует корень
минимального многочлена Я,{ и преобразование В{ — ограничение
преобразования А — KJE. на этом корневом подпространстве.
Определение, Жордановым базисом пространства Хп для
преобразования А называется объединение жордановых базисов
корневых подпространств, построенных для преобразований В; этих
подпространств.
Найдем матрицу преобразования А в жордановом базисе. Нач-
Начнем с построения матрицы Az ограничения А на каком-нибудь
циклическом подпространстве %. Заметим предварительно, что го-
говорить об этом ограничении имеет смысл, так как циклическое
подпространство, будучи инвариантным относительно преобразо-
преобразования В,, будет инвариантным и относительно А.
В силу определения преобразования В,- его матрица равна
/4jg — %tE, где Е — единичная матрица порядка h, равного раз-
размерности %, Но матрица преобразования В,-, как мы показали,
имеет вид A4). Следовательно,
Xj
0
0
о
1
Xi
0
1
... 0
... 0
Xi 1
X-
Эту матрицу мы обозначим J (А,,) и будем называть жордановой
клеткой порядка h с собственным значением А.,-.
В действительности, легко заметить, что матрица / (Я;) имеет
единственное характеристическое число Я2. Кроме того, началь-
начальный вектор цепочки, на которую натянуто подпространство й,
является собственным вектором ограничения А на Ш, а следова-
следовательно, и преобразования А. Это прямо следует из вида первого
столбца матрицы J (X,).
Каждое корневое пространство есть прямая сумма циклических
подпространств. Поэтому для матрицы At ограничения А на корне-
корневом подпространстве &d имеем
Л,- = diag(J[(%i), ..., /Р.(Ц. A5)
Порядки клеток равны размерностям циклических подпространств,
в прямую сумму которых распадается ЗГг.
Матрица А преобразования А в объединении базисов корневых
подпространств равна, как мы видели,
diag (Л, ..., As).

72 ГЛ„ II. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
Мы можем подставить сюда выражения A5) для каждой матрицы Af.
A = diag(j\(X1), .... JsPs(ks)). A6)
Словами этот результат можно описать так:
Предложение 8. Матрица преобразования А в его жор-
дановом базисе есть клеточно диагональная матрица. Ее диагональ-
диагональные клетки — жордановы клетки порядков, равных размерностям
циклических подпространств, на которые распадаются все корне-
корневые подпространства, с собственными значениями, равными соот-
соответствующим корням минимального многочлена преобразования А.
Определение. Матрицу вида A6), описанную в предложе-
предложении 8, мы будем называть жордановой матрицей. Нахождение мат-
матрицы линейного преобразования в его жордановом базисе назы-
называется приведением матрицы этого преобразования к жордановой
нормальной форме.
Очень существенно, что для нахождения жордановой нормаль-
нормальной формы матрицы преобразования нам нужно знать только корни
характеристического многочлена с их кратностями, а также раз-
размерности циклических подпространств. Характеристический много-
многочлен инвариантен (К-, предложение 3 § 4 гл. IV), а размерности
циклических подпространств однозначно определены в силу тео-
теоремы 4. Мы приходим к следующей теореме, называемой теоремой
Жордана.
Теорема 5. Для каждого преобразования А комплексного
линейного пространства Хп существует базис, в котором его мат-
матрица имеет жорданову нормальную форму. При этом жордансва
нормальная форма матрицы однозначно определена по преобразова-
преобразованию с точностью до порядка, в котором расположены диагональные
клетки.
8. Замечания и следствия. Как и все теоремы о линейных пре-
преобразованиях, теорема Жордана может быть сформулирована в тер-
терминах матриц. Матрицы Л и Л' называются подобными, если суще-
существует такая невырожденная матрица S, что А' = 8~*А8.
Теорема 5м. Каждая матрица подобна некоторой жорда-
жордановой матрице. Для подобия матриц А и А' необходимо и доста-
достаточно, чтобы соответствующие жордановы матрицы совпадали с
точностью до порядка следования клеток.
Необходимость условия очевидна, так как две подобные мат-
матрицы можно рассматривать как'матрицы одного и того же линейного
преобразования в разных базисах. Для доказательства достаточ-
достаточности заметим, что жордановы матрицы J и /' с различным поряд-
порядком следования клеток подобны. Действительно, соответствующая
матрица S есть матрица замены базиса, состоящей в перестановке
базисных векторов. Поэтому мы имеем Л = P~iJP, А' = Q~iJ'Q
и Г =» ST4S, откуда А' = CT'S-'PAP-'SQ.
Жорданова нормальная форма — не единственная нормальная
форма, к которой можно привести матрицу линейного преобразо-

§ 2. ЖОРДАНОВА НОРМАЛЬНАЯ ФОРМА 73
вания. В литературе (см., например, Мальцев [21]) читатель найдет
другие нормальные формы матрицы линейного преобразования,
в частности нормальную форму, к которой приводится матрица
любого линейного преобразования в вещественном линейном про-
пространстве.
Из формулы (9) следует, что максимальная длина цепочки в не-
некотором корневом пространстве Ж{ равна показателю нильпотент-
нильпотентности соответствующего преобразования В,-, который совпадает
с кратностью корня it в минимальном многочлене. Отсюда следует
Предложение 9. Максимальный порядок клетки с собст-
собственным значением Хг равен кратности корня Xt в минимальном мно-
многочлене.
Хорошо известно, что не для каждого линейного преобразова-
преобразования существует базис, в котором его матрица имеет диагональный
вид. Теорема Жордана указывает нам простейший вид, к которому
приводится матрица каждого линейного преобразования в комп-
комплексном пространстве. Он отличается от диагонального тем, что
выше главной диагонали в параллельном ей ряду могут быть на
некоторых местах расположены единицы. Диагональная матрица —
частный случай жордановой матрицы.
Определение. Линейное преобразование мы назовем пре-
преобразованием простой структуры (или с простым спектром), если
его минимальный многочлен не имеет кратных корней.
Из предложения 9 вытекает следующее
Предложение 10. Линейное преобразование имеет в не-
некотором базисе диагональную матрицу тогда и только тогда,
когда оно является преобразованием простой структуры.
По поводу этого предложения уместно вспомнить пример на
стр. 60.
Жорданову матрицу можно представить как сумму диагональ-
диагональной матрицы и клеточно диагональной
B = diag(/{@), ..., У^@)).
Докажем, что Вг = О, если г — максимальный порядок клетки.
Действительно, при возведении любой»клеточно диагональной мат-
матрицы diag (Clt ..., Cs) в степень г мы получаем матрицу diag (C[, ...
..., Crs). В этом можно убедиться по определению умножения матриц.
Диагональные клетки — матрицы нильпотентных преобразований,
и потому при возведении в степень, большую или равную их по-
порядку, обращаются в нуль. Таким образом, матрица В является
матрицей нильпотентного преобразования.
Предложение 11. Каждое линейное преобразование ком-
комплексного линейного пространства представимо как сумма преобра-
преобразования простой структуры и нильпотентного преобразования,
которые коммутируют между собой.

T4 ГЛ. IT. ТЕОРЕМА ЖОРДАНА ФУНКЦИИ ОТ МАТРИЦ
Основная часть предложения — существование такого предста-
представления — непосредственно вытекает из предыдущих рассуждений.
Для доказательства коммутативности заметим, что диагональная
матрица, о которой шла речь выше, может рассматриваться как
клеточно диагональная. При этом каждая ее клетка только множи-
множителем отличается от единичной матрицы того же порядка и потому
коммутирует с соответствующей клеткой нильпотентной матрицы.
9. Построение жорданова базиса. Приведенное доказательство
теоремы Жордана эффективно, т. е. содержит способ построения
жорданова базиса. Тем не менее имеет смысл остановиться еще раз
на действиях, которые необходимы для того, чтобы построить жор-
данов базис для линейного преобразования, заданного в некотором
базисе матрицей Л. При этом мы не будем затрагивать чисто вычи-
вычислительную сторону вопроса.
В частности, мы будем предполагать, что можем найти корни
характеристического многочлена матрицы Л и их кратности. Это
как раз то, с чего должно быть начато построение жорданова ба-
базиса. Описанная далее последовательность действий применяется
к каждому из корней характеристического многочлена.
Для корня Я* мы составляем матрицу Л — К*Е. Если
Rg (А—Я*?) > п — т, где т — кратность корня А.*, мы воз-
возводим матрицу А — Я*? в степени 2, 3, ..., пока не найдем такую
степень k, для которой Rg (А — к*Е)к = п — т. Это число k
является кратностью корня X* в минимальном многочлене. (Если
Rg (А — Х*Е) = п — т, то корень минимального многочлена про-
простой.) В самом деле, если матрица А имеет жорданову форму, то
в матрице А — Я*? нильпотентными будут те и только те клетки,
которые соответствуют корню Я*. Остальные клетки будут невыро-
невырожденными. В матрице (А—Х*Е)к клетки, соответствующие Я*,
обратятся в нуль, и ранг (Л — Я*?)* окажется равным п — т.
Поскольку ранг этой матрицы не зависит от выбора базиса, усло-
условие на ранг (Л — X*E)k будет тем же и в произвольном базисе.
Рассмотрим столбцы, в которых расположен базисный минор
матрицы (Л — X*E)k~i. Их линейная оболочка есть Im (А—Я*Е)/г.
Корневое подпространство нам не известно, но мы найдем подпро-
подпространство <Mk_x (см. формулу (9)), если найдем пересечение
Im (А — Я.*Е)*"' с подпространством Ш (Я*) собственных векторов,
принадлежащих корню Я.*. Выделяем максимальную линейно неза-
независимую систему векторов в e%k-v Это те собственные векторы,
с которых начинаются цепочки максимальной длины k. Если общее
число векторов в этих цепочках меньше т, рассматриваем пересече-
пересечение e^fs_2 == Ш (Л — Я,*Я)*-2 ()$ (Я,*). Дополним уже выбранные
ранее собственные векторы до базиса в e^*-g. Вновь добавленные
собственные векторы служат началами цепочек длины k — 1. Если
общая длина всех цепочек меньше т, продолжаем построение новых
собственных векторов последовательно из пространств ^
пока общая длина всех цепочек не окажется равной пи

§ 2. ЖОРДАНОВА НОРМАЛЬНАЯ ФОРМА
75
Для подсчета длины цепочки не обязательно находить все ее
векторы, но они могут быть найдены, как только выбран собствен-
собственный вектор, являющийся началом цепочки. Последовательные при-
присоединенные векторы е1, ..., eh находятся решением линейных си-
систем вида
{А-%*Е)ё = е1-\ /=!,..., А,
относительно координатных столбцов этих векторов, где в первую
систему входят е° — собственный вектор. Следует подчеркнуть,
что при решении этих систем нам достаточно найти хоть одно ре-
решение каждой системы.
Точно h последовательных систем такого вида будут совмест-
совместными, если е° е <МНл и е° ф <Mh.
Здесь описано построение векторов жорданова базиса в одном
корневом подпространстве. Жорданов базис в Хп получаем объе-
объединением всех таких базисов.
Жорданова форма матрицы преобразования может быть выпи-
выписана сразу после того, как известны длины всех цепочек, соответ-
соответствующих каждому корню характеристического многочлена.
Пример 1. Пусть
||3 —1 0 —1
1 10—1
.10 0 2—1
0 0 1 0
А =
Нетрудно установить, что характеристический многочлен этой мат-
матрицы равен (X — IJ (Я, — 2J. Начнем с корня Я = 1.
Рассмотрим матрицу
—1
0
о
о
—1
—1
—1
—1
Ее ранг равен трем. Далее, имеем
3 —2 —1 01
Kgl/i С) — Kg 0 0 q 0
0 0 0 0
_ о
Следовательно, кратность корня Я == 1 в минимальном многочлене
равна 2. В Л — Е базисными можно считать первые три столбца,
поэтому I m (А — Е) натянуто на эти столбцы. Найдем пространство
собственных векторов <§A), решая систему уравнений
2-10-1 Пх 0[|
1 оо-1 hi _ о
0 0 1-1 " 1з 0
о ol-i И Б* о||

76
ГЛ. П. ТЕОРЕМА ЖОРДАНА ФУНКЦИИ ОТ МАТРИЦ
Ее фундаментальная система решений — столбец || 1, 1, 1, 1 ||г. Он
лежит в Im (А — Е), и с него начинается цепочка длины 2. Следо-
Следовательно, других собственных векторов искать не нужно (да их
и нет).
Найдем присоединенный вектор, решая систему уравнений
2—1 О
1 О О
О 0 1
О 0 1
—1
1
—1
-1
1з
h
1
1
1
1
Нам достаточно одного решения. Таким решением служит, напри-
например, столбец || 1, 1, 1,0 \\т. Рекомендуем читателю проделать такие
же вычисления для корня Я = 2.
Пример 2. Рассмотрим матрицу
А —
1—10—1 0
1 11 0 1/2
0 11 10
0 0 0 11/2
0 0 0 0 1
=> 1
Ее характеристический многочлен имеет единственный корень К
кратности 5.
0—10—1 0
1 0 1 0 1/2
А-Е=0 10 10
0 0 0 0 1/2
0 0 0 0 0
Возводя эту матрицу в степень, находим
Im (А — ЕJ натянуто на вектор II —1, 0, 1, 0, 0 \\т. Этот вектор
собственный, и с него начинается цепочка длины 3. Трех векторов
недостаточно. Рассмотрим Im (А — Е) П $0)- Находим коорди-
координатные столбцы линейно независимых собственных векторов. Это
—1
0
1
0
0
0
0
0
0
0
—1
0
1
0
0
0
0
0
0
0
—1
0
1
0
0
110, 1,0,-1,0
—1, 0, +1, 0, 0 ||г. Пространство Im (А — Е)
натянуто на последние три столбца матрицы А — Е. Первый соб-
собственный вектор может быть получен как линейная комбинация
третьего и пятого столбцов матрицы А — Е. Следовательно, он
принадлежит пересечению. С этого вектора начинается цепочка
длины 2. Присоединенные векторы находим, решая системы линей-
линейных уравнений, аналогично тому, как это было сделано в предыду-
предыдущем примере.

§ 3 ФУНКЦИИ ОТ МАТРИЦ
7?
§ 3. Функции от матриц
1. Введение. В соответствии с общим определением функции
под функцией на некотором множестве S квадратных матриц по-
порядка п со значениями в множестве ё?5 следует понимать отображе-
отображение, сопоставляющее каждой матрице из множества $ единствен-
единственный элемент множества ё?5. В частности, нас будут интересовать
функции, значения которых — также квадратные матрицы того
же порядка. Однако без дополнительных ограничений при столь
широком определении не удается учесть, что п2 чисел, составляю-
составляющих матрицу, упорядочены специальным образом, и что над матри-
матрицами определены алгебраические операции. По существу, мы смо-
сможем сказать о такой функции столько же, сколько о любом наборе
из п2 функций от п2 переменных.
Мы дадим более узкое определение, позволяющее учесть спе-
специфику матричного аргумента. Это позволит определить для мат-
матриц такие элементарные функции, как показательная, степенная,
логарифмическая, тригонометрические функции и т. д. Собственно,
один пример такого рода нам уже встречался. Используя алгебраи-
алгебраические операции с матрицами, мы подставляли матрицу в много-
многочлен в качестве значения независимой переменной. Полученная
матрица считалась значением многочлена от исходной матрицы.
Каждая из перечисленных выше элементарных функций в некоторой
области разлагается в сумму степенного ряда. Добавляя к алгеб-
алгебраическим операциям с матрицами операцию предельного перехода,
мы сможем определить сумму матричного степенного ряда. Функ-
Функции, представимые как суммы степенных рядов от матрицы, мы и
будем изучать.
Для чтения этого параграфа необходимо знакомство со степен-
степенными рядами от комплексной переменной, например, в объеме § 37
т. I книги Кудрявцева [16].
2. Регулярные функции от матриц. Пусть заданы комплексная
числовая последовательность {ак} и квадратная матрица А. Фор-
Формально написанная сумма
или. в другой записи
2 «и* A)
называется степенным рядом относительно матрицы А. Конечные
суммы вида
2 «И*
называют частичными суммами ряда A).

78 ГЛ Tt ТЕОРЕМА ЖОТДАНА ФУНКЦИИ ОТ МАТРИЦ
Выберем в пространстве квадратных матриц порядка п неко-
некоторую матричную норму. Для целей этой главы достаточно считать,
что
lAl = nmax\av\. B)
Ряд (Т) называется сходящимся к матрице F, если к ней схо-
сходится в выбранной норме последовательность частичных сумм
этого ряда, т. е. для каждого числа е > 0 найдется номер No (в)
такой, что для всех N > No (e) выполнено неравенство
If ЛГ л
F- 2
Если ряд A) сходится к матрице F, мы будем называть F суммой
ряда н писать
Определение суммы степенного ряда легко распространить на
ряды вида
|] аъ{А-А0)\
л=о
где Ло — фиксированная матрица. Ввиду легкости перехода от
рядов такого вида к рядам вида A) и обратно мы в основном будем
рассматривать ряды вида A).
В § 4 гл. I доказано, что сходимость последовательности мат-
матриц по какой-либо лорме равносильна поэлементной сходимости.
Поэтому мы можем рассматривать матричный степенной ряд как п2
числовых рядов. *
Каждая частичная сумма — матрица, равная значению много-
многочлена с коэффициентами а0, ,.., aN на матрице А. Естественно,
что и сумма ряда, если он сходится, зависит от А.
Определение. Пусть & и $Р — множества комплексных
квадратных матриц порядка п. Функция на множестве $ со значе-
значениями в множестве еТ5 называется регулярной, если существует сте-
степенной ряд, сходящийся на 8, такой, что для каждой матрицы А
из Ш выполнено
f(A)=flak(A-A0)».
*=«
Важное свойство регулярных функций от матриц содержится
в следующем предложения.

§ з. функции от матриц
Предложение 1. Пусть
Тогда для любой невырожденной матрицы S выполнено равенство
Доказательство. (S"M5J = 5"MS5"MS = SrlA*S. По
индукции легко проверить, что и при любом k имеем E"MS)* —-
= 8~гАк8. Отсюда для частичных сумм ряда получаем
Предложение будет доказано, если докажем правило вынесения по-
постоянного правого множителя за знак предела lim (PNS)—( lim PN\ S
N-*co \,JV-»a> /
и аналогичное правило для левых множителей.
Доказательство этого правила вполне аналогично известному
из анализа доказательству. Пусть lim P^ = F. Оценим норму раз-
JV-oo
ности PNS — FS:
\PyS-FS\^]P/f-F\-\S\.
Видно, что эта норма будет меньше 8 при Ц Рдг — F 1 < е' «
= е/|| S ||. Но по определению \\ Pn — F \\ < е' для всех N >
> Л'о (е'). Для левых множителей доказательство почти не отли-
отличается от приведенного.
Рассмотрим линейное пространство Жп с выбранным в нем ба-
базисом е. Пусть А— линейное преобразование пространства; Хп,
имеющее матрицу А в данном базисе. Если А' — матрица А в ба-
базисе е' = eS, то, согласно предложению 1, / (А') = .ST1 / (^S,
Поэтому матрицы / (А') и / (А) определяют одно и то же линейное
преобразование, каков бы ни был базис е'. Мы можем считать пре-
преобразование с матрицей f (А) значением функции f на преобразова-
преобразовании А и обозначать его / (А).
3. Исследование сходимости матричных степенных радов. Пред-
Предложение 1 открывает нам возможность исследовать степенные ряды
от матриц, упрощая их заменой матричного аргумента А на мат-
матрицу S-{AS.
Предложение 2. Пусть А — diag (Аъ ..., As). Тогда
для любой регулярной функции /, определенной на матрице А,
/04) = diag (/(Л), ...,f(As)).
Действительно, как указывалось на стр. 73, приг возведении
клеточно диагональной матрицы в степень получается клеточио дна-

80 ГЛ. П. ТЕОРЕМА ЖОРДАНА ФУНКЦИИ ОТ МАТРИЦ
тональная матрица из степеней диагональных клеток. Так как сло-
сложение и умножение на число для матриц определены поэлементно,
для любого многочлена р. имеем
p(A) = diag(p(A1), ..., p(As)).
Далее, поскольку норма B) матрицы не меньше, чем норма любой
ее клетки, неравенства
\pN(Ad-f(A,)\<e
выполнены, начиная по крайней мере с того же номера, что и нера-
неравенство
\\pN(A)-f(A)l<e.
Это заканчивает доказательство-предложения.
Если нам дана некоторая квадратная матрица А порядка п мы
можем сопоставить ей линейное преобразование А, имеющее дан-
данную матрицу А в некотором базисе е. Пусть теперь S — матрица
перехода от базиса е к базису, являющемуся объединением бази-
базисов корневых подпространств преобразования А. Тогда, как из-
известно,
i4' = S-MS = diag(i4b ..., As),
где Ах, ..., Аъ — матрицы ограничений А на корневых подпрост-
подпространствах. В силу предложения 2 теперь получаем
/(.4) = S/^')S-1 = Sdiag(/^1). ..., f{As))S-\ _ C)
Результат может быть сформулирован так:
Предложение 3. Регулярная функция f определена на
матрице А линейного преобразования А тогда и только тогда,
когда она определена на матрицах Л,- ограничений А на его корне-
корневых подпространствах. Значение f (Л) может быть найдено по
формуле C).
Рассмотрим теперь корневое подпространство <Р?г размерно-
размерности /и,-, соответствующее корню К{. Мы видели, что линейное пре-
преобразование В; — ограничение преобразования А — Я,Е на 5?,- —
нильпотентно, и его показатель нильпотентности &,• равен кратности
корня %i в минимальном многочлене. Преобразование В,- имеет
матрицу Bi = Л,- — hEm., где Е„. — единичная матрица по-
порядка т.{. Таким образом, матрица At представима в виде суммы
Лг- = Bi-^kjEm..
Матрица Ет. коммутирует с Bt, как и с любой матрицей того же
порядка. Поэтому r-я степень матрицы Лг может быть записана
по формуле бинома Ньютона. (Напомним, что для коммутирующих
матриц правила действий с многочленами такие же, как и для

§ 3. ФУНКЦИИ ОТ МАТРИЦ 81
чисел.) Если Ог — биномиальные коэффициенты, то
А\ = {В, + *,?„)'
В силу нильпотентности матрицы Bt, в этом разложении могут отли-
отличаться от куля только члены со степенью / < к-„ и для г ^ kt мы
имеем
/ = о
Выясним условия, при которых сходится ряд
со
2«М*. D)
г = 0
Любая частичная сумма этого ряда не содержит 5,- в степени, боль-
большей чем &»•—1. Мы можем сгруппировать члены, содержащие
одну и ту же степень Bt в kt групп
2 ал = Ц <^,
г = о /=о
где
'• = /
Вспоминая выражение для биномиального коэффициента С'г, мы
получаем
Рассмотрим теперь скалярный степенной ряд от комплексной пере-
переменной
Допустим, что точка %i лежит внутри круга сходимости этого ряда.
Тогда, как известно, ряд может быть почленно продифференциро-
продифференцирован в этой точке любое число раз. /-я производная функции / (|)
в точке К{ имеет вид
(A,) =
—^

82
гл IT ТЕОРЕМ/ ЖОРДАНА, ФУНКЦИИ ОТ МАТРИЦ
Число vNj только множителем отличается от Af-й частичной еуммн
ряда для /(/) (%i). Поэтому
Отсюда следует, что
F)
• = 0
/ = 0
Действительно, если обозначить l~Af(/) (h) через оу, имеем
< max I fi{ I 2 W-0/|. G)
Но для каждой из. kt последовательностей |tr*j при любом е'>0
найдется номер №/(в'), начиная с которого \of — vf\<ls'. Для
того чтобы правая часть неравенства G) была меньше е, доста-
достаточно выполнения неравенства Л^>тахЛ//(е'), где е' =
= е//тах||В(НЛ.
В результате мы имеем
г, \ <*
или, заменяя Б,- на А{ — %tE,
k.-i
f{Ai)= 2
Соотношение F) показывает, что для сходимости ряда D) доста-
достаточно, чтобы число Ki лежало внутри круга сходимости ряда E).
Если же ht лежит вне круга сходимости, то не имеет предела уже
последовательность {vq}. Поэтому для сходимости ряда D) необхо-
необходимо, чтобы \ лежало или внутри круга сходимости, или на его
границе.
Воспользуемся предложением 3 и формулой C) для того, чтобы
перейти от матриц At к исходной матрице А. Мы получим следую-
следующий результат.
Теорема 1. Для того чтобы регулярная функция f, задавав'
мая рядом E), была определена на матрице А, достаточно, чтобы
корни характеристического многочлена матрицы А лежали внутри

§ 3. ФУНКЦИИ ОТ МАТРИЦ
83
круга сходимости ряда E). Необходимым условием является при-
принадлежность этих корней затыканию круга сходимости. При этом,
если S — матрица перехода к базису, который расположен в кор-
корневых подпространствах соответствующего А преобразования и
As)S-\
то
(8)
/=o
Пример 1. Применим формулу (8) к матрице простой струк-
структуры. Для нее кратности^ корней в минимальном многочлене равны
единице и в формуле F) останутся только члены с Bj ~ Ет.:
? аЛ = |] aXEm.-+f{h) Ещ,
г = 0 г = 0
Далее по формуле C) находим
f(A)^S diag (/ (Аа) Emi, ..., / (Ks) Emj S~\
В частном случае, когда А — диагональная, f (А) есть также диа-
диагональная матрица, получаемая из А заменой каждого диагональ-
диагонального элемента А, на число f (Я,,-). В общем случае используется мат-
матрица 5 перехода к диагональному виду. Пусть, например,
—1
1
Мы находим
1
О
1
—1
0 1
1 —1
е3 e—t
О е
Пример 2. Рассмотрим функцию от матрицы, состоящей из
А =
одной жордановои клетки, например, четвертого порядка:
ЯЛ, 1 О О
О Я 1 О
О О Я 1
у о о о я
Для нее матрицы В, 53 и В* равны соответственно
о 1 о oil
0 0 10
0 0 0!
0 0 0 0
0
0
0
0
0
0
0
0
1
0
0
0
0
1
о
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0

84 ГЛ II ТЕОРЕМА ЖОРДАНА ФУНКЦИИ ОТ МАТРИЦ
(Корневое подпространство здесь только одно, и индекс i, прини-
принимающий единственное значение, мы пропускаем.) По формуле (8)
находим
f'(X) у г (Я)
О 0 f(K) f'(l)
0 0 0 f(k)
Для того чтобы сформулировать еще одно следствие формулы (8),
введем следующее
Определение. Совокупность kx + ... •+- ks чисел
f'ih), ..-, Р'-1ЧЬч) <f=l, .... s),
где %t, ..., ks — корни минимального многочлена матрицы А, а
klt ..., ks — их кратности, называются значениями функции f на
спектре матрицы А.
Предложение 4. Если корни минимального многочлена
матрицы А лежат внутри круга сходимости скалярного ряда,
определяющего функцию /, то значение функции f на матрице А
однозначно определено значениями f+на спектре А.
Предложение прямо вытекает из формулы (8). Однако эта фор-
формула дает довольно сложное выражение f (А) через значения /
на спектре А. При ее применении приходится изменять базис и
составлять матрицу из диагональных клеток. Ниже мы покажем,
как обойтись без этого
На символ diag (/ (Л^, ..., / (As)) можно смотреть как на знак
операции, которая сопоставляет набору матриц f (Ах), ..., f (As)
клеточно диагональную матрицу с клетками / (Аг), ..., / (As). Если
перейти от матриц к преобразованиям, то операции diag соответст-
соответствует следующее.
Пространство разложено в прямую сумму подпространств Sffu ...
..., qKs, причем на каждом <%",- задано преобразование /(А,-). Мы
строим преобразование / (А), для которого SfCi — инвариантные
подпространства, а / (А,) — ограничения на этих подпространст-
подпространствах. Поставим себе задачу осуществить это построение не завися-
зависящим от базиса образом. При этом преобразования / (Л,) в подпро-
подпространствах SfCi будут заданы не непосредственно, а как ограничения
некоторых преобразований Fj, определенных на всем пространстве.
Именно, пусть
k.-X
F'= 2 -jyWOCA-W. (9)

§ 3. ФУНКЦИИ ОТ МАТРИЦ 85
Это преобразование — многочлен от А. Поэтому подпространства
?%i, ..., SfCs инвариантны относительно F*. Ограничения F* на 9ft
при I Ф i нас не интересуют, а ограничение F/ на Ж-г есть / (А().
Для того чтобы построить / (А) по F/, нам потребуются допол-
дополнительные сведения.
4. Проектирование и отождествление. Рассмотрим подпрост-
подпространство X' линейного пространства X. Каждый вектор из X'
лежит в X, и мы можем определить отображение I: X' -> X, со-
сопоставляющее каждому вектору х е X' тот же вектор, рассматри-
рассматриваемый как вектор из X. Такое отображение мы назовем отождест-
отождествлением 4) векторов из X' с векторами из X.
Если базис е в X получен дополнением базиса е' из X', то в паре
базисов е' и е отождествление имеет матрицу, состоящую из столб-
столбцов единичной матрицы порядка п с теми номерами, под которыми
векторы базиса е' входят в базис е.
Пусть теперь пространство X разложено в прямую сумму под-
подпространств <%*!, ..., <%V Это означает, что каждый вектор х из X
однозначно раскладывается в сумму вида х = хг-\- ... -\-xs, где
xt e 9?i для всех L Это разложение позволяет определить для ка-
каждого подпространства 3Vt отображение Р,-: X -> &d по формуле
Pi (X) = X,.
Отображение Р,- называется проектированием X на Жг. Следует,
однако, помнить, что оно определено не одним лишь подпространст-
подпространством S&h но всей совокупностью Жх, ..., SfCs.
Если базис в X есть объединение базисов подпространств S&i, ...
.... 3&s, то матрица проектирования Р* состоит из тех строк единич-
единичной матрицы порядка л, номера которых равны номерам базисных
векторов, лежащих в HKi.
Пусть теперь подпространства SKi инвариантны относительно
некоторого преобразования F, и через Cj обозначено ограничение F
на Ж{. В этом случае имеет место равенство
C(Pi = P,F. A0)
Действительно, для любого х из X имеем
причем Xi e 3&{ и С* (xt) e S%t. Следовательно, P,F (x) = С,- (xt).
С другой стороны, очевидно, что СгР,- (х) = С,- (х(). Этим фор-
формула A0) доказана.
5. Спектральное разложение. Вернемся к вычислению / (А).
Теперь мы можем показать, что
21№, (П)
1) Чаще это отображение называют вложением, но вложением называют
также и любое отображение с нулевым ядром.

86
ГЛ. I!. ТЕОРЕМА ЖОРДАНА ФУНКЦИИ ОТ МАТРИЦ
где Pi — проектирование на корневое подпространство SKt, I/ —
отождествление векторов этого подпространства, a F* определяется
формулой (9). Действительно, согласно A0) мы имеем
Вычислим матрицу преобразования, стоящего в правой части ра-
равенства, в базисе, который является объединением базисов корне-
корневых подпространств. Для этого при каждом i надо перемножить
матрицы /,-, f (At) и Pit размеры которых равны соответственно
п X mi, mi X гщ и mi X ft. Учитывая указанный в п. 4 вид мат-
матриц /,- и Р{, мы находим, что /,/ (Л,) Pt — квадратная матрица
порядка п, у которой отлична от нуля только одна клетка на глав-
главной диагонали. Эта клетка расположена в столбцах, соответствую-
соответствующих базисным векторам из &СЬ и равна / (Лг). Схематически это
умножение изображено так:
L
Е =
Далее, складывая полученные матрицы, мы находим, что пре-
преобразование
имеет в рассматриваемом базисе матрицу diag (/ (Лх), ..., f(As)).
Следовательно, оно равно / (А), как и требовалось.
Учитывая формулу (9) и внося произведение ЬРг под знак суммы,
мы можем записать A1) в виде
«л»- 2 2
A2)
l=\
Из доказанной нами формулы A2) следует, что, каков бы ни был
базис,
( = 1 / = 0
Чтобы сделать результат более наглядным, введем следующее

t 3. ФУНКЦИИ ОТ МАТРИЦ 87
Определение. Матрицы
называются компонентными матрицами матрицы А. В частности,
Za = J,Pi.
Теперь равенство A3) становится равносильным следующей
теореме.
Теорема 2. Матрица f (А) есть следующая линейная ком-
комбинация компонентных матриц:
„ ft.-
Равенство A5) называют спектральным разложением f (А).
Обратим внимание на следующие свойства этого разложения.
1. Матрицы Ztj не зависят от функции /. Поэтому для различ-
различных регулярных функций спектральные разложения отличаются
только значениями функции на спектре Л.
2. Матрица / (Л) линейно выражается через значения / на спект-
спектре А. ,
3. Для всех функций, значения которых на спектре А совпа-
совпадают, значение /(Л) одно и то же.
Последнее следствие можно использовать для того, чтобы свести
вычисление f (А) к вычислению некоторого многочлена от Л.
Предложение 5. Каковы бы ни были матрица А и числа
Ру, 1 = 1, ..., s, j = 1, ..., ks, найдется единственный многочлен
степени меньшей, чем степень k минимального многочлена, который
принимает на спектре матрицы А значения ру.
Доказательство. Значение многочлена в фиксирован-
фиксированной точке — линейная функция от его коэффициентов. То же отно-
относится и к значениям его производных любых порядков. Поэтому
требование, чтобы многочлен принимал на спектре матрицы А
предписанные значения, равносильно системе линейных уравнений
на его коэффициенты. Если степень многочлена ^k — 1, то неиз-
неизвестных в системе k. Число уравнений равно числу значений на
спектре, т. е. тоже k. Поэтому остается доказать, что детерминант
матрицы системы отличен от нуля. Это будет доказано, если мы про-
проверим, что соответствующая однородная система имеет только ну-
нулевое решение.
Докажем последнее утверждение. Для этого рассмотрим мно-
многочлен, принимающий на спектре А нулевые значения. Из A5)
следует, что он — аннулирующий для матрицы А. Но степень
его меньше степени минимального многочлена, и он должен быть
нулевым. Предложение доказано.

°° ГЛ И ТЕОРЕМД ЖОРйАЯА ФУНКЦИИ ОТ МАТРИЦ
Многочлен, описанный в предложении 5, называется интерпо-
интерполяционным многочленом Лагранжа — Сильвестра.
6. Свойства компонентных матриц. Докажем следующее
Предложение 6. Компонентные матрицы являются мно-
многочленами от А степени меньшей, чем степень минимального много-
многочлена.
Рассмотрим произвольную компонентную матрицу Zy. Пусть
htJ — многочлен Лагранжа — Сильвестра, для которого Щ~х) (К) —
= 1, а остальные значения на спектре равны нулю. Из формулы A5)
вытекает, что hv (Л) = Zy.
Предложение 7. Для любой матрицы А компонентные
матрицы линейно независимы.
Доказательство. Рассмотрим какую-нибудь нулевую
линейную комбинацию компонентных матриц
2 2
Это многочлен от матрицы А, равный нулю. Так как его степень
ниже, чем степень минимального многочлена, то он нулевой. Это
означает, что для многочленов htj из предложения 6 выполнено ра-
равенство
> = 0. A6)
i = i / = i
Докажем, что отсюда следует Yy = 0 для всех I и /. Подставляя
в тождество A6) число kit i = 1, ..., s, мы найдем, что ytl = 0.
Затем продифференцируем это тождество и подставим К{ в произ-
производную левой части. Мы получим yi2 = 0. Будем дифференцировать
и подставлять Хг далее до порядка k* = max kt. Так мы получим
все требуемые равенства.
Поскольку компонентные матрицы — многочлены от А, имеем
Предложение 8. Компонентные матрицы матрицы А
перестановочны с матрицей А и между собой.
Перечислим некоторые алгебраические соотношения, которым
удовлетворяют компонентные матрицы. Во-первых, при всех t =»
= 1 s матрицы ZA идемпотентны. Это означает, что
для любой степени г. Доказательство не представляет труда. Дейст-
Действие преобразования Za с матрицей Ztl = ДР4 на вектор х состоит

§ 3. ФУНКЦИИ ОТ МАТРИЦ
89
в проектировании этого вектора на G%i и последующем отождеств-
отождествлении с тем же вектором, рассматриваемым как вектор из X. Оче-
Очевидно, что повторение этого преобразования не меняет результата.
Подстановкой / (?) = 1 в разложение A5) проверяется, что
t=i
Так как правый множитель в выражении l,B/~IP/ = Zj/ есть
проектирование, имеем Im Zv E q%i и $%i = Ker Zy при 1ф1.
Отсюда
ZijZim = O при 1ф1 и Есех /, т.
Преобразование Za действует на SK% как тождественное. Поэтому
для всех / и /
Отметим еще следующее интересное равенство, которое полу-
получается при / (|) = \\
Поучительно рассмотреть компонентные матрицы для матри-
матрицы А, имеющей жорданову форму. Вместо громоздкого общего опи-
описания приведем достаточно характерный пример. В написанных
ниже матрицах шестого порядка отсутствующие элементы равны
нулю. Пусть
3 1
3 1
3
Тогда для какой-нибудь функции / имеем
2 1
2
ПА)-
/B)
•
/B)
/'B)
/B)
/C)
/'C)
/C)
тГC)
/C)

90
ГЛ. II. ТЕОРЕМА ЖОРДАНА ФУНКЦИИ ОТ МАТРИЦ
И в силу линейной независимости компонентных матриц полу-
получаем из A5)
о в
о
1
1
1
о
о
1
0 1
о
О 1 О
о Г
о
о о
1_
2
О О
О
7. Вычисление компонентных матриц. Интерполяционный мно-
многочлен Лагранжа — Сильвестра можно построить, исходя из реше-
решения интерполяционной задачи Эрмита. Она состоит в том, чтобы
для заданной функции / и s различных точек ки ..., ks построить
многочлен, который вместе со своими производными указанных
порядков hi, ..., ks принимал бы те же значения в точках Xlt ...., Ks,
что и функция /. Такой многочлен степени, меньшей чем k = kx +
+ ••¦ + ks, называется интерполяционным многочленом Эрмита.
Многочлен Эрмита можно получить по формуле
если построены многочлены hijt i = 1, ..., s, / = 1, ..., ks, степеней,
меньших k, для которых
при i = l и j — m,
при 1ф1 или \фт.
A7)
Опишем построение этих многочленов. Для каждого / возьмем
многочлен

S 3. ФУНКЦИИ ОТ МАТРИЦ 81
Как нетрудно проверить, для любого i Ф I и любого / ^ ki
иК-1>(Л.|) = О. A8)
Это означает, что Ui удовлетворяет требованиям A7) в точках %{,
i ф I, но, вообще говоря, не удовлетворяет им в точке Xt. Исправим
его. Для этого заметим, что свойства A8) сохраняются при умно-
умножении на любой многочлен w (I):
Это вытекает из формулы Лейбница. Выберем многочлен w подхо-
подходящим для нас образом.
Пусть ftr (|) — многочлен Тейлора, полученный разложением
функции l/ui по формуле Тейлора в окрестности точки Я/ с точно-
точностью до о ((| — Ху). Мы положим
hlm ® = и, (g) ^^ (I - Id'1 к иГт (Е). A9)
Иначе этот многочлен можно представить так:
- hr-1+tit m о (a -
Докажем, что многочлен A9) удовлетворяет условиям A7). Для
всех }^ki мы имеем {щ (|) о ((I — 11)к^~1)^~хI'='О по формуле
Лейбница, поскольку первые kt — 1 производных от функции
о((| — ki)k'~l) в точке %i равны нулю. Поэтому первые kt—I
производных многочлена htm в точке kt такие же, как у
(m-I)l
» (S-^r-1, т.е.
!Фт.
Многочлен и,т имеет степень k — kt. Произведение двух осталь-
остальных сомножителей в A9) имеет степень не выше т — 1 + kt — га.
Поэтому степень многочлена hlm не превосходит k — 1. Это закан-
заканчивает доказательство.
Общий способ вычисления компонентных матриц матрицы А
состоит в подстановке А в формулы A9), поскольку Zt{ = hu (A)
для всех i и /. Однако стоит заметить, что более эффективном мо-
может оказаться следующий не столь общий способ.
Мы можем подставлять вместо / в разложение A5) какие-либо
многочлены, например делители минимального многочлена или
просто степени матрицы А. При этом мы получим систему линейных
уравнений с числовыми коэффициентами относительно матриц Хц.

92
ГЛ. П. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
Если многочлены выбраны удачно, решая эту систему, нетрудно
будет найти компонентные матрицы.
Пример. Пусть
А=\
О
1
Так как это — матрица второго порядка с простым спектром и
%i = 1, ^2 = 2, для нее формула A5) имеет вид / (А) — f A) Zu +
+ / B) Z21. Подставим вместо / многочлены ? — 1 и ? — 2. Не-
Немедленно находим
Zal==l|o о||' Zll==||o i||-
Поэтому
О 1| + /B)|1 -1
О 1
В частности, как мы видели на стр. 83,
еА =
о
е—
е
или для функции \г при натуральном г
2г 1 —2'
0
1
8. Сохранение тождеств. Пусть регулярная функция g (|) равна
нулю на спектре матрицы А. Тогда g (А) = О. Применим это сооб-
соображение к функции вида
где G = 0 — некоторое тождество, связывающее регулярные функ-
функции fu ..., /,. Если функция g (%) регулярная, то мы видим, что
g (А) = О, и следовательно, тождество сохраняется и для мат-
матрицы А.
В двух важных частных случаях регулярность функции g (|)
не вызывает сомнений.
1) G (х\и ..., 4i) — многочлен. На матрицы переносится любог
тождество рассматриваемого вида, левая часть которого — много-
многочлен от регулярных функций. Рассмотрим, например, тождество
sin21 + cos21 = 1. Функция g (?) = sin2 \ + cos2 \ — 1=0 ре-
регулярна и обращается в нуль на спектре любой матрицы. Поэтому
для любой матрицы А имеем
Выше мы нашли компонентные матрицы для
!|2 —111
А =
о
1

§ 3. ФУНКЦИИ ОТ МАТРИЦ 93
Используя их, находим
. , - || sin2 2 — sin2 2+ sin2 1II я л II cos3 2 — cos2 2 + cos2 1II
sinM=l о sinM I- cosM=| 0 cosM |.
Теперь можно непосредственно убедиться в справедливости равен-
равенства для этой матрицы.
2) Пусть / — регулярная функция от одной переменной, a h —•
регулярная ветвь обратной к этой функции, определенная в области,
содержащей спектр матрицы Л. В этом случае функция g (?) =
— h if (Ю) — ? регулярна, и тождество h (/ (?)) = ? справедливо
и для матрицы Л.
В качестве примера определим функцию |1/2 как сумму ряда
Поскольку функция (|1/2J — I регулярна, для любой матрицы А,
характеристические числа которой лежат в круге |? — 1 | < 1,
значение
удовлетворяет равенству (Л1/2J = Л. Следовательно, Л1/2 может
рассматриваться как квадратный корень из Л. Пусть
|3 -1
2
Характеристические числа этой матрицы 3 и 2. Матрица А — Е
как раз та матрица, компонентные матрицы которой мы вычисляли.
Поэтому сумма ряда равна
О 1
О 1
^з —]/з + уч.
О У2
Возводя X в квадрат, мы получим матрицу А.
Следует подчеркнуть, что сохранение тождеств не относится
к тождествам, содержащим две независимые переменные. Это свя-
связано с некоммутативностью умножения матриц. Классическим при-
примером является несправедливость равенства
gA . gB — @А + В
для произвольных матриц. Однако если матрицы коммутативны, то
равенство имеет место. В этом можно убедиться, перемножая сте-
степенные ряды.
9. Аналитическое продолжение. По поводу разобранного выше
примера извлечения квадратного корня из матрицы нужно сделать
два важных замечания. Во-первых, этим путем мы получили только
одну из матриц X, удовлетворяющих уравнению X2 = А и потому
имеющих право называться квадратным корнем из А. Во-вторых,
мы можем найти Л1'2 только для матриц, собственные значения

94 ГЛ. II. ТЕОРЕМА ЖОРДАНА ФУНКЦИИ ОТ МАТРИЦ
которых лежат в круге сходимости, хотя квадратный корень из
матрицы существует и для других матриц.
Ясно, что подобные замечания относятся не только к квадрат-
квадратному корню, но и ко многим другим функциям, например к лога-
логарифму. Читатель, более подробно знакомый с теорией функций
комплексной переменной, заметит, что оба вопроса тесно связаны
между собой и относятся к возможности аналитического продолже-
продолжения регулярной функции от матрицы. Их решение не содержит
ничего сложного, но больше относится к анализу, чем к линейной
алгебре. Поэтому мы не будем углубляться в эту сторону.
Заметим только, что у нас есть возможность определить регу-
регулярную функцию от матрицы и для тех матриц, собственные значе-
значения которых не лежат внутри круга сходимости определяющего
функцию ряда. Для этого достаточно, чтобы мы могли найти значе-
значения функции на спектре интересующей нас матрицы. Тогда, приме-
применяя многочлен Лагранжа — Сильвестра, мы сможем найти значение
функции на матрице. Лучшее изложение обоснования этого способа
можно найти в первоисточнике — работе Лаппо-Данилевского [18].
Приведем пример.
Матрица
"=11
имеет характеристические числа УЗ и —1/3. Они таковы, что
любой круг, их содержащий, содержит также и 0. Поэтому ни одно
разложение функции 1Д в степенной ряд не может сходиться сразу
в обеих точках УЗ и —]/3. Однако функция в них определена и
принимает значения (j/З) и (— ]/3)'4. Найдем компонентные мат-
матрицы для матрицы А:
Подстановка их в выражение iyr3)'iZn + (—y3)~iZ21 дает матрицу
J2/3 -1/3 J
11/3 -2/31»
действительно являющуюся обратной матрицей для А. (Этот при-
пример иллюстрирует продолжение регулярных функций от матриц
при помощи многочлена Лагранжа — Сильвестра, но не должен рас-
рассматриваться как удобный способ обращения матриц второго по-
порядка).
Спектральное разложение, или, иначе, многочлен Лагранжа —
Сильвестра, — не единственный многочлен, при помощи которого
могут вычисляться функции от матрицы. Очевидно, достаточно
только того, чтобы значения этого многочлена на спектре матрицы
совпадали со значениями функции. Укажем такой многочлен для
функции 6"Ч

§ 4 ПРИЛОЖЕНИЕ К ДИФФЕРЕНЦИАЛЬНЫМ УРАВНЕНИЯМ
93
Согласно теореме Гамильтона — Кэли матрица А удовлетво-
удовлетворяет своему характеристическому уравнению
А" + а, А^1 + ...+ а„_И + апЕ = О,
где ап = det А. Если ап ф О, мы можем написать
откуда получается выражение для Л в виде многочлена от А.
Практическое значение такого способа обращения матрицы
невелико, так как вычисление коэффициентов характеристического
многочлена — трудоемкая операция. Однако если характеристи-
характеристический многочлен представляет самостоятельный интерес, заодно
с ним можно легко найти обратную матрицу. Алгоритм нахожде-
нахождения коэффициентов характеристического многочлена и обратной
матрицы приведен в книге Д. К. Фаддеева и В. Н. Фаддеевой [35].
10. Характеристические числа регулярной функции. Докажем
Предложение 9. Если f — регулярная функция, то корна
характеристического многочлена матрицы f (А) равны f (A-i),...
• ••. f (Ьп), где %i, ..., Кп — корни характеристического многочлена
матрицы А.
Доказательство. Воспользовавшись предложением 1,
мы можем заменить в доказываемой формулировке матрицу А
на жорданову матрицу Л' такую, что Л' = S'MS. Вид матрицы/ (J)
для одной жордановой клетки J мы, по существу, получили в при-
примере на стр. 83. Распространить его на клетки произвольного
порядка не представляет труда. Для / (А') имеем
/ (Л') = diag(/(А).../(•/„))•
Отсюда видно, что в / (Л') все элементы ниже главной диагонали
равны нулю, а элементы главной диагонали — числа
..., / (ks), повторенные должное число раз. Поэтому
что равносильно доказываемому утверждению.
Детерминант матрицы равен произведению ее характеристиче-
характеристических чисел, а след — их сумме (при этом каждое число считается
столько раз, какова его кратность в характеристическом много-
многочлене). Отсюда мы получаем следующее равенство:
§ 4. Приложение к обыкновенным дифференциальным уравнениям
В этом параграфе мы не ставим себе задачи ни показать все-
всевозможные применения теории матриц к дифференциальным урав-
уравнениям, ни, тем более, изложить теорию дифференциальных урав-
уравнений. Ограничимся наиболее простыми и характерными прило-
приложениями функций от матриц.

96 ГЛ. П. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
1. Матричные функции скалярного аргумента. Мы будем гово-
говорить, что на множестве вещественных чисел Т задана матричная
функция F, если каждому числу / из этого множества сопоставлена
некоторая матрица F (t) фиксированных размеров т X п. Нас
будут специально интересовать два вида матриц — квадратные
матрицы порядка п и столбцы высоты п.
Задание матричной функции скалярного аргумента равносильно
заданию тп числовых функций на множестве Т, сопоставляющих
каждому числу t из Т отдельные элементы матрицы F {t). Мы бу-
будем называть эти числовые функции элементами функции F.
Все определения, связанные с матричными функциями скаляр-
скалярного аргумента, вводятся посредством соответствующих определе-
определений для их элементов, и свойства их легко выводятся из свойств
числовых функций.
Говорят, что матричная функция непрерывна, или дифферен-
дифференцируема, если ее элементы — непрерывные, или соответственно
дифференцируемые функции от /. Производную от матричной функ-
функции определим поэлементно:
f'u(t) - ПА*
dt
/ml @
Имеет место следующая формула дифференцирования произве-
произведения матричных функций:
dAB dA
Действительно, элемент произведения А В имеет вид
Отсюда
с'а 0=2 [aU (О ЪЩ (t) + aik (t) b'k, (/)].
Теперь, перегруппировывая слагаемые, сразу получаем требуемое
равенство. Из него имеем следующие следствия.
а) Постоянный множитель выносится за знак дифференцирова-
дифференцирования (с учетом порядка сомножителей).
dt v dt dt dt
a} dt { >~ Г dt
Последнее равенство можно получить дифференцированием тож-
тождества FF~l = Е, если предварительно убедиться в существовании
производной от Р1, Эта производная существует, так как эле-

§ 4. ПРИЛОЖЕНИЕ К ДИФФЕРЕНЦИАЛЬНЫМ УРАВНЕНИЯМ
97
менты F — дробно рациональные функции от элементов F, имею-
имеющие общий знаменатель det F Ф 0.
Мы будем говорить, что матричная функция скалярного аргу-
аргумента разложена в степенной ряд в окрестности точки t0, если
в такие ряды разложены все ее элементы. Частичные суммы ря-
рядов для элементов могут быть объединены в линейные комбинации
матриц
Поскольку сходимость последовательности матриц по норме рав-
равносильна поэлементной сходимости, Fn @ -*¦ F (t), и мы можем
записать
f(/)= |] Ak{t-t0)K
k =0
Заметим, что последний ряд, вообще говоря, не является матрич-
матричным степенным рядом в смысле § 3.
Матричный ряд по степеням t — t0 сходится, когда сходятся
все ряды для элементов. Внутри области сходимости ряд может
быть почленно продифференцирован, поскольку это возможно для
каждого элемента, а дифференцирование определено поэлементно.
По отношению к операциям сложения и умножения на веще-
вещественное число столбцы-функции высоты п от скалярного аргу-
аргумента t образуют вещественное линейное пространство, которое
мы обозначим <М*.
Это пространство бесконечномерное. Действительно, столбцы
1
0
0
»
t
0
0
, • • • i
tN
0
¦
0
линейно независимы, каково бы ни было Af.
2. Системы линейных уравнений с постоянными коэффициентами.
Рассмотрим систему линейных дифференциальных уравнений с по-
постоянными коэффициентами
п.
Обозначим матрицу коэффициентов системы через А, столбец из
неизвестных функций — через ? = ? (t). Теперь рассматриваемую
систему мы можем записать в матричном виде
Г = Л&. A)

98 ГЛ. И. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
Предложение 1. Каков бы ни был постоянный столбец се,
система A) имеет единственное решение, удовлетворяющее усло-
условию | @) = а, и это решение есть
6 (/) = <?*«. B)
Доказательство. Если столбец § дифференцируем,
то дифференцируемым является также и столбец Л|, получаемый
из него умножением на постоянную матрицу, причем -^т-(Л|) = Л|'.
Следовательно, для решения системы A) |" существует и равня-
равняется А%.
Допустим, что у | существует (k — 1)-я производная и |(fe"" =»
= Л*'1 |. Тогда из дифференцируемое™ Ak~% следует существо-
существование k-u производной и равенство
|<*> = А% C)
Согласно принципу полной индукции формула C) имеет место при
всех k. В частности, для t = 0 имеем
Это позволяет нам составить ряд Тейлора для §:
D)
По определению показательной функции от матрицы, сумма этого
ряда равна eiAa. Будет ли ряд сходиться к решению |, дл^ кото-
которого мы этот ряд строили, зависит от того, стремится ли к нулю
при jV.-> oo остаточный член в формуле Тейлора, равный N-щ
остатку ряда. В форме Лагранжа этот остаточный член можно
записать так:
Здесь б — некоторое число, заключенное между 0 и / (или между t
и нулем, если t < 0). Обозначив через Zy компонентные матрицы
матрицы А, по формуле A5) § 3 мы можем вычислить остаточный
член
Найдем коэффициент при компонентной матрице Z-u /+1, считая Af > /:
Отсюда видно, что каждый коэффициент стремится к нулю при
N -> со и, следовательно, стремится к нулю и весь остаточный
член.

§ 4. ПРИЛОЖЕНИЕ К ДИФФЕРЕНЦИАЛЬНЫМ УРАВНЕНИЯМ 99
Таким образом, мы доказали единственность решения и фор-
формулу B). Для доказательства существования решения следует
проверить, что столбец B) удовлетворяет системе A).
Почленным дифференцированием ряда D) мы получаем.
Легко заметить, что этот ряд может быть получен умножением
ряда D) слева на матрицу А. Действительно, заменяя в E) индекс
суммирования k на /+ 1, можно привести E) к виду
/ = о /
Отсюда сразу следует, что построенное нами решение | удовлетво-
удовлетворяет системе A).
Предложение 2. Решения системы A) образуют веще-
вещественное п-мерное линейное подпространство в <Mnt.
Доказательство. Пусть \х и §2 — решения системы A).
Тогда для любых чисел аир имеем
(С& + Р|2)' = agf + р& = аЛ|х + рЛ|8 = Л (а^ + р|2).
Это означает, что произвольная линейная комбинация решений
системы также будет ее решением. Рассмотрим п решений ф, = eiAe<,
i— I, ..., п, где е{ — i-й столбец единичной матрицы. Докажем,
что любое решение 1 есть линейная комбинация решений «рх, ..., <р„.
Действительно, пусть § @) = а = а1^] + ... + ап?„. Умножая это
разложение слева на матрицу е'л, получаем | = ахфх + ...+ алф„,
как и требовалось. Решения ф,- линейно независимы. В самом деле,
если для каких-то коэффициентов рг" выполнено C^ + ... + Р"ф„ =
= 0, то, полагая t = 0, имеем отсюда (З1^ + ... -f Р"е;г = О,
откуда следует (З1 = ... = Р" = 0. Тем самым предложение пол-
полностью доказано.
Базис в пространстве решений системы A) называется ее фун-
фундаментальной системой решений. Объединяя столбцы, составляю-
щие фундаментальную систему решений, в матрицу, мы получаем
квадратную матрицу порядка п, называемую фундаментальной
матрицей системы A). Выше мы доказали, что eiAE — etA — фун-
фундаментальная матрица.
Пусть F (t) — фундаментальная матрица. Тогда легко видеть,
что для любого решения | (t) найдется постоянный столбец аР
такой, что | @ = F (t)aF.
Предложение 3, Матрица F (t) является фундаменталь-
фундаментальной матрицей системы A) тогда и только тогда, когда она имеет
вид F (t) *= etAF0, где Fo — постоянная матрица, и det Fo Ф 0.

100 ГЛ. П. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
Доказывается предложение не сложно, и мы предоставим чита-
читателю провести это доказательство.
Замечание. Мы рассматриваем линейную зависимость
столбцов-функций скалярного аргумента относительно постоян-
постоянных коэффициентов. Поэтому вполне может случиться, что столбцы
линейно независимы, а детерминант матрицы, из них составленной,
равен нулю (примером могут служить столбцы, приведенные на
стр. 97). Из предложения 3 вытекает, что для столбцов, являю-
являющихся решениями системы линейных дифференциальных уравне-
уравнений, этого быть не может.
Возможно, стоит заметить также, что- ряд результатов этого
пункта сохранится и в более общем случае — для систем линей-
линейных дифференциальных уравнений с переменными коэффициен-
коэффициентами: предложение 1 сохраняется, за исключением формулы B)
для решения, предложение 2 сохраняется полностью.
3. Вычисление матрицы etA. Рассмотрим вещественную ма-
матрицу А и найдем значение функции / (%) = е'^ на ее спектре. Это —
числа
Отсюда, согласно A5) § 3, имеем
[2
i = 1 I/ = 1 j
Для наших целей мы не можем рассматривать это выражение как
окончательное, поскольку матрица etA вещественная (что видно
из ее представления в виде ряда), и мы должны постараться полу-
получить для нее вещественное выражение.
Так как матрица А вещественная, для каждого комплексного
корня ее характеристического уравнения %г найдется комплексно
сопряженный корень X/. Обозначим номер корня 7.{ через /, так
что Л^- = %.[.
Предложение 4. Для вещественной матрицы А компо-
компонентные матрицы, соответствующие комплексно сопряженным
корням, удовлетворяют условиям
Zlj=Zl/. G)
Если же корень A,z вещественный, соответствующие ему матрицы Zy
вещественны.
Доказательство. Мы видели в § 2, что Zy = hy (A),
где многочлен Нц степени ^ k — 1 определяется условиями
% (*){ > 1±т или

§ 5. ЛОКАЛИЗАЦИЯ ХАРАКТЕРИСТИЧЕСКИХ ЧИСЕЛ 101
Комплексно сопряженный ему многочлен удовлетворяет усло-
условиям
h\[) A \$ 1' / и г =
, 1фт или
Многочлен hj также удовлетворяет условиям (8). Из предложе-
предложений 5 и 6 § 3 мы видим, что многочлен h-u однозначно определя-
определяется своими значениями на спектре А. Поэтому hj-. = fty. Такое же
рассуждение показывает, что для вещественного корня %i (равного
своему сопряженному) многочлен hlf удовлетворяет условию
hii ~ hu, т. е. является вещественным. Подставляя в многочлены hlf
вещественную матрицу А, мы получаем доказываемое утверждение.
Обозначим сумму, заключенную в квадратные скобки в F),
через Rt = Si + iTt и рассмотрим два слагаемых в F), номера
которых / и / соответствуют паре комплексно сопряженных кор-
корней. Если А,, = а, + iP/, то е1' =еа'( (cos рУ + i sin firf). Сумма
выбранных нами слагаемых равна 2Re(elliRi), т.е.
2ea''(cospVSz-sinp^r,), (9)
где 'Si и Г, — матрицы, элементы которых — многочлены от t
с вещественными коэффициентами. Слагаемое в сумме F), соот-
соответствующее вещественному корню, имеет тот же вид с учетом
того, что %i = а, и Р; = 0. Оно равно
e^Ri. A0)
Окончательное выражение для etA будет получено, если мы
просуммируем выражения вида A0) для всех вещественных кор-
корней и прибавим к результату сумму выражений вида (9) для всех
пар комплексно сопряженных корней,
§ 5. Локализация корней характеристического многочлена
I. Введение. Задача локализации характеристических чисел
матрицы состоит в нахождении условий и оценок, позволяющих
по элементам матрицы указать приблизительно расположение кор-
корней ее характеристического многочлена на комплексной плоскости.
В принципе, конечно, по элементам матрицы характеристиче-
характеристические числа могут быть указаны точно, но точные значения не всегда
нужны, и уж во всяком случае предлагаемые оценки должны быть
проще, чем решение характеристического уравнения. Говоря
о локализации характеристических чисел, следует иметь в виду,
что они инвариантны и, следовательно, применение какой-либо
локализационной теоремы к матрице S~lAS вместо матрицы А
указывает расположение тех же самых чисел, но может дать более
точную (или менее точную) оценку. Хороший выбор матрицы S

102 ГЛ. И. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
может дать прекрасную оценку, вплоть до точного указания кор-
корней, но сам по себе затруднителен.
Интерес к локализации характеристических чисел связан,
во-первых, с ее применениями к различным задачам теории устой-
устойчивости обыкновенных дифференциальных уравнений и отсюда
к широкому кругу практических задач. Во вторых, применение неко-
некоторых численных методов решения задач (даже таких, казалось бы,
не имеющих отношения к характеристическим числам, как системы
линейных уравнений) требует хотя бы приблизительной локали-
локализации характеристических чисел рассматриваемых матриц. Тем
более это относится к задаче нахождения собственных векторов
и собственных значений, в которой предварительная локализация
характеристических чисел значительно упрощает решение.
Локализация характеристических чисел матрицы тесно свя-
связана с локализацией корней многочлена по его коэффициентам.
Однако нахождение характеристического многочлена затрудни-
затруднительно и не упрощает задачу. Скорее можно пользоваться много-
многочисленными результатами о локализации корней характеристиче-
характеристического многочлена по элементам матрицы для локализации корней
многочлена по его коэффициентам. Для этого может быть построена
матрица, для которой данный многочлен является характеристиче-
характеристическим. Примером матрицы с характеристическим многочленом
может служить
матрица
0
0
0
— ап —
1
0
0
0
1
0
... —Иг
0
0
1
— а.
On л называется сопровождающей матрицей данного многочлена.
Еще одна область, тесно связанная с локализацией характе-
характеристических чисел, — так называемая теория возмущений харак-
характеристических чисел. Ее результаты говорят о том, как изменятся
характеристические числа и их кратности при небольшом изме-
изменении («возмущении») элементов матрицы. Из-за недостатка места
мы не будем касаться здесь этих результатов, несмотря на их
большое практическое значение. Оно связано с неизбежными по-
погрешностями, с которыми нам известна исходная информация
в любой практической задаче и со столь же неизбежными погреш-
погрешностями округления. Кое-что по этому поводу будет сказано в п. 4
§ 2 гл. Ш, подробное изложение теории возмущений есть в кни-
книгах Ланкастера A7] и Унлкинсона [33].
Перечисленные выше связи локализации собственных значений
с другими вопросами сделали ее большим разделом линейной
алгебры, богатым разнообразными результатами. В рамках общего

5 5. ЛОКАЛИЗАЦИЯ ХАРАКТЕРИСТИЧЕСКИХ ЧИСЕЛ ЮЗ
образования едва ли стоит подробно изучать их все, но с наибо-
наиболее простыми и важными теоремами мы сейчас познакомимся.
2. Оценки для модулей характеристических чисел. Дадим
Определение. Пусть Яь i = 1, ..., s, — характеристиче-
характеристические числа матрицы А. Число Яд = max | Я,- | называется спек-
с
тральным радиусом матрицы А.
Очевидно, что спектральный радиус — вещественное неотрица-
неотрицательное число, и его обращение в нуль равносильно нильпотент-
нильпотентности матрицы.
Предложение 1. Если норма || * II обладает кольцевым
свойством, то спектральный радиус матрицы А не превосходит
нормы этой матрицы: Яд ^ II А ||.
Доказательство. Пусть Ях — то характеристическое
число, для которого | Ях | = Яд, и пусть А\ — Я^, \Ф 0. Обозна-
Обозначим через X квадратную матрицу порядка я, у которой первый
столбец равен |, а остальные столбцы нулевые. Очевидно, что
АХ = XtX. Переходя к нормам правой и левой частей равенства,
имеем | Я2 | • || X || = || АХ || ==S || А || • || X ||. Так как || X || > 0,
отсюда следует доказываемое неравенство.
Применяя предложение 1 к различным нормам (см. § 4 гл. I),
мы получим следующие оценки для модуля произвольного харак-
характеристического числа:
а) |b*l
б) }%ь | «g птах | а,у |
в) |ЯА|2]
/ с
| %k \ < max У] ; ап \,
1 I
г) I Я* ! ^ «1 Для спектральной нормы
(здесь ах — максимальное сингулярное число матрицы А).
Последнее неравенство может быть дополнено нижней оценкой.
Именно, имеет место
Предложение 2. Модули характеристических чисел ма-
матрицы А заключены между ее наименьшим и наибольшим сингуляр-
сингулярными числами.
Для доказательства рассмотрим столбец |, удовлетворяющий
условию А\ — ЯА|. Пусть, как всегда, |* = |г и || | И2 = |*|.
'Мы будем предполагать, что II 1 II = 1. Тогда
С другой стороны, согласно формуле (9) § 2 гл. I, величина %*{А*А) |
при || | || ж 1 заключена между наименьшим и наибольшим ха-

104 ГЛ. II. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
рактеристическим числом матрицы А*А, т. е. между а? и а%, где
а„ и at — минимальное и максимальное сингулярные числа. Это
приводит нас к неравенству, равносильному доказываемому утверж-
утверждению а% ^ | %k |2 ^ а\.
3. Оценки для вещественных и мнимых частей характеристиче-
характеристических чисел. По существу тот же прием сведения к некоторой эрми-
эрмитовой матрице, который применялся при доказательстве предложе-
предложения 2, можно применить к доказательству следующего утверждения.
Предложение 3. Пусть матрицы S и Т определены равен-
ствами 5 = ~(Л + Л*) и Т=~{А-А*). Тогда для любого
характеристического числа Я,,- матрицы А
Hi=sSReX,, <ц,„, vt < Im К s=S va,
где Hi, vx и \in, vn — соответственно минимальные и максимальные
характеристические числа матриц S и Т.
Докажем первое нерайенство. Пусть А% = Я,-§ и II | II = 1.
Тогда %*А* = Я,|*, и мы имеем
Но при || 111 = 1 число |*S| заключено между цг и цп. Второе
неравенство доказывается аналогично.
Рассматривая матрицу А как комплексную, мы можем восполь-
воспользоваться теоремой 1 § 3 гл. I, согласно которой найдется такая
унитарная матрица U, что матрица R = и~1А1/ является верхней
треугольной. Диагональные элементы R — характеристические
числа %i матрицы А. Унитарную норму матрицы R можно вычис-
вычислить так:
I! R tb = 2 rtjr,j = % | %t j2 + 2 I rti |2 s* % IX, \\
t.i i i<! i
Но унитарная норма матрицы А не меняется при умножении А
на унитарную матрицу слева или справа. Поэтому
\А\Ь^2\^?- A)
i
При этом равенство достигается в том и только том случае, когда
все Гц = 0 (t </), т. е. матрица R диагональна, и, следовательно,
А — нормальная матрица.
Получим некоторые следствия из неравенства A).
Пусть U* обозначает V7'. Тогда для унитарной матрицы U
имеем U* = U'1, и потому R* = (U*AU)* = U*A*U. Отсюда
для матрицы 5 из предложения 3

§ 5. ЛОКАЛИЗАЦИЯ ХАРАКТЕРИСТИЧЕСКИХ ЧИСЕЛ
105
Диагональные элементы матрицы -s-(/?+#*) равны Re Я,,-, i =г
— 1, ..., п, и для унитарной нормы матрицы S мы находим
\S[b= 2 |ReX,|" + y 2
t = i i ?t /
Аналогично доказывается, что
где матрица Т определена в предложении 3.
В § 4 гл. I мы видели, что с'-норма матрицы не меньше ее евкли-
евклидовой нормы. Тот же результат, очевидно, верен и для унитарной
нормы:
О Ау^п max | % | = [ А у,
Применяя это к матрицам S и Т, находим
.1/2
и окончательно
Аналогично
\lm\i\
\п max
i, i
; n max
i, i
Как было показано, \\ А \\Ъ = tr A*A. Ho
tr ЛМ= J] af,
t = l
где a,- — сингулярные числа А. Поэтому неравенство A) озна-
означает, что
2
<=
и равенство имеет место тогда и только тогда, когда А — нормаль
ная матрица.
4. Локализационные круги. Мы будем говорить, что матрица А
порядка п имеет доминирующую главную диагональ, если каждый
ее диагональный элемент по модулю больше суммы модулей осталь-
остальных элементов той же строки:
всех i=
> п-

106
ГЛ. II. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
Предложение 4. Если матрица А имеет доминирующую
главную диагональ, то det А Ф 0.
Действительно, если det А = 0, то существует нетривиальное
решение системы линейных уравнений А% = 0. Пусть ?' — мак-
максимальная по модулю компонента этого решения. Подставляя %
в уравнение системы, имеющее тот же номер i, получаем
\OiiV
Отсюда
\аи
что противоречит условию.
Применяя предложение 4 к транспонированной матрице, мы
увидим, что для невырожденности матрицы А также достаточно
чтобы элементы главной диагонали доминировали над элементами
столбцов, а не строк, т. е.
\аи\>
\аи\
Пусть дано какое-то условие невырожденности матрицы. Мы
можем применить его к матрице А — КЕ и получить множество
точек З1 комплексной плоскости, в котором заведомо не лежат
корни характеристического многочлена А. Этим мы покажем, что
все корни лежат в множестве, дополнительном к Э. Такие рас-
рассуждения используются для доказательства ряда локализацион-
ных теорем. Воспользуемся ими в сочетании с предложением 4.
Предложение 5. Все характеристические числа ма-
матрицы А содержатся в объединении кругов
\X-ati
C)
Действительно, если число % не принадлежит к объединению
кругов, каждое из условий C) должно быть нарушено и, следова-
следовательно, матрица А — КЕ должна иметь доминирующую главную
диагональ.
Круги C) мы назовем локализационными кругами матрицы А.
Если aik = 0 при k Ф i, то t-й круг стягивается в точку. Напри-
Например, для единичной матрицы объединение кругов состоит из одной
точки.
Слову «стягиваться» мы придадим точный смысл, если введем
перед недиагональными элементами матрицы А множитель t и
(эудем рассматривать матричную функцию F (t) для tfe [0, 1]
с элементами fu (t) =, аи и fik (t) = taik при i Ф k. Если t-*-0,
то радиусы кругов матрицы F (t) стремятся к нулю, а центры оста-
остаются на месте.

§ 5. ЛОКАЛИЗАЦИЯ ХАРАКТЕРИСТИЧЕСКИХ ЧИСЕЛ
107
Используем без доказательства теорему о том, что корни мно-
многочлена — непрерывные функции от его коэффициентов *)• Коэф-
Коэффициенты характеристического многочлена матрицы F (t) — много-
многочлены от ее элементов и, следовательно, непрерывные функции
от t. По этой причине и характеристические числа F (/) — непре-
непрерывные функции от /. Каждый из корней при изменении t от 1
до 0 описывает на комплексной плоскости непрерывную дугу.
Точнее говоря, для каждого характеристического числа Я/ ма-
матрицы А найдется непрерывная дуга, начинающаяся в Я/ и кон-
кончающаяся в некоторой точке а,ц, причем в каждой из этих точек
кончается хоть одна из дуг.
Чтобы представить себе, какие тут есть возможности, рассмо-
рассмотрим следующий пример. Пусть
А =
1
-4 —5|
— 1
t
—5
Характеристические числа F (/) равны Ях = —3 + 2 ]/1 — t2 и
Я2 = —3 — 2 ]/l — t2. При изменении t от 1 до 0 они расходятся
Рис. 2.
из точки —3 в точки —1 и —5. Если t ^ 4/5, то в меньший из кру»
гов ] Я + 1 | sg; t не попадает ни одно характеристическое число.
При t < 4/5 одно из них лежит в меньшем круге, а одно — в боль-
большем | Я + 5 | «? At, и оба круга не пересекаются (рис. 2).
1) См. Островский [25].

108 ГЛ. И. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
Дуги могли бы не иметь общих точек, сходиться из разных
точек в одну и т. д.
Если один из локализационных кругов матрицы А не пересе-
пересекается с остальными, то не пересекается с остальными и соответ-
соответствующий круг матрицы F (t) при любом <е [0, 1]. А это зна-
значит, что дуга, кончающаяся в центре этого круга, лежит в нем
целиком. Действительно, если круги не пересекаются, характери-
характеристическое число не может попасть ни в какой другой круг непре-
непрерывным перемещением, не проходя через точки, не принадлежа-
принадлежащие объединению кругов. Так как при любом t оно должно лежать
хоть в одном круге, оно будет оставаться в рассматриваемом.
Таким образом, если один из локализационных кругов матрицы А
не пересекается с остальными, в нем лежит хоть одно характери-
характеристическое число. Возможно, их окажется и больше, как показывает
следующий пример. Матрица
15 1 011
О 1 2
0 2 11|
имеет два непересекающихся локализационных круга | % — 1 | «g 2
и \ X — 5 | «s; 1. В первом из них лежат два характеристических
числа —1 и 3.
Однако легко заметить, что первый круг порождается второй и
третьей строками матрицы, и, следовательно, мы имеем право
считать его дважды.
Предложение 6. С учетом кратностей локализационных
кругов и характеристических чисел, множество из г локализацион-
локализационных кругов, не пересекающихся с остальными п — г кругами, содер-
содержит ровно г характеристических чисел.
Предложение это доказывается при помощи приведенных выше
соображений, и читателю предоставляется провести это доказа-
доказательство, если он пожелает.
Следствие. Если некратный локализационный круг веще-
вещественной матрицы не пересекается с остальными, то в нем лежит
вещественный корень.
Действительно, в противном случае комплексно сопряженный
корень должен был бы лежать в этом круге, так как центр круга
находится на вещественной оси.
5. Замечания и следствия. Второе множество локализационных
кругов можно получить, используя столбцы вместо строк: все ха-
характеристические числа матрицы лежат в объединении кругов
|A.-a«|*S Ц |а„|.
Это может уточнить расположение корней.
Другой способ улучшения оценки состоит в применении ее
к матрице S~iAS. Если S — диагональная, то каждая строка Л

'§ 5. ЛОКАЛИЗАЦИЯ ХАРАКТЕРИСТИЧЕСКИХ ЧИСЕЛ 109
умножится на какое-то число, а столбец с тем же номером — на
обратное число. Поэтому центры кругов останутся на месте, а ра-
радиусы изменятся. Можно постараться выбрать 5 так, чтобы они
уменьшились.
Области локализации, отличные от кругов, можно получать,
пользуясь предложением 9 § 3. Пусть В = р (Л) — многочлен
от Л. Тогда
\bik\. D)
Области такого вида могут дать очень точную локализацию, но ее
использование затруднено. В предельном случае, если р — харак-
характеристический многочлен, D) сводится к условию р (л) = 0.
При помощи локализационных кругов можно получить оценки
для вещественных частей и для модулей характеристических чисел.
Например, для каждого характеристического числа X
\dik\
|
L
так как самая левая и самая правая точка в t-м круге — это точки
ац — 2 I aik I и ati + 2 Iа^ I-
Поскольку | Я — a» I 3s I I Я, | — \аа\\, найдется такой но-
номер i, что
k=\
и мы снова приходим к оценке в) стр. 103. Аналогично, исполь-
используя столбцы, а не строки, находим оценку-г)
к = 1
Пусть и — максимальная из сумм модулей элементов по строкам,
аи — максимальная из сумм модулей элементов по столбцам.
Тогда полученные выше неравенства можно объединить так:
|A.|=sSmin(M, v).
Рассмотрим матрицу Л, для которой условия B) выполнены
не для всех значений i, а только для г из них. Из предложения 4
следует, что в А существует подматрица порядка г с доминирую-
доминирующей главной диагональю и, следовательно, минор порядка г, отлич-
отличный от нуля. Итак, Rg Л Зз г.

Ш ГЛ. II. ТЕОРЕМА ЖОРДАНА. ФУНКЦИИ ОТ МАТРИЦ
Пусть теперь для некоторого характеристического числа ^
матрицы А ранг матрицы Л — XqE равен г. Тогда ни один минор
порядка г + 1 не может иметь доминирующей главной диаго-
диагонали, и, следовательно, условия B) нарушаются для п — г зна-
значений индекса L Это означает, что число Хо лежит в я — г кругах.
Отсюда
Предложение?. Если собственному значению Хо преобра-
преобразования А принадлежат п — г линейно независимых собственных
векторов, то %0 лежит в п — г локализационных кругах матрицы А
преобразования А.
Из формул E) вытекает такое достаточное условие положитель-
положительной определенности квадратичной формы:
Предложение 8. Если матрица квадратичной формы
имеет доминирующую главную диагональ и положительные эле-
элементы на главной диагонали, то квадратичная форма положительно
определена.
Действительно, согласно E) все характеристические числа
матрицы положительны.
Сказанного здесь достаточно, чтобы представить себе возмож-
возможные приложения локализационных кругов.
Перечисленные в этом параграфе локализационные теоремы
просто доказываются и применяются. Некоторые важные резуль-
результаты этой теории, не обладающие указанным свойством, мы не имеем
возможности изложить здесь. В частности, это относится к кри-
критериям Раусса — Гурвица и Ляпунова. Они дают необходимые
и достаточные условия, при которых все характеристические числа
матрицы имеют отрицательные вещественные части. Восполнить
указанный пробел читатель может при помощи специальных руко-
руководств по теории матриц, например книге Гантмахера [8].

ГЛАВА III
ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
§ 1. Введение
J. Цель главы. В современных условиях инженер или научный
работник, решающий сколько-нибудь значительную систему линей-
линейных уравнений, естественно, воспользуется ЭВМ. Для этого суще-
существуют хорошо отлаженные и эффективные программы, и потому
для большинства читателей этой книги практическое решение
системы линейных уравнений сведется к написанию обращения
к какой-либо стандартной программе или процедуре. Однако для
правильной постановки задачи, выбора программы и интерпрета-
интерпретации результатов очень важно быть знакомым с применяемыми
алгоритмами, а также с основными трудностями, возникающими
при решении линейных систем, и путями их преодоления. Об этом
и будет идти речь в настоящей главе.
Разумеется, программное обеспечение ЭВМ постоянно совер-
совершенствуется. Разработка новых алгоритмов и программ для реше-
решения задач линейной алгебры остается актуальной проблемой.
Но следует иметь в виду, что написание программы, которая могла
бы превзойти по эффективности уже существующие, — трудное
дело, требующее не только глубоких познаний, но и практиче-
практического опыта. Поэтому для тех, кто готовит себя к такого рода дея-
деятельности, эта глава может служить лишь началом. Отметим в этой
связи, что достаточно полное изложение результатов, относящихся
к теме любого из параграфов этой главы, может составить содер-
содержание целой книги.
В § 1 мы в общих чертах рассмотрим основные трудности, с кото-
которыми приходится сталкиваться при численном решении задач
линейной алгебры. По существу, в гл. Ш мы переходим в область
прикладной математики, и эти трудности являются специфическими
для данной области.
2. Ошибки округления. Одна из наиболее заметных особенно-
особенностей прикладной математики —это учет ошибок округления. Они
связаны с тем, что на регистре ЭВМ или в ячейке запоминающего
устройства может быть записано только конечное число знаков.
Для определенности мы будем говорить о десятичных цифрах,
хотя чаще употребляется двоичная, а распространенытакжевосьме-
распространенытакжевосьмеричная и шестнадцатеричная записи. Числа, не представимыв
конечной и притом достаточно короткой десятичной дробь», должны

112 ГЛ. III ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
быть округлены и, следовательно, не могут быть представлены
в машине точно. Улучшение технических средств может увеличить
точность, но не может ликвидировать эту проблему.
Не следует думать, что здесь речь идет о недостатках именно
машинного представления чисел. Поскольку невозможно изобра-
изобразить бесконечное число знаков, представление вещественного
числа бесконечной десятичной дробью должно быть округлено.
Конечно, мы можем (и часто это делаем) обозначить встречающиеся
нам числа отдельными символами, такими, как \^2, и оперировать
с этими символами, получая точные результаты вроде п\^2 — е2.
Но употребить такой результат на что-нибудь, кроме сравнения
с ответом в задачнике, можно, только если его вычислить или
оценить, а следовательно, округлить. С другой стороны, можно
попробовать ограничиться рациональными числами и действовать
с ними, как с обыкновенными дробями. Но если нужно произвести
не очень маленькое количество арифметических операций, это
будет приводить к дробям с очень большими числителями и знаме-
знаменателями, которые рано или поздно придется округлять. Можно
считать, что ошибки округления в численных расчетах столь же
неустранимы, как и ошибки измерения в физике.
Заметим, что возможности увеличения точности в принципе
очень велики. Используя специально составленные программы,
можно записывать числа и производить с ними арифметические
операции с точностью, далеко превосходящей обычную рабочую
точность ЭВМ (см., например, Дрейфус и Ганглоф [12]). Однако
и двести десятичных знаков обеспечивают только приблизительное
представление чисел. Кроме того, применение подобных приемов
увеличивает время счета до величин, не приемлемых для реальной
работы. Поэтому для задач линейной алгебры этот подход не имеет
практического значения.
Рассмотрим два основных способа приближенной записи чисел.
1) Представление с фиксированной запятой. Обозначим через Fri,
множество чисел, которые записываются при помощи г десятичных
цифр со знаком + или —, причем t цифр расположены после запя-
запятой, т. е. изображают дробную часть. Множество Fr_ t конечно,
хотя при большом г и очень велико. Вещественное число а можно
приближенно представить числом из Fr> t, если целая часть а меньше
чем Юг~' или, иначе, может быть записана г — t десятичными
цифрами.
В этом случае или а е Fr< t, или в Fr_ t существуют числа а'
и а" — ближайшее снизу и ближайшее сверху к числу а. Если
\ а — а' | sg; | а — а'1 |, то приближенным представлением а чис-
числами из FFt t считается а', в противном случае — а".
Число а лежит в интервале (а', а") и потому находится не дальше
чем на у (а" — а'), хоть от одного из его концов. Очевидно, что
а" — а' = 1СН. Отсюда следует

§ 1. ВВЕДЕНИЕ
ИЗ
Предложение 1. Если число а приближено числом п
из Fr> /, то модуль абсолютной погрешности \ а — п \ не превосхо-
превосходит у 1СК
2) Представление с плавающей запятой. Пусть \i — число
из полуинтервала [0,1, 1)> принадлежащее множеству Fd<d, a k —
целое число, по модулю не превосходящее р. Мы обозначим че-
через EdiP множество чисел вида ±}х-\Ьк. Нуль также включается
в EdiP. Число [х называется мантиссой, аи — порядком числа из EdtP.
Если число а по модулю меньше чем 10р и больше чем 10~р,
то оно может быть представлено числом а из EdiP. С этой целью
оно записывается в виде ±m-\0k, где т е [0,1, 1), a k — целое
число. Затем т приближенно представляется числом [i из Fdid.
При этом абсолютная погрешность а — s по модулю не превосхо-
превосходит у \0к~а. Для модуля относительной погрешности имеем
\Qk-d
2\а\ '
поскольку т'1 ==? 10. Итак, справедливо
Предложение 2. Если число а может быть приближено
числом из EdiP, то относительная погрешность, с которой это
может быть сделано, по модулю не превосходит -~- Ю1*, где й —
число разрядов в мантиссе.
Каждая_из форм записи чисел имеет свои преимущества. При
представлении чисел с фиксированной запятой арифметические
операции выполняются быстрее, но диапазон чисел, представимых
в такой форме, значительно уже. Представление чисел с плавающей
запятой распространено значительно шире именно из-за возмож-
возможности представить в такой форме числа, сильно различающиеся
по величине. Подробнее об этом можно прочесть, например, в книге
Воеводина [5].
Нужно четко представлять себе, что обычные арифметические
операции не являются операциями на множествах Frit или Edi p,
поскольку результат такой операции, примененной к элементам
какого-либо из этих множеств, этому множеству, вообще говоря,
не принадлежит.
Поэтому строятся, по существу, новые операции, приближенно
изображающие обычные арифметические операции. Мы обозначим
их х, +, X и т. д. Определяются все эти операции сходным обра-
f f в
зом. Определим, например, +•
Е
Пусть а и Ъ — числа из EdiP. Рассмотрим их обычную «точную»
сумму с = а + Ь. , Если | с \ «S Ю"Р, то полагаем а + b = 0.
Е
В этом случае говорится, что результатом сложения является
машинный нуль. Если \с\> 10р, то результат операции не опре-

114 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
делен. Тогда говорят, что имеет место «переполнение'». Таким обра-
образом, операция + определена не всегда. (В общей алгебре такого
рода операции называются частичными, но мы не будем вводить
этот термин.) С возможностью переполнения приходится постоянно
считаться.
Далее, если \0~р < | с \ < 10^, то в EitP существует число С,
являющееся приближением для с, и мы положим а + b = с. Иначе
Е
говоря, точная сумма округляется и представляется в форме с пла-
плавающей запятой. Полученное число считается приближенным
значением суммы. Разность с — с есть ошибка округления, воз-
возникающая при сложении.
Точность представления чисел в системе с плавающей запятой
может быть охарактеризована числом, называемым «машинное е».
Оно определяется как наименьшее число, обладающее тем свой-
свойством, что 1 + е> 1. Рассмотрим в качестве примера операции
в множестве Ek х. Прибавив к 0,1000-101 число 0,5000-10~\ мы снова
получим 0,1000-101, а прибавив 0,5001 • 10~4 получим уже 0,1001 • 101.
Нужно отметить, что приближенные арифметические опера-
операции -f, х и др. обладают совсем иными свойствами, чем точные
в в
операции. Например, они не ассоциативны, не выполняется закон
дистрибутивности, существуют делители нуля, т. е. произведение
ненулевых сомножителей может оказаться равным нулю (это
называется «возникновение машинного нуля при умножении»).
При выполнении большого числа арифметических операций
ошибки округления накапливаются: результат может существенно
отличаться от результата выполнения соответствующих точных
операций. Оценка возникающей погрешности — прямой анализ
ошибок округления — дело сложное и трудоемкое по причине
сложности свойств приближенных арифметических операций. В не-
некоторых случаях прямой анализ ошибок округления может быть
заменен применением принципа, называемого обратным анализом
ошибок округления. Согласно этому принципу приближенное реше-
решение какой-либо задачи, например системы линейных уравнений,
является точным решением некоторой близкой задачи, в нашем
примере — системы линейных уравнений с немного измененными
коэффициентами. Вместо того чтобы оценивать отличие приближен-
приближенного решения от точного, можно оценить отличие коэффициентов
исходной и измененной систем. Обратный анализ ошибок округле-
округления реализуется намного проще, чем прямой.
Приведем типичный пример задачи, в которой можно обойтись
обратным анализом ошибок. Пусть коэффициенты системы линей-
линейных уравнений получены в результате физических измерений и, сле-
следовательно, известны нам с некоторой ошибкой. Если в резуль-
результате обратного анализа будет показано, что влияние ошибок округ-

'$ I. ВВЕДЕНИЕ 115
дегата равносильно искажению коэффициентов, не превосходящему
Ошибок измерения, то можно считать, что вычисления произво-
производятся с достаточной точностью, и не интересоваться отличием
йычисленного решения от точного решения системы, которая сама
определена недостаточно точно.
3. Влияние неточности исходной информации. Если какая-либо
практическая задача сводится к системе линейных уравнений,
то коэффициенты и свободные члены системы, как правило, известны
не точно, а с некоторыми погрешностями. Кроме того, как было
сказано выше, запись исходных данных и вычисления связаны
с ошибками округления, влияние которых равносильно некоторому
искажению коэффициентов и свободных членов.
Избежать указанных искажений мы не можем, но можем, во-пер-
во-первых, оценить получаемую погрешность, а во-вторых, постараться
выбрать такой метод решения системы, который не увеличивал бы
неопределенность результата, уже заложенную в самой системе.
Мы будем стоять на следующей точке зрения: задана система
линейных уравнений Ах — Ь, которую мы будем называть исход-
исходной или невозмущенной системой. Рассматривается еще одна система,
называемая возмущенной системой, -про которую известно, что ее
коэффициенты и свободные члены лежат в заданных интервалах
где uij и bi — коэффициенты и свободные члены исходной системы.
Погрешностью решения мы будем называть разность между
решениями исходной и возмущенной систем. (При этом предпола-
предполагается, что каждая из систем имеет единственное решение.) Со-
Согласно этому определению погрешность — столбец, и оценить
погрешность можно только по какой-либо норме в арифметическом
пространстве. В примерах этого параграфа рассматривается исклю-
исключительно евклидова норма.
Рассмотрим простейший случай — систему из двух линейных
уравнений с двумя неизвестными. Невозмущенная система имеет
вид
ах + Ьу = с,
/^c,.,
и пусть известно, что коэффициенты при переменных заданы точно,
а возмущены только свободные члены, т. е. Да = Ab = AaY =
«= Abi = 0.
Геометрически каждое уравнение невозмущенной системы изоб-
изображается прямой линией на плоскости. Соответствующее уравне-
уравнение возмущенной системы — параллельной ей прямой, которая
лежит внутри некоторой полосы (рис. 3). Для первого уравнения,
например, полоса ограничена прямыми
ах-\-Ьу = с — Ас и ах + by=с-{'Ас.

116
ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
Таким образом, решения возмущенной системы лежат внутри
параллелограмма, являющегося пересечением полос.
Погрешность решения изображается вектором (Дх, Дг/), длина
которого может достигать половины длины наибольшей диагонали
параллелограмма. Поэтому искажающее влияние возмущений сво-
свободных членов системы при полосах одинаковой ширины тем больше,
чем меньше угол между прямыми A).
В общем случае, когда и коэффициенты истинной системы
отличаются от коэффициентов исходной, прямые, изображающие
уравнения, не только сдвигаются, но и поворачиваются. Парал-
Параллелограмм заменяется более сложной фигурой, но общий резуль-
результат остается тот же: чем меньше угол между прямыми A), тем,
как говорится, хуже обусловлена система, т. е. такое же возмуще-
возмущение коэффициентов мо-
и *i>u жет вызывать большую
¦" погрешность решения.
Наша задача — точ-
точно определить и по воз-
возможности количественно
измерить свойство систе-
системы линейных уравнений
быть хуже или лучше
обусловленной.
На разобранном на-
нами примере хорошо вид-
видно, что при замене систе-
системы на эквивалентную
рис. з. еи систему ее обуслов-
обусловленность изменяется,
так как при этом пара прямых A) заменяется другой парой, пе-
пересекающейся в той же точке. Могло бы показаться, что лучше
всего обусловлена система, если прямые, ею изображаемые, пер-
перпендикулярны. Однако более подробное исследование, учитываю-
учитывающее ширину полос, показывает, что это не всегда так. Рассмот-
Рассмотрим, например, систему
103л: = 1,
О
X
Для нее относительно небольшое изменение свободных членов
чДсх = 0, Дс2 = 10~3, при котором
Ikfl Vc\+c%
приводит к погрешности решения, равной @, 1), и относительной
погрешности
¦ И А* Ц
j \х\

§ 1. ВВЕДЕНИЕ
117
Легко заметить, что плохая обусловленность этой системы свя-
связана с тем, что среди ее коэффициентов и свободных членов встре-
встречаются сильно различающиеся по величине. Положение может
быть исправлено умножением второго уравнения на Ю3.
Посмотрим на вопрос с другой точки зрения. Систему линейных
уравнений мы можем интерпретировать и иначе — как задачу
отыскания прообраза точки с' (сх + Асъ с2 + Дс2) при аффинном
преобразовании плоскости
х* = ах + Ьу,
y.
Будем считать, что аффинное преобразование известно точно:
Да = Ааг = Ab = А^ = 0, но про точку С известно только то,
что она лежит внутри некоторого круга радиуса р с центром С (сь с2).
Прообраз круга — эллипс, и потому решение возмущенной си-
системы лежит внутри эллипса. Центром этого эллипса является
прообраз центра круга, т. е. решение невозмущенной системы.
При аффинном преобразовании прообразы всех окружностей
имеют одинаковое отношение полуосей. Пусть % р и р р (% > \\) —
полуоси прообраза окружности радиуса р. Тогда длина б вектора
погрешности (Ах, Ау) не превосходит Хр.
Для получения оценки относительной погрешности оценим
снизу длину вектора, изображающего решение невозмущенной
системы. Так как точка С лежит на окружности радиуса г =
= Ус\ + с\ с центром в начале координат, ее прообраз — точка
с координатами (х0, г/0) отстоит от начала координат не меньше
чем на цг. Таким образом, d — У xl + yl^ Иг> и Для относитель-
относительной погрешности решения получается оценка
-!NA^. (з)
Здесь p/r — максимальная относительная погрешность столбца
свободных членов.
Итак, отношение полуосей эллипса %/\i можно рассматривать
как число, характеризующее обусловленность системы A).
Здесь, в частности, хорошо видно, что плохая обусловленность
системы не связана с величиной детерминанта: она зависит от отно-
щения полуосей эллипса, в то время, как детерминант равен отно-
отношению площадей окружности и эллипса и никак не связан с фор-
формой эллипса.
4. Почти вырожденные матрицы. Возмущение коэффициентов
системы линейных уравнений может не просто немного исказить ее
решение, а иметь более серьезные последствия. Система линейных
уравнений
* +0,99^=1,01,
1,01^ = 0,99

118 гл. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
имеет единственное решение, но за счет изменения ее коэффициен-
коэффициентов и свободных членов на 1 % можно получить как противоречи-
противоречивую систему, так и систему, имеющую бесконечно много решений.
В приведенном примере детерминант матрицы системы мал
по сравнению с ее коэффициентами. Нетрудно, однако, привести
пример матрицы, детерминант которой не может рассматриваться
как малое число, но обращается в нуль при малом возмущении
элементов матрицы. Рассмотрим, например, диагональную ма-
матрицу, скажем, двенадцатого порядка, у которой все элементы
на диагонали равны десяти, кроме последнего, равного 10~10. Детер-
Детерминант такой матрицы равен 10, но может быть обращен в нуль
изменением одного элемента на 10~10.
Причина этого заключается в следующем. Будем рассматри-
рассматривать элементы матрицы как независимые переменные. Детерминант-
линейная функция от каждой из этих переменных, причем коэффи-
коэффициент при переменной аи равен дополнительному минору этого
элемента, умноженному на (—1)'+/'. Отдельные миноры порядка п —1
могут оказаться велики по сравнению' с детерминантом. В этом
случае малое изменение одного элемента может повлечь обраще-
обращение детерминанта в нуль. Подробнее этот вопрос будет рассмотрен
в § 2.
Сейчас нам следует подчеркнуть принципиальную важность
этого явления. Если числа не могут быть заданы точно, то сти-
стирается четкая грань между вырожденными и невырожденными
матрицами. Появляется класс почти вырожденных матриц, гра-
границы которого зависят от принятой в данном конкретном исследо-
исследовании меры точности. Про почти вырожденную матрицу нельзя
сказать, вырождена она или нет, так как, изменяя ее элементы
в пределах заданной точности, можно получить как вырожденную,
так и невырожденную матрицу. Поэтому при приближенных вычис-
вычислениях надо с большой осторожностью относиться к фразам типа
«пусть матрица А невырождена ...», которыми пестрит курс линей-
линейной алгебры.
Если в системе линейных уравнений матрица оказалась почти
вырожденной, то лучше вернуться к постановке той задачи, кото-
которая привела к рассматриваемой системе линейных уравнений, для
того чтобы получить дополнительную информацию о системе.
Может случиться, например, что по смыслу задачи решение должно
быть единственным. Некоторый подход к тому, что в этом случае
следует считать решением системы, будет обсужден в гл. IV, но
это только одна из возможностей. В действительности, надо четко
представлять себе, что количественная неопределенность исход-
исходной информации в этом случае оказывает качественное влияний
на решение, и правильнее будет сосредоточить усилия не на реше-
решении системы, а на уточнении постановки задачи.
Нетрудно заметить, что появление класса почти вырожденных
матриц связано более с природой приближенных вычислений,

§ 1. ВВЕДЕНИЕ * .119
чем со свойствами детерминанта как функции от матрицы. По-
Поскольку эта функция непрерывна, множество невырожденных ма-
матриц открыто (см. Кудрявцев [16], т. I, стр. 329). Это означает,
что у невырожденной матрицы Ао существует окрестность \\ А —
¦— А0 II < е, также состоящая из невырожденных матриц. Однако
мы не можем рассматривать произвольно малые окрестности —
радиус окрестности не может быть меньше, чем некоторое число е0,
бпределяемое точностью вычислений или величиной возможного
возмущения матрицы. Почти вырожденные матрицы — это такие,
у которых в окрестности радиуса б0 найдется вырожденная ма-
матрица.
Эти соображения имеют достаточно общий характер и приводят
к тому, что вдоль границы любого открытого множества оу6 по-
появляется «полоса неопределенности» ширины е0, составленная
из Б0-окрестностей граничных точек множества е^. За пределами
Этой полосы принадлежность к множеству может быть проверена
численно. Напротив, принадлежность к границе е^ численно
проверена быть не может: при произвольно малом смещении можно
попасть из граничной точки в точку множества.
При учете ошибок округления и возмущений делаются расплыв-
расплывчатыми границы таких множеств, как множество матриц некото-
некоторого фиксированного ранга, множество матриц простой структуры
(т. е. таких, у которых минимальный многочлен не имеет кратных
Корней), расплывчатым становится понятие линейно зависимой
Системы векторов и многое другое.
Знакомая из общего курса линейная алгебра по отношению
ко всему этому играет роль абстрактной модели, подобно тому
как евклидова геометрия есть абстрактная модель для чертежей,
реально выполняемых карандашом на бумаге.
5. Ограниченность памяти. В основе трудностей, связанных
С ошибками округления, лежит конечность числа разрядов, кото-
которые мы можем отвести для записи числа. При практическом реше-
решении систем линейных уравнений существует еще один источник
Трудностей также на первый взгляд количественного характера,
но в действительности имеющий принципиальное значение. Дело
в том, что размеры оперативного запоминающего устройства ЭВМ
ограничивают размеры (т. е. число уравнений и переменных)
решаемых систем. Правда, объем внешних запоминающих устройств
настолько велик, что не накладывает чувствительных ограничений,
цо использование этих устройств связано с другими трудностями,
В первую очередь со сравнительно большими затратами времени.
Читателю, не имевшему дела с программированием, проще
всего представлять себе дело так. Вы решаете систему линейных
уравнений на классной доске. Она расчерчена на клетки, и в каж-
каждой клетке можно записать одно число. После того как доска исписа-
исписана, дальше писать можно, только стерев что-нибудь. Есть еще и
тетрадь, но она хранится так, что доставать ее долго, и, кроме

120 ' ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ \
того, списывать с доски в тетрадь или обратно нужно обязательно
целое число страниц. Ясно, что решить при таких условиях систему,
матрица которой не уменьшается на доске или занимает ее почти
целиком, можно, только проявив известную изобретательность
и затратив дополнительное время.
Хотя и объем запоминающих устройств и быстродействие вновь
создаваемых ЭВМ быстро возрастают, потребности практики растут
еще быстрее. Поэтому решение слишком больших для данной ЭВМ
систем уравнений всегда останется актуальной задачей.
Конечно, при реализации любого алгоритма большое внимание
уделяется экономии места в оперативной памяти, но при фикси-
фиксированном ее объеме, по-видимому, имеется некоторый максималь-
максимальный порядок систем линейных уравнений общего вида, которые
можно решать без чрезмерно частого обращения к внешним запо-
запоминающим устройствам. Решение систем большего порядка воз-
возможно при некоторых дополнительных предположениях, позво-
позволяющих применить специальные методы решения.
Встречаются следующие основные виды матриц, для хргнзния
которых требуется меньше места, чем его требуется для хранения
матрицы того же порядка в общем случае.
а) Вычислимые матрицы. Пусть элементы матрицы могут быть
просто вычислены по каким-то исходным данным, которые занимают
сравнительно мало места. В этом случае, вместо того чтобы пом-
помнить элементы матрицы, можно их каждый раз заново вычислять.
Конечно, это увеличивает время счета, но часто такой компромисс
оказывается приемлемым.
б) Разреоюенные матрицы. Так называются матрицы, у которых
большая часть элементов равна нулю, причем не предполага-
предполагается, что ненулевые элементы расположены по какому-либо извест-
известному закону. Мы можем запоминать только ненулевые элементы
разреженной матрицы, но придется затрачивать дополнительное
время и память на то, чтобы указать, в какой строке и каком
столбце лежит данный ненулевой элемент.
Например, простейшая схема состоит в том, чтобы вместе с эле-
элементом матрицы запомнить номера его строки и столбца. Если
сделать это опять-таки самым простым, но не самым экономным
способом, и отвести на хранение номеров по одной ячейке, то об-
общее число потребующихся ячеек окажется втрое больше числа
ненулевых элементов. Если при этом матрица заполнена на 1/5,
то еще не ясно, стоит ли полученная экономия дополнительных
затрат времени и усложнения программы. Практически матрицу
больших размеров имеет смысл считать разреженной, если число
ненулевых элементов имеет тот же порядок, что и число строк
в матрице.
Разреженные матрицы встречаются во многих вопросах при-
прикладной математики. Описание способов их хранения и переработки
можно найти в книге Тьюарсона [32].

§ 1. ВВЕДЕНИЕ 121
в) Промежуточное положение между двумя описанными выше
классами матриц занимают матрицы, которые можно назвать ма-
матрицами специальных видов. Они имеют нули на заранее известных
местах или часть их элементов вычисляется по остальным элемен-
элементам, которые должны храниться. Вспомним, например, матрицы
диагональные, симметричные или треугольные.
Из матриц специального вида, не встречавшихся нам до сих
пор, стоит сказать о ленточных матрицах. Матрица А называется
ленточной, если ее элементы таковы, что atj = 0 при \ i — / \> k,
где k — некоторое фиксированное число. Это значит, что отлич-
отличными от нуля могут быть только те элементы матрицы, которые
лежат внутри «ленты» ширины 2& + 1, идущей вдоль главной
диагонали.
Ленточные матрицы часто встречаются в разных приложениях.
Происходит это по следующей причине. Пусть система уравнений
описывает связи, имеющиеся между составными частями некото-
некоторого реального объекта. При большом числе составных частей есте-
естественно, что не все они окажутся связанными друг с другом непо-
непосредственными связями. Если непосредственно связаны те из ча-
частей, номера которых отличаются не больше чем на k, то матрица
связей окажется ленточной.
Для часто встречающихся специальных видов матриц разрабо-
разработаны модификации большинства известных алгоритмов и специ-
специальные алгоритмы, позволяющие использовать вид матрицы. Так,
существуют отдельные алгоритмы для решения систем линейных
уравнений с симметричными или с ленточными матрицами, и для
нахождения собственных значений и собственных векторов пре-
преобразований с такими матрицами. Эти алгоритмы работают более
эффективно 'и позволяют решать задачи большей размерности
за счет использования специального вида матриц. Мы не будем
заниматься этими алгоритмами.
Выбор метода решения системы линейных уравнений или вообще
любой задачи, касающейся матриц, самым существенным образом
зависит от способа хранения матрицы. Такие методы, как извест-
известный из общего курса метод Гаусса, хороши для не слишком боль-
больших матриц общего вида. Для больших матриц, при хранении
которых используются их особые свойства, методы решения систем
уравнений, основанные на преобразовании матрицы системы, при-
применять неудобно. В процессе преобразований разреженная ма-
матрица становится плотно заполненной, если только не принять
специальных мер по поддержанию разреженности. Точно так
же, если элементы матрицы вычисляются по простым формулам,
элементы преобразованной матрицы, вообще говоря, уже не
обладают этим свойством. Поэтому для решения систем линейных
уравнений с большими матрицами чаще применяются специаль-
специальные методы, например итерационные методы, рассматриваемые
в § 4.

Ш ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
§ 2. Обусловленность
1. Верхняя оценка возмущения. Пусть дана исходная система
линейных уравнений
Ах = Ь, A)
где А — квадратная матрица порядка п и det A ^ 0. Рассмотрим
возмущенную систему
Ь. B)
Прежде всего, не ясно, будет ли система B) иметь единственное ре-
решение так же, как и A). Ниже мы наложим на дА достаточное
для этого условие. Наша ближайшая задача — оценить при этом
условии норму разности решений обеих систем.
В этом параграфе под матричной нормой всюду понимается норма,
обладающая кольцевым свойством и согласованная с нормой в прост-
пространстве столбцов.
Предложение 1. Пусть для некоторой матричной нормы
квадратная матрица В удовлетворяет условию II fi II ^ р < 1.
Тогда существует матрица (Е + В) и\\ (Е + B)~l || «S A — р)".
Доказательство1). Из оценки спектрального радиуса
матрицы (предложение 1 § 5 гл. II) вытекает, что все собственные
значения матрицы В лежат в круге | К | sg p, т. е. внутри круга
сходимости разложения функции A + Я) по степеням Я. Это га-
гарантирует существование матрицы (Е + B)~i, равной сумме ряда
Е — В + В2—...
Для частичной суммы этого ряда, согласно A2) § 4 гл. I, имеем
оценку
Отсюда переходом к пределу при k ->• со получаем требуемое не-
неравенство.
Перейдем теперь к оценке нормы возмущения решения, т. е.
II Ьх II = II у — х ||, где у — решение системы B), а л: — решение A).
Для этого вычтем A) из B). Мы получим
(А + б А) (х + бх) - Ах = б*,
или
(Л + бЛ)блг + бЛд: = 6&. C)
Запишем А-\-ЬА в виде А (Е-\- Л" б Л) и предположим, что
р<1. D)
х) Доказательство использует материал гл. II. Читателю, не изучавшему
•той гйавы, можно принять предложение 1 без доказательства.

§ 2. ОБУСЛОВЛЕННОСТЬ 13SS
Тогда | А-1 ЬА | <; р и, согласно предложению 1, матрица ? +
+ Л-1бЛ имеет обратную. Следовательно,
(А + 6Л)-1 = (Е + Л-1 бЛ) ЛЛ
и из C)
8х = (Е + Л-1 бЛ)-1 Л-1 бб - (Е + Л-1 б Л)-1 Л-1 бЛ*.
Отсюда
Из равенства A) следует, что Ц&Ца^ЦЛЦ- \х\. Усилим неравен-
неравенство, умножив первый член правой части на ||Л|- ЦJfЦ/Ц^Ц. Тогда
E)
где
Разделим
на
Л Д л
1*1
-1<
и
-. с {А)
^ 1-
учтем
11*11 ИИ
-р 1*11
(А)-\А-Ч-\
, что
с (Л) ||
1 —
*11
Р
цели
МП
Мы получим окончательную оценку
II 5х|| с (Л) /1| 6Л || . Ц66||\
I г (А) """ [| v " " " il " II /
Число с (Л), введенное формулой E), называется числом обус-
обусловленности матрицы Л в рассматриваемой норме.
Теперь мы можем сформулировать следующий результат.
Предложение 2. Пусть матрица коэффициентов и стол-
столбец свободных членов системы A) получили возмущения ЬА и ЬЬ,
причем в некоторой матричной норме \\ А'1 \\- ||6Л|| < 1. Тогда
возмущенная система имеет единственное решение, и относительное
возмущение II Ьх 11/11 х II решения системы A) оценивается через отно-
относительные возмущения а = || бЛ ||/|| Л || и р" = ||б#||/|| b || матрицы
системы и столбца свободных членов формулой
где с (А) — число обусловленности матрицы А в рассматриваемой
норме.
Примечательно, что в правую часть F) входят только относи-
относительные возмущения А и Ь. Матрица А представлена только своим
числом обусловленности, а столбец b не входит совсем.
2. Число обусловленности. Согласно предложению 2, чем больше
число обусловленности, тем большее относительное возмущение
решения возможно при таких же относительных возмущениях ис-

124 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
ходных данных. Число обусловленности определяется не только
матрицей, но и выбором нормы. Для различных норм формула F)
будет давать разные оценки относительного возмущения, более
грубые или более точные. В этом пункте мы рассмотрим вычисление
числа обусловленности матрицы и выведем некоторые его свойства.
Начнем со следующих простых соотношений, имеющих место
для любой нормы. Непосредственно из определения вытекает
Перемножая
= || В-'А'Ч ^
с(А) = с(А'1
неравенства || А В || sg
а НВ^'Н-И Л!!, получаем
с{АВ)^с(А)с
II Л ||.||
(В).
|В||
и
II (А ВТ1
G)
I =
(8)
Далее, из А'1А — Е следует с (А) э= II Е \\. Поскольку || Е || Ssl
(см. A1) § 4 гл. I), получаем
с(Л)зИ?||5а1. (9)
Пусть а] иа„ — наибольшее и наименьшее сингулярные числа
матрицы А. Согласно предложению 14 § 4 гл. I для спектральной
нормы имеем ||Л II = аъ а по формуле A6) § 4 гл. I II Л II = аи1.
Поэтому число обусловленности в спектральной норме (или, как
говорят, спектральное число обусловленности) находится по формуле
В § 1 из геометрических соображений мы получили, что обус-
обусловленность системы из двух уравнений с двумя неизвестными
характеризуется отношением полуосей некоторого эллипса (прооб-
(прообраза окружности при линейном преобразовании, определяемом мат-
матрицей системы). Вспоминая геометрический смысл сингулярных
чисел и формулу A0), мы замечаем, что это отношение как раз и
есть спектральное число обусловленности.
Из A0) сразу следует, что для ортогональной (а также для уни-
унитарной) матрицы спектральное число обусловленности равно 1.
Из соответствующего свойства спектральной нормы (предло-
(предложения 13 § 4 гл. I) следует, что спектральное число обусловлен-
обусловленности с (Л) не меняется при умножении А на ортогональную (уни-
(унитарную) матрицу. В силу этого обстоятельства при решении систем
линейных уравнений предпочтительнее умножать матрицу системы
на ортогональные преобразующие матрицы.
Рассмотрим теперь неравенства, связывающие числа обуслов-
обусловленности, соответствующие различным нормам. -Если две нормы
Ф и -ф таковы, что для любой матрицы <р (Л) ==? Щ> (А), то соответ-
соответствующие числа обусловленности, как легко видеть, связаны нера-
неравенством

, § 2. ОБУСЛОВЛЕННОСТЬ 125
Евклидова норма матрицы равна квадратному корню из суммы
квадратов ее сингулярных чисел, а спектральная норма — макси-
максимальному сингулярному числу. Поэтому из неравенства
следует | А || «S | А \\Е =^ Уп || А ||, и потому
с(Л)<св(ЛХлс(Л). A1)
Аналогично, из
шах | alt |2 < У] | ау |2 «S n2 max | ау12
мы получаем неравенства для нормы | А У = n max | ay J и евкли-
евклидовой нормы
а из них—оценки для чисел обусловленности
^ A2)
Для вычисления сс> нет хороших формул, удобных для теоре-
теоретических исследований, но для конкретной матрицы оно легко
может быть сосчитано, если известна обратная матрица. Наоборот,
для спектрального числа обусловленности есть хорошая общая
формула, но для конкретной матрицы общего вида вычислить
его сложнее.
Практическое использование чисел обусловленности для оценки
погрешности при решении конкретной системы затруднено тем, что
при решении системы обратная матрица не вычисляется, и число
обусловленности можно найти ценой сравнительно больших
усилий.
3. Почти вырожденные матрицы. Мы назвали матрицу почти
вырожденной, если малым изменением ее элементов она может быть
превращена в вырожденную матрицу. При этом класс почти вырож-
вырожденных матриц зависит от принятой меры малости элементов.
Пример на стр. 118 показывает, что малость детерминанта не яв-
является необходимым условием почти вырожденности. Не является
это условие и достаточным, как показывает пример матрицы-н- Е,
где Е — единичная матрица, скажем, двадцатого порядка. Ниже
мы покажем связь свойства матрицы быть почти вырожденной
с нормой ее обратной матрицы и числом обусловленности.
Рассмотрим матрицу А и запишем разложение ее детерминанта
по t'-й строке в виде

126 ГЛ. III. ВВЕДЕНИЕ Б ЧИСЛЕННЫЕ МЕТОДЫ
где N — сумма членов, не содержащих элемента а,ц. Тогда до-
добавка etj к элементу а,у, обращающая детерминант в нуль, должна
удовлетворять уравнению
или
(—l)' + 'Mjey = —det.4.
Если Ж/= 0, то очевидно, что det А не меняется при измене-
изменении ац. В противном случае мы находим
где через Ь;(- обозначен элемент обратной матрицы А.
Нас будет интересовать минимальное по модулю возмущение
элемента матрицы, обращающее в нуль детерминант. Для него
имеем
е = min [ Еу | = /'max | bji \Y1
Ч \ 1
[ у |
Ч \ Ч
Здесь минимум берется по тем I, /, для которых М) Ф 0.
Но максимум можно считать взятым по всем i, j, так как при
М\ = 0 и bjt = 0. Подставляя сюда max \bjt\ — — \ А~гУ из опре-
определения нормы S*lc получаем
Далее, пусть минимум достигается для строки и столбца с номе-
номерами k и / соответственно. Обозначим через Еы матрицу, имею-
имеющую единицу в позиции k, l и нули на остальных местах. Тогда
det (А + ъЕы) = 0 и норма добавки еЕц равна
1 ьЕи ||с = пг = •
Мы рассматривали здесь очень частный случай — изменение
только одного элемента матрицы. В общем случае детерминант
обратится в нуль и при меньших по норме добавках. Однако мы
можем утверждать следующее.
Предложение 3. Детерминант матрицы А может быть
обращен в нуль добавлением матрицы, норма которой не превос-
превосходит гр II Л Не1.
Заметим, что в оценку относительного изменения матрицы А
Входит число обусловленности:
1 vW"

§ 2. ОБУСЛОВЛЕННОСТЬ 127
В связи с предложением 3 следует вспомнить условие D), сог-
согласно которому добавка ЬА, удовлетворяющая условию II ЬА \\ ^
==S р II Л if, где р < 1, не может обратить в нуль детерминант А.
Таким образом, действительно необходимая для обращения
детерминанта в нуль добавка по норме равна а|| A'1 W?1, где 1 «get «g
eg п2. Это показывает, что число || A'1 W?1 можно использовать
в качестве меры близости матрицы к вырожденной.
Если || * II — норма в арифметическом пространстве, то, как было
показано в предложении 12 § 4 гл. I, функция
равна нулю на вырожденных матрицах и равна I! А-1 Ц-1 (при инду-
индуцированной норме) для невырожденной А. В частности, если норма
II * || евклидова, то
где ап — минимальное сингулярное число матрицы Л (формула A6)
§ 4 гл. I), и, следовательно, минимальное сингулярное число может
служить мерой близости матрицы к вырожденной. Основанием
для этого могут служить также следующие соображения. Теорема
1м § 1 гл. I показывает, что для матрицы А найдутся ортогональные
матрицы S и Р такие, что Л' = SAP — диагональная матрица с син-
сингулярными числами на главной диагонали. Матрица А' может быть
сделана вырожденной при помощи возмущения, по норме равного
минимальному сингулярному числу ап. Пусть det (А' + /") = 0.
Тогда
det (Л' + F') = det S det P det (Л - S^F'P-1) = 0,
и, следовательно, Л может быть сделана вырожденной добавлением
матрицы F — S"lF'P'i. Но умножение на ортогональную матрицу
не меняет спектральной нормы. Поэтому || F II = ап-
Мы видим, что матрица Л может быть обращена в вырожденную
добавлением возмущения, по норме равного ап. Соответствующее
относительное возмещение по норме равно
Отсюда мы получаем
Предложение 4. Матрица А может быть превращена
в вырожденную при относительном возмущении, по норре равном
[с (Л)], где с (А) — спектральное число обусловленности А.
Исследуем подробнее влияние возмущения на решение системы
линейных уравнений с почти вырожденной матрицей.
Квадратная матрица А может быть разложена по теореме 1и
§ 1 гл. I в произведение А — PDQ, в котором Р в Q — ортогональ-
ортогональные матрицы, a D — диагональная о сингулярными числами мат»

128 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ . '
рицы Л по диагонали. Рассмотрим возмущенную систему уравнений
и заменим в ней А указанным разложением. Тогда
{PDQ
откуда
где
Отметим, что в случае спектральной или евклидовой нормы || F \\ =
= II ЬА ||. Будем считать, что эта норма мала, во всяком случае
|| 6Л II-H Л II = II F 11-Ц Я Н< 1. Далее находим
Если пренебречь квадратами возмущений, используя у — D~xc, мы
получим
Ьу = — D^FD-1 + D-i&c.
Матрица LTiFD~i получается из F делением всех ее строк и столб-
столбцов на соответствующие сингулярные числа. При этом диагональ-
диагональные элементы делятся на квадраты сингулярных чисел. Последний
член получается делением компонент Ьс на соответствующие сингу-
сингулярные числа.
Если матрица А почти вырождена и плохо обусловлена, то нес-
несколько ее сингулярных чисел (во всяком случае, а„) малы, в то время
как другие (во всяком случае, at) не могут считаться малыми. Пос-
Последняя компонента Ьу имеет вид
п— 1
2fnjC/ I hrfin i ^?л_
aa а а'
Если предположить, что fif сравнимы по величине с ап, то член
fnnCn/an будет превосходить по модулю все остальные слагаемые,
а также остальные компоненты, в которые входит только слагаемое
f
Конечно, если окажутся малыми и некоторые другие сингуляр-
сингулярные числа матрицы Л, то полученный результат будет верен и для
соответствующих им компонент погрешности Ьу.
Мы полагали by = Qbx. Столбцы матрицы Q образуют второй
сингулярный базис матрицы Л, или, что то же, первый сингуляр-
сингулярный базис матрицы А'1 (предложение 14 § 1 гл. I). Поэтому прове-
проведенная выше довольно грубая оценка позволяет утверждать, что
справедливо

§ 2. ОБУСЛОВЛЕННОСТЬ 129
Предложение 5. Пусть сингулярные числа матрицы А
разделяются на две группы — близких к нулю и далеких от нуля.
Тогда для решения системы линейных уравнений с матрицей А
погрешность велика за счет ее компонент по тем векторам первого
сингулярного базиса матрицы А'1, которые соответствуют большим
сингулярным числам матрицы А'1.
Геометрическая иллюстрация этого предложения может быть
получена на примере, рассмотренном в § 1. Вектор первого сингу-
сингулярного базиса матрицы А~1, соответствующий большему сингуляр-
сингулярному числу, направлен вдоль большей оси построенного там эллипса.
Можно также дать следующее интуитивное пояснение этого ре-
результата.„Если невырожденная матрица А стремится к вырожденной
матрице А, то некоторые из ее сингулярных чисел стремятся к нулю.
Соответствующие им.векторы второго сингулярного базиса матрицы
А стремятся к векторам, на которые натянуто подпространство
решений однородной системы уравнений Ац = 0.
Вместе с тем, если д| — решение системы А% — Ь, то любой
столбец вида | -\-ц, где Ац = 0, является решением той же системы,
т. е. решение определено' с точностью до «погрешности», удовлетво-
удовлетворяющей однородной системе.
Рассмотрение почти вырожденных матриц закончим одним ча-
частным замечанием, полезным для дальнейшего изложения. Для
симметричной матрицы модули характеристических чисел являются
сингулярными числами. Поэтому, если ах и ап — наибольшее и наи-
наименьшее сингулярные числа матрицы А, то а\ и а% — наибольшее
и наименьшее сингулярные числа матрицы А7А. Это означает, что
для спектрального числа обусловленности
c(ATA) = \c(A)f. A3)
Кроме того, может случиться, что при небольшом, но заметном
и„ число а% имеет порядок, сравнимый с порядком погрешностей,
и потому матрица А1'А будет почти вырожденной, хотя А этим
свойством не обладает.
4. Обусловленность задачи о нахождении собственных векторов
и собственных значений. Рассмотрим линейное преобразование А,
заданное в некотором базисе матрицей А. Нас интересуют собствен-
собственные значения и собственные векторы этого преобразования, но нам
задана не матрица А, а возмущенная матрица А + ЬА. Существует
много результатов, имеющих отношение к оценке возмущения соб-
собственных векторов и собственных значений, вызванного возмуще-
возмущением ЬА. Мы изучим некоторые из них. Преобразование А будет
предполагаться преобразованием простой структуры.
В силу этого предположения, существует такая матрица S, что
D = S~iAS—диагональная матрица:
Тогда
5-1 (Л + 6А) S = D + S-18 AS.

130 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
Пусть Я* — возмущенное собственное значение, т. е. существует
такой столбец |* ф 0, что (Л + 6Л) |* = Я,*|*. Это означает,
что
где t]* = S~1!*, или
(?> - к*Е) ц* = — E-18AS) л*.
Мы имеем
и
где с (S) — спектральное число обусловленности матрицы 5. По-
Поэтому
Матрица S, конечно, определена с большим произволом. Рассмотрим
число
— нижнюю грань чисел обусловленности всевозможных матриц,
приводящих А к диагональному виду. Очевидно, что эта нижняя
грань существует и v (A) ^ 1. Теперь мы можем написать
min|^-A,*|<v'(/lI6/l]. A4)
Предложение 6. Возмущенное собственное значение X*
лежит хотя бы в одном из кругов комплексной плоскости с центрами
в точках Xt, имеющих радиуо v (А)Ь, где б — спектральная норма
возмущения матрицы.
Как и для локализационных кругов (§4, гл. II), можно показать,
что в круге, являющемся объединением т кругов A4), лежит ровно
т возмущенных собственных значений. При этом следует учитывать
кратности невозмущенных и возмущенных собственных значений.
Таким образом, обусловленность задачи нахождения собствен-
собственных значений до некоторой степени можно описать числом v (Л).
Столбцы матрицы S мы можем считать нормированными. При этом
большое число обусловленности будет означать, что столбцы 5
близки к линейно зависимым. Итак, большое число v (Л) показы-
показывает, что у А нет хорошего «в достаточной мере линейно незави-
независимого» базиса из собственных векторов.
Однако ограничиться одним числом обусловленности для за-
задачи о собственных значениях никак нельзя, поскольку положение
здесь сложнее, чем с решением систем линейных уравнений. Именно,

§ 2. ОБУСЛОВЛЕННОСТЬ 131
разные собственные значения могут быть в разной мере чувствитель-
чувствительны к возмущениям матрицы.
Пусть л: = || х1,..., хп || — базис из собственных векторов пре-
преобразования А. Будем считать, что векторы нормированы: || хг м = 1
(используем евклидову норму, предполагая пространство евклидо-
евклидовым). Нам известно из предложения 10 § 1 гл. I, что базис, биорто-
гональный базису х, состоит из собственных векторов преобразова-
преобразования А*, сопряженного А. Нормируем векторы этого биортогональ-
ного базиса и обозначим нормированные векторы у1 ,..., у„.
Пусть %t и т|; — координатные столбцы векторов xt и г/,- для
1=1, ..., п в ортонормированием базисе е. Тогда Л|,- = Xfa,
AT 'ki'4i, или, что то же самое, t\JA = Яд?" и, кроме того,
Рассмотрим собственный вектор х* и собственное значение А,*
преобразования с возмущенной матрицей. Координатный столбец
|* вектора х* удовлетворяет равенству
Пусть А., — ближайшее к X* собственное значение А (или одно из
ближайших, если они равноудалены от А,*). Обозначим А,* — Xt
через 6V Для преобразования простой структуры пространство
распадается в прямую сумму собственных подпространств. Это раз-
разложение определяет проекцию х* на собственное подпространство,
соответствующее А,,-. Обозначим проекцию через xit ах* — xt через
bxi. В случае необходимости, умножив х* на числовой множитель,
мы можем считать, что ||д;(- || = 1, и включить xt в базис. Запишем
A5) через возмущения:
(А + 6Л) (h + 5Ь) = (kt + 8К) (
где |,- и б|; — координатные столбцы xt и бх,. Упростим это со-
соотношение, пренебрегая произведениями возмущений. Мы получаем
- П6)
Умножив обе части этого равенства на строку r\J. Тогда
т)[ 641, W W" !
откуда
и

132 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
Таким образом, если |s; | не слишком мал, |6Я,- | сравним с || ЬА If,
а при малом | s,- | чувствительность собственного значения Я,- к
возмущениям матрицы оказывается значительной.
Умножая почленно равенство A6) на i\j при \фь, мы находим
Отсюда, если Я;- отлично от Я,-,
Произведения в левой части равенства только множителем s,- от-
отличаются от соответствующих компонент возмущения bxt по базису
хх, ..., лг„. Действительно, пусть
8xt = ai^i -f • • •
Тогда
Обозначим через У,- множество номеров /, при которых Яу- Ф Я/.
Тогда для всех / е /< имеем
Возмущение бх,- мы определили таким образом, что его компоненты
по векторам Xj равны нулю при / ^ J\. Поэтому
- 2 1я-=лк^.
а норма его не превосходит
\6А\ ^
Это показывает, что собственный вектор, соответствующий Яг,
более чувствителен к возмущениям матрицы, если Я,- близко к дру-
другим собственным значениям.
В выражение A7) входят множители s;-, соответствующие соб-
собственным значениям, отличным от Я;. Их малость может свидетель-
свидетельствовать о большой величине нормы бл;,-. Но может оказаться, что
вектор bxt мал по норме, а велики его отдельные компоненты по
базису xlt ..., хп, потому что базисные векторы близки к линейно за-
зависимым.
Коэффициент Sj равен косинусу угла, составленного векторами
r\j и |/. Для самосопряженных преобразований все Sj достигают
своего максимального значения 1. Величины | s]1 \ называются
коэффициентами перекоса преобразования А.
Рассмотрим связь коэффициентов перекоса и числа v (А). Зная
векторы Xi, мы можем построить матрицу S, приводящую А к диа-

§ 2. ОБУСЛОВЛЕННОСТЬ
133
тональному виду. Возьмем матрицу S со столбцами %t/V\si |.
Тогда строки ее обратной матрицы будут vfi!V\sj I- Для этой матри-
матрицы 5
Но
Поэтому
l/2
\s?
1/2
A8)
Если все собственные значения различны, то направления соб-
собственных векторов определены с точностью до замены на проти-
противоположное и коэффициенты перекоса тем самым определены од-
однозначно. Если же преобразование простой структуры имеет крат-
кратные собственные значения, то коэффициенты перекоса зависят от
выбранного базиса.
Рассмотрим, например, самосопряженное преобразование в
трехмерном пространстве, имеющее собственные значения 1, 2, 2.
Для ортонормированпого базиса из собственных векторов коэффи-
коэффициенты перекоса все имеют свое минимальное значение 1. Но если
мы повернем один из векторов, принадлежащих X = 2, на угол
я/3 в двумерном собственном подпространстве, то ему будет соот-
соответствовать коэффициент перекоса, равный 2.
Для того чтобы избежать влияния такой неоднозначности,
в случае кратных корней следует рассматривать нижние грани
коэффициентов перекоса по всевозможным выборам базиса. Конечно,
это существенно осложняет их применение.
При выводе формулы A8) мы исходили из произвольного базиса
из собственных векторов, и потому неравенство верно также для
нижних граней коэффициентов перекоса.
Следующий результат справедлив только для преобразований,
не имеющих кратных собственных значений. Именно, при любом i
W\^v{A). A9)
Действительно, если дана матрица 5 диагонализующая А, мы
можем выбрать базисы xlf ..., х„ и уи ..., у,„ положив
6' ~ II .<?,», II > Ч' = II _Т „-1 II >
где et — столбец единичной матрицы. Отсюда

134 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
Если коэффициенты перекоса определены однозначно и предыду-
предыдущее равенство справедливо для любой матрицы S, то из него сле-
следует доказываемое утверждение.
§ 3. Прямые методы решения систем линейных уравнений
В этом параграфе мы on-ишем основные прямые методы решения
систем линейных уравнений. Эти методы теоретически приводят
к точному решению системы, и потому называются также точными
методами, в отличие от итерационных методов, в принципе дающих
приближенное решение. Итерационные методы мы рассмотрим
в § 5.
Пусть дана система линейных уравнений вида
Ах = Ь, A)
где А — невырожденная квадратная матрица порядка п. Под
невырожденной здесь и далее понимается матрица, которая не яв-
является почти вырожденной в смысле, указанном в § 2. Никакого
специального строения матрицы А мы не предполагаем, так как
прямые методы, как правило, применяются для решения систем,
матрицы которых могут быть целиком записаны в оперативном за-
запоминающем устройстве. Мы будем говорить е первую очередь о ре-
решении систем линейных уравнений, но те же преобразования
матрицы могут быть применены и применяются для вычисления
детерминантов и обратных матриц. Об этом будут сделаны соот-
соответствующие замечания.
Методы вычислений оцениваются по трем важнейшим качествам:
а) числу выполняемых арифметических операций, определяющему
время счета, б) требованию к объему оперативной памяти и в) мак-
максимальной точности, достижимой при их помощи. Хотя сравнение
методов — сложное дело, результат сравнения зависит от разных
обстоятельств и часто носит условный характер, можно уверенно
выделить в качестве лучших две группы методов. Первая группа
может быть объединена под общим названием метода Гаусса, вторая
группа связана с умножением матрицы системы на ортогональные
преобразующие матрицы. Эти две группы методов и будут ниже
рассмотрены.
1. Метод Гаусса. Как известно, в широком смысле слова метод
Гаусса состоит в том, что элементарными преобразованиями строк
матрицы А она превращается в единичную матрицу. Если преобра-
преобразования производить над расширенной матрицей (включающей
и столбец свободных членов), то последний столбец превратится
в решение системы.
Можно многими способами выбирать последовательность эле-
элементарных преобразований, превращающую данную матрицу в еди-
единичную. Это порождает целый ряд алгоритмов, осуществляющих

§ 3. ПРЯМЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ
135
метод Гаусса. Рассмотрим один из них, называемый схемой единст-
единственного деления.
Применение этой схемы состоит в выполнении ряда последова-
последовательных шагов, в результате которых исходная матрица Л = Л(о)
преобразуется в матрицы ЛA), ЛB), ... Мы начнем с простейшего
случая, в котором отличны от нуля все главные миноры матри-
матрицы Л, т. е. миноры вида
аи ... alk
det
aki
akk
k=l,
п.
Отличие от нуля главных миноров позволяет не включать в число
производимых элементарных операций перестановки строк и столб-
столбцов.
Первый шаг схемы единственного деления преобразует матрицу
А в матрицу А{1), у которой первый столбец равен первому столб-
столбцу единичной матрицы порядка п. По предположению минор первого
порядка, равный элементу ап, отличен от нуля, и, разделив первую
строку А на ап (единственное деление), превратим А в матрицу А',
у которой alt = 1 и a'k\ = akl для всех k :э= 2. Затем при k = 2,..., п
в матрице А' вычтем из k-й строки первую строку, умноженную
на aftl. В результате мы получим матрицу нужного вида
¦42
Ml)
2
«2*
Заметим, что при описанных преобразованиях мы прибавляем
строку к нижележащим строкам, и потому главные миноры матрицы
не могут обратиться в нуль. Итак, главные миноры матрицы ЛA)
отличны от нуля. Отсюда следует, что отличен от нуля элемент а&
этой матрицы, так как ее главный минор второго порядка равен a'^.
Второй шаг схемы единственного деления состоит в применении
преобразований первого шага к той подматрице матрицы ЛA),
которая расположена в строках и столбцах с номерами 2, ..., п.
Это переведет матрицу ЛA) в матрицу
О 1 ... aft
О 0 ... а<п
у которой первые два столбца имеют на главной диагонали единицы,
а ниже диагонали — нули.
При проделанных преобразованиях снова вышележащая строка
прибавлялась к нижележащим, и потому главные миноры матрицы
ЛB) не равны нулю. В частности, отличен от нуля элемент аШ,
равный главному минору третьего порядка матрицы Л'2).

136 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
На третьем шагу преобразуется подматрица матрицы Л'2',
расположенная в строках и столбцах с номерами 3, ..., п. И так
далее. На k-ш шагу преобразования первого шага применяются
к подматрице матрицы A tfe), расположенной в последних п — k + 1
строках и столбцах. В полученной матрице Aw отличен от нуля
элемент «<?>_, k+1, так как его обращение в нуль означало бы, что
удалось обратить в нуль главный минор порядка k + 1 матрицы А
за счет элементарных преобразований со строками этого минора.
После (п— 1)-го шага мы получим матрицу Л*"*, у которой
на главной диагонали все элементы равны 1, кроме а^"'- a элемен-
элементы, расположенные ниже главной диагонали, равны нулю.
Матрицы, у которых элементы, стоящие ниже диагонали, равны
нулю, называются верхними треугольными матрицами (ср. стр. 33).
Разделив последнюю строку матрицы Л^' на а^п~1\ мы получим
верхнюю треугольную матрицу Л(л) = U g единицами на главной
диагонали.
Описанный выше процесс превращения матрицы А элементар-
элементарными преобразованиями в верхнюю треугольную матрицу U носит
название прямого исключения или метода Гаусса в узком смысле
слова.
Если все элементарные операции со строками проделывались
над расширенной матрицей (т. е. матрицей Л, дополненной столб-
столбцом свободных членов), то в результате будет получена система ли-
линейных уравнений с треугольной матрицей
эквивалентная ') системе A). Она легко может быть решена. Действи-
Действительно, последнее уравнение системы имеет вид х„ = Ь'п. Кроме
того, каково бы ни было k, если определены хп хк, то из (k + 1)-го
уравнения
л
xk-i = b'k _ i — _? Uk-ijXf. B)
Применяя эту формулу последовательно для k = n, ..., 2, мы най-
найдем все компоненты решения, не прибегая к делению.
Описанный способ решения системы с треугольной матрицей
носит название обратной подстановки.
Вместо того чтобы делать обратную подстановку, можно превра-
превратить U в единичную матрицу при помощи элементарных преобра-
преобразований со строками, аналогичных тем, которые превращают Л в
U. Именно, n-ю строку, умноженную на подходящие множители,
мы вычтем из всех строк, расположенных выше нее, и тем самым
обратим в нуль все элементы «-го столбца, стоящие выше диагонали.
Затем, используя (п — 1)-ю строку, обращаем в нуль элементы
См. К., предложение 2 § 4 гл. V.

§ 3. ПРЯМЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ 137
(п — 1)-го столбца, расположенные выше диагонали, и т. д. Этот
процесс преобразования называется обратным ходом метода Гаусса.
Если все операции со строками проделывались над расширен-
расширенной матрицей, то в результате прямого и обратного хода метода
Гаусса система заменится на эквивалентную систему с единичной
матрицей, т. е. будет решена.
Отметим, что обратный ход метода Гаусса требует большего
числа арифметических операций, чем решение системы с треуголь-
треугольной матрицей по формулам B).
Ниже, в п. 3, мы вернемся к схеме единственного деления и
опишем, как освободиться от ограничительного предположения об
отличии от нуля всех главных миноров матрицы. Сейчас же мы
вкратце рассмотрим так называемый метод оптимального исклю-
исключения как пример того, насколько могут измениться характеристики
алгоритма при изменении порядка выполнения операций. Подроб-
Подробнее он описан в книге Воеводина [7].
Начинается процесс оптимального исключения, как и схема
единственного деления, с того, что все элементы первой строки
делятся на aL1. (Мы по-прежнему предполагаем все главные миноры
матрицы отличными от нуля.) Новая первая строка умножается
на а22 и вычитается из второй. Однако после этого не преобразуют
третью строку, а с помощью второй строки обращают в нуль первый
элемент второго столбца и только тогда переходят к третьей строке.
В третьей строке с помощью двух первых обращают в нуль два
первых элемента, а с помощью третьей строки обращают в нуль пер-
первые два элемента третьего столбца. Вообще, пусть после k шагов
первые k строк преобразованы так, что содержащиеся в них части
первых k столбцов совпадают со столбцами единичной матрицы по-
порядка k. На (k-\- 1)-м шагу к (k-\- 1)-й строке добавляются строки
1, ..., k с такими множителями, чтобы обратить в нуль ее первые k
элементов. Далее (k-\- 1)-я строка делится на ее (k + 1)-й элемент
и после умножения на соответствующие элементы вычитается из
вышележащих строк с тем, чтобы обратить в нуль первые k элемен-
элементов (&-j-l)-ro столбца.
Таким образом, в методе оптимального исключения попере-
попеременно выполняются операции прямого и обратного хода метода Гаус-
Гаусса. Это позволяет не вводить в оперативное запоминающее устройство
(k-\-\)-}o строку до тех пор, пока не преобразованы предыдущие
строки.
После преобразования k строк количество подлежащих запоми-
запоминанию элементов в этих строках уменьшается на № и становится
равным nk — k2. Максимальное значение этого выражения при
четном п достигается при k = nil и равно п2/4. При нечетном п
результат будет близким к этому. Итак, решение системы при помощи
метода оптимального исключения требует примерно вчетверо мень-
меньшего объема оперативной памяти, чем применение схемы един4
ственного деления.

138 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
Отметим еще один возможный порядок выполнения элементар-
элементарных операций, при котором все столбцы матрицы А последовательно
превращаются в столбцы единичной матрицы. Это — так называе-
называемый метод Жордана. Он не имеет никаких преимуществ перед схе-
схемой единственного деления.
2. ^(/-разложение. Известно, что выполнение какой-либо элемен-
элементарной операции со строками матрицы А равносильно умножению А
слева на некоторую невырожденную матрицу, а последовательное
выполнение ряда таких операций — умножению на матрицу 5, рав-
равную произведению соответствующих матриц. Чтобы найти матрицу
S, достаточно проделать последовательно все элементарные операции
над единичной матрицей. (Действительно, результатом будет мат-
матрица SE, т. е. S.) Превращая матрицу А в верхнюю треугольную
матрицу U, мы проделывали определенную последовательность
элементарных операций. Легко видеть, что эта последовательность
операций переведет Е в нижнюю треугольную матрицу 5. Действи-
Действительно, кроме умножения строк на числа, употребляется только
прибавление строки к нижележащей строке. При этом все элементы
преобразуемой единичной матрицы, расположенные выше диагонали,
останутся равными нулю. Итак, справедливо
Предложение 1. Для любой матрицы А с ненулевыми
главными минорами найдется такая невырожденная нижняя треу-
треугольная матрица S, что SA есть верхняя треугольная матрица
U с единицами на главной диагонали.
Докажем далее
Предложение 2. Матрица L, обратная к нижней треу-
треугольной матрице S из предложения 1, сама является нижней треу-
треугольной и имеет вид
L =
an
0 .
л'11
2
„A)
ап2 •
0
0
¦ «й-
•• ank
¦
1)
1)
• .
и
0
0
-
1)
где а^ — ^ — элементы матрицы Л(й 1), получаемой по схеме единст-
единственного деления на (k — \)-м шагу.
Для доказательства посмотрим на элементарные преобразова-
преобразования в схеме единственного деления как на результат умножения
на матрицу. Обозначим через S(k) такую матрицу, что
На &-м шагу k-я строка матрицы Л(*"г) делится на а(Д-1) и из всех
строк с номерами т = k -\- I, ..., п вычитается полученная строка,
умноженная на я^1'. Матрица S{k) получается из единичной теми
же элементарными преобразованиями и, следовательно, отличается

§ 3 ПРЯМЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ
139
от нее только элементами k-то столбца, лежащими не выше диаго-
диагонали:
1 ... О ... О
о
4*»
О
s<*>
Здесь sj.*> = (а^-")-1 и s^> = —я<?-ч
Нам нужно доказать, что
при m>k.
Рассмотрим произведение S[1)L. Первый столбец L совпадает с
первым столбцом А, а умножение слева на 5A) превращает пер-
первый столбец А в первый столбец ех единичной матрицы. По-
Поэтому в матрице S{1]L первый столбец совпадает с ег. Остальные
столбцы матрицы S{1)L те же, что и в матрице L. Действитель-
Действительно, умножение на 5A) равносильно прибавлению первой строки,
умноженной на некоторые множители, к нижележащим строкам,
а элементы первой строки L, начиная со второго, равны нулю.
Далее, умножение слева на 512' равносильно прибавлению
второй строки, умноженной на некоторые множители, к нижеле-
нижележащим строкам. В матрице SWL все элементы второй строки,
кроме а'ю, равны нулю. Поэтому S{2)SA)L отличается от SWL
только вторым столбцом. Расположенные не выше диагонали эле-
элементы второго столбца матрицы SWL совпадают с теми же элемен-
элементами матрицы ЛA). Значит, умножение на 5|2) превратит второй
столбец матрицы SA)L во второй столбец единичной матрицы.
Продолжая рассуждать таким же образом относительно всех
остальных матриц S{i), мы придем к доказываемому утверждению.
Очень существенно, что элементы k-то столбца матрицы L яв-
являются элементами матрицы Л(*+1). Если матрица А не должна
сохраняться или сохраняется во внешнем запоминающем устрой-
устройстве, то после каждого элементарного преобразования мы можем
записать элементы полученной матрицы на месте соответствующих
элементов матрицы, подвергнутой преобразованию. При этом эле-
элементы матрицы L могут быть записаны на тех местах, на которых
в преобразованной матрице заведомо стоят нули (ниже диагонали)
или единицы (на диагонали). После всех преобразований на местах
выше диагонали будут размещены элементы матрицы U, не являю-
являющиеся заведомо нулями или единицами, а на остальных местах —
элементы матрицы L.
Определение. Разложение матрицы А в произведение
LU невырожденной нижней треугольной матрицы L и верхней
треугольной матрицы U с единицами на главной диагонали назы-
называется LU-разложением 1) матрицы А.
г) По начальным буквам английских слов «upper» и «lower» (означающих
соответственно «верхняя» и «нижняя»).

140 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
Из предложений 1 и 2 следует
Теорема 1. LU-разложение матрицы А существует, если
все ее главные миноры (включая и детерминант) отличны от нуля.
Мы получим L(/-разложение, указав алгоритм -для его вычис-
вычисления. Но при этом остались незатронутыми два обстоятельства,
которые выясняются следующим предложением, содержащим также
и другое доказательство существования разложения.
Предложение 3. Отличие от нуля главных миноров
матрицы А необходимо (и достаточно) для существования ее LU-
разложения. Если LU-разложение существует, то оно единственно.
Доказательство. Пусть 5 = L'1 и U = SA. Обозначим
через ?//,, Sk и Ак подматрицы матриц U, S и А, расположенные
в строках и столбцах с номерами 1, ..., k. Элементы LJk суть произ-
произведения строк S на столбцы А, причем номера строк и столбцов
не превосходят к. Но так как S — нижняя треугольная, произве-
произведения эти те же, что произведения строк SA на столбцы Ак. Отсюда
мы имеем Uk = SkAk.
Поскольку det Uk ф 0, мы имеем также det Ak Ф 0 и, таким
образом, отличие от нуля главных миноров А необходимо для
существования ее L (/-разложения.
Как известно, последняя строка произведения есть линейная
комбинация строк второго сомножителя с коэффициентами, рав-
равными элементам последней строки первого сомножителя. Послед-
Последняя строка Uk есть последняя строка единичной матрицы и тем са-
самым однозначно определена. Строки Ак линейно независимы, и
потому каждая строка длины к раскладывается по ним единствен-
единственным образом. Следовательно, k-я строка Sk однозначно опреде-
определена.
Но k-я строка S получается из k-u строки Sk дописыванием
п — k нулей. Поскольку k произвольно, отсюда следует, что матрица
¦S однозначно определена. Далее, L определяется однозначно как
S'K a U - как SА.
3 а м е ч.а н и е. Подчеркнем, что единственным является раз-
разложение на такие треугольные множители, что у второго из них
на главной диагонали стоят единицы. Вообще же существует много
треугольных разложений, в частности такое, в котором единицы
на главной диагонали у первого сомножителя.
Матрицу L можно представить как произведение матрицы
Llt имеющей единицы на главной диагонали, и диагональной матри-
матрицы D. Мы получим тогда
Предложение 4. Матрацу А, главные миноры которой
не равны нулю, можно единственным образом разложить в произ-
произведение LiDU, в котором D — диагональная, a Lx и U — нижняя
и верхняя треугольные матрицы с единицами на главной диагонали.
Единственность указанного разложения вытекает из единствен-
единственности L(/-разложения, поскольку представление L = LXD также,
очевидно, единственно.

§ 3. ПРЯМЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ 141
, Рассмотрим LDtZ-разложение, полученное в предложении 4,
в частном случае симметричной матрицы А. Тогда А — Ат —
= UTDLT, причем UT — нижняя, a LT — верхняя треугольные
матрицы с единицами на главной диагонали. В силу единственности
разложения имеем L = UT и
C)
Интерпретируя матрицу А как матрицу квадратичной формы,
мы можем смотреть на равенство C) как на переход к такому ба-
базису, в котором квадратичная форма имеет диагональную матрицу D.
В частности, если все главные миноры матрицы А положитель-
положительны, то квадратичная форма положительно определена и все диаго-
диагональные элементы матрицы D положительны. Если D = diag (d\,...
..., dn), где все dt > 0, то мы можем ввести матрицу D1'2 =
= diag("K<ii, ..., I^dn) и матрицу V = D1/2U. Тогда мы получаем
A^VTV. D)
Существует эффективный алгоритм, позволяющий непосредст-
непосредственно получить разложение D) для положительно определенной
матрицы А. Он будет изложен в п. 5.
Заметим, что разложение D) не является неожиданным. По-
Положительно определенную матрицу можно рассматривать как матри-
матрицу Грама некоторого базиса е при подходящим образом определен-
определенном скалярном произведении. Тогда формула D) может рассматри-
рассматриваться как связь матриц Грама двух базисов — базиса е и
некоторого базиса, ортонормированного по отношению к рассматри-
рассматриваемому скалярному произведению, причем матрица перехода яв-
является верхней треугольной. Треугольной является и ее обратная —
матрица обратного перехода от е к ортонормированному базису.
Построение матрицы перехода от произвольного базиса к ортонор-
ортонормированному дается процессом ортогонализации Грама — Шмидта.
Нетрудно проверить, что этот процесс приводит к такому ортонор-
ортонормированному базису, k-й вектор которого есть линейная комбинация
векторов еи ..., ek базиса е. Таким образом, процесс ортогонали-
ортогонализации Грама — Шмидта приводит как раз к верхней треугольной
матрице перехода, которая будет обратной для матрицы V из разло-
разложения D):
Вернемся к основной теме этого пункта, для того чтобы подчерк-
подчеркнуть важность полученного результата. L(/-разложение играет суще-
существенную роль в численных методах решения систем линейных урав-
уравнений, вычисления детерминантов и обращения матриц. Действи-
Действительно, большую чать трудностей в решении указанных задач
можно перенести на нахождение L(/-разложения. Если матрица
системы линейных уравнений представлена как произведение LU,
то решение системы сводится к последовательному решению двух
систем с треугольными матрицами. Именно, Ах == Ь равносиль-
равносильно Ly = Ь и Ux = у.

142 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
Далее, заметив, что det А — det L det U и det U = 1, мы
можем подсчитать det Л как произведение диагональных элементов
матрицы L.
Точно так же Л — LU равносильно А'1 = и~1Ь~{, и поскольку
треугольные матрицы легко могут быть обращены, вычисление
Л не представляет труда.
Немаловажным достоинством /.(/-разложения является тот
факт, что оно занимает в оперативной памяти вычислительной ма-
машины столько же места, сколько занимала исходная матрица.
3. Выбор главного элемента. Рассмотрим теперь невырожденную
матрицу Л, не накладывая никаких ограничений на ее главные
миноры. Уже условие ап Ф 0 может быть невыполненным. В этом
случае для превращения первого столбца матрицы А в столбец
единичной матрицы недостаточно ограниченного набора элемен-
элементарных операций, примененных в описанной выше схеме единствен-
единственного деления. Однако если к этим операциям добавить перестановки
строк (или столбцов), то условие отличия от нуля главных миноров
в теореме 1 может быть снято.
В самом деле, имеет место
Предложениеб. Невырожденную матрицу А порядка п
перестановкой только строк (или только столбцов) можно пере-
перевести в матрицу, главные миноры которой отличны от нуля.
В первых п — 1 столбцах матрицы А обязательно есть минор,
отличный от нуля, так как иначе столбцы были бы линейно зави-
зависимы и det Л был бы равен нулю. Переставим строки так, чтобы
этот минор оказался главным минором порядка п — 1. Пусть
А' — матрица, полученная в результате проделанной перестановки.
Очевидно, что в А' мы можем переставлять строки с номерами
1, ..., п — 1, не обращая в нуль ее главный минор порядка п — 1.
Воспользуемся этим, для того чтобы переставить на главную диа-
диагональ отличный от нуля минор порядка п — 2, расположенный
где-то в первых п — 1 строках и в первых п — 2 столбцах. Такой
минор обязательно существует, так как иначе главный минор по-
порядка п — 1 в матрице А' равнялся бы нулю.
Действуя дальше подобным образом по отношению к минорам
убывающих порядков, мы докажем утверждение для перестановок
строк. Для перестановок столбцов доказательство аналогично.
Перестановка строк в матрице равносильна умножению этой
матрицы слева на матрицу Р, получаемую из единичной матрицы
Е той же перестановкой строк. Точно так же перестановка столбцов
равносильна умножению справа на матрицу Q, получаемую из
Е этой перестановкой столбцов. Такие матрицы, как Р и Q назы-
называются матрицами перестановок. '
Матрица, обратная к матрице перестановки, является матрицей
обратной перестановки, возвращающей строки на их прежние ме-
места. Поскольку матрица перестановки ортогональна, для нее Р'1 =
РТ

§ 3. ПРЯМЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ 143
Записывая указанные в предложении 5 перестановки как умно-
умножение на матрицу, в силу полученных ранее результатов об LU~
разложении мы приходим к следующей теореме.
Теорема 2. Для произвольной невырожденной матрицы А
существуют следующие разложения:
A = PLU, A = L'U'Q,
A = PMDV, A^M'D'VQ,
в которых Р и Q — матрицы перестановок, U, U', V и V — верх-
верхние треугольные матрицы с единицами на главной диагонали, L,
V, М и М' — нижние треугольные матрицы, причем М и М'
имеют единицы на диагонали, a D и D' — диагональные матрицы.
Для применений этого результата нужно указать алгоритм, по-
позволяющий построить матрицы перестановок, или, что то же самое,
указать перестановку строк или столбцов, делающую главные ми-
миноры отличными от нуля. Вместо такого алгоритма, как правило,
применяется схема единственного деления в измененном виде. Эта
измененная схема приводит к последовательности преобразующих
матриц, в которой чередуются треугольные матрицы и матрицы
перестановок. Изменения вносятся следующие.
Если окажется, что в начале первого шага элемент ап равен
нулю, мы переставим строки так, чтобы в левый верхний угол попал
ненулевой элемент. Хоть один такой элемент обязательно найдется
в первом столбце, так как det А Ф 0. Выбранный нами для этой
цели ненулевой элемент мы назовем главным (или ведущим) элемен-
элементом первого шага.
Точно так же, если на втором шагу а\Ц = 0, то второй столбец
матрицы ЛA) содержит ненулевой элемент ниже диагонали (иначе
первые два столбца были бы линейно зависимыми). Переставляя
строки, мы можем поместить этот элемент на место а\Ц. Он будет
называться главным элементом второго шага. Аналогично опреде-
определяется главный элемент и для любого шага.
Здесь описан выбор главного элемента по столбцу. Если пере-
перестановки строк заменить перестановками столбцов, то на k-u шагу
главный элемент будет выбираться среди элементов k-й строки
матрицы А (*'1). Выбор главного элемента по всей матрице означает
возможность переставить на место й^аГ'1 любой элемент af~l) при
i > k, j > k. Заметим, что выбор главного элемента по строке при-
приводит ко второму разложению в теореме 2.
Теоретически в качестве главного элемента может быть взят
любой ненулевой элемент. Однако с практической точки зрения
дело обстоит не так просто. Как мы видели в § 1, даже результат
проверки, равен ли элемент нулю, может зависеть от представления
чисел в машине. Выбор главного элемента оказывает существенное
влияние на ошибки округления. Поэтому, даже если мы устано-
установили, что, например, в исходной матрице ац не равно нулю, это

144
ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
еще не означает, что его разумно выбрать в качестве ведущего
элемента. Для примера рассмотрим систему
10-** + */= 1,
и допустим, что арифметические операции производятся с округле-
округлением результата до трех значащих цифр в системе с плавающей за-
запятой. Вычисленное без округления решение системы есть
х = A - Ю-4)-1 = 1 + Ю-4-f Ю-8-I-...,
г/==2~д;=1-10~4-10-8-...
Ппиняв 1(Г4 за главный элемент, мы должны будем преобразовать
расширенную матрицу системы следующим образом:
I] 10-4
1
Ч
2|Г
jl
1С*
1
10"i
2
—1С4
.ii1
IP
Заметим, что число 2 после прибавления к нему 104 и округления
исчезло, и если бы в исходной системе там стояло 3, а не 2, ре-
результат был бы тем же. Найденное решение есть х = 0,- у = 1.
Это далеко от истинного решения.
Если же, переставив строки, мы выберем в качестве главного
элемента 1, то преобразование расширенной матрицы будет таким:
ю-*
1
1 1
ю-* l
ii!
Это даст вычисленное решение х = 1, у = 1, совпадающее с ок-
округленным истинным решением, т. е. настолько точное, насколько
это вообще возможно.
В первом варианте решения мы видели, что потеря точности
связана с тем, что приходится складывать числа, порядки которых
отличаются больше чем на длину мантиссы. При этом меньшее
число пропадает.-Даже при меньшей разности порядков пропадает
часть значащих цифр меньшего слагаемого. Поэтому для уменьше-
уменьшения ошибок округления нужно стараться складывать числа воз-
возможно более близких порядков.
Обычная рекомендация состоит в том, чтобы в качестве глав-
главного выбирать наибольший по модулю элемент преобразуемой части
матрицы или, что проще, но несколько хуже, наибольший по моду-
модулю элемент очередной строки или столбца. В следующем пункте
мы вернемся к этому вопросу, а сейчас заметим только, что, умно-
умножив в разобранном выше примере первое уравнение на 105, мы
получим систему
10х+105г/=105,
х j j, = 2,
Максимальный элемент первого столбца равен 10, но, выбрав глав-
главным его, мы получим то же неудовлетворительное решение.

§ 3 ПРЯМЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ 145
В некоторых случаях увеличение точности решения — не един-
единственное соображение, которое нужно принимать во внимание, вы-
выбирая главный элемент. Если метод Гаусса применяется к разрежен-
разреженной матрице (см. стр. 120), то с каждой элементарной операцией
заполненность матрицы ненулевыми элементами, вообще говоря,
будет возрастать. Поэтому может оказаться, что какую-нибудь
очередную пробразованную матрицу мы будем не в состоянии за-
записать в доступной нам области памяти. В этом случае мы не по-
получим точного решения — мы вообще не получим никакого реше-
решения. Однако заполненность матрицы будет расти различным обра-
образом в зависимости от выбора главного элемента. Поэтому возможен
следующий подход.
Можно заранее прикинуть, как будет меняться заполненность мат-
матрицы при различных последовательностях выбора главных элемен-
элементов, и остановиться на такой последовательности, которая даст мини-
минимальное (или допустимое) значение заполненности. Этот метод описан
в упоминавшейся уже книге Тьюарсона [32]. Несомненно, предла-
предлагаемый способ весьма трудоемок, но следует иметь в виду, что
часто возникает необходимость в решении многих систем линейных
уравнений с одной и той же матрицей коэффициентов (отличающих-
(отличающихся только свободными членами) или с матрицами коэффициентов,
имеющими одинаковые структуры заполненности. В этом случае
дополнительные затраты труда на выбор удачной последователь-
последовательности главных элементов могут оказаться оправданными.
4. Масштабирование. Выбор главного элемента тесно связан
с умножением уравнений (или, что то же самое, строк матрицы сис-
системы) на числовые множители. Такое преобразование эквивалентно
умножению на диагональную матрицу слева и называется масшта-
масштабированием строк. Умножение столбцов на числа {масштабирование
столбцов) равносильно умножению матрицы системы справа на диа-
диагональную матрицу и может интерпретироваться как переход к дру-
другим единицам измерения для неизвестных. Отсюда и происходит
название.
В качестве масштабирующих множителей удобно выбирать сте-
степени основания системы счисления (десяти — при десятичной си-
системе). При использовании арифметики с плавающей запятой такие
множители изменяют только порядки элементов, оставляя неиз-
неизменными мантиссы, и, таким образом, масштабирование не вводит
дополнительных ошибок округления.
Если выбор главного элемента определяется каким-либо пра-
правилом, связанным с величиной элементов матрицы, то масштабиро-
масштабирование, естественно, влияет на выбор главного элемента. Например,
если в качестве главного выбирается наибольший по модулю эле-
элемент матрицы, то подходящим масштабированием можно сделать
главным любой наперед заданный ненулевой элемент. Действитель-
Действительно, масштабированием строк можно сделать каждый ненулевой эле-
элемент выбранной строки с номером i0 большим по модулю, чем лю-

146 гл. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
бой элемент какой-либо другой строки. Далее, масштабированием
столбцов можно сделать максимальным по модулю в строке с но-
номером г0 назначенный заранее элемент с номером /0, причем
этот элемент останется большим остальных элементов /0-го
столбца.
Те же соображения могут быть применены и к выбору главного
элемента по строке или по столбцу.
Если же выбор главного элемента определяется правилом, не
зависящим от величины элементов матрицы, например позиции
элементов, выбираемых в качестве главных, определены заранее,
то масштабирование не влияет на решение. Точнее, имеет место сле-
следующий результат.
Предположим для определенности, что используется десятич-
десятичная арифметика с плавающей запятой, и рассмотрим две системы
линейных уравнений, матрицы которых А я А' отличаются масшта-
масштабированием по строкам и столбцам целыми степенями десяти, т. е.
их элементы связаны соотношениями
a't,= 10p' + ''/aiJ, i, /=1 п,
а свободные члены обеих систем удовлетворяют условиям
b't=\Opibt, 1=1, .... п.
Тогда имеет место следующее
Предложение 6. Пусть обе системы решаются по схеме
единственного деления, причем для обеих систем на каждом шагу
берутся в качестве главных элементы, занимающие в матрицах
одинаковые позиции. Тогда вычисленные решения обеих систем свя-
связаны равенством
x-^IO-'/Xj, /=1 п, E)
а мантиссы х] и Xj совпадают, если при решении одной из систем
не появится машинный нуль или не возникнет переполнения.
(Говорят, что решение второй системы получается демасштаби-
рованием из решения первой.)
Доказательство. Заметим вначале, что мантиссы соот-
соответствующих элементов рассматриваемых систем совпадают, а ок-
округление затрагивает мантиссу, а не порядок, который может
повлиять лишь на возникновение переполнения или появление
машинного нуля.
Проверим, что применение к обеим матрицам одной и той же
элементарной операции схемы единственного деления даст такие же
системы, отличающиеся масштабированием. Для простоты записи
будем считать, что речь идет о первом шаге прямого хода схемы
единственного деления.
Пусть в качестве главного выбран элемент из k-й строки и 1-го
столбца. В матрице А из t-й строки вычитается k-я, умноженная на

S 3. ПРЯМЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ 147
ви/оы- Тогда /-й элемент полученной строки равен
„A) „ аИ „
ац =av — — ak/.
В матрице А' аналогичное преобразование дает
Для элементов k-й строки преобразованной матрицы А' имеем
= \0~Qi+qia'ki.
В частности, a'k,v = a'kli = l при / = /. В столбце свободных чле-
членов Ь' из /-го элемента вычитается k-й, умноженный на а'ц1а'ы:
Кроме того, k-й элемент столбца свободных членов должен быть
разделен на а'к1:
Таким образом, в результате преобразования получились две
системы, связанные между собой так же, как и исходные системы,
и масштабирующие множители не изменились, за исключением мно-
множителя ведущей k-й строки, заменившегося на КГ*' благодаря
делению на а'ы. После окончания прямого и обратного хода мы
получаем системы с единичными матрицами (считая, что переста-
перестановки выполнены). При прямом и при обратном ходе каждая стро-
строка была ведущей ровно по одному разу, но при обратном ходе де-
деление не производилось. Поэтому масштабирующий множитель
строки, содержащей единицу на 1-й месте, равен 10"""'. Это приводит
нас к выражению E). Предложение доказано.
Приведенные рассуждения показывают, что, договорившись,
скажем, выбирать в качестве главного максимальный элемент столб-
столбца, мы не фиксируем для данной системы набор главных элементов,
а устанавливаем связь между масштабированиями и наборами глав-
главных элементов. При таком правиле выбора главных элементов нель-
нельзя закрывать глаза на масштабирование: не вводя масштабирующих
множителей, мы оставляем масштабирование таким, каким оно
было, — возможно, не лучшим.
Наилучшим масштабированием, по-видимому, следует считать
такое, при котором число обусловленности матрицы будет минн-
мальным. Однако не известны эффективные алгоритмы для выбора

148 ГЛ. Ш. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
такого масштабирования. Вместо этого применяется следующий под-
подход.
Пусть в пространстве столбцов высоты п выбрана некоторая
норма ]| * Ц. Матрица порядка п называется равновесной по столб-
столбцам (или строкам) относительно выбранной нормы, если для каж-
каждого ее столбца (строки) выполнено условие
О, l=s=f^!l=s=l
(для десятичной системы счисления). Матрица называется равно-
равновесной, если она равновесна и по строкам и по столбцам.
Перед решением системы линейных уравнений ее матрицу мож-
можно масштабировать так, чтобы она стала равновесной. Недостаток
такого подхода состоит в том, что при этом можно получить много
равновесных матриц, сильно отличающихся обусловленностью.
5. Вычисления с двойной точностью и компактная схема. На
ряде ЭВМ имеется техническая возможность, нашедшая отражение
в принятых на них языках программирования (Фортран IV, ПЛ/1)
проделывать любые вычисления с удвоенным числом разрядов.
Конечно, это сильно повышает точность результата, но мы не будем
останавливаться на обсуждении этой возможности, так как мы нигде
не фиксировали число значащих цифр t, и его удвоение не вносит
в наши рассуждения ничего нового. Однако анализ ошибок округ-
округления показывает, что не все вычисления, проделываемые по ка-
какому-нибудь алгоритму, одинаково влияют на точность результата.
Часто точность всего вычислительного процесса может быть су-
существенно повышена за счет увеличения точности только некоторой
его части.
Для широкого класса вычислительных средств имеется воз-
возможность сравнительно просто и без существенных дополнительных
затрат времени получать с повышенной точностью выражения вида
2 а*рА, т. е. произведения строк на столбцы. Это называется вы-
вычислением скалярного произведения в режиме накопления. Подробнее
речь идет о следующем.
Пусть мы должны перемножить два числа в системе с плавающей
'запятой. Для этого следует сложить их порядки и перемножить
мантиссы. Если мантиссы являются ^-разрядными десятичными
дробями, то их точное произведение имеет 2t разрядов. Произведе-
Произведение мантисс больше чем 0,01, но может оказаться меньше чем 0,1.
В последнем случае его нужно умножить на 10 и вычесть 1 из по-
порядка. После этого произведение мантисс округляется до t разрядов.
Полученное число будет мантиссой произведения, а отброшенные
разряды определяют ошибку округления при умножении.
Однако если нам нужно получить сумму произведений, мы мо-
можем не производить округления, а по мере получения произведе-
произведений прибавлять их к сумме ранее полученных, рассматривая их как
числа с 2t значащими цифрами с плавающей запятой. При этом
округление до t значащих цифр производится только после при-

§ 3 ПРЯМЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ
149
бавления последнего произведения. Вычисленная таким образом
сумма произведений отличается от истинной на величину, немногим
превосходящую единичную ошибку округления, если только при
сложении не произойдет существенной потери значащих цифр из-за
большой разности порядков слагаемых. Доказательство этого фак-
факта можно найти в книге Форсайта и Молера [37].
Вычисление суммы произведений входит, практическим, во все
алгоритмы решения задач линейной алгебры, и возможность вы-
вычислять такие суммы с меньшими ошибками округления весьма
существенна. Обратим, например, внимание на то, что по формуле
B) система линейных уравнений с треугольной матрицей может
быть решена при помощи вычисления суммы произведений. Таким
образом, если используется режим накопления, решение такой
системы содержит ошибки округления, сравнимые с ошибкой ок-
округления при одном умножении.
Возможность вычислять сумму произведений в режиме накоп-
накопления вызвала создание ряда алгоритмов, которые позволяют лучше
использовать эту возможность. Рассмотрим алгоритм получения
LtZ-разложения, носящий название компактной схемы метода
Гаусса.
Матричное равенство А = LU равносильно пг числовым ра-
равенствам
Поскольку L и U — треугольные матрицы, мы имеем /,7, = 0 при
k > i и ukJ = О при k > /. Поэтому
г
a-ij = 2 tikUk,; (б)
где г = min (/, /). Эти п2 равенств могут быть разделены на группы
по значениям г. Так, для г — 1 имеем или j ~> i = 1, или i ^ j = 1,
и группа состоит из уравнений
ац = /ц«1/, / > 1,
Так как U имеет единицы на главной диагонали, ип = 1, и мы
находим
hi = an Для всех i S= I.
В частности, 1п = ап, и потому 1п Ф 0, если главные миноры
матрицы А отличны от нуля. Теперь мы можем найти
их, = ^У- для всех / > 1.
'и
Допустим теперь, что из групп уравнений, соответствующих
значениям г = 1, ..., s—1, мы нашли lir и uri для любых t и / и всех

150 ГЛ. III ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
г =^ s—1. Напишем группу уравнений, соответствующих г « s,
в виде
S— I
Отсюда при i> / = s в силу uss = 1 имеем
S— 1
^ = ais — 2
Сумма в левой части равенства состоит из уже известных элемен-
элементов, и, значит, мы нашли lis при i ^ s. При i <s положим /(-,у = 0.
Если / > i = s, имеем
S—1
k=i
Докажем, что lss Ф 0. В самом деле, в противном случае либо не
найдется чисел uSJ-, удовлетворяющих последнему равенству, либо
найдется бесконечно много (смотря по тому, равна или не равна
нулю левая часть равенства). В обоих случаях мы приходим к про-
противоречию с предложением 3. Итак,
usj = ^ для всех / > s,
а при / < s полагаем us/ — 0. Тем самым, используя уравнения
F) для г = 1, ..., s, мы нашли все lis и usj. Это показывает, что все
элементы матриц L и U могут быть последовательно вычислены с ис-
использованием режима накопления. Можно показать, что среди
всех известных методов описанная здесь компактная схема метода
Гаусса имеет самую низкую верхнюю оценку для нормы возмущения
исходных данных, эквивалентного влиянию ошибок округления.
Число проделываемых по этой схеме арифметических операций
и необходимый объем памяти примерно таковы, как и для схемы
единственного деления, т. е. близки и минимально возможным.
Замечание. Выше мы показали, что диагональные эле-
элементы, на которые приходится делить в компактной схеме, отличны
от нуля. Но это гарантирует только теоретическую возможность
осуществления вычислений. Для того чтобы эти вычисления были
практически возможны и устойчивы по отношению к возмущениям
исходных данных и к ошибкам округления, нужно, чтобы числа
lss не были малы, или, что то же, числа uS]- не были велики. Для
последних мы имеем usj = af?, где a<f) — элемент матрицы A(s), кото-
которая строится в схеме единственного деления. Это же условие — от-
отсутствие больших элементов в матрицах Ам — появляется и при
исследовании устойчивости схемы единственного деления.

§ 3. ПРЯМЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ
151
Мы рассмотрели здесь применение компактной схемы для по-
получения LtZ-разложения, т. е. предполагали, что диагональные ми-
миноры матрицы А отличны от нуля. Следует отметить, что компакт-
компактная схема обладает фундаментальным недостатком метода Гаусса:
устойчивость вычислительного процесса зависит от выбора главных
элементов или, в данном случае, от порядка, в котором расположены
строки и столбцы матрицы перед началом вычислений.
Выше мы показали, что симметричная положительно опреде-
определенная матрица допускает разложение на множители вида А = VVT,
где V — нижняя треугольная матрица. Модификация компактной
схемы для получения этого разложения называется методом квад-
квадратного корня. Искомое разложение, выраженное через элементы
матриц, имеет вид
где г — min (i, /). Как и уравнения F), эти уравнения могут быть
решены последовательно. Действительно, при i — j = 1 и i > / = 1
имеем соответственно
Он = и?! и ап = vnvn,
откуда Vu = V"aTi, vil = ail/\/ra[[.
Далее, если известны vik для k = 1, ..., s— 1 и для всех i, то
из равенства (для i = / = s)
мы найдем vss, а из равенств (при i > / = s)
s—1
аи = visvss + 2 vikvsk
fe=i
найдем vis. Все деления и извлечения корня в принципе могут быть
осуществлены, так как искомое разложение, как мы доказали,
существует и единственно.
Как и компактная схема, метод квадратного корня допускает
использование вычисления скалярного произведения в режиме
накопления. При этом может быть достигнута очень высокая точ-
точность, если матрица не является плохо обусловленной. В послед-
последнем случае ошибки округления могут привести даже к нарушению
положительной определенности матрицы и тем самым к невозмож-
невозможности осуществления алгоритма.
6. Разложение на ортогональный и треугольный множители.
Большую роль в численных методах линейной алгебры играет раз-
разложение квадратной матрицы А на множители
A = QR G)

152 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
такие, что R — верхняя треугольная матрица, a Q — ортогональ-
ортогональная. Оно называется QR-разложением А.
Если для матрицы системы линейных уравнений A) известно
С?/?-разложение, то система A) сводится к системе
с треугольной матрицей, и после этого легко может быть решена
способом, описанным на стр. 136.
Применение Q/^-разложения для решения систем линейных
уравнений выгодно тем, что число обусловленности матрицы R
равно числу обусловленности матрицы А (ср. стр. 124).
Один из путей получения Q/^-разложения носит название ме-
метода отражений. Отражением в евклидовом пространстве Шп на-
называется самосопряженное преобразование, имеющее собственное
значение 1 кратности п — 1 и собственное значение —1 кратности 1.
Если собственному значению —1 принадлежит собственный век-
вектор s длины 1, то мы будем говорить, что отражение порождается
вектором s.
В ортонормированном базисе е0 из собственных векторов отраже-
отражения его матрица имеет вид
-1 О
1
О ' 1
где Еь х — матрица, состоящая из нулей, за исключением единицы
в левом верхнем углу.
Матрица Ро ортогональная и, следовательно, отражение яв-
является ортогональным преобразованием. С этим и связано при-
применение отражений к решению систем линейных уравнений.
В произвольном ортонормированном базисе е, получаемом из
е0 при помощи ортогональной матрицы перехода S, матрица отра-
отражения имеет вид
С-1 р С р О Q—IP С
Обозначим через еы и сту соответственно элементы матриц Еи х и 5.
Тогда в матрице S~lEltl S на пересечении t-й строки и /-го столбца
стоит элемент
(здесь учтено, что 5 = ST). Все гк1 равны 0, за исключением еш
равного 1. Поэтому написанная выше сумма равна оиоц, и
где а — первый столбец матрицы ST. Но ST — матрица перехода
от е к е0. Столбец а является координатным столбцом в базисе

§ 3. ПРЯМЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ 153
е первого вектора базиса е0, т. е. вектора s, определяющего отра-
отражение. Мы видим, что в ортонормированном базисе матрица отра-
отражения имеет вид
Р = Е-2ааг, (8)
где о — координатный столбец вектора, определяющего отраже-
отражение.
Предложение 7. Каковы бы ни были ненулевой вектор х
и вектор /, по длине равный 1, найдется такое отражение, которое
переводит вектор х в вектор а/.
Заметим сразу же, что обязательно | а | = | х |, так как отра-
отражение — ортогональное преобразование. Для определенности бу-
будем считать, что а = | х |. Мы докажем, что нужное отражение оп-
определяется единичным вектором s, коллинеарным с х — а/.
Введем для этого ортонормированный базис и обозначим через
| и ф координатные столбцы векторов х и /. Вычислим длину К
вектора х — а/:
Поскольку а2 = | лг |2 == |г| и фт <р = | / |2 = 1, имеем
Я» = | х - а/12 = Bа3 - 2а|г ф).
Рассмотрим вектор s с координатным столбцом Яг1 (% —
определяемое им отражение с матрицей
Р = Е - 2Х (I
Образ вектора х при этом отражении есть
Но
Поэтому Р Ъ, ~ ? — 1 + аф, и мы видим, что построенное отра-
отражение обладает нужным свойством. Предложение доказано.
Докажем с его помощью следующее
Предложение 8. Квадратная матрица А может быть
разложена в произведение QR, где Q — ортогональная, a R — верх-
верхняя треугольная матрицы.
Для доказательства отождествим пространство столбцов высо-
высоты п с евклидовым пространством, в котором выбран ортонорми-
ортонормированный базис. Пользуясь предложением 7, мы будем последова-
последовательно преобразовывать столбцы матрицы.
Если первый столбец А нулевой, то пропускаем его. В противном
случае строится такое отражение, которое переводит первый столбец
А в столбец, пропорциональный первому столбцу единичной матри-
матрицы. Пусть матрица этого отражения есть РA). Тогда

154 гл ш. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
и матрица А(Х) имеет вид
0 а'11
0 a'J'
... а<»
- Кп
с элементом аъ равным евклидовой норме первого столбца матри-
матрицы А.
Пусть теперь проделано k — 1 шагов и построены матрицы от-
отражений РA), ..., р(*-*> такие, что матрица Аук~1) = Р{к-1]... Ра)А
с элементами oj*—1) имеет в первых k — 1 столбцах нули ниже
главной диагонали.
На k-u шагу строится отражение, переводящее столбец
в fe-й столбец единичной матрицы. Оба участвующих здесь столб-
столбца имеют нули на первых k — 1 местах и, следовательно, тем же
свойством обладает и а — координатный столбец вектора, порож-
порождающего отражение. Согласно (8) отсюда прямо следует, что пер-
первые k — 1 строк и первые k — 1 столбцов матрицы отражения не
отличаются от соответствующих строк и столбцов единичной матри-
матрицы, т. е. она имеет следующее строение:
Если последние п — k элементов столбца (9) равны нулю, то по
описанному выше способу отражение построено быть не может,
так как вектор а окажется равным нулю. Но в этом случае стол-
столбец матрицы А не нуждается в преобразовании, и отражение может
быть пропущено.
Очевидно, что при умножении матрицы A0) на произвольный
столбец | первые k — 1 элементов столбца не изменятся, а послед-
последние п — k + 1 элементов столбца р(*>| не зависят от первых k — 1
элементов столбца \ и получаются умножением клетки Р на ниж-
нижний отрезок столбца |, содержащий п — k + I элементов.
Отсюда видно, что первые k — 1 строк и первые k — 1 столбцов
у матрицы
те же, что и у матрицы A (ft-1), и, кроме того, &-й столбец имеет вид
Таким образом, матрица Л(*> в первых k столбцах имеет нулевые
элементы ниже главной диагонали.

§ 3. ПРЯМЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ
155
Заметим, что произведение отражений уже не будет, вообще
говоря, самосопряженным преобразованием, но будет ортогональ-
ортогональным.
После п — 1 шага мы придем к верхней треугольной матрице
^(л-и, которую и обозначим буквой R. Если Р(Л-1)...РA) — Р и
q = Р7", то равенство R = Р<-п~1К..РA~>А равносильно разложению
на множители G).
Предложение 9. Если матрица А невырождена, то ее
QR-разложение, в котором диагональные элементы R положительны,
единственно.
Доказательство. Пусть А = QxRx = Q2#2- Тогда из
невырожденности А следует, что Rt невырождена, и мы можем на-
написать
Обозначим матрицу /?2^Г' через U. Как произведение верхних тре-
треугольных матриц она является верхней треугольной. Верхней
треугольной является и U'K Но в силу предыдущего равенства
U — ортогональная матрица, потому О'1 = UT — нижняя тре-
треугольная матрица. Это означает, что U диагональная, а диагональ-
диагональная ортогональная матрица может иметь на диагонали только +1
или —1. Так как диагональные элементы матриц Rx и R2 положи-
положительны, из Rz = URX следует U = Е. Теперь доказываемое оче-
очевидно.
Разложение на ортогональный и треугольный множители, по-
полученное методом отражений, может быть использовано для вы-
вычисления детерминанта и для обращения матрицы. Действительно,
det A = det Q det R. Здесь det Q = (—1)*, где s — число произ-
произведенных отражений, так как детерминант матрицы отражения
равен —1. Детерминант матрицы R вычисляется непосредственно
как произведение ее диагональных элементов.
Для нахождения обратной матрицы заметим, что из А =а QR
следует
и дело сводится к обращению верхней треугольной матрицы R.
В предложении 2 было показано, как может быть обращена нижняя
треугольная матрица. Верхняя треугольная матрица обращается
аналогичным образом.
Оценим объем памяти, необходимый для записи Q^-разложе-
ния, полученного методом отражений. Произведение матрицы отра-
отражения на произвольный столбец % можно находить, используя
формулу (8):
Pl l
Это означает, что нет необходимости помнить все матрицы отраже-
отражений, а достаточно сохранять координаты порождающих отражения
векторов, да и только те координаты, которые не являются заве-

156
ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
домо нулевыми. Таких координат у всех п — 1 векторов будет
п + (п — 1) + ...,+ 2 = п (п + 1)/2 — 1. На запоминание эле-
элементов матрицы R, лежащих не ниже главной диагонали, следует
отвести п (п + 1)/2 ячеек. Таким образом, для запоминания обеих
матриц Q и R требуется только на л — 1 ячейку больше, чем для
запоминания матрицы А.
7. Метод вращений. Второй широко распространенный способ
получения (^¦разложения называется методом вращений. Для его
описания рассмотрим в евклидовом пространстве Ш„ ортонормиро-
ванный базис еъ ,.., еп. Вращением в плоскости векторов et и ej
(i > /) этого базиса называется преобразование с матрицей
1
COS ф
S111 ф
— sin ф
cos го
(П)
которая отличается от единичной только подматрицей второго по-
порядка, расположенной в строках и столбцах с номерами i и /. При
этом преобразовании в плоскости векторов et и е,- происходит поворот
на угол ф, а каждый вектор ортогонального дополнения этой пло-
плоскости остается неизменным. При умножении матрицы вида A1)
на некоторый столбец |0 все его элементы останутся неизменными,
за исключением /-го и /-го, которые преобразуются по формулам
ч +g/°cos (!2)
Очевидно, что, каковы бы ни были Ц и Ц, найдется такое вра-
вращение, при котором ?01 ==УГ(ь'J"т-Fу'J» а 1о' = О. Коэффициент!;!
в формулах A2) должны быть равны в общем случае
же tj = i
то
где р = ]/(l;;y + (tA2. Если
т. е. матрица Р единичная.
Для невырожденной квадратной матрицы А мы можем построить
последовательность матриц вращений Р[1\ ..., P{N~> вида A1)
такую, что матрица R = Р1ЛГ)...РA)Л будет верхней треугольной
(с ненулевыми элементами на главной диагонали). Легко видеть,
что это равносильно нахождению разложения G).
Последовательность матриц Pw P(N) содержит для каж-
каждого столбца А столько матриц, сколько в этом столбце ненулевых
элементов под главной диагональю. Мы будем считать, что N =
— п (п — 1)/2, так как, если среди поддиагональных элементов

§ з. прямые методы Решения систем 157
матрицы А есть нулевые, то соответствующие матрицы вращений
можно полагать единичными.
Рассмотрим первый столбец матрицы А. Вращение в плоскости
векторов ех и е2 с матрицей РA) выбирается так, чтобы в матрице
да) = pWA обратился в нуль элемент а\Ч. Затем осуществляется
вращение с матрицей РB) в плоскости векторов ег и е3, которое об-
обратит в нуль элемент а\% матрицы ЛB) = Р{г)АA), и т. д. Враще-
Вращение в плоскости векторов ех и еу- не меняет элементов столбца с но-
номерами, отличными от 1 и /, и, следовательно, при последующих
вращениях не будут изменены элементы, обращенные в нуль при
предыдущих. После п ¦— 1 вращений мы получаем матрицу Л*"* =
= /э(«-1).. рA)Д! у которой все элементы первого столбца, кроме
самого верхнего, равны нулю.
Вращения, которые обращают в нуль под диагональные элементы
второго столбца, выбираются аналогично в плоскостях векторов
е2,е, для всех/ = 3,..., п. Их матрицы мы обозначим Р(/1),..., Р^*-3).
Положив в формулах A2) i = 2 и /> 2, мы видим, что при таких
вращениях нулевые элементы первого столбца останутся неизмен-
неизменными.
Точно так же для столбца с произвольным номером m sg; n — 1
вращениями в плоскостях векторов ет, ej для всех / = т + 1, ..., п
мы можем обратить в нуль элементы, расположенные под главной
диагональю. Такие вращения не изменят поддиагональных эле-
элементов предыдущих столбцов, и они останутся нулевыми.
8. Применение процесса ортогонализации. Q/^-разложение тесно
связано с процессом ортогонализации Грама — Шмидта. Если
столбцы матрицы А линейно независимы, то они образуют базис
в арифметическом пространстве <sffin. Применим к ним процесс орто-
ортогонализации. Как известно, при этом первый столбец ах норми-
нормируется, т. е. заменяется на qx= рцД^ Второй столбец а2' заменя-
заменяется на линейную комбинацию q2= Pn<^i + ргг^г и, вообще, /-й
столбец должен быть заменен на
qj = PijOi + --- + Pjjaj. A3)
Коэффициенты р,у выбираются так, чтобы столбцы qj образовывали
ортонормированную систему, и, следовательно, матрица Q =
— || «ft, ..., qn || ортогональная. Рассмотрим столбцы
И/НРу Pjj, 0, .... Of,
и матрицу U, составленную из них. U — верхняя треугольная
матрица, а равенства A3) означают, что A U = Q. Очевидно, что это
равносильно Q^-разложению с R ~ U~l.
Таким образом, метод ортогонализации Грама — Шмидта мо-
может служить для получения Q/^-разложения. К сожалению, числен-
численная устойчивость этого метода невелика. Ошибки округления на-
накапливаются таким образом, что получаемая в результате матрица Q

158 Гл Ш ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
может оказаться далеко не ортогональной. Существуют методы
улучшения этого процесса, но мы их рассмотрим в § 3 гл. IV.
9. Сравнение методов и оценка их точности. Мы рассмотрели
два подхода к решению систем линейных уравнений: метод Гаусса,
дающий L[/-разложение, и методы отражений и вращений для
получения Q^-разложения. При правильной реализации метод
Гаусса требует выполнения меньшего числа арифметических опе-
операций и меньшего объема оперативной памяти. Он также дает наи-
наилучшую точность решения при условии хорошего выбора последо-
последовательности главных элементов или, что то же самое, при удач-
удачном масштабировании матрицы.
Единственный существенный недостаток метода Гаусса состоит
как раз в зависимости точности результата от выбора главных
элементов. Иначе можно сказать, что элементарные преобразова-
преобразования, применяемые в методе Гаусса, меняют норму матрицы, и может
оказаться, что элементы матриц Л(А), которые получаются в про-
процессе решения, сильно возрастают по абсолютной величине. Это
вызывает рост числа обусловленности и потерю точности реше-
решения.
Методы вращений и отражений близки между собой по точности.
Как видно из приводимых ниже оценок, точность эта- примерно
такова же, как и для схемы единственного деления, хотя уступает
точности, достижимой при применении компактной схемы с режимом
накопления. Отметим, что режим накопления требуется и для реа-
реализации высокой точности в методе отражений.
По числу арифметических операций и требуемому объему па-
памяти метод отражений лучше метода вращений и по этим характе-
характеристикам сравнительно немного отстает от метода Гаусса.
Вместе с тем методы отражений и вращений свободны от основ-
основного недостатка метода Гаусса, поскольку умножение на ортого-
ортогональную матрицу не меняет ни спектральной нормы матрицы А,
ни ее спектрального числа обусловленности.
Количественные оценки тех качеств рассматриваемых методов,
на которых основано приведенное сравнение, можно найти в книге
Воеводина [5]. Остановимся на оценке точности решения.
Три величины могут характеризовать точность решения системы
линейных уравнений:
а) Погрешность, т.е. 6х = хо — х, где х—вычисленное,
а х0 — истинное (теоретически существующее) решение. Обычно
оцениваются II Sjcll или относительная погрешность || х0— х\\/\\ x0 II.
б) Столбец г = b — Ах называется невязкой, даваемой вычис-
вычисленным ранением л:. Истинное решение дает нулевую невязку.
Невязка и ее норма || Ь—Ах \\ могут характеризовать точность
решения. Рассматривается также и относительная невязка \\Ь —
в) Согласно принципу обратного анализа ошибок округления
влияние этих ошибок на решение может быть описано следующим

§ 3. ПРЯМЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ
159
образом. Может быть доказано, что приближенное решение является
точным решением системы линейных уравнений
Матрица F называется эквивалентным возмущением для А, а стол-
столбец /—для Ь. Нормы эквивалентных возмущений являются ха-
характеристикой точности решения.
Невязку вычислить удобнее, так как точное решение х0 нам
неизвестно, но интересует нас главным образом погрешность.
Из очевидного равенства
г A4)
следует
Поэтому из малости \\r\\ вытекает, что \\bx\\ мала. Но если А'1
имеет большую норму, то нужно добиться очень малой невязки,
для того чтобы иметь гарантированно малую погрешность.
Возможен следующий подход. Если невязка г вычислена с по-
повышенной точностью (с использованием режима накопления),
то вычисленное решение Алг системы A4) служит хорошей оценкой
для Ьх. Кроме того, Xi= х-\- Ах есть лучшее приближение к ис-
истинному решению, чем лг. Вычисляя невязку, которую дает х%,
можно получить следующее приближение лг2, и т. д. Подробнее
мы опишем этот процесс в следующем параграфе, но сейчас сле-
следовало упомянуть о нем, так как по скорости сходимости последо-
последовательности х, xit х~2, ... можно судить об обусловленности мат-
матрицы А. Соответствующая оценка будет получена на стр. 167.
Вычисление последовательных приближений не связано с боль-
большим увеличением числа операций и времени счета, так как при
решении систем вида A4) используется уже полученное разложение
матрицы А на множители (LU- или Q-R-разложение). Поэтому
иногда считается целесообразным (см. Уилкинсон и Райнш [34])
использовать построение последовательных приближений, вместо
того чтобы находить число обусловленности и с его помощью оце-
оценивать точность решения.
Перейдем теперь к оценке относительной погрешности. Здесь
нам придется ограничиться только формулировками.
Если LfZ-разложение получено методом Гаусса с выбором глав-
главного элемента по столбцу, то произведение LU в точности удовле-
удовлетворяет равенству
причем
IGllAy. A5)
Здесь и — единичная ошибка округления, зависящая от точности
применяемой вычислительной системы, а р определяется таю

160 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
если а<*>— элементы матриц Л(*\ которые вычисляются в про-
процессе исключения, то
Таким образом, р может быть определено только после окончания
вычислений. В этом смысле оценка является апостериорной. Она
может быть использована как априорная оценка, если учесть сле-
следующее соображение, основанное на опыте вычислений: если мат-
матрица не является плохо обусловленной, то max \aW I превосходит
i, i, k ' " '
max | Qy | не больше чем в несколько раз.
1.1
Оказывается, что мы можем записать эквивалентное возмуще-
возмущение для других встречавшихся нам разложений на множители
в форме, аналогичной A5): полученное произведение матриц от-
отличается от А на матрицу G, оцениваемую неравенством
\G\E^f{n)u\A\E, A6)
где функция / (п) зависит от порядка матрицы А и примененного
алгоритма разложения.
Для /,?/-разложения, получаемого по компактной схеме метода
Гаусса, главный относительно п член функции / представляет собой
константу р', но константа эта зависит от роста элементов матриц
А ^ подобно определенной выше константе р. Это утверждение
справедливо при условии, что вычисления по компактной схеме
производятся в режиме накопления, и показывает, что в этом слу-
случае можно ожидать примерно /г-кратного увеличения точности по
сравнению с обычной схемой. Заметим, что для компактной схемы,
применяемой к положительно определенной матрице, р' = 1.
Существенное достоинство методов получения (^-разложения
в том, что для них / (л) может быть априорно оценена. Именно,
как для метода вращения, так и для метода отражений главный
член f (л) имеет вид 2,9л. (При этом для метода отражений, как
было отмечено, обязательно применение режима накопления.)
Далее, может быть показано, что для всех обсуждаемых мето-
методов относительная погрешность вычисленного решения удовлетво-
удовлетворяет оценке
II х0 ||?
где главные относительно п члены функций g и / совпадают.
§ 4. Итерационные методы решения систем
линейных уравнений
1. Введение. Изложенные в § 3 прямые методы решения систем
линейных уравнений теоретически приводят к точному решению.
Сейчас мы займемся итерационными методами, с помощью которых

§ 4. ИТЕРАЦИОННЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ 161
в принципе может быть построено не решение, а только последова-
последовательность, к нему сходящаяся. Некоторый достаточно близкий
к пределу член этой последовательности принимается за прибли-
приближенное решение. Таким образом, итерационные методы имеют не-
некоторую теоретически необходимую ошибку. Это ни в коем случае
не является их недостатком по сравнению с прямыми методами.
Действительно, упомянутая ошибка может быть сделана меньше,
чем погрешность, вызванная ошибками округления при получении
решения прямым методом. Как мы увидим ниже, в п. 3, итерацион-
итерационные методы могут применяться для уточнения решений, найденных
при помощи прямых методов.
Слабость итерационных методов в том, что каждый из них схо-
сходится, т. е. дает сходящуюся последовательность, вообще говоря,
не для любой системы линейных уравнений. Однако для какого-либо
выбранного метода часто возможно так преобразовать систему,
чтобы для преобразованной системы этот метод сходился.
Эффективность итерационного метода во многом определяется
скоростью его сходимости, и потому скорость сходимости всегда
находится в центре внимания при разработке таких методов. Ха-
Характерно также, что итерационные методы работают лучше, если
известно хорошее начальное приближение, принимаемое за первый
член последовательности, хотя обычно они сходятся при любом
начальном приближении.
Конечно сходимость итерационных методов может иметь место
только теоретически. В силу неизбежных ошибок округления вы-
вычисленные приближения несколько отличаются от истинных. По-
Поэтому нельзя утверждать, что вычисленные приближения с доста-
достаточно большими номерами лежат в сколь угодно малой окрестности
истинного решения. Можно сказать только, что они попадают в не-
некоторую его окрестность, размеры которой определяются точностью
вычислений. После того как получено приближение из этой окрест-
окрестности, дальнейшие вычисления не повышают точности результата.
Типичная область применения итерационных методов — это си-
системы линейных уравнений, возникающие при численном решении
уравнений с частными производными. Обычно это системы из боль-
большого числа уравнений с большим числом неизвестных, матрицы ко-
которых могут легко записываться и обрабатываться только благо-
благодаря их специальному строению. Но специальное строение матриц,
как правило, нарушается при тех преобразованиях, которым они
подвергаются при применении прямых методов. Итерационные
методы свободны от этого недостатка.
Большое количество итерационных методов (и не только для
систем линейных уравнений) может быть получено применением
принципа неподвижной точки (иначе называемого принципом сжа-
сжатых отображений). Приведем его формулировку.
Пусть Зв — полное линейное нормированное пространство и
F — его отображение (не обязательно линейное) в себя, f назы-

162 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
вается сжимающим множество <Л s X, если существует такое число
а е [0, 1), что для любых х' и х" из вЛ выполнено условие
Заметим, что определение это применимо и тогда, когда F опреде-
определено не на всем пространстве X, а только на множестве <Ж.
Теорема 1. Пусть <М — замкнутое ограниченное множество
в S6 и отображение F сжимает <Л>. Тогда уравнение
x = F(x) A)
имеет в <Jt одно и только одно решение.
Поскольку нам не придется использовать эту общую формули-
формулировку, мы не приводим доказательства, которое можно найти, на-
например, в книге Федорюка [36]. Доказательство основано на том,
что в условиях теоремы любая последовательность векторов {хк}
из «?, задаваемая рекуррентной формулой
B)
сходится к решению уравнения A).
2. Метод простой итерации. Проще всего придать системе
линейных уравнений Ах= b вид A), прибавив х к обеим частям
равенства:
Более общую формулу мы получим, если предварительно умножим
сбе части равенства на невырожденную матрицу //
Зто позволяет построить итерационный процесс, задаваемый ре-
рекуррентной формулой
xk+1=>xk-\-H(b-Axk). C)
Введя параметр т и обозначив Н через хВ'1, мы можем переписать
формулу C) в виде
В ***-** +Ахк~Ь. D)
Нахождение приближенного решения с использованием формулы
C) называется методом простой итерации или стационарным мето-
методом. Формула D) соответствует общему неявному методу простой
итерации. Значение параметра т выбирается для конкретной си-
системы так, чтобы скорость сходимости была максимальной.
Формулам C) и D) можно придать вид
хш = Рхь+/, E)
если положить Р — Е — НА, а / = Я&, или соответственно Р **
В*А fBV

§ 4, ИТЕРАЦИОННЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ 163
Допустим, что система Ах = Ь совместна и х*—ее решение.
Вычтем х* из обеих частей равенства E). Учитывая, что f=Hb =
в= НАх*, мы получим
Отсюда, обозначив dk — xk— х* для всех k = О, 1, ..., имеем
Нетрудно доказать, что последовательность {dk} сходится при
любом d0 (а значит, и \хк] при любом х0) тогда и только тогда, когда
сходится последовательность степеней матрицы Р. В самом деле,
если Pk -> Q, то для любого е' > 0 найдется номер k0, начиная
с которого || Pk — Qll<e', а следовательно, при любом d0
I! dk - Qd0 J < 1 Pk - Q11; d01!< e' || d01.
Остается при произвольном e > О выбрать е' = е || d0 1Г1.
Обратно, если последовательность Pkd0 сходится при любом d0,
то, выбирая в качестве d0 столбцы единичной матрицы, мы пока-
покажем, что при всех i = 1 п сходятся последовательности {/?}*'},
где р\к) — t-й столбец матрицы Рк. Следовательно, последователь-
последовательность степеней сходится в смысле поэлементной сходимости.
Мы видели, что tfA-> Qd0, где Q= Mm P1', и, следовательно,
предел х последовательности {хь\ удовлетворяет соотношению
x-x* = Qd0.
С другой стороны, очевидно, что х — решение системы, и по-
потому Qd0 удовлетворяет приведенной однородной системе, т. е.
AQd0 — 0. Это условие выполнено при любом d0, если
и только в этом случае. Теперь мы можем доказать
Предложение 1. Пусть матрица А системы линейных
уравнений Ах — b невырождена. Тогда последовательность столб-
столбцов, задаваемая рекуррентной формулой E), сходится при любом
начальном векторе х0 тогда и только тогда, когда спектральный ра-
радиус матрицы Р меньше единицы.
Доказательство. Предыдущие рассуждения показы-
показывают, что при невырожденной матрице А последовательность {xk}
сходится при любом х0 тогда и только тогда, когда Q — О. Нам
остается доказать, что Pk-> О тогда и только тогда, когда спект-
спектральный радиуо Р меньше единицы. Для этого воспользуемся
теоремой 2 § 3 гл. II. В применении к функции / (|) = |* и мат-
матрице Р формула A5) § 3 гл. II имеет вид
t-u-

164 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
где Zij — компонентные матрицы для матрицы Р, число различных
характеристических чисел обозначено через s, а кратность i-ro
числа — через mt. Отсюда в силу линейной независимости компо-
компонентных матриц непосредственно вытекает доказываемое.
Замечание. Из доказательства предложения 1 видно также,
что итерационный процесс сходится тем быстрее, чем меньше спект-
спектральный радиус матрицы Р.
Предложение 2. Если || Р || < 1, то рекуррентная по-
последовательность, задаваемая формулой E), при любом начальном
векторе сходится не медленнее, чем сумма геометрической прогрес-
прогрессии со знаменателем \\ Р \\.
То, что условие || Р || < 1 достаточно для сходимости рассмат-
рассматриваемой последовательности, непосредственно вытекает из пред-
предложения 1, если вспомнить оценку для спектрального радиуса мат-
матрицы (предложение 1 § 4 гл. II). Мы приведем другое доказатель-
доказательство, позволяющее оценить скорость сходимости. Если для любого k
обозначить dk = xk — xk-i, то, как легко видеть, хь = х0 + dx +
+ ... ¦+¦ dk. Следовательно,
со
х = lim xk = х0 + 2 аь-
Пусть в <Мп выбрана некоторая норма, и матричная норма согла-
согласована с ней. Используя критерий Коши (см. Кудрявцев [16], т. I,
§ 18), нетрудно доказать, что для сходимости ряда достаточно схо-
сходимости ряда из норм его членов. Для dk имеем dk = Pdk^lt откуда
il di, || =sc || P \\¦ || dk-i II, и в случае || P || < 1 для ряда из норм
выполнен признак Даламбера. Итак, в этом случае последователь-
кость Xk сходится не медленнее, чем сумма геометрической про-
прогрессии со знаменателем || Р ||. Предложение доказано.
Выше мы говорили о спектральном радиусе матрицы, как о чем-
то точно определенном. В действительности, если арифметические
операции производятся с округлением, спектральный радиус, как
и многие другие величины, не может быть точно указан. В самом
деле, пусть существует число X такое, что матрица Р — кЕ является
почти вырожденной. Число X во всех вычислениях ведет себя так
же, как характеристическое число. В частности, если Я> 1, то
метод простой итерации с матрицей Р не сходится с должной точ-
точностью.
В любом случае для ускорения сходимости процесс должен быть
построен так, чтобы норма матрицы Р была возможно меньше.
Если вернуться к формулам C) и D), то это означает, что нужно
выбрать матрицу И или соответственно параметр т и матри-
матрицу В так, чтобы || ? — НА II или \\ Е — В"НА || были возможно
меньше.
Если бы мы могли положить Н = Л, то процесс (при условии
точного выполнения операций) сошелся бы за одну итерацию.

§ 4. ИТЕРАЦИОННЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ 165
В разных итерационных методах выбираются матрицы, как-либо
приближающиеся к Л, причем используются свойства заданной
матрицы А.
Широко известный метод Якоби относится к системам, матрицы
которых имеют доминирующую главную диагональ (см. § 5 гл. II).
Обозначим через D матрицу diag (an, ..., апп), т. е. диагональную
матрицу, диагональные элементы которой равны соответствующим
элементам матрицы А. Метод Якоби определяется формулой C),
в которой Н = D~l. Согласно предложению 1 построенная по
этому методу последовательность сходится тогда и только тогда,
когда спектральный радиус матрицы Е — D'lA меньше единицы.
Покажем, что для сходимости метода Якоби достаточно, чтобы А
имела доминирующую главную диагональ. Для этого оценим с-норму
матрицы Е —D~iA. Эта матрица имеет на главной диагонали нули,
а ее внедиагональные элементы равны aik = — —. Поэтому
1 &
Если у А доминирующая главная диагональ, то каждая из сумм
меньше единицы, и || Е —D~iA. \\с < 1.
Использование других норм даст другие достаточные условия.
Ряд специализаций метода простой итерации связан с положи-
положительно определенными симметричными матрицами. Для любой такой
матрицы А можно так подобрать матрицу Н, чтобы итерацион-
итерационный процесс C) сходился. Действительно, характеристические чи-
2
ела А заключены в некотором интервале @, а). Положив Н = — Е,
о
мы получаем матрицу Р = Е А, характеристические числа
которой лежат в интервале (—1, 1). Действительно, если А —
= S^A'S, где А' = diag (Xlt ..., Хп), то Р = S~lP'S, причем Р' —
2
диагональная матрица с элементами вида 1—-kt на главной
диагонали.
Мы не будем излагать более подробно применение метода про-
простой итерации и общего неявного метода простой итерации к поло-
положительно определенным матрицам. Их изложение можно найти
в книгах Д. К- Фаддеева и В. Н. Фаддеевой C5), Самарского [29].
Отметим, что случай положительно определенной симметричной
матрицы является достаточно общим, так как система Ах — b
эквивалентна системе АТАх=*АТЬ с положительно определен-
определенной симметричной матрицей. Однако, как мы видели на стр. 129,
матрица А тА является, вообще говоря, значительно хуже обуслов-
обусловленной, чем матрица А. Поэтому практическое значение такого
преобразования системы с целью применения итерационных мето-
методов невелико. Интерес, продвляемый к применению итерационных

166 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
методов к системам с положительно определенными матрицами,
связан с тем, что такие системы достаточно часто встречаются в при-
приложениях.
3. Итерационное уточнение. Допустим, что, применяя метод
Гаусса, мы получили LU-разложение матрицы А. Ошибки округ-
округления исказили результат, и потому LU ф А для вычисленных
матриц L и U. В общем неявном методе простой итерации мы мо-
можем положить В — LU и т = 1. Формула D) примет вид
LUd/!+1 = rk, F)
где rk= b — Axk называется k-n невязкой, a dk+1 = xk+1 — х,'—
(k + 1)-й поправкой. В качестве начального приближения берется
решение системы LUxo = b, затем вычисляется соответствующая
невязка г0- Она принимается за столбец свободных членов системы
с той же матрицей LU. Решение этой системы — первая поправка й\.
Следующее приближение Xi получается как хо+ йх. Затем нахо-
находится невязка этого решения rx = b — Ахх и вторая поправка йг —
как решение системы LUd2 = rx. Вторым приближением будет
х-2 = х 1 + йг и т. д.
Если произведение LU близко к Л, то норма || Е — (ЬЦ)~1А II
мала, и процесс сходится очень быстро при условии, что вычисле-
вычисления продельшаются точно. Если они проделываются с той же точ-
точностью, с какой было найдено /,?/-разложение, то ни к какому
уточнению они не приведут, так как в этом случае все приближения
имеют ошибку такого же иирядка, как и ошибка начального при-
приближения.
Практически это означает, что при итерационном уточнении
вычисления должны проделываться с удвоенной точностью. Как
показывает более детальный анализ (см. Форсайт и Молер [37]),
особенно важна точность при вычислении невязок и прибавлении
поправок. Если эти вычисления проделываются с точностью 2q
разрядов (что может быть сделано с использованием режима накоп-
накопления), а остальные вычисления производятся с (/-разрядной точ-
точностью, то в результате итерационного уточнения может быть по-
получено истинное решение, округленное до q разрядов.
Покажем, что сходимость итерационного уточнения зависит от
обусловленности матрицы А и точности полученного разложения.
Пусть произведение вычисленных матриц L и U удовлетворяет
равенству LU = А + G. Тогда
(LU)-1 А = (А + G)-1 А = (Е + А-Ю)-1.
Предполагая, что || А'1 \\-\\ G || < 1, мы можем представить эту
матрицу в виде ряда
Для матрицы Е — {LUY^A, от которой зависит сходимость, мы
получаем ряд
АЮА

§ 4. ИТЕРАЦИОННЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ 167
Каждая частичная сумма этого ряда по норме не превосходит соот-
соответствующей частичной суммы ряда из норм, и мы получаем
|Е - (LU)-1 А | ^L^-ihgi-
Согласно формуле A5) § 3 || G Ид «S 6 II А\\е, где 6 = при. Значит,
для сходимости процесса итерационного уточнения достаточно,
чтобы
6сЕ (А)
1-0сЕ(А) <L
Мы предположили уже, что [| А'1 \\-\\ G II < 1, т. е. 6 сЕ (А) < 1.
При этом предположении предыдущее условие означает, что
дсЕ(А)<с-к" Итак, доказано
Предложение 3. Процесс итерационного уточнения схо-
сходится, если (при обозначениях п. 9 § 3)
2присЕ (А) < 1.
Конечно, итерационное уточнение возможно и в том случае,
когда известно не /,?/-разложение, а какое-либо другое разложе-
разложение, например ф/?-разложение.
4. Метод Зейделя. В общем неявном методе простой итерации
важно, чтобы матрица В была легко обратимой. Выберем ее тре-
треугольной. Если диагональные элементы матрицы А отличны от нуля,
то нижняя треугольная матрица
1 0 ... О
i an2 ... а,
(получаемая из А заменой наддиагональных элементов на нули)
будет невырожденной. Метод Зейделя, или метод последовательных
смещений, состоит в применении формулы D) при т = 1 и В = L,
т. е.
или
Lxk+1 + Uxk = b, G)
где матрица U — А — L отличается от А тем, что элементы на диа-
диагонали и ниже заменены на нули. Формула G) позволяет легко вы-
вычислить JCft+i ПО Xk-
Согласно предложению 1 метод Зейделя сходится тогда и только
тогда, когда все характеристические числа матрицы Е — Ь'1А =>
е= —Ь~*и по модулю меньше единицы. Легко проверить, что эти
числа совпадают с корнями уравнения
0. (8)

168 ГЛ. Ш. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
Предложение 4. Для сходимости метода Зейделя доста-
достаточно, чтобы матрица А была симметричной и положительно
определенной.
Это предложение является частным случаем доказываемого ниже
предложения 6.
Метод Зейделя сходится скорее, чем метод Якоби, и требует
несколько меньшего объема памяти. Последнее обстоятельство свя-
связано с тем, что при использовании треугольных матриц, после того
как вычислена ?-я компонента вектора Xk+i, соответствующая ком-
компонента вектора Хь становится ненужной (см. формулу G)).
В следующем пункте мы рассмотрим прием ускорения сходимо-
сходимости метода Зейделя при помощи введения параметра.
5. Метод верхней релаксации. Разобьем матрицу А на три
слагаемых А — L + D + U. Матрица D, как и выше, есть
diag (аи, ..., апп), a L и U получаются из А заменой на нули эле-
элементов aik при / :?= k и при i ^ k соответственно. Таким образом,
матрица L из предыдущего пункта равна L + D. Будем предпола-
предполагать, что det D Ф 0. Метод верхней релаксации определяется фор-
формулой D) при условии т = аиВ = О + ©L. Формула D) прини-
принимает вид
(D + wL) (xk+i - xk) + соЛх*= wb,
или
(9)
При со = 1 мы получаем отсюда формулу G) — метод Зейделя.
Применяя предложение I, мы видим, что метод верхней релак-
релаксации сходится тогда и только тогда, когда спектральный радиус
матрицы
меньше единицы. Иначе матрицу Р можно представить в виде
(D + coL)-1 [A - со) D - <тЩ.
Характеристическое уравнение матрицы Р можно преобразовать
следующим образом:
det (Р - Щ = det (D + coL)-1 det [A - со) D - cot/ - % (D + coL)].
Отсюда видно, что характеристические числа матрицы Р совпадают
с корнями уравнения
det[(l-co)D-cut/-MD4-cuL)] = 0.
Введем в уравнении A0) вместо переменной Я переменную
связанную с к соотношением

§ 4. ИТЕРАЦИОННЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ 169
Легко видеть, что условие | к | < 1 равносильно условию Re | < О,
а уравнение A0) перейдет в
det [— ©AS - B - to) D + со (U - Q] = 0. A1)
Мы получили
Предложение 5. Метод верхней релаксации сходится
тогда и только тогда, когда вещественные части всех корней урав-
уравнения A1) отрицательны.
Это позволяет получить следующее достаточное условие.
Предложение 6. Для сходимости метода верхней релак-
релаксации достаточно, чтобы матрица А была симметричной и поло-
положительно определенной и чтобы со ? @, 2).
Для доказательства напишем уравнение A1) для симметричной
матрицы А и рассмотрим корень |0 этого уравнения. Для |0 сущест-
существует (вообще говоря, комплексный) ненулевой столбец х такой, что
[— соЛ ?0 - B - со) D + со (U - L)] х = 0,
и потому
— (и10хТАх - B - со) xTDx + <axT (U-L)x = 0. A2)
Матрица U — L кососимметрична, и для нее мы имеем
xT(U-L)x = (—хт (U - L)х)т == — хт (U - L) х = — хт (U - L) х.
Поэтому последний член в равенстве A2) имеет нулевую вещест-
вещественную часть. Аналогично доказывается, что хтАх и xTDx ве-
вещественны. Кроме того, если А положительно определена, то все
ее диагональные элементы положительны, и квадратичная форма
XTDx также положительно определена. Приравнивая нулю веще-
вещественную часть A2), имеем
а> х' Ах
Если со е @, 2), то (со — 2)/со < 0. Отсюда следует, что Re ?0 <; 0.
Предложение доказано.
Предложение 4 следует отсюда как частный случай при со = 1.
Формула A2) позволяет высказать некоторые соображения
о выборе параметра со в случае симметричной положительно опре-
определенной матрицы А. Предположим, что корни A1) вещественны,
и перепишем A3) в виде \0 = —ар, где а = B — со)/со, a p =
= (xTDx)/(xTAx). Значению Я= 0 соответствует значение | ==
= —1. Мы должны выбрать а таким образом, чтобы | было воз-
возможно ближе к —1.
Оценим р. Для этого можно воспользоваться результатом § 2
гл. I, согласно которому р заключено между минимальным и мак-
максимальным корнями уравнения det (D — ЯЛ) = 0. Обозначим эти
корни соответственно рх и р2. Тогда все корни уравнения A1)
заключены между —а р2 и —а рх. Для того чтобы приблизить эти

170 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
границы к —1, мы должны так выбрать а, чтобы наибольшее из
чисел | 1 —а р2 | и | 1 —а рх | было минимальным. Это равно-
равносильно тому, чтобы минимальным было наибольшее из чисел
| а — рГ1 I и | а — р^ |. Последнее будет достигнуто, если а —
середина отрезка [р^\ рГ1]. Такой выбор а не является наилучшим,
но дает приемлемые результаты. В общем виде задача о нахождении
наилучшего а решена, но решение достаточно сложно, и мы не будем
на нем останавливаться.
§ 5. Вычисление собственных векторов и собственных
значений
1. Вводные замечания. В этом параграфе мы рассмотрим задачу
нахождения ненулевых решений системы уравнений
которые, допуская некоторую вольность речи, будем называть соб-
собственными векторами матрицы А. Различаются две постановки
этой задачи: нахождение всех характеристических чисел и соот-
соответствующих собственных векторов называется полной проблемой
собственных значений, а нахождение одного или немногих из них
носит название частичной проблемы собственных значений.
Понятно, что проблема собственных значений, как полная,
так и частичная, намного сложнее, чем рассмотренная выше задача
решения системы линейных уравнений. Среди большого числа ал-
алгоритмов, предназначенных для ее решения, нет такого, который
можно было бы рекомендовать во всех случаях, хотя некоторые из
алгоритмов и выделяются своей эффективностью среди остальных.
Некоторые алгоритмы особенно эффективны в специальных случаях,
например специально приспособлены к симметричным или к ленточ-
ленточным матрицам.
Все имеющиеся методы решения проблемы собственных значе-
значений могут быть разделены на две большие группы: прямые методы,
основанные на решении характеристического уравнения, и итера-
итерационные методы. В прямых методах важным этапом является на-
нахождение коэффициентов характеристического многочлена, так как
их вычисление на основе общих формул, прямо следующих из опре-
определения, требует осуществления очень большого числа арифмети-
арифметических операций. Вычисления, проделываемые для нахождения
характеристического многочлена, обычно могут быть использованы
для нахождения собственных векторов. Результат, получаемый
Прямыми методами, является в принципе приближенным (т. е. даже
если не говорить об ошибках округления), так как корни характе-
характеристического многочлена могут быть найдены только приближенно.
Мы не будем излагать здесь прямых методов решения проблемы соб-
собственных значений. О них можно прочесть в книгах Гантмахера [8],
Д. К. Фаддеева и В. Н. Фаддеевой [35].

§ 5. ВЫЧИСЛЕНИЕ СОБСТВЕННЫХ ВЕКТОРОВ 171
Типичным итерационным методом является метод вращений, или
метод Якоби. Исходная симметричная матрица А подвергается
последовательно ряду преобразований вращения, рассмотренных
нами в § 3 при построении Q/^-разложения. Однако, в отличие от
Q^-разложення, на каждом шагу преобразование производится по
формуле
А = 1 k + \A 1 /;+ь
где Л(/г) — матрица, полученная после /г-го шага, a Tk+i — мат-
матрица вращения. По этой формуле в общем случае невозможно за
конечное число шагов привести матрицу к такому виду, для кото-
которого характеристические числа устанавливались бы непосредст-
непосредственно. Очередное (/г -|- 1)-е вращение выбирается так, чтобы обра-
обратить в пуль наибольший по модулю внедиагональный элемент мат-
матрицы A{k) или, если это затруднительно, любой элемент, превосхо-
превосходящий некоторое заданное число. В других вариантах уменьшается
сумма квадратов внеднагональных элементов или вообще какая-
либо норма матрицы /1(*', получаемой из А^ заменой диагональ-
диагональных элеыентоз на 0.
В результате после достаточного числа К шагсв матрица Л(*>
оказывается близкой к диагональной и имеет те же характеристиче-
характеристические числа, что и А. Диагональные элементы АAг) принимаются
за приближенные значения характеристических чисел, а столбцы
матрицы Т = 7\... Tk — за приближенные собственные векторы.
На методе вращений более подробно останавливаться мы не бу-
будем. Заметим, что этот метод, как и другие итерационные методы,
ввиду большой трудоемкости получил распространение только после
появления электронных вычислительных машин, однако он является
одним из наиболее эффективных методов длт симметричных матриц.
2. Степенной метод. Этот метод применяется для решения ча-
частичной проблемы собственных значений. В простейшем варианте
(прямой степенной метод без сдвигов), начиная с произвольного
вектора.г0, строится последовательность векторов xo,Xi, ... по фор-
формулам
ai V iyk+1, A)
причем положительный множитель ос/г+1 выбирается так, чтобы
l|Jt*+ill = 1.
Очевидно, что эта же последовательность может быть задана
формулой
foxk = Akx0, B)
где §k = av..ak.
Каким из выражений A) или B) следует пользоваться — вопрос
экономии числа арифметических операций. Как правило, исполь-
используется формула A), так как, скажем, для получения х2 по фор-
формуле B) нужно умножить матрицу Л на столбец п + 1 раз, а для
получения по формуле A) — всего 2 раза. Однако для больших

172 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
степеней, вычисляя Л2, Л4, Л8, ... последовательным возведением
в квадрат, можно получить результат по формуле B) за меньшее
число операций.
Допустим, что среди характеристических чисел матрицы Л есть
вещественное число Xlt по модулю превосходящее остальные. При
этом условии мы можем доказать, что построенная последователь-
последовательность сходится. С этой целью напишем спектральное разложение Ak
по формуле A5) § 3 гл. II. Мы получим
s mi
Здесь числа /и,- — кратности корней Я,- в минимальном многочлене,
a Zij — постоянные матрицы, называемые компонентными матри-
матрицами. Разделим обе части равенства на ks* — lK\. Тогда
т s?
Здесь Ук.— $кк~Si + 1X~k, а коэффициенты v,,y, выполнив дифферен-
дифференцирование, мы можем записать следующим образом:
При y <1 очевидно, что vki}--> 0 при k-^-co. При i = 1 для
/ < Si имеем также \ку -> 0, но уже за счет того, что в числителе
дроби степень k меньше, чем sx — 1. Коэффициент ^^15, имеет конеч-
конечный ненулевой предел, который мы обозначим через ц. Итак, при
/е-> со
m si
Мы видим, что для любого е > 0 при всех /г > k0 (e)
Отсюда нетрудно получить
и, так как || Ya^+x II = Та II хк+1 II ~ у*.
В общем случав Zi^JCo1^ 0. а значит, не равен нулю предел у по-
последовательности Yft. Отсюда
Xk+i -*- —- Z\SlXo-
К рассмотрению случая ZX4xu ~ 0 мы вернемся несколько позже.

§ 5. ВЫЧИСЛЕНИЕ СОБСТВЕННЫХ ВЕКТОРОВ 173
Для сходящейся последовательности ук отношение Ya/Ya-i стре-
стремится к 1. Поэтому из
Ук-1 h k
следует afe->Xj. Равенства A) можно записать в виде
Ах и = oc
Переходя к пределу, мы видим, что xk стремится к собственному
вектору, принадлежащему собственному значению Хх.
Впрочем, вспомнив определение компонентных матриц, не-
нетрудно заметить и непосредственно, что в том случае, когда ZXsix0
отличен от нуля, он является собственным вектором, принадлежа-
принадлежащим Яь
Посмотрим на проведенное рассуждение несколько подробнее.
Каждый член суммы C) стремится к 0 или к оо при /г-> со, и это
определяется его «порядком» k'~xV^. .Мы накладывали ограничение
1 Хг | > | Kt | (t > 1). В общем случае могут оказаться несколько
членов суммы C) с равными порядками. Тогда хк сходится к неко-
некоторой линейной комбинации собственных векторов, соответствующих
этим членам.
Для вещественных матриц предположение о вещественности
максимального по модулю характеристического числа является
существенным. Есть возможность находить степенным методом комп-
комплексные характеристические числа и соответствующие инвариант-
инвариантные подпространства для вещественных матриц, но мы не будем
останавливаться на этом вопросе.
Теперь обсудим, что будет, если начальный вектор х0 выбран
так, что ZUlx0 =0. В этом случае член суммы C) с максималь-
максимальным порядком обращается в нуль. Изменяя рассуждение, мы
должны будем разделить обе части равенства C) на самый большой
из порядков не обратившихся в нуль членов. В остальном доказа-
доказательство не изменится, и мы увидим, что последовательность Хь
стремится к собственному вектору, соответствующему старшему из
членов. В частности, может оказаться, что этот собственный век-
вектор принадлежит другому собственному значению.
Однако в действительности равенство Z1Slx0 = 0 вполне точно
выполняться не может, и даже если бы оно выполнялось, ошибки
округления на первых же итерациях вызовут эффект, равносильный
его нарушению. Значит, в рассматриваемом случае последователь-
последовательность хк вполне может сходиться к собственному вектору, принад-
принадлежащему максимальному по модулю характеристическому числу.
Этого может не произойти, если ошибки округления малы, а после-
последовательность сходится быстро.
3. Обратный степенной метод. В других вариантах степенного
метода тот же процесс применяется не к исходной матрице А, а к не-
некоторой функции от нее. Рассмотрим широко применяемый ва-

174 ГЛ. Ш. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
риант, называемый обратным степенным методом со сдвигом.
В этом случае вместо матрицы А используется матрица (А — pE)~i.
Конечно, обратную матрицу можно не вычислять, а строить после-
последовательность по формулам
Xk = a*+i {А - рЕ) хк+1, E)
решая систему линейных уравнений относительно Xk+v При этом
пользуются вычисляемым один раз L ^-разложением или (^-раз-
(^-разложением матрицы А — рЕ.
Характеристические числа и,- матрицы А — рЕ связаны с ха-
характеристическими числами А равенствами \it = (А,г- — р). Таким
образом, обратный степенной метод со сдвигом дает последователь-
последовательность, сходящуюся к собственному вектору А, принадлежащему
тому из характеристических чисел Я;, для которого \%t — р I
максимален. Это характеристическое число является ближайшим
к числу р.
Обычно обратный степенной метод со сдвигом применяется в том
случае, когда надо найти собственный вектор по известному при-
приближенному значению характерь'стического числа. При этом сдвиг
полагают равным этому значению, и последовательность сходится
очень быстро, возможно, за одну итерацию. Трудность здесь состоит
в том, что при р, близком к характеристическому числу Xt, прихо-
приходится решать систему с плохо обусловленной матрицей.
Покажем, что, несмотря на эту трудность, собственный вектор
может быть получен достаточно точно, если он не является плохо
обусловленным, и собственное значение Ki хорошо отделено от со-
соседних.
Точность вычисленного вектора х может быть оценена по не-
невязке
v = (A-pE)x.
Норму ||х || = (хТхI/2 вектора х будем считать равной 1. Тогда
предыдущее равенство можно переписать в виде
(Л — vxT) х = рх.
Отсюда видно, что х является точным собственным вектором, при-
принадлежащим собственному значению р для возмущенной матрицы
А — vxT. Если норма невязки мала, то мала и норма возмущения
И — —vxT. Действительно, для любого вектора у при \\у || = 1
имеем \\(vxT)y 11 = II v (xTy) \\ ==s || v ||, причем равенство дости-
достигается при х = у. Поэтому для возмущения Н находим
!#!= sup
Формулу E) можно записать в виде
ak+i

§ 5. ВЫЧИСЛЕНИЕ СОБСТВЕННЫХ ВЕКТОРОВ 175
Напомним, что aft+1 выбирается так, чтобы вектор Xk+t имел норму,
равную 1, т. е. aft+1 = || (А — рЕ)~1хк II- Вектор хк/ам можно
трактовать как невязку, которую дает хш> и> следовательно, чем
больше о.к+1, тем меньше невязка и тем меньше эквивалентное воз-
возмущение Н.
Для того чтобы оценить величину ak, вспомним, что в общем
случае (т. е. для начального вектора х0, не удовлетворяющего не-
некоторому точному равенству) величина ak стремится к наибольшему
по модулю характеристическому числу матрицы, определяющей
процесс. Если сдвиг р близок к).;и удален от остальных характе-
характеристических чисел А, то наибольшим по модулю характеристиче-
характеристическим числом матрицы (Л — рЕ)'1- будет (fo — р). Таким образом,
а* = (Я,-р)-1 0A),
и можно ожидать больших значений ak и, следовательно, малой
нормы невязки.
Однако на первых итерациях это предельное соотношение не
играет такой роли, как выбор начального вектора. Покажем, что
при удачном выборе этого вектора можно получить малую невязку
уже на первой итерации. Действительно, мы можем предполагать,
что норма матрицы А — рЕ невелика и число обусловленности
I! А — рЕ ||-|1 (А — рЕ)~* || велико потому, что || (А — рЕ)'х || >
> е, где е — некоторое малое число. В случае спектральной нормы
это означает, что существует единичный вектор х0, для которого
| (А —рЕ)'1х0 | > е. Это — первый вектор сингулярного базиса
матрицы (Л — рЕ)'1. Если в качестве начального вектора взять ха,
то уже после первого шага невязка окажется по норме меньше чем е.
Приведенное соображение не слишком утешительно, так как
хороший начальный вектор нам неизвестен. Впрочем, оно не так
бесполезно, как может показаться. В самом деле, при решении плохо
обусловленной системы линейных уравнений оказывается большой
как раз компонента ошибки по первому вектору сингулярного ба-
базиса обратной матрицы (предложение 5 § 2). Поэтому, если на пер-
еой итерации решение содержало большую ошибку, эта ошибка вы-
вызовет сокращение невязки на следующей итерации.
Обсудим скорость сходимости обратного степенного метода.
Она зависит от коэффициентов в разложении C), написанном для
матрицы (Л — рЕ)'и.
Производная [(Я,, — р)-*]^-1* равна (Я* — р)-* при /« 1, а при
/> 1

176 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
Если р близко к ki и WiSlx0=?0, то старшим будет член, содер-
содержащий этот вектор, и порядок коэффициента в старшем члене равен
г-г—zrr • Скорость сходимости определяется скоростью стрем-
(Я*-Р) '
ления к нулю отношений
Мы видим, что наименее благоприятен случай, в котором существует
характеристическое число Кг, также близкое к р и имеющее боль-
большую кратность в минимальном многочлене. Иногда положение
может быть исправлено при помощи изменения сдвига, но если Кг
и %i- действительно близки между собой, это свидетельствует о пло-
плохой обусловленности задачи.
Скорость сходимости уменьшается также, если вектор WiS[xQ
мал или равен нулю. Как объяснялось выше, его обращение в нуль,
вообще говоря, не влияет на вычисленный собственный вектор.
Вектор, к которому сходится последовательность, может зави-
зависеть от начального приближения в двух случаях. Во-первых, если
существуют несколько различных характеристических чисел, мо-
модули которых равны и превосходят модули остальных. Во-вторых,
если максимальному по модулю характеристическому числу соот-
соответствует собственное подпространство размерности т>1. Как
в этом случае найти базис этого подпространства, мы опишем не-
несколько ниже.
Ошибки округления, возникающие на каждой итерации, как и
при итерационном решении систем линейных уравнений, влияют
на сходимость процесса.
Если учесть ошибки округления и в равенстве (Л — рЕ)Хк=
—амхк+1 под Хъ+1 и Хк понимать фактически вычисленные векторы,
то это равенство должно быть исправлено дополнительным сла-
слагаемым
(Л — рЕ)'1 xk = ak+ixh-n + «ft-
Все векторы а» ограничены: II в*, || < б, причем б не зависит от ите-
итерации. Как и выше, мы можем написать
((Л - рЕ)'1 - ukxl) xk = ak+1xk+1.
Это значит, что результат тот же, что и при точном выполнении
итерации е возмущенной матрицей (Л — р^Т1 4- F, где F —
= —afeJCfc.Поэтому на какой-то итерации может оказаться, что век-
вектор Х/,+1 будет с рабочей точностью совпадать с Хь, но он будет соб-
собственным вектором не для (Л — рЕ)~* (и тем самым не для Л), а
для другой близкой матрицы. Иными словами, нельзя гарантиро-
гарантировать, что улучшение приближений Хк будет продолжаться после

§ 5. ВЫЧИСЛЕНИЕ СОБСТВЕННЫХ ВЕКТОРОВ 177
того, как Xh окажется равным собственному вектору некоторой мат-
матрицы (Л — рЕ)~* = Н, где || Н || < б. Фактически достижимая
точность зависит от обусловленности собственного вектора и соб-
собственного значения.
Если приближенное значение характеристического числа не
известно заранее, в принципе степенной метод будет сходиться
и при любом сдвиге (например, нулевом), но сходимость будет го-
гораздо более медленной. В этом случае для ускорения сходимости
применяется сдвиг, меняющийся на каждой итерации. Для симмет-
симметричной матрицы лучшие результаты получаются, если в качестве
сдвига брать отношение Релея, вычисленное для очередного век-
вектора Xk- Мы не будем подробно останавливаться на этом, как и на
многочисленных других приемах, предназначенных для ускорения
и уточнения степенного метода. Отметим только, что со всеми этими
улучшениями обратный степенной метод со сдвигом зарекомендовал
себя как наиболее точный и эффективный метод нахождения одного
или нескольких собственных векторов.
4. Дальнейшее развитие степенного метода. Описанный выше
степенной метод позволяет найти один из собственных векторов,
принадлежащих максимальному по модулю характеристическому
числу. Посмотрим, как его можно видоизменить для получения
других собственных векторов.
Пусть А — симметричная матрица, и один из ее собственных
векторов р уже найден и нормирован так, что || р || = 1. Если мы
хотим построить последовательность, сходящуюся к другому соб-
собственному вектору, естественно выбрать начальный вектор ортого-
ортогональным р. Однако вектор Хи получаемый после первой же итера-
итерации степенного метода, уже не будет ортогональным р, и мы должны
будем его подправить. Это приводит к следующему процессу. Если
уже построен вектор Хь, то полагаем
Множитель <хА+1 выбирается так, чтобы выполнялось условие
|| Xft+i ||= 1. Как легко видеть, xk+i ортогонален р. Собрав преды-
предыдущие равенства вместе, получаем
и, таким образом, построение последовательности равносильно при-
применению степенного метода с матрицей
Это означает, что последовательность Хь сходится к собствен-
собственному вектору д матрицы В, соответствующему максимальному по
модулю характеристическому числу \х,\ этой матрицы.
Для нахождения (ii заметим, что В имеет те же характеристиче-
характеристические числа, что и Л, но кратность корня hi уменьшена на 1, а крат-
кратность нулевого характеристического числа увеличена на 1 (или

178
ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
появился корень % = О, если его не было). Действительно, рас-
рассмотрим ортогональную матрицу S, первым столбцом которой
является р, и с помощью этой матрицы образуем матрицу В1 —
= S'tBS. Она может быть записана как [5 (Е —ppT)S] [S^AS].
Сомножители, заключенные в квадратные скобки, имеют соответст-
соответственно вид
О ... О
Еп-1
Перемножая эти матрицы, находим
5' =
Ю
О
В матрице В' последние п — 1 строк те же, что и соответствующие
строки второго сомножителя. Сравнивая характеристические много-
многочлены матриц А, А и В, мы приходим к требуемому заключению.
Таким образом, цх = Яь если кратность А* в характеристиче-
ском многочлене матрицы А больше единицы, а в противном слу-
случае Hi равно следующему по величине модуля характеристическому
числу матрицы А.
Легко видеть, что вектор q ортогонален р. Действительно,
ViPTq^PTBq=pT {Е -ррт) Ад = ОАд = 0.
Отсюда при \х1 Ф 0 получаем pTq = 0.
Докажем, что для симметричной матрицы А вектор q будет
также и ее собственным вектором. В самом деле, умножение какого-
либо вектора на матрицу Е—ррт превращает этот вектор в его
ортогональную проекцию на ортогональное дополнение @4^ подпро-
подпространства, натянутого на р. Поэтому равенство (Е —РРТ) Aq =*
= \ixq означает, что
Aq^^q + ap. F)
Отсюда следует, что в случае, когда ®^* инвариантно относительно
А (в частности, для симметричной матрицы) Aq = \xiq, как и тре-
требовалось.
Итак, в случае симметричной матрицы последовательность Xf,
сходится к собственному вектору Л, ортогональному р.
Применение степенного метода к матрице В можно упростить,
если привести ее к указанному выше виду В', в котором первая
строка и первый столбец — нулевые. Любая степень матрицы В*
имеет такой же вид, и потому дело сводится к применению степен-
степенного метода к матрице А порядка и — 1. Мы не будем останавли-
останавливаться на реализации этого метода понижения порядка, а также на
других подобных методах, называемых методами исчерпывания.

§ 5. ВЫЧИСЛЕНИЕ СОБСТВЕННЫХ ВЕКТОРОВ 179
Пусть теперь матрица А не симметрична. Действуя, как ука-
указано выше, мы можем построить вектор д, но в соотношении F)
число а может оказаться отличным от нуля. Если кратность кор-
корня h больше 1, то для этого нужно, чтобы вектор р имел первый
присоединенный вектор. Действительно, при \it — Ул и а Ф О соот-
соотношение F) может быть переписано в виде
Нетрудно и построить пример, в котором q оказывается при-
присоединенным к ранее построенному р.
Если корень \х не кратный, цг Ф Хи то по вектору q может
быть построен собственный вектор г матрицы А, принадлежащий
характеристическому числу }м. Мы будем искать этот вектор в виде
г = q + §р. Легко проверить, что равенство
будет выполнено при Р = а/(\1г — Aj).
Пусть характеристические числа матрицы А таковы, что | Xi \ >
> I К I > I ^з I ^ •••• причем %i и Я2 вещественны. Тогда для оты-
отыскания Я2 и соответствующего собственного вектора можно восполь-
воспользоваться следующим методом. Вспомним, что каждый собственный
вектор сопряженного преобразования А* ортогонален всем соб-
собственным векторам А, принадлежащим другим собственным зна-
значениям. Применяя прямой степенной метод, мы можем найти еди-
единичный вектор и, для которого А ги = ktu, атр = а Ф 0 и uTq —
*= 0, где р и q — собственные векторы А, принадлежащие соответ-
соответственно Ях и Я2. Может быть показано, что процесс, построенный по
формулам
сходится к собственному вектору, соответствующему Я2. Доказа-
Доказательство незначительно отличается от приведенного выше для сим-
симметричной матрицы, и мы предоставим его читателю.
Вернемся к случаю симметричной матрицы А и допустим, что
нами построено два ее собственных вектора р^ и р&\ Третий
собственный вектор этой матрицы можно построить аналогично,
ортогонализуя на каждой итерации вектор Axk по отношению к
p(i) и pW, Вообще, если построена ортонормированная система
из s собственных векторов/^1), ..., p(s), то следующий вектор может
быть построен применением степенного метода к матрице
что равносильно ортогонализации вектора Ахь по отношению ко
эсем р*1', ..., р<-*\ Таким путем можно найти ортонормированный
базис из собственных векторов симметричной матрицы.

180 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
Другой близкий к описанному метод отличается тем, что. собст-
собственные векторы матрицы вычисляются не последовательно, а одно-
одновременно. При этом векторы, которые мы строим на каждой итера-
итерации, рассматриваются как столбцы одной матрицы, и таким обра-
образом строится последовательность матриц.
Процесс, соответствующий прямому степенному методу без
сдвигов, строится по формулам
APb = Vk+1, Vk+i = Pk+1R!i+1. G)
Столбцы матрицы Рк ортонормированы, а матрица R!;+1 выбирается
так, чтобы ортонормированы были столбцы Р^ъ
В дальнейшем изложении нам придется опускать все больше
подробностей. В частности, мы не будем исследовать сходимость
процесса G).
Таким процессом, в частности, может быть получена пара ком-
комплексно сопряженных корней Я2 и %х и соответствующее двумерное
инвариантное подпространство, если корни этой пары превосходят
по модулю остальные характеристические числа. В этом случае
матрицы Рк состоят из двух столбцов, которые стремятся к векто-
векторам ортонормированного базиса в инвариантном подпространстве.
Rt, — матрицы второго порядка, и их характеристические числа
стремятся к комплексно сопряженным характеристическим числам %i
и 1г матрицы А.
Если о характеристических числах матрицы А ничего не из-
известно, то процесс G) лучше проводить с матрицами Рк, содержа-
содержащими п ортонормированных столбцов, т. е. с ортогональными мат-
матрицами. В этом случае матрицы Рк+1 и RM могут быть получены
(^-разложением матрицы А.
Объединяя формулы G), мы можем, как и в предыдущих слу-
случаях, записать сразу результат k-\\ итерации:
Если начинать процесс с единичной матрицы и ввести обозначение
Uк = RaRii-t ¦•• Ri, то мы получим
Так как матрица Uk — верхняя треугольная, последняя формула
может рассматриваться как Q^-разложение Л*.
Этот процесс позволяет найти все характеристические числа и,
по крайней мере для симметричной матрицы, собственные векторы,
но обычно проводится в другой, гораздо более удобной форме. К ее
описанию мы и переходим.
5. Q/J-алгоритм. Основой этого алгоритма является следующий
процесс. Найдем ^-разложение исходной матрицы. Пусть
Л = QiRi- Положим Аг — RiQi и найдем для матрицы At ее
(^-разложение А\ = Q2i?2. Матрицу Л2 получим, переставив

§ 5. ВЫЧИСЛЕНИЕ СОБСТВЕННЫХ ВЕКТОРОВ 181
сомножители Q2 и R2, и вообще
4*-i=Q*fl*. Ak = RkQk. (8)
При этом Rk = QVAk-u и потому Ak = QklAk^Qk. Отсюда
Ab = Qkl...Q[lAQ1...Qk = P?APk, (9)
где Pk — Qi---Qk- Это показывает, что характеристические числа
всех матриц Ak совпадают с характеристическими числами мат-
матрицы А.
Если обозначить произведение Rk...R1 через ?/*, то k-я степень
матрицы А может быть выражена так:
A" = PkUk. A0)
Действительно,
Но из формулы (9), написанной для Ak-\, следует
Рй_1Лк_1=ЛРй_1,
и потому PkUk = APb-iUk-i. Формула A0) получается последова-
последовательным применением этого результата и устанавливает связь
с процессом, описанным в конце предыдущего пункта.
Хотелось бы утверждать, что последовательность матриц Ак
сходится к блочно треугольной матрице, но, к сожалению, это не
так. Можно доказать лишь, что те элементы Ак, которые лежат
ниже диагональных клеток, стремятся к нулю, а элементы этих
клеток и вышележащие элементы равномерно ограничены. После-
Последовательность матриц с таким свойством называется сходящейся по
форме к блочно треугольной матрице.
По-видимому, пока не существует доказательства этого утверж-
утверждения, настолько простого, чтобы его можно было здесь воспроиз-
воспроизвести.
Для того чтобы подробнее описать «предельную» матрицу Аса,
получаемую Q^-алгоритмом, предположим, что характеристиче-
характеристические числа А пронумерованы в порядке невозрастания модулей:
! КI = • • • = | Кг [ > j Кг +11 = • • • = j Кх+гг [>• • •> [ К - тт \ = • • •=! ^я !•
Матрицу Ак можно разбить на клетки, соответствующие группам
равных по модулю характеристических чисел. Удается доказать,
что элементы (i, /)-й поддиагональной клетки при i >¦ / стремятся
к нулю не медленнее, чем
V
где т — максимальная из кратностеи корней в минимальном много-
многочлене матрицы А (см. Воеводин [5]).

182 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
В «предельной» матрице диагональные клетки соответствуют
группам равных по модулю характеристических чисел. При этом
характеристические числа клетки совпадают с характеристическими
числами матрицы А, принадлежащими соответствующей группе.
Например, простой комплексно сопряженной паре X, J. соответст-
соответствует диагональная клетка второго порядка, с характеристическими
числами к и Я.
Допустим, что матрица А имеет полную систему из собствен-
собственных векторов и X — матрица, столбцы которой — собственные
векторы матрицы А. Обозначим через QOT ортогональную матрицу,
входящую в Q^-разложение матрицы X. Тогда может быть дока-
доказано, что найдутся такие ортогональные диагональные матрицы Тк,
что TkQk -> Qoo.
Это соотношение особенно существенно в случае симметричной
матрицы А, так как оно позволяет найти ее ортонормированный
базис из собственных векторов.
Обычно размеры диагональных клеток предельной матрицы Лот
бывают невелики и соответствующие характеристические числа на-
находятся без труда. После того как это сделано, соответствующие
собственные векторы находятся обратным степенным методом со
сдвигом.
6. Приведение матрицы к почти треугольной форме. Каждый
шаг Q^-алгоритма состоит из нахождения Q^-разложения мат-
матрицы и умножения матриц и требует осуществления значительного
числа арифметических операций. Эта работа может быть существенно
сокращена, если предварительно подготовить матрицу А, приведя
ее к почти треугольной форме.
По определению матрица А с элементами а1к является правой
почти треугольной, если а1}- = 0 при I > / + 1. Таким образом,
ниже главной диагонали могут отличаться от нуля только элементы
ряда, идущего параллельно диагонали непосредственно рядом с ней.
Аналогично определяются левые почти треугольные матрицы.
Предложение 1. Для любой матрицы А может быть
построена ортогональная матрица S такая, что матрица S~MS —
правая почти треугольная.
Матрица преобразуется в правую почти треугольную последр,-
вательными шагами, на каждом из которых приводится к нужному
виду один столбец. Пусть за г — 1 шаг она переведена в мат-
матрицу Л(/>), у которой первые г — 1 столбцов соответствуют правой
почти треугольной форме. Тогда матрица А^+1) получается по фор-
формуле
где Рг — матрица отражения (п. 6 § 3). Матрица отражения сим-
симметрична и ортогональна: Pr == Pj = Pj1. Поэтому Л(г+1) «•
Р/А^Р

§ 5. ВЫЧИСЛЕНИЕ СОБСТВЕННЫХ ВЕКТОРОВ 183
Опишем выбор матрицы Рг. Если в r-м столбце матрицы А(г)
последние п — г элементов — нули, то в преобразовании этого
столбца необходимости нет, и мы переходим к (г + 1)-му шагу,
преобразующему (г + 1)-й столбец. В противном случае строится
отражение, которое переводит вектор
в вектор, пропорциональный (г + 1)-му столбцу единичной мат-
матрицы. Обратим внимание на то, что этот выбор отличается от сде-
сделанного при построении (^-разложения методом отражений. Там
в г-и столбце заменялись на нули не г, а г — 1 первых элемен-
элементов, и полученный столбец переводился в пропорциональный г-му
столбцу единичной матрицы. В результате сейчас будет построена
¦матрица отражения Рг, у которой первые г столбцов и строк сов-
совпадают с соответствующими строками и столбцами единичной
матрицы.
При умножении А{г) слева на Рг первые т строк А{г) останутся
неизменными, не изменятся нулевые элементы столбцов с номерами
< г, последние п — {г -\- 1) элементов г-го столбца обратятся в нуль.
При умножении матрицы на Рг справа не изменятся ее первые г
столбцов, и потому вид, достигнутый после умножения слева, будет
сохранен.
Последним столбцом, нуждающимся в преобразовании, будет
(п — 2)-й. Следовательно, после п — 2 шагов матрица А будет
переведена в верхнюю почти треугольную матрицу.
Предложение 2. Верхняя почти треугольная форма мат-
матрицы не утрачивается при преобразованиях матрицы по QR-алго-
ритму.
Доказательство. Пусть Л—верхняя почти треугольная
матрица. Она может быть преобразована в верхнюю треугольную R
умножением слева на матрицы вращений в плоскостях, натянутых
на пары базисных Еекторов с номерами A, 2), B, 3), C, 4), ...
..., (п — 1, и). Следовательно, Q/^-разложение А имеет вид
А = РГ2... Pl-x,nR,
а матрица Аг равна
A1=*RQ = RP!2...Pl-l.n.
Умножение справа на указанные матрицы вращений может изме-
изменить в матрице R только наддиагональные и диагональные клетки
второго порядка. При этом треугольная матрица может превратиться
только в почти треугольную.
Предложение 3. Симметричность матрицы А не нару-
нарушается при применении к ней QR-алгоритма,
Действительно, если А симметрична и А = QR, то А = АТ =
RTQT, откуда RT = QRQ. Теперь, если Ах == RQ, то А\ =
Qtrt = Qtqrq = ди что и требовалось.

184 ГЛ. Ш. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
Если матрица симметрична и приведена ортогональной матри-
матрицей 5 к почти треугольной форме, то полученная матрица 5"М5
также будет симметричной. Симметричные почти треугольные мат-
матрицы называются трехдиагональными. В такой матрице могут быть
ненулевыми только элементы главной диагонали и двух параллель-
параллельных ей рядов непосредственно выше и ниже нее.
Q/^-алгоритм практически всегда применяется к почти треуголь-
треугольным матрицам, а в симметричном случае — к трехдиагональным.
Отметим, что Q/^-разложение почти треугольной матрицы вы-
выгоднее всего получать методом вращений — как мы видели при
доказательстве предложения 2, для этого требуется только п — 1
вращение.
7. Ускорение сходимости Q/^-алгоритма. Приведенная выше
оценка A1) показывает, что скорость сходимости Q^-алгоритма
в том виде, как он описан, может оказаться очень низкой. Разрабо-
Разработаны улучшения этого алгоритма, позволяющие существенно уве-
увеличить скорость сходимости.
а) Понижение порядка. Если в процессе преобразо-
преобразований почти треугольной матрицы по (^-алгоритму один из поддиа-
гональных элементов становится пренебрежимо малым, то после
замены его на нуль матрица становится клеточно треугольной
с почти треугольными диагональными клетками. Все характеристи-
характеристические числа исходной матрицы будут получены, если мы найдем
характеристические числа диагональных клеток. Поэтому с появле-
появлением нулевых поддиагональных элементов размеры решаемой за-
задачи снижаются.
б) Сдвиги. Пусть задана числовая последовательность {рк},
называемая последовательностью сдвигов, (^-алгоритм со сдвигом
определяется формулами
Нетрудно доказать, что и в этом случае Ak = PlAPb, где Pk =
= Qi---Qk- Таким образом, характеристические числа всех мат-
матриц Ak совпадают с характеристическими числами матрицы А.
Может быть также показано, что
Разработан ряд правил для выбора последовательностей сдви-
сдвигов. Мы не будем их излагать. Отметим только, что наибольшее
ускорение дает сдвиг, близкий к характеристическому числу мат-
матрицы А. Встречаются случаи, в которых скорость сходимости не-
ненормально мала. Бывают и такие матрицы, которые вообще не ме-
меняются при преобразованиях Q./?-алгоритма (единственная диаго-
диагональная клетка предельной матрицы совпадает со всей исходной
матрицей). В таких ситуациях может помочь практически произ-
произвольный сдвиг. ¦

§ 5. ВЫЧИСЛЕНИЕ СОБСТВЕННЫХ ВЕКТОРОВ 185
Существуют также различные усложнения и модификации
О/?-алгоритма со сдвигом, которые приспособлены к различным
частным ситуациям, например к нахождению комплексно сопря-
сопряженных характеристических чисел вещественной матрицы.
8. Апостериорные оценки точности вычислений. Если мы вы-
вычислили некоторое приближение к решению полной проблемы собст-
собственных значений, то в широком классе случаев можем использовать
полученный результат для оценки его точности. Мы будем предпо-
предполагать, что вычисленные характеристические числа к*, ... , %* раз-
различны, а вычисленные собственные векторы ?*, ..., 1« линейно не-
независимы.
Мы можем составить п векторов-невязок
Обозначив через X и Р матрицы со столбцами |* и р, соответственно,
объединим написанную выше систему равенств
AX — XD = P.
Здесь D = diag (Я*, ..., Я*). Умножая на X, получим
Последнее равенство означает, что результатом точного преобразо-
преобразования матрицы А матрицей X будет матрица, отличающаяся от
диагональной на добавку V — X'iP. Если Я* и |* — хорошие
приближения, то норма матрицы Р мала. Если |[ V II также мала,
то характеристические числа D + V могут быть оценены по харак-
характеристическим числами, т. е. истинные характеристические числа А
оцениваются по их вычисленным приближениям. Эта оценка может
быть произведена при помощи построения локализационных кру-
кругов (см. § 4 гл. II), если элементы матрицы V вычислены достаточно
точно. Для достижения максимальной точности матрица невязок Р
вычисляется в режиме накопления скалярного произведения, а ре-
решения систем линейных уравнений, с помощью которой находятся
столбцы матрицы V, подвергаются итерационному уточнению
(п. 3 § 4).
Допустим теперь, что мы вычислили только одно характеристи-
характеристическое число X* и соответствующий собственный вектор |*. По-
Посмотрим, как может быть оценена их точность. Естественно снова
начать с невязки
Не ограничивая общности, можно считать, что II |* ||2 = 1*г1х = 1,
и переписать предыдущее равенство в виде
Это показывает, что X* является собственным значением, а |* —¦
собственным вектором для возмущенной матрицы Л -J- Н, где Н =я

186 ГЛ. III. ВВЕДЕНИЕ В ЧИСЛЕННЫЕ МЕТОДЫ
= — plfт• При этом нетрудно показать, что II /f II = II р II (ср.
стр. 174). Согласно формуле A4) § 2 мы получаем
Эта оценка не слишком полезна. Во-первых, v (А) нам неиз-
неизвестно. Мы можем получить для него верхнюю границу, если най-
найдем остальные собственные векторы и число обусловленности со-
составленной из них матрицы. Кроме того, эта оценка может ока-
оказаться слишком завышенной, если первое собственное значение
матрицы хорошо обусловлено, а кроме него есть еще и плохо обу-
обусловленные.
Еще один подход заключается в следующем. Пусть |* и -ц* —
вычисленные приближения к собственным векторам матриц А и
Ат соответственно, причем точные векторы |х и % принадлежат
одному и тому же собственному значению Xv Мы будем считать
векторы |j и % нормированными, а разности 6|t = |* —|х и 6% =
= т)? — % принадлежащими соответственно линейным оболочкам
векторов |2, ..., |л и %, ..., ц„ (ср. стр. 131). В силу этого согла-
соглашения tjJ'SIj =0 и fiilfij = 0. Вычислим выражение
Здесь s* = т]*2"^ = Si -f- б^^б^. Мы видим, что вычисленный коэффи-
коэффициент s* отличается от истинного на величину порядка произведе-
произведения ошибок. Если этот коэффициент не является слишком малым,
вычисленное нами выражение очень мало отличается от истинного
собственного значения.
Если матрица А симметричная, то |г и т|,- можно взять совпадаю-
совпадающими, и выражение A2) превращается в отношение Релея для мат-
матрицы А. На этом основании рассматриваемое выражение назы-
называется обобщенным отношением Релея. Для симметричных матриц
расчеты с использованием отношения Релея производятся проще
и приводят к хорошим теоретически обоснованным оценкам. В не-
несимметричном случае мы можем сказать только, что если ц, =
= ¦ ' ' дает с т]* и |* малые невязки, то оно — хорошее при-
si
ближение для %и as* — хорошее приближение для sx.
Значение ц. обобщенного отношения Релея может быть исполь-
использовано не только для оценки погрешности, но и для уточнения ре-
результата. Для этого, приняв \i за величину сдвига, находят собст-
собственный вектор обратным степенным методом.

ГЛАВА IV
ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
§ 1. Элементарные свойства
1. Вводные замечания. В практических задачах часто бывает
нужно найти решение, удовлетворяющее большому числу возможно
противоречивых требований. Если такая задача сводится к си-
системе линейных уравнений, то система оказывается, вообще говоря,
несовместной. В этом случае задача может быть решена только
путем выбора некоторого компромисса — все требования могут
быть удовлетворены не полностью, а лишь до некоторой степени.
Поясним это следующим примером.
Пусть из физических соображений можно считать, что в неко-
некоторой области их изменения величины у и х связаны линейной за-
зависимостью вида у = kx Jr b, а коэффициенты должны быть уста-
установлены экспериментально. Экспериментальные данные представ-
представляют собой т точек на координатной плоскости (хг, ух) (хт, ут).
Если эти пары значений действительно связаны искомой зави-
зависимостью, то подстановка их в уравнение приводит нас к системе
из т линейных уравнений для двух неизвестных k и Ь:
iji^kxi + b, t=l, ..., т.
При любых различных xt и Xj пара точек (xh у) и (xs, у/) опре-
определяет прямую. Но другая пара точек определяет другую прямую,
и у нас нет оснований выбрать какую-нибудь одну из всех прямых.
Если экспериментальные данные в достаточной степени заслу-
заслуживают доверия, то несовместность системы служит основанием для
того, чтобы отвергнуть гипотезу о линейной зависимости. Вопрос
о совместимости экспериментальных данных с гипотезой линейной
зависимости решается статистическим анализом.
Пусть точность исходной информации допускает существова-
существование линейной зависимости. В этом случае то, что в действительно-
действительности нужно, — это найти такую прямую на координатной плоскости,
которая, может быть, не проходит ни через одну пару эксперимен-
экспериментальных точек, или даже ни через одну из точек, но в каком-то
смысле возможно более близко расположена ко всем точкам (рис. 4).
Обычно в этой задаче удаленность точки от прямой измеряют
не расстоянием, а разностью ординат yt — kxt — b, и выбирают
прямую так, чтобы сумма квадратов всех таких разностей была ми-
минимальна. Коэффициенты k0 и Ьо уравнения этой прямой дают не-

188
ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
которое решение стоящей перед нами задачи, которое отнюдь не
является решением системы линейных уравнений (вообще не имею-
имеющей решений). Можно считать числа k0 и Ьо обобщенным решением
системы или, как говорят, псевдорешением. Точное определение
этого понятия будет дано ниже.
В § 1 мы ограничимся такими элементарными свойствами псевдо-
псевдорешений и связанных с ними псевдообратных матриц, которые
можно без труда вывести, не используя ничего, кроме известных из
И
Рис. 4.
общего курса теорем о системах линейных уравнений и об ортого-
ортогональных дополнениях подпространств в евклидовом пространстве.
Таким образом, этот параграф может читаться независимо от пре-
предыдущих глав.
Мы будем рассматривать систему линейных уравнений
Ах = Ь A)
с матрицей А размеров т X п. Буква г будет обозначать ранг этой
матрицы. Никаких условий на т, п и г, вообще говоря, не накла-
накладывается. Поскольку а: — столбец высоты п, а Ь—столбец вы-
высоты т, для геометрической иллюстрации естественно будет исполь-
использовать арифметические пространства <Мп и <Мт. Под нормой столб-
столбца х с элементами х1 х" мы будем понимать его евклидову норму,
т. е. число
1 х\ = У хТх = У (л;1J +... + (*п)а-
2. Минимизация невязки. Невязкой, которую дает столбец х
при подстановке в систему уравнений A), называется столбец
и = Ь — Ах.
Решение системы -» это столбец, дающий нулевую невязку.
Если система A) несовместна, естественно постараться найти
столбец х, который дает невязку с минимальной нормой, и если
такой столбец найдется, считать его обобщенным решением системы.
Разумеется, если система совместна, ее решение будет также и обоб-
обобщенным

§ 1. ЭЛЕМЕНТАРНЫЕ СВОЙСТВА 189
Заметим в связи с этим следующее. В гл. III мы уже рассматри-
рассматривали невязки и стремились уменьшать их нормы, но ситуация тогда
была другая. Система имела решение, и столбец, дающий малую
невязку, рассматривался как приближение к этому решению.
Здесь мы не знаем, существует ли решение, и интересуемся столб-
столбцом, дающим минимальную невязку. Здесь мы исследуем обобщен-
обобщенные решения теоретически и будем предполагать, что вычисления
могут быть проделаны точно. Но практически обобщенное решение,
как и любой другой объект, может быть вычислено только при-
приближенно.
Для сравнения невязок воспользуемся евклидовой нормой и,
следовательно, будем искать столбец х, для которого минимальна
величина
\и? = ф-АхУ(Ь-Ах). B)
Рассматривая элементы столбца у как независимые переменные,
найдем полный дифференциал || и I!2. Как нетрудно проверить,
d\ a f = — dxTAr ф - Ах) -ф- Ах)т A dx.
Так как второе слагаемое, будучи матрицей первого порядка,
не меняется при транспонировании, имеем
d\uf = — 2dxTAT ф-Ах).
Поэтому дифференциал равен нулю тогда и только тогда, когда
АтАх = АтЬ. C)
Эта система линейных уравнений по отношению к системе A) назы-
называется нормальной системой. Она является следствием системы A),
но независимо от совместности системы A) справедливо
Предложение 1. Нормальная система уравнений обяза-
обязательно совместна.
Это предложение является перефразировкой предложения 12
§ 1 гл. I. Но непосредственное доказательство на языке матриц
несложно, и мы приведем его. Матрица АТА симметрична, и по-
потому транспонированная однородная система для системы C) имеет
вид А тАу = 0. Для любого решения этой системы имеют место
равенства, последовательно вытекающие одно из другого:
утАтАу = (Ау)т(Ау) = 0, Ау = 0, ут{АтЬ) = О.
Последнее из них означает, что для системы C) выполнено условие
теоремы Фредгольма. Это заканчивает доказательство.
Предложение 2. Точная нижняя грань квадрата нормы
невязки достигается для всех решений нормальной системы C) и
только для них.
Доказательство. Написав формулу B) для столбца
х0 + Дд; и раскрыв скобки, мы получаем
ф-А (хо + Ах))Т ф-А (хо + Ах)) =
= ф-Ахо)Тф-Ахо)-2АхТАТ ф-Ахо) + АхтАтААх.

190 ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
Последнее слагаемое неотрицательно, так как АхтАтААх =*
*=(ААх)т(ААх)^0. Если хо удовлетворяет системе C), то второе
слагаемое равно нулю, и тогда добавление Ах не уменьшает значе-
значения функции, каков бы этот столбец Ах ни был.
Обратно, для функции, определенной для всех х, точная нижняя
грань может достигаться только в точке локального экстремума,
й в таких точках дифференциал равен нулю, и выполнено условие C).
Предложение доказано.
По известной теореме (К-, теорема 2 § 5 гл. V) все множество
решений нормальной системы может быть описано формулой х =
= xo-\-z, в которой х0— некоторое фиксированное решение нор-
нормальной системы, a z — произвольное решение однородной системы
ATAz = 0. Как мы видели при доказательстве предложения 1, по-
последняя система эквивалентна системе Az — 0, и мы можем счи-
считать, что решение нормальной системы C) определено с точностью
до произвольного решения однородной системы Az = 0. Таким
образом, справедливо
Предложение 3. Нормальная система имеет единствен-
единственное решение тогда и только тогда, когда система Az = 0 имеет
только тривиальное решение, т. е. столбцы матрицы А линейно
независимы. В частности, это будет выполнено, если матрица А
невырождена.
Если решение нормальной системы не единственно, то возникает
задача выбрать какое-то одно из решений, и выбирается решение
G минимальной нормой.
Определение. Нормальным псевдорешением системы ли-
линейных уравнений называется столбец с минимальной нормой среди
всех столбцов, дающих минимальную по норме невязку при под-
подстановке в эту систему.
Поскольку не возникает опасности недоразумения, мы будем
называть нормальное псевдорешение просто псевдорешением.
Докажем существование и единственность нормального псевдо-
псевдорешения. С этой целью удобно будет использовать результаты из
теории евклидовых пространств, и мы будем рассматривать в про-
пространствах столбцов е^л и <Мт скалярное произведение, задавае-
задаваемое обычной формулой (х, у) = хТу.
Пусть SfC s е^я — множество решений однородной системы
Az = 0, а $ s <Мп — множество столбцов вида А ТЪ для всевоз-
всевозможных Je^m. Условие р е <& равносильно совместности си-
системы линейных уравнений А тх= р. С другой стороны, согласно
теореме Фредгольма, последняя система совместна тогда и только
тогда, когда для каждого геЖ выполнено zTp = 0. Это означает,
что
Напомним, что, каково бы ни было подпространство 36 в евкли-
евклидовом пространстве, любой вектор х может быть единственным

§ I. ЭЛЕМЕНТАРНЫЕ СВОЙСТВА 191
образом разложен в сумму вида х' -\-х", где х' е X, а х"
Векторы х' и х" называются ортогональными проекциями х на ,3?
и на =5?х соответственно.
Обозначим через s//^ множество решений нормальной системы
линейных уравнений C). Мы видели, что столбцы из ®#" описы-
описываются формулой х = xo-\-Z, где х0 — некоторый столбец из <^f,
a z е= <Ж\
Теорема 1. Каждая система линейных уравнений имеет
одно и только одно нормальное псевдорешение.
В силу предложения 2 нам достаточно доказать, что в множе-
множестве ®#* всегда существует один и только один столбец с мини-
минимальной нормой. Для доказательства разложим произвольный стол-
столбец х из &V в сумму его ортогональных проекций х0 и хх на #
и на ffC.
Очевидно, что х0 также принадлежит &Г, так как отличается
от х на столбец Х\ ез SK.
Если у — еще один столбец из @/У, то его ортогональная проек-
проекция на s7 также равна х0. Действительно, у— (у — x-{-Xi) + Xq,
причем (у — х) -\-Xi ез $%, и нам остается сослаться на единствен-
единственность ортогональных проекций. Итак, для всех векторов из ®4^
слагаемое х0 одно и то же.
Для произвольного х из ©-/"* мы можем написать
|| X Р = (X! + Х0)Т(Х1 + Х0) = | JPi |2 +1| Хо |2,
так как х{хо = О. Отсюда следует, что ||лг ||^ II х0 II, причем знак
равенства имеет место только при ;е1 = 0, т. е. при х = х0. Это
показывает, что-в &г имеется в точности один столбец, норма
которого минимальна. Теорема доказана.
Из доказательства теоремы мы узнали, что нормальное псевдо-
псевдорешение может быть характеризовано любым из следующих свойств:
а) Оно является единственным общим вектором, который имеют
<& и ®-Г\
Хо = &[\&Г, D)
т. е. оно является единственным решением нормальной системы,
имеющим вид
xo = ATz. E)
б) Оно является ортогональной проекцией любого решения нор-
нормальной системы на множество е7 столбцов вида ATz.
Предложение 4. Пусть хь и хс — нормальныепсеедореше-
ния двух систем линейных уравнений Ах = Ь и Ах= с. Тогда
Р*» + ухс является нормальным псевдорешением системы Ах =
== рб + ус.
Доказательство. Из АТАхь = АТЬ и АтАхс = Атс
следует, что $хь-\-ухс удовлетворяет нормальной системе:
Л т А фхь + ухс) = Ат фЬ + ус). Далее, существуют столбцы *4 и гв

192 ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
такие, что хь=* ATzb и xc=ATzc. Поэтому $хь+ухс=Ат фгь+угс),
что и заканчивает доказательство.
Естественно, предложение 4 может быть распространено на ли-
линейные комбинации произвольного числа столбцов.
Рассмотрим несколько очень простых примеров.
1) Система из двух уравнений с одной неизвестной:
лг=1, * = 2.
Нормальная система уравнений для этой системы есть
или 2х — 3. Отсюда следует, что псевдорешение равно 3/2.
2) Система из одного уравнения с двумя неизвестными:
Нормальной системой уравнений будет система
содержащая то же уравнение, повторенное дважды. Ее общее ре-
решение
5I-UI+-MI-
Псевдорешение будет тем решением, которое получается умноже-
умножением Лг = |1| на некоторый столбец z высоты m = 1. Легко
видеть, что таким решением будет
3) Система из одного уравнения с одним неизвестным ах = р.
Если а^О, то псевдорешение совпадает с решением х = р/а.
Если же а я 0, то любое число л; при подстановке дает ту же са-
самую невязку Р о нормой | Р |. Из всех чисел мы должны выбрать
то, норма которого минимальна, т. е. 0. Итак, псевдорешение урав-
уравнения Од; аи Р есть 0.
Результат в этом примере такой, какой был бы, если бы мы
доопределили функцию / (а) = — в нуле числом 0. Здесь видно, что
псевдорешенив не является непрерывной функцией от элементов
матрицы и столбца свободных членов. Этот же недостаток имеет
место и в общем случав системы из m уравнений и п неизвестными.
4) Система линейных уравнений с нулевой матрицей Ох == Ь.
Псевдорешение находится так же, как и в примере 3: все векторы
дают одну и ту-же невязку, равную 6, и минимальной нормой
обладает нулевой вектор, который и будет псевдорешением.

§ I. ЭЛЕМЕНТАРНЫЕ СВОЙСТВА 193
3. Псевдообратная матрица. Для невырожденной квадратной
матрицы А порядка п обратную матрицу можно определить как
такую, столбцы которой — решения систем линейных уравнений
вида
Ах = eh F)
где е,- — 1-й столбец единичной матрицы порядка п. По аналогии
с этим мы можем дать следующее
Определение. Псевдообратной матрицей для матрицы А
размеров т X п называется матрица Л+, столбцы которой — псев-
псевдорешения систем линейных уравнений вида F), где et — столбцы
единичной матрицы порядка т.
При этом А+ состоит из т столбцов высоты п, т. е. имеет те же
размеры п X т, что и матрица АТ.
Из теоремы 1 следует, что каждая матрица имеет одну и только
одну псевдообратную.
Для невырожденной квадратной матрицы А псевдорешение ка-
каждой из систем F) совпадает с решением, и потому псевдообратная
матрица совпадает с обратной.
В другом крайнем частном случае — для нулевой матрицы раз-
размеров m X п, — применяя результат примера 4 из конца предыду-
предыдущего пункта, мы можем заключить, что псевдообратной является
нулевая матрица размеров п X т.
Предложение 5. Псевдорешение системы линейных урав-
уравнений A) может быть записано в виде х0 = А+Ь.
Действительно, столбец свободных членов Ь представляет собой
линейную комбинацию столбцов единичной матрицы порядка т:
По определению псевдообратной матрицы и согласно предложению 4
псевдорешение х„ есть линейная комбинация столбцов псевдообрат-
псевдообратной матрицы с теми же коэффициентами
Это равносильно доказываемому утверждению.
Заметим, что предложение 5 имеет главным образом теоретиче-
теоретическое значение, как и правило Крамера для невырожденных мат-
матриц. Нахождение псевдообратной матрицы не обязательно для вы-
вычисления нормального псевдорешеиия и требует больших затрат
труда.
Напомним, что евклидовой нормой || А ||д матрицы А назы-
называется квадратный корень из суммы квадратов ее элементов (ср.
§ 4 гл. I). Псевдообратная матрица обладает следующим экстре-
экстремальным свойством.
Предложение 6. Для любой матрицы X размеров п х т
выполнено соотношение

194 ГЛ. IV ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
При этом, если для какой-нибудь матрицы X, отлично^ от А*,
здесь имеет место равенство, то || А* \\Е < || X ||й.
Доказательство. По определению при любом I, стол-
столбец at псевдообратной матрицы дает минимальную невязку при
подстановке в систему F). Поэтому для 1-го столбца матрицы X
Если же тут при ХгФаЪ достигается равенство, то !l at |] < \\Xi\].
Заметим, что квадрат евклидовой нормы матрицы равен сумме
квадратов норм ее столбцов. Следовательно, возводя в квадрат и
суммируя приведенные соотношения по всем i = 1, ..., т, мы при-
придем к доказываемому утверждению.
На основании формулы E) при любом 1 = 1, ..., т существует
такой столбец ?,-, что i-й столбец псевдообратной матрицы имеет вид
at =ATZi. Следовательно, существует такая квадратная матрица Z
порядка т, что
A+=ArZ. G)
Такой матрицей будет матрица Z — И zu >>M гт ||, составленная
из столбцов z{.
Псевдорешение А+Ь системы Ах = Ь удовлетворяет соответст-
соответствующей нормальной системе, и потому
Это равенство имеет место при любом столбце свободных членов 6.
Следовательно, матрицы в левой и правой частях равенства равны
между собой. Итак,
ATAAL = AT. (8)
Иногда бывает полезна формулировка этого результата, сходная
с G): существует квадратная матрица Zx порядка п, для которой
Предложение 7. Матрица X является псевдообратной
для А тогда и только тогда, когда
и существует квадратная матрица Z такая, что X = ATZ.
Необходимость этих условий показана в формулах G) и (8).
Докажем достаточность. Для этого заметим, что для 1-го столбца
единичной матрицы из АТАХ — Ат следует
а это означает, что Хе^ т. е. i-й столбец X, удовлетворяет нор-
нормальной системе для i-й системы F), Кроме того, для этого столбца
выполнено условие E) с i-м столбцом матрицы Zi
Xei
Предложение доказано.

I. ЭЛЕМЕНТАРНЫЕ СВОЙСТВА'
195
Используя предложение 7, нетрудно установить, что для лю-
любого числа а, отличного от нуля,
Из предложения 7 вытекает и следующее
Предложение 8. Если U — ортогональная матрица по-
порядка т, то
а для ортогональной матрицы порядка п
Докажем первое равенство. Имеем A+UT = A TZUT, согласно G),
для матрицы А. Отсюда A+UT = ATUTUZUT = (UA)T(UZUT). Это
означает, что матрица A+UT получается из (UA)T умножением на
квадратную матрицу Zx — UZUT. Далее, в силу равенства (8) для
матрицы А имеем
Этим первая часть предложения доказана. Вторая часть доказы-
доказывается аналогично.
Заметим, что предположение об ортогональности матрицы V
здесь существенно. Уже для квадратной невырожденной матрицы 5,
вообще говоря,
как показывает следующий пример. Пусть
с _
1 2
Матрица ВТВ имеет единственный элемент 5, и потому из формулы (8)
получаем В+— -=-, -=- . С другой стороны, легко видеть, что
О -н-
Таким образом, известная формула обращения произведения
матриц не обобщается на псевдообратные матрицы:
(АВ)+ ф В+А\
Условия, необходимые и достаточные для того, чтобы равенство
(АВ)+ = В+А+ все же выполнялось, и выражение для псевдообрат-
псевдообратной к произведению в общем случае можно найти в книге Ал-
берта [1].
Следующее предложение позволяет найти псевдообратную мат-
матрицу в двух важных частных случаях.

196 ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
Предложение 9. Если столбцы матрицы А линейно не-
независимы, то
А+ = {АТА)~1Аг. (9)
Если строки матрицы А линейно независимы, то
-\ A0)
Докажем первое утверждение. Если столбцы А линейно не-
независимы, то по предложению 3 нормальная система АТАх — АгЬ
при любом столбце b имее'т единственное решение. Матрица АТА
в этом случае имеет обратную, и решение равно (ATAyiATb. Под-
Подставляя вместо Ь столбцы единичной матрицы порядка т, мы ви-
видим,что столбцами А+ будут столбцы матрицы из правой части ра-
равенства (9).
Если строки матрицы А линейно независимы, то по теореме
Кронекера — Капелли система Ах = Ь совместна при любом Ъ и,
следовательно, нормальным псевдорешением будет то ее решение,
которое имеет минимальную норму. Таким решением будет решение
вида х = ATz при некотором z. Таким образом, нам надо оты-
отыскать столбец z, удовлетворяющий системе линейных уравнений
AATz = b.
В рассматриваемом случае матрица ААТ имеет обратную, и
потому z — {ААТ)~1 Ь, а нормальным псевдорешением системы Ах =
= Ь является столбец х = Ат (ААТ)~1Ь. Отсюда, подставляя вме-
вместо b столбцы единичной матрицы, приходим к формуле A0).
Вычисление псевдообратной для любой ненулевой матрицы А
может быть сведено к двум описанным в предложении 9 случаям
с помощью разложения А на множители, называемого скелетным
разложением.
Скелетным разложением матрицы А размеров т X п и ранга
/•> 0 называется разложение вида А — ВС, где матрицы В и С
имеют размеры соответственно т X г и г X п.
Так как ранг произведения не превосходит рангов сомножи-
сомножителей, а ранги В и С не могут быть больше г, то они равны г.
Получить скелетное разложение ненулевой матрицы можно,
например, следующим образом. Рассмотрим столбцы матрицы А,
в которых расположен ее базисный минор, и составим из них мат-
матрицу В. Это — матрица размеров т х г. По известной теореме
каждый столбец матрицы А есть линейная комбинация столбцов
матрицы В. Коэффициенты этих линейных комбинаций запишем
в столбцы и, расположив их в естественном порядке, составим из
них матрицу С. В ней будет п столбцов высоты г, т. е. это будет
матрица размеров г X п.
Известно, что k-й столбец произведения матриц есть линейная
комбинация столбцов первого сомножителя с коэффициентами,
равными элементам й-го столбца второго сомножителя. Поэтому
А = ВС, и мы получили одно из скелетных разложений матрицы Л,

§ 1. ЭЛЕМЕНТАРНЫЕ СВОЙСТВА 197
С вычислительной точки зрения этот способ получения скелет-
скелетного разложения далек от совершенства. Другие способы будут
рассмотрены в § 3.
В общем случае формула (ВСУ = С"В+, как мы видели, неверна.
Однако имеет место
Предложение 10. Если А = ВС — скелетное разложе-
разложение матрицы А, то ее псевдообратная равна
А4- = С+?+ = СТ (СС7)-1 (ВТВ)-1ВТ.
Доказательство. Так как ранги В пС равны г, строки С
и столбцы В линейно независимы. В силу предложения 9 С+ =
= Ст (ССТУ1 и В* = (ВТВУ1ВТ. Проверим для матрицы R =
= СТ(ССТУ1(ВТВ)-*ВТ условие (8). Подставляя АТА = СТВ^ВС,
имеем
СТВТВССТ (ССТУ1 (ВТВ)-1 Вт = СТВТ,
что и требовалось.
Условие G) для матрицы R означает, что существует квадрат-
квадратная матрица Z, для которой R = CTBTZ. Условие будет проверено,
если мы докажем существование квадратной матрицы Z порядка /п,
для которой ВТЪ = (ССТ)'1 (ВТВ)'1ВТ. Последнее равенство рав-
равносильно системам линейных уравнений вида
BTZi = Si (i = l, ..., щ)
для столбцов матрицы Z, причем в правой части t-й системы стоит
i-й столбец матрицы S = (СС7)'1 (ВТВУ1ВТ. (Нетрудно проверить,
что матрица 5 имеет размеры г X т.) Строки матрицы ВТ — столбцы
матрицы В — линейно независимы, и потому каждая из систем сов-
совместна в силу теоремы Кронекера — Капелли.
Таким образом, оба условия G) и (8) справедливы для матрицы R,
и доказываемое предложение следует из предложения 7.
Предложение 10 позволяет получить некоторые свойства псев-
псевдообратных матриц. Именно, имеет место равенство
(Л+)Г = (ЛП+. (И)
В самом деле, матрицы ВТВ и ССТ симметричны. Симметричны и
их обратные. Поэтому, транспонируя выражение для Л+, мы нахо-
находим
(А+)г = В (ВТВ)-1 (Се7)-1 С.
Но Ат — СТВТ— скелетное разложение для Ат. Применяя его, мы
получим для (Ат)+ в точности то же выражение. Приведенное до-
доказательство не проходит для нулевой матрицы, но для нее фор-
формула A1) очевидна. Это заканчивает доказательство формулы A1).
Далее, пользуясь тем же предложением 10, находим
А+А = СТ(ССТ)-1С. A2)
Отсюда, в частности, видно, что матрица А+А симметрична.

198 ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
Пусть, как и выше, &С обозначает множество решений системы
Az = 0, а 3 — множество столбцов вида А ТЬ при всевозможных Ь.
Тогда справедливо
Предложение 11. Для любого столбца х столбец А*Ах
есть ортогональная проекция х на <&.
Доказательство. В случае нулевой матрицы А множе-
множество <?7 состоит только из нуля, и предложение очевидно. Для нену-
ненулевой матрицы мы можем воспользоваться формулой A2). Произ-
Произвольный столбец высоты п представим в виде лг0 + xlt где х0 ^е?,
а ^еЖ", Тогда А*Ах± — О, так как Ахх = 0, и мы имеем, со-
согласно формулам E) и A2),
А+А (дг0 + *i) = Л+Ах0 = А+ААТг = СТ (СС?)-1 CCTBTz = ATz = x0.
Предложение доказано.
Применим формулу A2) к матрице Ат. Мы убедимся, что мат-
матрица (АтуАт симметрична и по формуле A1) найдем
(Аг)+ Ат = ({Л т)+ Л т)т = АА+.
Теперь, применяя предложение 11 к матрице Ат, мы получаем
Следствие. Для любого столбца у е <&т столбец ААу
есть ортогональная проекция у на подпространство, составленное
столбцами вида Az для всевозможных z e е^„.
Из предложения 11 и следствия из него мы выводим, что мат-
матрицы А+А и АА* идемпотентны, т. е.
Каждый столбец матрицы А* является нормальным псевдореше-
псевдорешением системы F) с матрицей А и потому лежит в $, Применяя пред-
предложение 11, получаем A+Aaf = at для каждого столбца А+ и,
следовательно,
= А\ A3)
Аналогично, с помощью следствия из предложения 11, можно дока-
доказать формулу
= А. A4)
Используя оценку ранга произведения матриц в равенствах
A3) и A4), напишем
и
Rg A = Rg A A A+^RgA\
Отсюда
A5)

§ 1. ЭЛЕМЕНТАРНЫЕ СВОЙСТВА 199
Предложение 12. Псевдообратная матрица Л+ и только
она удовлетворяет равенствам
А, (АХ)Т=АХ
а
ХАХ = Х, (ХА)Т=ХА.
Доказательство. Выше мы видели, что для X = Л*
все эти равенства удовлетворены. Докажем, что они имеют место
только для А+.
Транспонируем первое равенство Ат (АХ)Т = Ат. Отсюда,
согласно второму равенству, имеем АТАХ — Ат. С другой сто-
стороны, подставляя четвертое равенство в третье, находим
X = ХАX = (ХА)т X = А т Хт X,
или X = Ат Z, где Z = ХТХ. Теперь доказываемое следует из пред-
предложения 7.
Используем полученные нами свойства псевдообратной для
получения общего решения нормальной системы.
Предложение 13. Общее решение нормальной системы C)
для системы A) определяется формулой
где с — произвольный столбец высоты п. В частности, если си-
система A) совместна, эта формула дает ее общее решение.
Доказательство. Согласно предложению 5 столбец
А+Ь — нормальное псевдорешение и, следовательно, является част-
частным решением системы C). Остается доказать, что столбец z =
= (Е — А+А) с при произвольном с — общее решение нормальной
однородной системы ATAz = 0. Докажем это.
Во-первых, для любого с
Это означает, что z—решение нормальной однородной системы.
Во-вторых, для любого решения z системы ATAz =0 найдется
столбец с, при котором
В действительности можно просто положить с = z, так как си-
система ATAz — 0 равносильна системе Az =0, и потому
{Е - А+А) z = z- A+Az = z.
Это заканчивает доказательство предложения.
Геометрическую интерпретацию этого результата можно полу-
получить, если заметить, что, согласно предложению 11, при любом с
столбец (Е — А+А) с есть ортогональная проекция с на подпро-
подпространство (У? решений системы Аг*=0.

200 ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
§ 2. Псевдообратное отображение
В этом параграфе мы, в отличие от § 1, будем придерживаться
геометрической точки зрения. Здесь будет определено и изучено
исевдообратное отображение для линейного отображения А: Шп -*•
>> Шт, где Шп и Шт — евклидовы пространства размерностей я
и т.
1. Определение. Отображение А может оказаться не взаимно
однозначным по двум причинам: или Кег кф о, и тогда найдутся
два различных вектора хх и х2 в &„, образы которых совпадают.
Или же Im А не совпадает с Щт, и тогда в Щт найдется вектор,
не имеющий прообраза. Напомним, что для сопряженного ото-
отображения А*: $т-*- Шп выполнено равенство Im A* = (Кег АI.
Поэтому А взаимно однозначно тогда и только тогда, когда выпол-
выполнены два условия:
Мы можем превратить А во взаимно однозначное отображе-
отображение, если ограничим каждое из пространств. Точнее, имеет место
Предложение 1. Пусть Ао — ограничение А на Im A*.
Тогда Ао отображает Im А* на Im А взаимно однозначно.
Действительно, рассмотрим произвольный вектор </g Im А,
Он имеет прообраз х в Щп. Разложим х в сумму х0 + хх, где х0 е
s Im А*, а хх е Кег А. Тогда А (*) = А (х0) + А (хг) = А (х0).
Следовательно, у имеет в качестве прообраза вектор х0 из Im A*.
Покажем, что этот прообраз в Im А* единственный. Действи-
Действительно, пусть х0, х'о е Im А* и А (х0) = А (л:^). Это значит, что
х0 — х'о е Im А* и х0 — 4 е Кег А, откуда следует, что х0 —
— Xq :=: О.
Отображение Ао, введенное в предложении 1, как и всякое
взаимно однозначное, имеет обратное отображение А^\ которое
определено на подпространстве Im A s Ёт. Мы хотим определить
линейное отображение А+: Шт ->- Щп, для которого Ао1 является
ограничением на Im А. Для этого мы введем отображение Р,
которое сопоставляет каждому вектору у elffl ортогональную
проекцию у на Im А.
Определение. Отображение Ао'Р: tm->- %>п называется
псевдообратным для А и обозначается А+.
Предложение 2. Каковы бы ни были ортонормированные
базисы е в Шп и f в Ёт, матрица отображения А+ в базисах f и е
является псевдообратной для матрицы отображения А в бази-
базисах е и f.
Доказательство. Проверим сначала, что отображе-
отображения А, А* и А+ связаны соотношением
А*АА+ = А*.

§ 2. ПСЕВДООБРАТНОЕ ОТОБРАЖЕНИЕ 201
Для этого рассмотрим вектор (/е!я и обозначим через у' его
ортогональную проекцию на Im А. Подействовав на у отображе-
отображением А*АА+, получаем А*ААо1Р (у) = А* А А?1 (у') = А* (у').
С другой стороны, у — у' е (Im AI = Кег А*, и потому
А* (у) = А* (у'). Равенство, таким образом, проверено. Если
базисы ортонормированы и отображение А имеет матрицу А,
тоАт—матрица отображения А*. Поэтому матрица отображения А*
удовлетворяет условию (8) § 1.
Установим равенство G) § 1. По определению отображения А+
имеем Im A+ <= Im А*. Поэтому для каждого из базисных векто-
векторов fi(i = 1, ..., m) найдется вектор z,- такой, что А+ (/,•) = A* (z,-).
В координатах это означает, что i-й столбец матрицы отображения А*
имеет вид A T%>i при некотором столбце ?*. Это равносильно про-
проверяемому равенству.
Мы убедились, что в паре ортонормированных базисов матрица
псевдообратного отображения удовлетворяет равенствам (8) и G)
§ 1. Для завершения доказательства остается сослаться на предло-
предложение 7 § 1.
Заметим, что написанное при доказательстве предложения 2
включение Im A+ E Im А* вместе с равенством рангов A5) § 1
дает
ImA+=ImA*. A)
Предложение 2 позволяет переносить результаты о псевдообрат-
псевдообратных матрицах, полученные в § 1, на псевдообратные отображения.
Отметим, например, что
(АУ = (А*)+. B)
Но мы не будем систематически этим заниматься. Наша ближайшая
задача — упрощение матрицы отображения А+ за счет выбора
базисов.
2. Запись в сингулярных базисах. Для отображения А суще-
существуют сингулярные базисы е в Щ„ и/в1„ такие, что матрица
отображения А в этих базисах имеет вид, указанный в теореме 1
§ 1 гл. I:
D =
C)
В этой матрице отличны от нуля только элементы с равными зна-
значениями индексов da = а/ при i ^ г = Rg A.
Матрицы такого вида являются обобщением квадратных диаго-
диагональных матриц. Прямоугольную матрицу с элементами dy = 0
при i Ф j мы назовем диагональной матрицей.
Ненулевые элементы матрицы C) — ненулевые сингулярные
числа отображения А.

202 ГЛ. IV. ГГСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
Поскольку сингулярные базисы ортонормированы, псевдообрат-
псевдообратное отображение А+ в сингулярных базисах отображения А имеет
матрицу D+.
Найдем псевдообратную для диагональной матрицы. Для всех
I = 1, ...., т ее i-й столбец является нормальным псевдорешением
системы линейных уравнений D% = е,-, где е, — i-й столбец еди-
единичной матрицы порядка т. Нормальная система уравнений для
этой системы
более подробно может быть написана так:
<х)У = <Xj -0 при j Ф i,
af|' = a,- при i'sSA",
О •?* = () при k>r.
Очевидно, что столбец § будет решением этой системы, если ?' = aj
при i =s; г, а |;' = 0 при / =#= г, / sg r, каковы бы ни были элементы ?*,
при k> г. Решение будет иметь минимальную норму, если все
эти элементы равны нулю, т. е. Ъ," = 0 при k > г. Итак, г-й стол-
столбец матрицы D+ равен @...а710...0)г при /<; иО при i > г. Ма-
Матрица D+, составленная из этих столбцов, является диагональной
матрицей размеров л X т с числами сц1, ..., а^1 на «диагонали»:
о
D)
О О
Перечислим несколько непосредственных следствий получен-
полученного нами результата. Так как D+ — диагональная матрица, ее
псевдообратная строится по тому же правилу, и мы видим, что
(D+)+ = D. Отсюда следует, что для произвольного отображения
(А+)+ = А. E)
Выписывая соответствующее соотношение между матрицами в про-
произвольной паре ортонормированных базисов, получаем следующее
свойство операции перехода к псевдообратной матрице:
(А+Г=А. F)
Сравнение матриц D* и DT показывает, что равенство А+ = А*
имеет место тогда и только тогда, когда ненулевые сингулярные
числа А равны 1. Это является обобщением свойства ортогональ-
ортогонального преобразования, для которого А = А*, и все сингулярные
числа равны 1.
Обозначим через ей/ соответственно первый и второй сингу-
сингулярный базисы отображения А. Пусть D — матрица А в базисах

§ 2. ПСЕВДООБРАТНОЕ ОТОБРАЖЕНИЕ . 203
е и /. Тогда D*—матрица А+ в базисах / и е, a (Z)+) rD+ — матрица
отображения (А+)* А+ в базисе /.
Легко видеть, что
(DyDl = diag(ai« а;2, 0 0)
— квадратная диагональная матрица порядка т. Это означает,
что второй сингулярный базис / отображения А состоит из соб-
собственных векторов отображения (А+)ГА+. Следовательно, он только
порядком векторов может отличаться от первого сингулярного
базиса отображения А+. (Напомним, что векторы сингулярного
базиса упорядочиваются так, чтобы последовательность сингуляр-
сингулярных чисел не возрастала.)
Далее, образы векторов базиса / при отображении А+—это
векторы, координатные столбцы которых — столбцы матрицы D+.
Они получаются умножением некоторых векторов базиса е на мно-
множители ajl или 0. Базис е — ортонормированный базис в &„,
в состав которого входят нормированные ненулевые векторы А* (/,).
Поэтому е не более чем порядком векторов отличается от второго
сингулярного базиса отображения А+. Подводя итог, получаем
Предложение 3. Первый и второй сингулярные базисы
отображения А+ не больше чем порядком векторов отличаются
соответственно от второго и первого сингулярных базисов отобра-
отображения А. Если аи ..., аг — ненулевые сингулярные числа А, то
а;1, ..., а] — ненулевые сингулярные числа А+.
Для каждого отображения ядро есть линейная оболочка тех
векторов первого сингулярного базиса, которые соответствуют
нулевым сингулярным числам. Как для A+i так и для А* — это
векторы /,+1, ..., fm. Следовательно,
КегА+ = КегА*. G)
Переход к сингулярным базисам позволяет легко проверять
различные тождества, касающиеся псевдообратных матриц. Дока-
Докажем, например, что имеют место равенства, обобщающие формулы
(9) и A0) § 1:
АТ (8)
+. (9)
Из предложения 2 видно, что равенство (8) равносильно сле-
следующему разложению псевдообратного отображения:
А+ = (А*А)+А*.
Это равенство инвариантно, и потому нам достаточно проверить
его в какой-нибудь одной паре базисов. Проверим его в сингуляр-
сингулярных базисах отображения А.

204 ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
В этом случае матрица D отображения А имеет вид C). При-
Применяя формулу D) к диагональной матрице DTD, мы находим, что
(D7-D)+=diag(ctr2 аг\ 0, .... 0).
Легко видеть, что произведение (DTD)+DT совпадает с D+. Это нам
и требовалось. Формула (9) доказывается аналогично.
3. Псевдообращение при помощи предельного перехода. Обозна-
Обозначим через е%Г множество всех линейных отображений Шт в Шп.
Операции сложения и умножения на число в е%" были введены
в основном курсе. Легко видеть, что относительно этих онера-
ций <=%¦" — линейное пространство, и выбор базисов в Ёт и Шп
устанавливает изоморфизм <Ш' на пространство в$п,т матриц раз-
размеров п X т.
Пусть каждому вещественному числу % из интервала (а, |3)
сопоставлено отображение В (к) е е%". В этом случае мы будем
говорить, что на (а, Р) задана функция со значениями в <Ж. (Соот-
(Соответствующие функции для матриц рассматривались в § 4 гл. II.)
Чтобы определить понятие предела для функций со значениями
в е^Г, введем в <Ж" норму. Это можно сделать, например, так.
Выбрав в %т и Шп ортонормированные базисы, рассмотрим ма-
матрицу В отображения В е <Ж'. Ее спектральная норма не меняется
при умножении В слева и справа на ортогональные матрицы,
т, е. || В || = || UBV I! для произвольных ортогональных матриц U
и V порядков пит соответственно. Поэтому спектральная норма
матрицы отображения В не зависит от выбранной пары ортонор-
мированных базисов и может считаться нормой отображения В.
Мы будем обозначать ее || В II и дадим следующее определение.
Отображение В называется пределом функции В (К) при Я,-> (х,
если для каждого е > 0 существует число б такое, что из 0<
< | % — (х | < е следует || В (X) — В || < е.
Легко видеть, что для произвольной пары ортонормированных
базисов из соотношения
lim B(?0 = B
следует, что аналогичное соотношение имеет место и для матриц
рассматриваемых отображений:
lim В (X) = В.
Я->-М
Вернемся теперь к изучению отображений A: <f«->-Cn и его
псевдообратного и рассмотрим преобразование пространства Ёт,
определяемое выражением АА* + ссЁ, в котором Ё — тожде-
тождественное преобразование Щт. Докажем, что при а>0 это пре-
преобразование имеет обратное. Чтобы не забывать о положитель-
положительности а, обозначим а = К2 и покажем, что матрица преобразова-
преобразования АА* + Х2Ё в произвольном ортонормированном базисе невы-

§ 2. ПСЕВДООБРАТНОЕ ОТОБРАЖЕНИЕ 205
рождена. Более того, она положительно определена. Действительно,
для любого ненулевого столбца | имеем
1Т (АЛ? +к*ЕI = (А?1)т (A4) + W%4>0.
Таким образом, для любого числа X Ф 0 определено отображе-
отображение В (к): fm-> Шп по формуле
Аналогично, может быть определено отображение
причем существование обратного преобразования для преобразо-
преобразования А* А + №Е пространства Шп доказывается так же, как
обратимость А А* + Я,2Ё.
Предложение 4. Имеют место соотношения
lim A
Обе формулы доказываются одинаково. Докажем первую из них.
Для этого выпишем матрицу отображения, стоящего под знаком
предела, в сингулярных базисах отображения А. Если матрица А
в этих базисах обозначена через D, то искомая матрица есть
DT (DDT+Х2Е)'1. Учитывая вид C) матрицы D, мы замечаем,
что С = (DDT -f %2E)'1 — диагональная матрица с элементами
-1, %
-\
на диагонали.
Матрица DTC есть диагональная матрица таких же размеров
л х т, как и DT, и имеет на диагонали г ненулевых элементов
Ма' + Я2)-1, ..., ct, фЧ-А»)-1
(элементы матрицы С, равные К'2, были умножены на 0). Ма-
Матрица DTC при X-v 0 стремится в смысле поэлементной сходимости
к матрице D+, определяемой формулой D). К этой же матрице
она должна стремиться и относительно спектральной нормы. Отсюда
непосредственно вытекает доказываемое соотношение.
Из предложения 4 следуют выражения для псевдообратной
матрицы:
ПтАТ (ААТ+Х2ЕУ1 = А+, A0)
Ar =А+. A1)

206 ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
Рассмотрим систему линейных уравнений с невырожденной
матрицей
(АтА + к*ЕI АтЬ] A2)
Обозначим ее решение через %^. Тогда'
A3)
И формула A1) показывает, что справедливо
Предложение 5. При к->0 решение %х системы A2)
стремится к нормальному псевдорешению системы Л| = Ь.
Это предложение имеет существенное теоретическое значение.
Дело в том, что нормальное псевдорешение системы линейных
уравнений не является непрерывной функцией от матрицы системы.
Предложение 5 показывает, что система может быть включена
в семейство систем с параметром К таким образом, что решение
системы непрерывно зависит от параметра. Этот результат полу-
получен с более общей точки зрения в теории регуляризующих функ-
функционалов для некорректно поставленных задач (см. Тихонов и
Арсенин [31]). Упомянутая теория в основном относится к уравне-
уравнениям в бесконечномерных пространствах (например, к дифферен-
дифференциальным уравнениям с частными производными).
В конечномерном случае прямой необходимости во введении
регуляризующих функционалов нет. Однако мы отметим, что для
систем линейных алгебраических уравнений роль регуляризующего
функционала может играть функция
MS, *, A) = lb-A$
на арифметическом пространстве ($„. Найдем значение §, при
котором она достигает минимума. Иначе fx можно записать так:
/,.(|, Ь, A) = {b-AlY(b-A%) + k'Vl-
Дифференцируя это выражение по |, находим
d/,(l, b, A) = -
Дифференциал обращается в нуль для столбцов |, удовлетворяю-
удовлетворяющих системе уравнений, в точности совпадающей с A2). Как мы
видели выше, детерминант матрицы системы отличен от нуля,
и система имеет единственное решение A3) при любых Ь, А и К =? 0.
Обозначим это решение через |ь и пусть fk (|^, Ь, А) — ?.
Если И | IJ > VllK то fx (|, b, A) > ?. Поэтому на сфере радиуса
У%/"К + 1 и вне ее />, принимает значения, большие чем ?. Если
§а, не попало внутрь сферы, увеличим ее радиус до II |я. II + 1.
Так мы получим сферу, содержащую %% и такую, что на ней и вне
нее fx (|, b, A) > ?. Функция непрерывна и внутри сферы имеет
единственную стационарную точку. Поэтому эта точка является
точкой минимума. Приведенные рассуждения показывают, что это
будет абсолютный минимум.

§ 3. МЕТОДЫ ВЫЧИСЛЕНИЯ 207
Предложение 5, по существу, утверждает, что при К -> 0 точка,
где регуляризующий функционал достигает минимума, стремится
к псевдорешению системы А\ = Ь.
§ 3. Методы вычисления
1. Нахождение псевдорешения при помощи сингулярного разло-
разложения. Большая часть гл. III была посвящена системам линейных
уравнений с квадратными невырожденными матрицами, точнее,
таким, матрицы которых не являются почти вырожденными. Однако
в реальных задачах невырожденность матрицы, а тем более ее
достаточно хорошая обусловленность, как правило, заранее гаран-
гарантирована быть не может. (Исключение могут представлять собой
некоторые системы линейных уравнений с матрицами специального
вида). Мы видели, что проверка хорошей обусловленности матрицы—
дело не простое, и по затратам времени и усилий сравнима с реше-
решением системы.
Поэтому в случае, когда имеется вероятность того, что матрица
системы
Ах = Ъ (I)
является почти вырожденной, может оказаться предпочтительнее
сразу же искать псевдорешение этой системы. Мы минимизируем
норму невязки. Если минимум окажется достаточно малым, мы
будем считать, что нашли решение, если же нет, то мы имеем псев-
псевдорешение, а решения не существует.
Следует, однако, помнить, что в том случае, когда решение
нормальной системы
АтАх=*АтЬ, B)
не единственно, нормальное псевдорешение выделяется из всех
решений B) искусственным требованием минимальности нормы.
Поэтому может возникнуть необходимость найти какое-нибудь
другое решение нормальной системы.
Значительная часть имеющихся рекомендаций по решению
систем линейных уравнений общего вида требует нахождения син-
сингулярного разложения матрицы системы или действий, по существу
к этому сводящихся. Если в систему A) мы вместо матрицы А
подставим ее сингулярное разложение, то получим систему
UTDVx = b,
или
Dy = b, C)
где
y = Vx D)
и
ъ=иь.

208 ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
Нормальная система B) аналогично может быть приведена к виду
D2y = Db. E)
Принимая во внимание вид матрицы D, имеем
ДУНоЩУ1 <ЧЛ 0, ... Of,
где аь ..., аг — ненулевые сингулярные числа матрицы А. Оче-
Очевидно, что для совместности системы C) необходимо и достаточно,
чтобы
6'+1 = ... = 6« = О.
При этом условии столбец
Игу"'/;1 r/~lhr /У+1 i*n \lX <РЛ
является ее решением, каковы бы ни были yr+i, ..., у". Но неза-
независимо от совместности системы C) столбец F) является общим
решением нормальной системы E). Нормальное псевдорешение —
минимальный по норме из столбцов вида F) — есть
г/о = IссГ'51, .... аГР, 0, .... 0|Г G)
Итак, общее решение системы E) (совпадающее с общим решением
системы C), если последняя совместна) имеет вид
У =Уо + С!вг+1 + ... + сп-геп ^уо+Е"Ггс.
Здесь с — произвольный столбец высоты п — г, а ЕТ~Г матрица,
составленная из последних л — г столбцов ег+1, ..., еп единичной
матрицы порядка п.
Используем формулу D) для того, чтобы перейти к решению
системы A). Мы можем написать
Заметим, что умножение на ортогональную матрицу VT не меняет
нормы столбца. Поэтому столбец х0 = VTy0 будет иметь минималь-
минимальную норму и, следовательно, является нормальным псевдореше-
псевдорешением системы A). Кроме того, нетрудно установить, что матрица
У'т — ут?п~г состоит из последних п — г столбцов матрицы VT.
Итак, общее решение системы B) может быть записано формулой
X = Xo + V'TC,
где х0 — нормальное псевдорешение, находимое как VTy0, ас —
произвольный столбец высоты п — г.
Таким образом, если известно сингулярное разложение ма-
матрицы системы A), то легко могут быть найдены и нормальное
псевдорешение этой системы, и ее общее решение, если она сов-
совместна.
Нужно заметить при этом, что нахождение сингулярного раз-
разложения — процесс, значительно более трудоемкий, чем решение

§ 3. МЕТОДЫ ВЫЧИСЛЕНИЯ 209
системы, например, путем (^-разложения матрицы. Получение
сингулярного разложения будет рассмотрено в п. 8 настоящего
параграфа.
2. Использование регуляризации. Другой подход к нахождению
псевдорешения системы линейных уравнений основывается на регу-
регуляризации ее матрицы, или, проще говоря, на использовании пред-
предложения 5 § 2. Именно, в качестве приближения к псевдорешению
системы A) берется решение системы линейных уравнений
(АтА + Х*Е)х = АтЬ (8)
с подходящим значением параметра X. В предложении 5 § 2 мы
показали, что при условии точного задания исходной информации
и точного выполнения вычислений решение Хх этой системы стре-
стремится при Я-*-0 к псевдорешению х0 системы A).
Однако при малых X матрица системы становится, вообще
говоря, плохо обусловленной. Поэтому, если исходная информа-
информация и вычисления имеют погрешности, вычисленное значение Хх
решения Хх может сильно отличаться от х%.
Исследуем влияние возмущений матрицы А и столбца свобод-
свободных членов Ь на решение системы (8). Пусть задана возмущенная
система
Ах = В,
у которой матрица А и столбец свободных членов В удовлетворяют
неравенствам
\А-А\<8, \B-b\<6 (9)
(рассматривается спектральная норма матрицы).
Пусть Хх — решение системы (8), а Хх — решение системы
Оценим норму разности Хх — Хх- Из равенства
{АтА + Х*Е)хх-{АтА + №Е)Хх =
путем простых преобразований мы получаем
или
хк - Хх = (А* А + \'E)-i [(At A - Ат А) хх +
+ (АТ -AT)(B-b) + (AT -AT)b + AT(B-b)]. A0)
Для любого х, по норме равного 1, имеем
хт (Ат А + ХЩ х = (Ах)т Ах + У?хт х ^ X2.
Отсюда на основании предложения 2 §2 гл. I мы заключаем, что
характеристические числа матрицы АтА + АДЕ не меньше чем Я,2,

210 ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
а характеристические числа ее обратной не больше чем Яг2. Так
как для симметричной матрицы сингулярные числа равны модулям
характеристических чисел, наибольшее сингулярное число (АТА +
+ %2Е)* не превосходит X. Следовательно,
Для спектральной нормы матрицы АТА — ЛТЛ имеем
Здесь используется тот факт, что спектральная норма не меняется
при транспонировании. Это следует из предложений 6 и 14 § 1
гл. I. Заметим, что число с = 2 || А II определяется только матри-
матрицей А.
Используя оценки норм матриц, входящих в равенство A0),
мы получаем
Рассмотрим х0 — А+Ь — псевдорешение системы A). По пред-
предложению 5 § 2 хх ->лг0 при А,-> 0. Поэтому при X, близких к нулю,
норма х% ограничена. Отсюда следует, что
где р — ограниченная в окрестности нуля функция, не завися-
зависящая от Л и В.
Оценим норму разности х0 — x^i
Для вычисления нормы матрицы В — А+ — (АТА + к2Е)~1Ат рас-
рассмотрим ортогональные матрицы U и V такие, что D = UTAV —
диагональная. Заменяя А на UDVT, находим В — V (D+ — (D2 +
+ №Е)-Ю) UT, откуда || В || = || D+ — (D2 + №Е)~Ю ||. Матрица
D+ + (D2 + №Е)~Ю диагональная, и ее ненулевые элементы
равны ay1 — а,- (а| + Я2), i = 1, ..., г. Здесь г = Rg A, a а,- —
ненулевые сингулярные числа матрицы А. По теореме 2 § 1 гл. I
диагональные элементы матрицы D+ — (D2 -Ь %2Е)~1О — ее син-
сингулярные числа. Наибольшее из них равно спектральной норме
матрицы, и потому
| л+ - (Лт А + %Щ-ь А т\ = ат1 - аг (о? + X2)-1 = ^ Ух .
Итак,
где q — постоянная.

§ 3. МЕТОДЫ ВЫЧИСЛЕНИЯ
211
Теперь на основании оценок (И) и A2) мы находим, что
(8 X) + Vq A3)
Пусть точность б задания исходных данных фиксирована.
Тогда при уменьшении К увеличивается первое слагаемое в оценке
A3) и уменьшается второе слагаемое. По-видимому, может быть
выбрано некоторое значение К, дающее минимальную оценку для
II X}, — х01|.
Формула A2) позволяет провести оценку функции р (б, К). В са-
самом деле, из A2) следует что
Подставляя это в выражение для р(8, К), находим
рE, X)<
где с' и с" — положительные постоянные. Поэтому
Учтем это в оценке A3):
\xK-Xel^~(c' + c8) + bq(c + b) + X^ = ±
Найдем значение X2, при котором правая часть равенства дости-
достигает минимума. Дифференцируя по Я,2, мы получаем уравнение
— -rj-{-q = 0, из которого следует, что искомым значением будет
Xl = yTq=Vb[<±p-)V\ A4)
Легко видеть, что при таком выборе к2 норма разности Jc^ — х0
будет величиной порядка ]/8.
Мы не будем подробно обсуждать формулу A4). Ее значение
невелико, так как в ее правую часть входят неизвестные и трудно
вычислимые величины || х0 ||, аг и другие. Однако формула A4)
позволяет сформулировать следующее
Предложение1. Псевдорешение системы A) можно найти
с погрешностью порядка У^8, где б определяет погрешность исход-
исходной информации по формулам (9).
3. Вычисление псевдообратной матрицы. Теперь мы рассмотрим
методы практического вычисления псевдообратной матрицы. Все
трудности, возникающие при нахождении обратной для невырож-
невырожденной матрицы, естественно, остаются и тут, но возникает и до-
дополнительное затруднение. В гл. III мы ограничивали класс ма-
матриц, полагая, что рассматриваемая матрица не является почти вы-

212 ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
рожденной, здесь же мы не можем накладывать на матрицу подобных
ограничений. В связи с этим возникает задача определения ранга
матрицы. Как было отмечено на стр. 119, при учете ошибок округ-
округления и погрешностей исходной информации ранг может быть
с уверенностью указан не для всех матриц. Вместе с тем результат
вычислений очень существенно зависит от того, какое значение
приписывается рангу исходной матрицы. Рассмотрим следующий
пример.
Пусть
Л-II1 ° 1
л~\о 10-«|[-
Тогда
Jo ioe[Г
Однако если мы пренебрежем элементом 10~6, то получим матрицу
В =
и ее псевдообратную
1 0
0 0
1 0)|
о ор
далекую от А'1.
Увеличение точности и выбор более удачных алгоритмов может
способствовать сужению класса матриц с неопределенным рангом,
но принципиального решения эта проблема не имеет.
В последующем изложении мы будем предполагать, что на осно-
основании каких-то соображений, возможно, связанных с постановкой
той задачи, которая привела к необходимости вычислять псевдо-
псевдообратную матрицу, мы можем установить ранг заданной нам ма-
матрицы.
В большинстве своем методы нахождения псевдообратной для
заданной матрицы А связаны с разложением А на множители.
Предложения 8 и 10 § 1 дают нам два случая, в которых из А = ВС
следует Л+ = С+В+. Эти случаи и используются для вычислений.
4. Прямое получение скелетного разложения матрицы. Это раз-
разложение было определено в п. 3 § 1. Из предложения 10 § 1 мы
видели, как оно может быть употреблено для псевдообращения
матрицы. Посмотрим, как оно может быть найдено.
Пусть дана матрица А размеров т X п. Если установлено,
что эта матрица имеет ранг г, то при помощи элементарных опе-
операций со строками г ее столбцов могут быть превращены в первые г
столбцов единичной матрицы. Пусть номера базисных столбцов
ju ..., jr. Элементами последних т—г строк, согласно предпо-
предположению о ранге, мы пренебрегаем.
Обозначим через С матрицу размеров г х п, составленную
из первых г строк преобразованной матрицы.

§ 3. МЕТОДЫ ВЫЧИСЛЕНИЯ 213
Пусть В — матрица размеров т х г, составленная из столбцов
исходной матрицы А с номерами ju ..., jr, т. е. из базисных столб-
столбцов. Оказывается, что
и это разложение скелетное.
Действительно, базисные столбцы (с номерами Д, ..., jr) ма-
матрицы С — это столбцы единичной матрицы порядка г. Поэтому
элементы /-го столбца С — те коэффициенты, с которыми этот
столбец раскладывается по базисным столбцам. Но известно, что
линейные зависимости между столбцами матрицы сохраняются
при элементарных операциях со строками. Следовательно,/-й стол-
столбец матрицы А раскладывается по ее базисным столбцам с теми же
коэффициентами. Остается напомнить, что /-й столбец произведе-
произведения ВС есть линейная комбинация столбцов В с коэффициентами,
равными элементам /-го столбца С.
Этот путь получения скелетного разложения имеет тот очевид-
очевидный недостаток, что требует принятия решения относительно
малости последних т — г строк преобразованной матрицы. Кроме
того, вычисление псевдообратной матрицы по формуле из предло-
предложения 10 § 1 требует выполнения значительного числа арифметиче-
арифметических операций, и, по-видимому, не существует возможности исполь-
использовать полученную при разложении матрицы А преобразующую
матрицу. Матрица В, помимо линейной независимости столбцов,
никаким специальным строением не обладает. Как использовать
специальное строение матрицы С, мы увидим ниже, в п. 7.
5. Qi?-разложение для прямоугольных матриц. Напомним, что
при построении методом отражений (^-разложения для квадрат-
квадратной матрицы в § 3 гл. III мы преобразовывали последовательно
1-й, 2-й, 3-й и т. д. столбцы матрицы к виду, соответствующему
верхней треугольной форме. Каждое преобразование производи-
производилось путем умножения слева на матрицу отражения и не меняло
достигнутого вида предыдущих столбцов. Если i-й" столбец ма-
матрицы был линейной комбинацией предыдущих столбцов, то после
их преобразования элементы /-го столбца, расположенные на диа-
диагонали и ниже, оказывались равными нулю. Такой столбец в пре-
преобразовании не нуждался, и соответствующий множитель про-
пропускался.
То обстоятельство, что преобразуемая матрица — квадратная,
по существу не играло роли в этом процессе. Преобразуя таким же
образом произвольную матрицу А размерами т х п, мы получим
разложение
A = QR,
где Q — ортогональная матрица порядка т, a R — матрица раз-
размеров т х я, элементы ру которой удовлетворяют условию ру = 0
при ( > /. Такое разложение мы назовем Q/'-разложением, исполь-

214 ГЛ. tV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
зуя малую букву в напоминание о том, что матрица R, вообще
говоря, не является квадратной.
Второе обобщение Q/^-разложения мы получим, если вспом-
вспомним получение Q^-разложения методом ортогонализации Грама —
Шмидта (см. стр. 157). Пусть А —матрица размеров т х я при
условии /?г > п, и пусть Rg А — п, т. е. столбцы А линейно неза-
независимы. Рассматривая эти столбцы как я векторов в т-мерном
пространстве, мы можем применить к ним метод ортогонализации
и построить такую правую треугольную матрицу U, что столбцы
матрицы Q — AU ортогональны и нормированы относительно
обычного скалярного произведения в пространстве столбцов. Таким
образом, матрица Q размеров т х п может рассматриваться как
совокупность п столбцов из некоторой ортогональной матрицы
порядка т. Обозначая U~l через R, мы получаем разложение А =*
= QR, в котором R — квадратная верхняя треугольная матрица
порядка, п, a Q — описанная выше матрица. Такое разложение
мы будем называть ^-разложением.
На стр. 157 мы отмечали, что процесс ортогонализации Грама —
Шмидта в том виде, как он обычно излагается, не обладает устой-
устойчивостью по отношению к ошибкам округления. Ввиду важности
^-разложения для псевдообращения матриц, а процесса орто-
ортогонализации для ^-разложения, мы рассмотрим здесь модифика-
модификацию метода ортогонализации, повышающую его устойчивость.
6. Метод переортогонализации. Пусть мы должны ортогонали-
зовать я столбцов высоты т: аг, ..., ап (т> я). Как известно,
обычный метод состоит в том, что первый столбец заменяется на
Q\ = fli/ II ct\ II. где Ц*|| — евклидова норма. Далее, если уже по-
построены glt ..., дк, то полагают
k
а = ак+1 - 2 d9h
где коэффициенты с* выбираются из условий gJu = 0, ,.., g?u = Q.
Эти условия можно записать в виде равенств
для всех / = 1, ..., k. Обозначим через Г матрицу этой системы
линейных уравнений, т. е. матрицу с элементами <7/<7i. Если вы-
вычисления выполняются точно, то столбцы ди ..., gk ортонормиро-
ваны, Г — единичная матрица, и q == gla^u откуда
Затем полагают дм = и/И й И и переходят к вычислению

§ 5. МЕТОДЫ ВЫЧИСЛЕНИЯ 215
Однако если вычисления выполняются приближенно, Г только
близка к Е и Ci = qla^+i уже не является решением системы A5).
При этом описанный выше процесс приводит к системе столб-
столбцов qlt ..., qk, которая с высокой точностью порождает то же под-
подпространство, что и столбцы аь ..., ап. Отмечавшаяся выше неустой-
неустойчивость метода ортогонализации состоит в том, что вычисленные
столбцы <7, могут оказаться далеко не ортогональными, причем
искажающее влияние ошибок округления тем больше, чем ближе
столбцы cii к линейно зависимым. Чтобы избежать этого, мы должны
решить систему A5), не используя ортонормированность вычис-
вычисленных столбцов qt. В этом случае ошибки, внесенные при вычис-
вычислении <7i, ..., q,n не влияют столь существенно на вычисление qk+1.
Можно воспользоваться методом простой итерации (ср. § 4 гл. III),
который здесь быстро сходится, поскольку матрица Г близка
к единичной.
Мы опишем здесь способ построения столбца qk+ъ называемый
методом переортогонализации.
Пусть столбец и, полученный по формуле A6), не ортогона-
ортогонален qlt ..., qk. Мы обозначим его через иA) и построим столбец иB)
по формуле
иB) = e(i) _ ^ (qfuM) qr
Вообще, может быть построена последовательность и@) =
*= пь+i, йA). #B\ ••• согласно рекуррентному соотношению
и(*)_ 2 {qTiu^s))qi. A7)
i = \
Для произвольного члена этой последовательности рассмотрим
произведения qTu^s+1) при произвольном / sg: k. Мы имеем
q{u{s+l)
qtu(s+i) = qju(s) _
Это означает, что строка
удовлетворяет соотношению
Последовательность p^s) сходится к нулевой строке и притом
очень быстро, так как Г близка к Е. Действительно, из свойств
евклидовой нормы следует
1/»('+1) II < IP{S) I • 1Е - Г |в ^ | ак+11 • [ Е - Г (Е+ \
Докажем теперь, что последовательность u(s) сходится. Скла-
Складывая почленно равенства вида A7) для всех s = a, ..., E, мы

^'b ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
получаем
откуда
ft
|ц(Р) — и(а)|^ V \q?и^'1-\-...-\-qTu^]- q |^
* р-1
i = 1 s = a
Считая, что ||^-1| ?^2, и изменяя порядок суммирования, находим
р-1
Так как /-норма || * |х не превосходит евклидовой нормы, имеем
Теперь нетрудно показать, что по заданному е > 0 можно выбрать
номер 7 так. чтобы || и(р) — и(С6> || < е, как только a, C >¦ у. Та-
Таким образом, мы видим, что последовательность и{^ удовлетворяет
критерию Коши.
Далее, полагая a = 0 в формуле A8), находим, что при неко-
некоторых коэффициентах с(.Р>
i = 1
Поэтому предел ©последовательности и^ удовлетворяет равенству
где c.= limc(.P). Это показывает, что v=?0, если только а^+г
не является линейной комбинацией столбцов а1% ..., ак.
Как мы видели, p^'-v 0 (s -*¦ со). Поэтому столбец v ортогона-
ортогонален всем glt ..., qk.
Разумеется, практически вместо о берется столбец и^' с до-
достаточно большим номером s. Так как || Е — Г ||Е мала, последо-
последовательность сходится быстро, и обычно можно ограничиться вы-
вычислением иB).
После того как ненулевой столбец v, с должной точностью
ортогональный столбцам qu ..., qk, построен, полагают qk+i^
= v/\\ о 11 и переходят к вычислению qk+i.

§ 3. МЕТОДЫ ВЫЧИСЛЕНИЯ 217
¦п
Мы предполагали, что ортогонализуемые столбцы аь ..., а,
линейно независимы. Освободимся от этого предположения. Пусть
столбец пк+i линейно выражается через alt ..., ak. Тогда соответ-
соответствующий столбец v окажется нулевым. Он, естественно, не нор-
нормируется и не присоединяется к набору построенных ортонорми-
рованных столбцов. На следующем шагу столбец ак+2 ортогонали-
зуется по отношению к имевшимся ранее столбцам дъ ..., дк.
Заметим, что в случае, когда ранг матрицы неизвестен, может
возникнуть затруднение: мы должны решить, считать ли стол-
столбец v нулевым, если его вычисленные элементы малы.
Однако если эта трудность каким-то образом преодолена, мы
можем для матрицы А размеров т X л при т> п с помощью
процесса ортогонализации построить (^-разложение А = QR,
где R — невырожденная верхняя треугольная матрица, а матрица Q
такова, что ее ненулевые столбцы ортонормированы. Если т ¦< л,
то сохраняются те же рассуждения, только нулевые столбцы
в матрице Q появляются обязательно.
7. Использование д/?-разложения. Покажем сначала, что
^-разложение произвольной матрицы А позволяет получить
ее скелетное разложение. Для простоты записи будем считать, что
в матрице А первые г столбцов базисные. Если это не так, всегда
можно переставить столбцы, и, согласно предложению 8 § 1, это
вызовет только перестановку строк в матрице Л+. Итак, матрица А
считается разделенной на клетки
причем клетка В размеров т X г имеет ранг г.
Вычисляя ^-разложение А методом ортогонализации, мы
приходим к невырожденной треугольной "матрице R порядка п
такой, что AR = Q, где Q имеет вид
в котором клетка Qx состоит из г ортонормированных столбцов.
Столбец матрицы R с любым номером / состоит из коэффициен-
коэффициентов, с которыми столбец матрицы Q с тем же номером / раскла-
раскладывается по столбцам матрицы А. При }>г столбец Q нулевой.
Поэтому /-й столбец матрицы R при / > г можно взять в виде
\Pi,...pr/ о... 1 ...of.
где pi/, ..., prJ — взятые с обратными знаками коэффициенты,
с которыми /-й столбец А раскладывается по базисным. Обозначим
через R" подматрицу матрицы R, составленную из ее последних
п — г столбцов. Из вышесказанного вытекает, что R" имеет вид
где U — клетка размеров г X (л — г). Так как AR" = О, имеем
В (—U) + 5 = 0, или 5 = .BU. Отсюда А = || В, BU || =*

218 ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
— В Ц Ег, U |[, или
А = ВС,
где С = || Еп U ||. Это разложение, очевидно, скелетное.
Вычисленные нами матрицы R и Q позволяют сразу же найти
псевдообратную для первого сомножителя в скелетном разложе-
разложении. Действительно, рассмотрим подматрицу R[ матрицы R, рас-
расположенную в первых г строках и первых г столбцах. Легко про-
проверить, что
где Qi — подматрица, составленная из ненулевых столбцов мат-
матрицы Q. Это разложение также скелетное. Следовательно, Qf =
«= (RiyiB* и В+ = RiQi. Но столбцы Qx линейно независимы,
QfQi = Е, и потому Ql = (QlQJ^Ql = Q[. Окончательно
Для нахождения С+ придется еще раз применить метод орто-
гонализации и найти такую треугольную невырожденную ма-
матрицу Z порядка г, что CTZ = Р, где Р — матрица с ортонормиро-
ванными столбцами. Это возможно, так как строки матрицы С
линейно независимы. Тогда, по аналогии с рассуждениями, про-
проведенными для В, имеем
С+ = PZT.
Заметим в заключение, что мы пользовались для матриц А
и С не д/?-разложением, а результатом ортогонализации их столб-
столбцов. Если известно д/?-разложение, полученное как-либо иначе,
то потребуется дополнительно только обращение верхней треуголь-
треугольной матрицы, которое не представляет трудностей.
8. Вторая форма сингулярного разложения. Наиболее эффектив-
эффективным, хотя и сравнительно трудоемким способом решения задач,
связанных с нахождением нормального псевдорешения и псевдо-
псевдообращением матриц, является получение сингулярного разложе-
разложения. В ряде случаев нахождение сингулярного разложения может
заменить нахождение псевдообратной матрицы. Сингулярному
разложению, введенному в § 1 гл. I, можно придать другую форму,
которую мы сейчас и рассмотрим.
Обозначим через Ег„ матрицу размеров г х л, состоящую из пер-
первых г строк единичной матрицы порядка п. Какова бы ни была
матрица V, произведение ErnV (если оно определено) состоит из пер-
первых г строк матрицы V. Если же определено произведение SErn,
то оно представляет собой матрицу S, к г столбцам которой при-
приписано справа п — г нулевых столбцов.

§ 3. МЕТОДЫ ВЫЧИСЛЕНИЯ 219
Рассмотрим матрицу А размеров т X п и ранга г. Ее сингу-
сингулярное разложение имеет вид А —- UTDV. Здесь D —диагональ-
—диагональная матрица размеров т X п вида
Л о
о
причем Л — квадратная диагональная матрица порядка г. Матри-
Матрицу D можно представить в виде произведения (EQTAErn. Тогда
Согласно сказанному выше E'nV — матрица, состоящая из пер-
первых г строк V, a (ErmU)T состоит из первых г столбцов матрицы UT.
Обозначим эти матрицы соответственно через Vx и U{. Строки
Vi и Цх (столбцы U\) ортонормированы. Мы получили разло-
разложение
А = и\Ми A9)
которое назовем второй формой сингулярного разложения.
Во вторую форму сингулярного разложения входят матрицы
меньших размеров, чем в первую форму: нет необходимости вычис-
вычислять и запоминать компоненты тех векторов сингулярных базисов,
которые соответствуют нулевым сингулярным числам.
Рассмотрим вкратце интерпретацию разложения A9) в терми-
терминах линейных отображений.
Пусть Шп и Щт — евклидовы пространства, а А — линейное
отображение Щп в Вт. Ортогональное проектирование Ш„ на Im A*
определим как отображение Р: ^„->ImA*, сопоставляющее
каждому вектору х е Шп его ортогональную проекцию на Im А*.
(Напомним, что проектирование не как преобразование простран-
пространства, а как отображение его на подпространство рассматривалось
нами в п. 4 § 3 гл. II.) Если в Шп и Im А* выбрано по базису, то ото-
отображению Р соответствует матрица Р размеров г X п.
Так как (Im А*I = Кег А, для любого х е Шп имеем
А (х) = А • Р (х).
Это легко проверить, записав х в виде х' + х'!, где х' е Im A*,
а х" е Кег А.
Рассмотрим ограничение Ао отображения А на подпростран-
подпространстве Im А*. Согласно предложению 1 § 2 Ао взаимно однозначно
отображает Im А* на Im А. Пусть, кроме того, 1 — отождествле-
отождествление векторов из Im А с теми же векторами, рассматриваемыми
как векторы из Щт. (Подробнее об этом отображении см. стр. 85.)
Теперь отображение А мы можем представить как произведение
А = ЬАО.Р. B0)

220 ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
Матричная запись этого произведения возможна после выбора
четырех базисов: базисов в пространствах &„, Im A*, Im А и Шт.
Базисы в пространствах Ш„ и Шт будем считать произвольными
ортонормированными. Матрица отображения А в этих двух бази-
базисах обозначается через А. В качестве базисов в пространствах
Im А* и Im А выберем те векторы соответственно первого и вто-
второго сингулярных базисов А, которые соответствуют ненулевым
сингулярным числам (таких векторов в каждом базисе ровно по г).
В этих базисах отображение Ао имеет матрицу Л — диагональную
с ненулевыми сингулярными числами на диагонали.
Очевидно, что при сделанном выборе базисов матрица отобра-
отображения I имеет ортонормированные столбцы. Переходя в простран-
пространстве Шт ко второму сингулярному базису, можно заметить, что
при выбранном базисе в Im А отображение Р имеет матрицу E':v.
Значит, при исходном базисе в Шт матрица Р, равная ЕГ„У, имеет
ортонормированные строки.
Таким образом, вторая форма сингулярного разложения может
быть получена как координатная запись разложения B0).
Замечание. В связи с разложением B0) стоит сказать,
что в определении псевдообратного отображения в начале § 2 сле-
следовало бы написать в качестве первого множителя отождествление
векторов из Im А*. Мы не сделали этого, так как в этом случае,
как и обычно, никаких трудностей не возникает, если отождествле-
отождествление просто подразумевать. Однако бывают ситуации (одна из кото-
которых нам только что встретилась), когда введение этого «лишнего»
множителя проясняет картину.
Наиболее естественный путь построения сингулярного разло-
разложения матрицы А состоит в решении полной проблемы собствен-
собственных значений для матрицы АТА. Однако практически этот путь
мало приемлем. Действительно, при построении сингулярного
разложения одним из важных вопросов является существование
нулевого сингулярного числа и его кратность. Если сингулярные
числа отыскивать как квадратные корни из характеристических чисел
АТА, то решение этого вопроса затрудняется, поскольку квадраты
сингулярных чисел хуже отделены от нуля, чем сами эти числа.
Кроме того, при извлечении квадратного корня из близких к нулю
чисел относительная погрешность оказывается очень большой.
Если же матрица АТА все же используется, то из сказанного
следует, что элементы этой матрицы должны быть вычислены с очень
высокой точностью.
Поэтому на практике (ср. Форсайт, Малькольм и Моулер [38]
Уилкинсон и Райнш [34]) применяется методг который мы опишем
для случая m 5= я. (При m <.п можно тот же метод применить
к транспонированной матрице).
Сначала методом отражений строятся такие ортогональные
матрицы U и V, что матрица Л'о) = (/МУ.является двудиагональ-

§ 3. МЕТОДЫ ВЫЧИСЛЕНИЯ 221
ной, т. е. ее элементы a'°j могут быть не равны нулю, только если
i = / или i + 1 = /. Приведение к двудиагональному виду ничем
не отличается от описанного для квадратных матриц в § 5 гл. III.
Затем матрица Л(о) преобразуется последовательностью орто-
ортогональных матриц S<ft), P{k), k — 0, 1, 2..., по формулам
Матрицы S{k\ Pw выбираются таким образом, чтобы последова-
последовательность Л<*> сходилась к диагональной матрице D. При этом
каждая из матриц Л(*> двудиагональная и ар' ,->0 при k -> со.
Если 5= lim SW...SW и Р= lim Р^К.'.Р^, то D = StA4FP
fc»co _ _ fe»co
и разложение Л = (SU)TD (VP)T является сингулярным разложе-
разложением Л.
Рассмотрим теперь матрицы SW и P(ft). Каждая из них нахо-
находится как произведение матриц плоских вращений:
причем 5,- и Pt — вращения в плоскости, натянутой на et_i и е;.
Эти вращения выбираются так, чтобы матрица BW = A^k)TAw
преобразовывалась в матрицу B(k+i) = pwrgwpw^ которая полу-
получается из ?(ft) одним шагом Q^-алгоритма со сдвигом. Однако
матрицы Si и Р{ могут быть найдены только по элементам матри-
матрицы Л(й), а матрица В<-к) не используется и не вычисляется.
Как и Q-Sf-алгоритм, этот итерационный процесс быстро схо-
сходится и дает точный результат.
9. Использование сингулярного разложения. Объединив сомно-
сомножители во второй форме сингулярного разложения
мы получим скелетное разложение матрицы Л. Действительно,
размеры матриц L/J и AVt соответственно m X г и г X п. Заме-
Заметив это, мы можем написать Л+ = (AViYUl*, и так как столбцы
матрицы Ui ортонормированы, Л+ = (AV^Ui.
Далее, пусть В = AVx. Это разложение матрицы размеров
г х л на множители размеров г X г и г X п полного ранга также
является скелетным. Поэтому В+ = ViA~l — VIA'1, и оконча-
окончательно мы имеем
Если получено сингулярное разложение матрицы Л, то по этой
формуле псевдообратная к Л получается почти без дополнительных

222 ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
вычислений. Конечно, получение сингулярного разложения более
трудоемко, чем, например, получение ^-разложения, но с вычис-
вычислительной точки зрения оно обладает существенными достоин-
достоинствами. Именно, уже не раз говорилось, что наиболее трудная
проблема при псевдообращении матриц — это определение ранга
матрицы. При применении сингулярного разложения эта проблема
не возникает.
Возникает гораздо более простой вопрос — решить, являются ли
пренебрежимо малыми отдельные числа. Именно, какие из вычис-
вычисленных сингулярных чисел в действительности являются нуле-
нулевыми.
Для каждой конкретной задачи, учитывая оценку погрешности
исходной информации и оценку ошибок округления, внесенных
при вычислении сингулярных чисел, устанавливают некоторое
число е в качестве границы: если вычисленное значение сингуляр-
сингулярного числа меньше е, то это сингулярное число считается нуле-
нулевым.
Таким образом, размеры матриц в вычисленном разложении A9)
зависят от величины е. Это вычисленное разложение является
точным разложением другой матрицы Ае. Ранг Аг зависит от е,
причем Rgi4esgRg/4, а спектральное число обусловленности
удовлетворяет неравенству
где ах — наибольшее сингулярное число матрицы А.
Мы видим, что матрица Аг, вообще говоря, лучше обусловлена,
чем А, но часть информации, содержащейся в А, может оказаться
потерянной. Если мы признали нулевым некоторое сингулярное
число, истинное значение которого положительно, мы фактически
признали некоторую строку А линейно зависимой от остальных.
Итак, сделав е больше минимального сингулярного числа Л, мы
выберем из А наиболее достоверную информацию, которой, есте-
естественно, меньше. Одновременно, увеличение е способствует более
компактной записи и, следовательно, экономии памяти.
Можно использовать этот эффект для выделения наиболее суще-
существенной части данных, записанных в матрице. Для этого е задают
настолько большим, чтобы получить матрицу Аг приемлемого
ранга, именно, достаточно малого, чтобы данные были обозримы,
и достаточно большого, чтобы они представляли интерес.
10. Метод Гревиля. Совсем другой подход к нахождению псев-
псевдообратной матрицы основывается на следующем построении.
Пусть матрица Ах получается из матрицы А дописыванием
справа столбца а:
1aXi ... in
• • ¦

§ 3. МЕТОДЫ ВЫЧИСЛЕНИЯ 223
Допустим сначала, что ЛЛ+а^се, и рассмотрим столбец
о_ (Е — АА+)а /2j\
где II * II обозначает евклидову норму.
Предложение 2. Если АА+а Ф а, то матрица А\ полу~
чается из матрицы Л+ (Е — сфг) дописыванием снизу строки §rf
т. е. имеет вид
B2)
Доказательство проще всего получить, проверяя для матрицы
B2) условия предложения 12 § 1. Обозначив ее через X, найдем
= А А+ (Е - а§?) + «рг = А Л+ + (Е - ЛЛ+) ар.
Обозначим для краткости знаменатель выражения B1) через %.
Тогда
Л!Х = ЛЛ + + (?-ЛЛ+)ааг (Е-АА+)Т Яг1.
Отсюда видно, что матрица ЛХХ симметрична.
Рассмотрим теперь произведение АхХАх. Имеем
, АхХа\.
Вычислим матрицу АХКА. Она равна
АА+А + Х-1 (? - АА+) аа.т (Е - АА+) Л,
поскольку Е — АА1 симметрична, так же как и А А*.
Первое слагаемое равно Л. Раскроем скобки во втором сла-
слагаемом:
{Е-АА+)аат {Е-
и увидим, что оно равно нулю согласно тому же тождеству АА+А *=А*
Вычислим теперь столбец АхХа. Он равен
АА+а + К-1 (Е - АА+) <мт (Е - АА+) а. B3)
Чтобы упростить это выражение, найдем h
К = ат {Е-АА+)(Е-АА?)а = ат (Е-2АА>-\-(АА"J)а=*
= ат (Е-АА+)а.
Произведя сокращение в выражении B3), имеем
Л хХа = Л Л+а + (Е — АА+) а = а,
Итак Л1ХЛ1 = |Л, a\ — Ai, как и требовалось.

?24 ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
Далее, можно проверить, что матрица XAt имеет следующее кле-
клеточное строение (с клетками размеров п X п, я X 1, 1 X п и
1 X 1):
Jf{E^T)A A+{E^a[ B4)
Подсчет, аналогичный приведенному выше, показывает, что
А* А 011
XAV
0 1
и мы видим, что эта матрица симметрична. Кроме того, умножая
эту матрицу на X, мы сразу получаем ХАХХ — X, Предложение
доказано.
Рассмотрим теперь случай, когда АА+а = а. Положим
А+т
и докажем
Предложение 3. Если ЛЛ+а = ос, то матрица А\ полу-
получается из матрицы Л+ (Е — ауг) дописыванием снизу строки уТ,
т. е. равна
B6)
Доказательство, как и для предыдущего предложения, состоит
в проверке условий предложения 12 § 1. Обозначим матрицу B6)
через X и вычислим АуХ:
АХХ = \А, а\\ (Е~ач 4 = AAJr(E — ayT)-)-ayT =АА+
Y Р
в силу условия АА+а = ос. Таким образом, матрица АХХ симмет-
симметрична. Аналогично, независимо от вида у, имеем
Вычислим матрицу ХА±, Она имеет вид B4), только вместо ji
в нее входит V- Преобразуем выражения для клеток этой матрицы:
Л+ (? - аут) Л = А^А - Л -стаг А+т А+А\-\
где
Ь=1+1Л+а»2.
Но Л1;ГЛ+Л = Л+7" в силу тождества (8) § 1. Поэтому
Л+ (Е - аут) А - ЛМ - (А+а) {ат А+т) Х-1 = Л +Л - X (Л +а) (A +aV.
Отсюда следует, что левая верхняя клетка симметрична. Далее,
в силу того же тождества
у7 А = ат А+т Л MX - k-W A+T.

§-3. МЕТОДЫ ВЫЧИСЛЕНИЯ 225
Кроме того
Л+ (Е - щт) а = Л+а - Х-М+асе7" Л+7" Л+а =
= к-1 (А+аХ-А+аатА+тА+а) = к-г[А+а A +ат А+т Л+а) -
- Л+ааг Л+г Л+а] = X"M+a.
Это показывает, что клетка-строка получается транспонированием
из клетки-столбца.
Теперь видно, что матрица ХАХ симметрична. Рассмотрим про-
произведение ХАгХ. Если Zj, i = 1,2, 3, 4, обозначают клетки матри-
матрицы ХАи то
у . х \\Z1 ZA \А+(Е-щт)\ \\Z1A+(E-ayT)+Z.1,tT\\
Подставляя вместо Zf их выражения через Л, се и у. находим
= Л+ (?-ay7) ^А"- (Е — a
Раскроем скобки и учтем, что ЛЛ+ее = ос и
Тогда преобразуемое выражение превратится в
А+-А+аут =АЦЕ-ауГ).
Далее,
аут =ут {Е-ау?) + у?аут =уг-
Таким образом, мы проверили, что ХАХХ = X, и закончили
доказательство.
Предложения 2 и 3 можно использовать для построения псевдо-
псевдообратной для данной матрицы Л. Для этого рассматривают п ма-
матриц Аи ,.., Ля, где матрица Л, (/ = 1, ..., п) состоит из / первых
столбцов матрицы Л. Так как At состоит из одного столбца, А\ на-
находится без затруднения. Затем последовательно вычисляются
At, At, ..., пока не будет получена At = Л+.
Особенно этот способ удобен, если о течением времени данные
пополняются, и расчеты, ранее проведенные g матрицей Аи нужно
повторить с матрицей Л/+1, полученной из At добавлением столбца.
Если добавляются строки, то тот же метод применяется к транс-
транспонированной матрице.
Следует отметить, что затруднения, связанные g необходимостью
одновременно о псевдообращением определять ранг матрицы,
остаются и при применении рассматриваемого метода. Они появ-
появляются в тот момент, когда мы должны выяснить, выполнено ли
равенство ЛЛ+а => а, и в зависимости от этого выбрать нужную
формулу.

226 ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
Существуют и другие результаты, касающиеся связи псевдо-
псевдообращения и разделения матрицы на клетки, но они еще более гро-
громоздки (см. Алберт [1]).
§ 4. Метод наименьших квадратов
1. Задача приближения функции. Этот параграф посвящен при*
ложениям полученных ранее результатов о псевдорешениях и псев-
псевдообратных матрицах.
Системы из большого числа линейных уравнений со сравни-
сравнительно небольшим числом неизвестных возникают в следующей
практически важной задаче, частный случай которой рассматри-
рассматривался во введении к § 1.
Пусть экспериментально исследуется зависимость между двумя
переменными величинами I и т] и результат эксперимента пред-
представляет собой т. пар соответствующих друг другу значений
A\ V) (Iя, л1"). О)
Нужно найти функцию ц = f (|), которая как можно лучше пред-
представляла бы реальную зависимость между переменными величина-
величинами. Функцию/ ищут в виде линейной комбинации заранее заданных
функций
<Pi(S), .... ФЛ1), B)
называемых базисными функциями.
Эти функции выбирают, исходя из природы рассматриваемой
задачи. Так, если имеются основания предполагать, что иссле-
исследуемая зависимость периодическая с известным периодом, то в ка-
качестве базисных могут быть выбраны тригонометрические функции.
В этом случае искомая линейная комбинация выглядит как частич-
частичная сумма ряда Фурье. Часто используются степенные базисные
функции (?)* (k — 0, ..., п — 1) или другие многочлены. При таком
выборе функция / будет многочленом.
Экспериментальные данные A) содержат ошибки измерения
и в зависимости от постановки задачи, возможно, другие случайные
отклонения. Поэтому не требуется, чтобы равенства
4' = f(ll), 1 — 1 т. C)
выполнялись, т. е. чтобы график функции / проходил через все
точки A) на координатной плоскости. Требуется только, чтобы
график проходил в некотором смысле возможно ближе ко всем
этим точкам. Обычное требование состоит в том, чтобы сумма квад-
квадратов
(тI-/(^1)J + ...+ (п'"-/A'я))а D)
была минимальной. Если функция / выбрана таким образом, то
говорится, что она выбрана методом наименьших квадратов.

S 4. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ 227
Подчеркнем отличие рассматриваемой постановки задачи от
задачи об интерполяции. В последней ищется функция заданного
вида, принимающая в указанных точках заданные значения. В на-
нашем же случае предполагается, что пары чисел лишь приближенно
соответствуют реально существующей зависимости, и отыскивается
функция заданного вида, лучше всего соответствующая экспери-
экспериментальным данным. При этом не ожидается, что полученная функ-
функция точно представляет реальную зависимость между перемен-
переменными — она должна лишь аппроксимировать эту зависимость.
В соответствии с этим в корректно поставленной задаче об интер-
интерполяции число точек равно числу базисных функций, а в методе
наименьших квадратов точек, как правило, значительно больше.
Если f — линейная комбинация базисных функций
то равенства C) представляют собой систему линейных уравнений
относительно коэффициентов б1, ..., б":
. • !". • • • ! E)
коэффициенты которой — значения базисных функций в точках
I1, ..., |т, т. е. oij = ф/ (?')• Матрицу системы обозначим буквой А.
Невязка, даваемая конкретным набором коэффициентов б',.... S"
при подстановке в эту систему, имеет компоненты
и квадрат ее нормы имеет вид D). Поэтому любой набор коэффи-
циентов, минимизирующий сумму квадратов D), удовлетворяет
нормальной системе для системы E).
Однако важно подчеркнуть, что по отношению к той реальной
зависимости между переменными, которую мы исследуем, решение
нормальной системы представляет собой лишь приближение к ис-
истинному набору параметров, или, как говорят, оценку истинного
набора параметров.
Если столбцы матрицы А системы E) линейно независимы, то
нормальная система имеет единственное решение, которое является
псевдорешением системы E). В соответствии с этим и стоящая
перед нами задача также имеет единственное решение.
Посмотрим, в какой мере можно ожидать линейной независи-
независимости столбцов матрицы. Мы выбираем базисные функции так,
как это нам нужно, и потому естественно потребовать, чтобы базис-
базисные функции были линейно независимы. Напомним, что функции
Фх (?). •••> фя (?) называются линейно зависимыми на заданном интер-
интервале, если на этом интервале тождественно равна нулю некоторая
их нетривиальная линейная комбинация с постоянными коэффи-

228 ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
циентами. Если базисные функции линейно зависимы на интервале,
содержащем все точки I1, ..., gm, то, разумеется, будут линейно
зависимы и столбцы матрицы. В этом случае выбор в качестве коэф-
коэффициентов б1, ..-, б" нормального псевдорешения системы E) будет
только одним из возможных.
Легко видеть, что линейная независимость базисных функций
не гарантирует линейной независимости столбцов матрицы. Напри-
Например, матрица из значений функций срх (I) = 1 и ср2 (|) = (?J в точ-
точках I1 = 1 и |2 = —1 есть
111 ll
Однако если базисные функции линейно независимы, то при усло-
условии приближенной записи чисел точная линейная зависимость,
между столбцами — явление исключительное. Столбцы матрицы
могут оказаться близкими к линейно зависимым, а матрица А —
близкой к матрице неполного ранга. При этом, как мы видели,
нормальное псевдорешение сильно меняется при небольших изме-
изменениях исходных данных.
Поэтому в любом случае расчеты должны быть построены так,
чтобы мы могли обнаружить численную неустойчивость или неедин-
неединственность решения, когда они имеют место. Это удобно может
быть сделано, если для нахождения псевдорешения воспользоваться
сингулярным разложением матрицы системы. Как было описано
в п. 9 § 3, можно ввести границу е, зависящую от точности произ-
производимых вычислений, и пренебрегать теми сингулярными числами
матрицы, которые меньше е.
Оценим увеличение суммы квадратов D), которое возникнет,
если мы пренебрежем сингулярными числами, меньшими е. Оче-
Очевидно, во-первых, что любое решение р*1, ..., Рл нормальной одно-
однородной системы ЛМр = 0 можно прибавить к коэффициентам
б1, .... б", не изменив суммы D) (см. предложение 2 § 1).
Решения нормальной однородной системы образуют в простран-
пространстве столбцов высоты п подпространство, которое мы обозначали
буквой SfC (оно совпадает с множеством решений системы А$ = 0).
Заменив нулями сингулярные числа, меньшие е, мы фактически
присоединяем к этому подпространству такие столбцы |}г, для ко-
которых
/4Mp,-aJP,, al<8. F)
При этом можно считать, что i — k, ..., г.
Предложение 1. Если к решению б нормальной системы
прибавить произвольную линейную комбинацию"; = у*Рй + •••+Y/-Pr
столбцов {$,-, удовлетворяющих условиям F), то сумма квадратов
D), соответствующая решению в, увеличится не больше чем на
е2 II у II2.
Доказательство. Сумма квадратов, которую мы долж-
должны оценить, есть квадрат нормы невязки, даваемой столбцом б 4- Y»

§ 4. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ 229
т. е.
IЛ - А (9 + у) II2 = [(ц - АЩ - АУу[(ч - АО) - Ау].
Раскрывая скобки, имеем
|Л_ А (О -Ь V) II2 = II tj — A0f + 2yT (ATA0-ATr\) + \Ayf.
Учитывая, что б — решение нормальной системы, находим, что
сумма квадратов возрастет на || Ау ||2. Оценим эту величину.
Согласно соотношениям F) имеем
= \т (Y*«l Ра + • • • + У^г) <, &2УГ (уфь + • • • + У А) = е21V I
Предложение доказано.
Даваемая предложением 1 возможность просто оценить увели-
увеличение суммы квадратов — важное достоинство метода нахожде-
нахождения псевдорешения с помощью сингулярного разложения.
2. Линейная регрессия. Рассмотренная выше задача об оценке
параметров функции / по приближенным измерениям ее значений
является частным случаем более общей задачи, рассматриваемой
в математической статистике. Пусть у — случайная величина 4)
и ее математическое ожидание М (у) линейно зависит от п пере-
переменных ах, ..., ап\
M(r/) = 81a1 + ... + S"a«, G)
с коэффициентами б', подлежащими оценке по наблюдаемым зна-
значениям у.
Переменным а,- придается m серий значений, составляющих
матрицу А размеров m X п:
а\, ..., а\,
(8)
При этом значения а1, рассматриваются как достоверно известные.
Матрица А называется матрицей регрессии, а переменные af —
регрессорами. Регрессорами могут быть функции от одной перемен-
переменной или функции от нескольких переменных, можно также счи-
считать все щ независимыми переменными.
Линейной независимости столбцов матрицы регрессии мы тре-
требовать не будем.
г) Для чтения этого пункта необходимо знакомство с основными понятиями
теории вероятностей, например, по книге Розанова [28].

230 ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЁ МАТРИЦЫ
При каждом из наборов значений (8) величина у принимает не-
некоторое значение. Обозначив эти значения гI ч\т, запишем
или в матричной форме
(9)
Согласно G) случайные величины е' имеют нулевое математическое
ожидание. Их называют ошибками, хотя в действительности они
могут быть естественными отклонениями значений величины от
ее математического ожидания и не обязательно вызваны ошибками
измерения у.
Если е' являются ошибками измерения, то естественно пред-
предполагать, что они не коррелированы между собой и имеют одина-
одинаковые дисперсии. В дальнейшем мы для простоты введем это пред-
предложение.
По отношению к системе линейных уравнений ц = Ад столбец
е является невязкой, даваемой истинным набором параметров в =
= II в1, .... 6* II.
Псевдорешение 6 этой системы называется оценкой для истинного
набора 6, полученной по методу наименьших квадратов. Оно равно
6=Л+т). A0)
Такие оценки, которые, подобно б, линейно выражаются через
1], называются линейными оценками.
Естественно, что оценка, зависящая от случайного набора зна-
значений г), сама является случайной величиной. Оценка называется
несмещенной, если ее математическое ожидание совпадает с истин-
истинным набором параметров 6.
Предложение 2. Если столбцы матрицы регрессии ли-
нейно независимы, то оценка в, полученная по методу наименьших
квадратов, является несмещенной.
Действительно, из простейших свойств математического ожи-
ожидания следует, что
М F) = Л+М (т)) = ЛМ6, A1)
а при сделанном предположении относительно А это равносильно
требуемому равенству
М(в)=е.
В общем случае формула A1) позволяет утверждать несмещен-
несмещенность только некоторых проекций в. Именно, матрица А+А идем-
потентна, т. е. (Л+ЛJ = А*А, и потому из A1) следует

S 4. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ 231
Согласно предложению 11 § 1 А*Ав есть ортогональная проекция
в на подпространство <& в е%"л. Это подпространство составлено
из столбцов вида A Tv при всевозможных V. Итак, если р е е^,
то А+Ар = р и ртА+А — рт. Поэтому для всех р е <& имеем
и справедливо
Предложение 3. Если набор коэффициентовр принадле-
принадлежит &7, т. е. рТА+А = рт, то рТё является несмещенной оценкой
для рТЬ.
Линейные функции на effm, рассматриваемом как множество
всевозможных значений параметров, называются параметрическими
функциями. Предложение 3, по существу, относится к оценке зна-
значения параметрической функции ртв на истинном наборе пара-
параметров в.
Выше линейной оценкой для истинного набора параметров была
названа оценка, линейно зависящая от т), т. е. линейная функция
на <Мт. Рассмотрим те линейные функции на s^m, которые могут
быть несмещенными линейными оценками для параметрических
функций.
По определению функция vT?,, где g e <^т, порождается пара-
параметрической функцией \j> (в) = ргв, если для всех в выполнено
A2)
что равносильно
или
ATv=p. A3)
Таким образом, параметрическая функция порождает функцию на
efflm тогда и только тогда, когда р е е^. Однако при этом условии
порождаемая функция, вообще говоря, не единственна. Действи-
Действительно, общее решение системы уравнений A3) есть
где с— произвольный столбец высоты т (см. предложение 13 § 1),
Пусть / (g) = vTt, — линейная функция на <Мт, порождаемая
некоторой параметрической функцией. Найдем математическое
ожидание и дисперсию значения / на столбце ц, удовлетворяющем
(9). При этом будем предполагать, что ошибки е' не коррелированы
и имеют равные дисперсии D (ег) = ст2.
Для математического ожидания имеем
A4)
Итак, М (vTr\) равно значению порождающей функции на истин-
истинном наборе параметров, В этом смысле vTr\ является несмещенной

232 ГЛ. IV. ПСЕВДОРЕШЁНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
оценкой для ртЬ. Применяя этот результат, находим
D (vT tj) = M (vT ц -pTQf = M (vT (ц - Лб)J = М (vTеJ.
Далее, используем равенство ©ге = егг>, верное для любых столб-
столбцов:
М (vT еJ = М (vT (ее7") г») = vT М (ееГ) v = vT a2Emv = ст21 v f.
Итак,
D(vTr\) = o*lvf. A5)
Отсюда следует, в частности, что, выбрав решение системы A3),
имеющее минимальную норму, мы выберем из всех функций, порож-
порождаемых данной параметрической функцией, ту, для которой диспер-
дисперсия О(г»Гт1) минимальна. Система A3) предполагается совместной.
Она имеет единственное решение с минимальной нормой, а именно,
псевдорешение
Значение функции со строкой коэффициентов г»ог на векторе т|,
согласно A0), есть
т. е. значение порождающей функции на оценке 6, полученной
методом наименьших квадратов. Отсюда следует
Теорема 1. Если параметрическая функция рТв допускает
несмещенную оценку вида vTr\,mo из всех таких оценок минимальную
дисперсию имеет оценка v^r\ = рТв, получаемая по методу наи-
наименьших квадратов.
В частности, если столбцы матрицы А линейно независимы,
то <&—<Мт, и все параметрические функции допускают оценку.
Допускают оценку и функции е«9, где е,- — строка единичной мат-
матрицы. Эти функции равны б', и их несмещенными оценками с ми-
минимальной дисперсией будут компоненты 8', полученные методом
наименьших квадратов.
Доказанная нами теорема показывает, почему, собственно,
нужно минимизировать сумму квадратов, т. е. использовать евкли-
евклидову норму, а не, допустим, сумму модулей. Стоит заметить, что
преимущества метода наименьших квадратов выяснились не сразу.
Так, Лаплас вначале применял требование минимизации 2 I & 1«
Пусть i — «случайный вектор», т. е. столбец, составленный
из т случайных величин I1,..., |т. Его математическое ожидание —
столбец а о элементами а* = Ы F0- Матрицей ковариаций | назы-
называется матрица
Ее диагональные элементы — дисперсии соответствующих величин
|4, а недиагональные — ковариаций cov (I1, V).

§ 4 МЕТОД НАИМЕНЬШИХ КВАДРАТОВ 233
Посмотрим, как можно оценить матрицу ковариаций оценки 6,
полученной по методу наименьших квадратов, если предполагать,
что ошибки е' не коррелированы и имеют одинаковые дисперсии,
равные а2. Это означает, что
Из D (т\) = D (ц — Л0) = D (е) имеем также
D(ri) = о*Ет. A6)
Нетрудно проверить, что для любого случайного вектора § и для
любой постоянной матрицы 5 из | = 51' следует М A) = SM (§') и
D(I) = 5D(|'Mr.
Отсюда в силу A0) следует, что
D8 = A+o*EmAiT = о2А+А+Т.
Как нетрудно проверить, А+А+т= (АтАу. Спедовательно,
DB = а* (АТА)\
Остаточной суммой квадратов называется величина Ц е ||2, если
й = i\ — Л6. Найдем математическое ожидание остаточной суммы
квадратов. Мы имеем
ёТё = (ц-АА+г))Т (ч-АА+ц) = т\т (Е -2AAh + A+TATAA+) tj =
-=цт (Е-АА+)ц.
Обозначим временно элементы матрицы Е — АА+ через р;у. Тогда
i, I
и ётв можно переписать в виде
I] Ру (t]V - М Ы) М (V)) + S Р'7М (V) М (V). A7)
Вычислим математическое ожидание этого выражения. Для этого
заметим, что, согласно формуле A6),
М (ЛV - М (пО М (V)) = cov (г)', V) = ( °' J ^ ?'
Поэтому первый член выражения A7) есть
Второй член — постоянная, и его математическое ожидание равно
ему же. В матричном виде этот член равен

234 ГЛ. IV. ПСЕВДОРЕШЕНИЯ И ПСЕВДООБРАТНЫЕ МАТРИЦЫ
или ВТАТ(Е-АА+)АВ. Но
вт (АтА-АтАА+А)в = 0.
Таким образом,
Для того чтобы найти след матрицы Е — АА+, вспомним, что мат-
матрица АА* идемпотентна (см. стр. 198). Отсюда вытекает, что идем-
потентна и Е — АА*, и потому ее характеристические числа все
равны нулю или единице. Так как Rg (E — АА+) — m — г, равны
единице будут ровно m — г характеристических чисел. Итак,
tr (E
Окончательно мы получаем
М (|i е Р) = а2 (т — г).
Этот результат используется для получения оценки параметра о
по формуле
m — r
Подробнее с регрессионным анализом можно познакомиться по
книге Себера [30] или любому курсу математической статистики.
Применения псевдообратных матриц к статистическим задачам
описываются в книге Алберта [1].

ГЛАВА V
СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ
И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
§ 1. Однородные системы линейных неравенств
1. Основные определения. В этом параграфе мы будем изучать
системы неравенств вида
aW + •¦¦ + а\хп =& О,
A)
а?х1 +... + а?хп ^s О,
где а'. — вещественные постоянные. Мы не уменьшаем общности,
предполагая все неравенства неравенствами одного смысла (^ О)-
Действительно, неравенство а^х1 + ...+ апхп ^ 0 можно записать
в нужном нам виде, умножив его на —1. Точно так же в виде A)
могут быть записаны смешанные системы из неравенств и линейных
однородных уравнений, так как однородное линейное уравнение
можно записать в виде пары неравенств ахх1-\-,..-\-апхп ~^0 и
—йхХ1 — ... — апхп S= 0. С другой стороны, отсутствие в рассмат-
рассматриваемой системе строгих неравенств (со знаком >») является су-
существенным предположением.
Условимся считать столбец х неотрицательным и писать лг^О,
если неотрицательны все элементы столбца. Аналогичный смысл
имеют неравенства х «S 0, х ^ у и т. д. При этом следует помнить,
что два столбца могут быть несравнимы между собой, т. е. оба не-
неравенства х > у и х ^у могут быть неверны.
Пользуясь введенным обозначением, мы можем записать систему
неравенств A) в матричном виде
Ах^О. B)
Введем геометрическую интерпретацию системы неравенств A)
в терминах линейных пространств. Пусть %„ — вещественное ли-
линейное пространство и elt ..., е„ — базис в нем. Множество векто-
векторов, координаты которых удовлетворяют однородному линейному
неравенству
а1х1 + ... + аахп^0,
называется тыкнутым полупространством. Если неравенство стро-
строгое, то полупространство называется открытым. Замкнутое полу-
полупространство является объединением открытого полупространства

236 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
и граничного подпространства, определяемого уравнением
Всюду, кроме явно отмеченных случаев, мы будем рассматри-
рассматривать замкнутые полупространства.
Пересечение конечного числа полупространств называется замк-
замкнутым выпуклым многогранным конусом. Поскольку в этой главе
нам не будут встречаться другие конусы, мы часто будем пропу-
пропускать прилагательные «замкнутый», «выпуклый» и «многогранный».
Согласно этому определению множество всех векторов, координаты
которых удовлетворяют системе однородных линейных неравенств,
является выпуклым многогранным конусом.
Как и все определения, использующие координаты, определения
полупространства и конуса зависят от базиса. Легко проверить,
что в действительности такой зависимости нет: множество, опре-
определяемое системой B) в одном базисе, определяется системой того
же вида в любом другом базисе. В самом деле, пусть x = Sx'.
Тогда система B) равносильна ASx' S& 0.
Однако за редким исключением нам не придется менять базис.
При фиксированном базисе мы фактически имеем дело с «-мерным
арифметическим пространством. Мы будем обозначать вектор
так же, как его координатный столбец — строчной полужирной
буквой, а его компоненты — той же буквой (светлого шрифта),
снабженной индексом.
Приведем примеры многогранных конусов в трехмерном про-
пространстве:
1) х1^0, хг5*0, x3Ss0 — неотрицательный октант.
2) х1'^0, х2^0 — двугранный угол.
3) Xх 5= 0, — х1 s* 0 — плоскость.
4) a^SsO, x2Ss0, x3Ss0, x1JrX2 — x3^О — четырехгранный
конус.
5) я1 Ss0, x2Ss0, х3^0, х1 + х2-х3^0, -х1-х2 + х3^0 —
плоский угол.
Предоставим читателю показать, что конусами являются: нуле-
нулевой вектор, одномерное подпространство и луч, т. е. множество
векторов вида ад:, где л: Ф 0, аа^О.
Предложение 1. Если векторы хх и х% принадлежат вы-
выпуклому многогранному конусу ?%, то векторы Х\-\-хг и ах^для
любого а s* 0 также принадлежат Ж.
Доказательство осуществляется без труда подстановкой коор-
координат векторов в систему линейных неравенств, задающую конус.
Пусть дан конус &С. Можно рассматривать его линейную обо-
оболочку, т. е. совокупность всех конечных линейных комбинаций
векторов, принадлежащих конусу. Линейная оболочка — под-
подпространство минимальной размерности, содержащее конус &С.
Размерность линейной оболочки конуса называется размерностью
конуса.

§ !. ОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ 237
Неравенство, входящее в систему A), называется жестким,
если для всех решений системы оно выполняется только как ра-
равенство. Заменив жесткие неравенства на равенства, мы не изме-
изменим множества решений системы.
Предложение 2. Если р — ранг матрицы, составленной
из коэффициентов жестких неравенств, то конус ?%, определяемый
системой A), лежит в (п—р)-мерном подпространстве и опреде-
определяется в нем системой, которая не содержит жестких неравенств.
Доказательство. Не ограничивая общности, мы можем
предположить, что первые р неравенств системы жесткие и соответ-
соответствующие им строки коэффициентов линейно независимы. Допу-
Допустим, что эти строки каким-то образом дополнены до квадратной
невырожденной матрицы S, и введем новый базис, связанный со
старым матрицей перехода 5-. Рассматриваемый конус в новом
базисе запишется системой линейных неравенств
AS-ty 5г 0. C)
Эта система отличается от исходной только на замену переменных,
и потому жестким неравенством исходной системы соответствуют
жесткие, а нежестким — нежесткие неравенства. Первые р строк
матрицы А8~г совпадают со строками единичной матрицы. Поэтому
первые р неравенств системы C) имеют вид г/1 S= 0, ..., ур ^ 0.
Мы можем заменить их на равенства, не меняя множества решений
системы. При этом остальные жесткие неравенства автоматически
будут выполнены. Учитывая в оставшихся (нежестких) неравен-
неравенствах равенства у1 = 0, ..., у" — 0, мы получаем систему нежест-
нежестких неравенств с переменными ур+1, ..., у".
Итак, мы видим, что конус расположен в подпространстве, на-
натянутом на последние п—р базисных векторов и определяется
в этом подпространстве системой из нежестких неравенств. Пред-
Предложение доказано.
Предложение 3. Если система однородных линейных не-
неравенств A) не содержит жестких неравенств, то соответствующая
система строгих неравенств
D)
а™х1-\-...-{-а™хп>0
имеет решение.
Доказательство. По определению нежесткого нера-
неравенства при любом i = 1, ..., т для i-го неравенства найдется реше-
решение системы Хи которое удовлетворяет ему как строгому неравен-
неравенству. Рассмотрим столбец хх\ ••¦ + хт. Пусть а' — строка коэф-
коэффициентов i-ro неравенства системы. При подстановке в это нера-
неравенство столбца Xi + ... + хт мы получаем
... + хт) = a'xi+...+a'Xi+.. .-\-alxM.

238 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Здесь слагаемое a'Xt положительно, а остальные слагаемые
неотрицательны. Таким образом, Xi-\-...-\-хт— то решение, су-
существование которого мы доказываем.
Пусть $С — конус, определяемый системой A), которая не со-
содержит жестких неравенств. Векторы, координаты которых удовле-
удовлетворяют системе D), называются внутренними векторами конуса <%",
а множество всех внутренних векторов — его внутренностью.
В соответствии с предложением 2 любой конус в некотором под-
подпространстве определяется системой нежестких неравенств. Соот-
Соответствующая система строгих неравенств имеет решения, лежащие
в упомянутом подпространстве. Множество этих решений назы-
называется относительной внутренностью конуса.
Предложение 4. Каждый внутренний вектор конуса Ж
принадлежит конусу вместе с некоторой своей окрестностью относи-
относительно произвольной нормы.
Поскольку все нормы эквивалентны (теорема 1 § 4 гл. I), доста-
достаточно доказать это утверждение для с-нормы
lJCflc = max
i
Рассмотрим вначале одно неравенство и вектор х0, для которого
Положим
\а(\
\
E)
(Число е определено, так как среди коэффициентов аг, ..., а„ есть
отличные от нуля: неравенство с нулевыми коэффициентами явля-
является жестким). Если вектор х таков, что || х — х0 ||е < е, то он,
как и х0, удовлетворяет строгому неравенству.
Действительно, обозначив х*0 — х' через б', имеем
Но
Отсюда мы заключаем, что
n
V
i —
Si
1
2
max| 8,-
о,
2 I */!<>*.
как и требовалось.
Рассмотрим теперь систему неравенств D) и вектор л*0 —реше-
—решение этой системы. Каждое из неравенств системы по формуле E)

S 1. ОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ 239
определяет радиус такой окрестности вектора х0, любой вектор
которой удовлетворяет этому неравенству. Минимальная из этих
окрестностей состоит из векторов, удовлетворяющих системе D).
Теперь нетрудно доказать следующее
Предложение 5. Если конус Ж в пространстве Хп опре-
определяется системой линейных неравенств, которая не содержит жест-
жестких неравенств, то размерность Ж равна размерности пространства
Хп.
Для доказательства рассмотрим какой-нибудь внутренний век-
вектор х0 конуса Ж, Пусть его координаты равны xj, ..., х?, a e есть
радиус окрестности вектора х0, состоящей из внутренних векторов
Ж. Рассмотрим векторы с координатами
хо ~~ Т1> хо' '"' хо>
хч' .. хо ТЬ * •ф» _ xtt
х\, xl, ..., х$-у\,
где | TJ | < е и г\ отлично от характеристических чисел матрицы,
все строки которой совпадают со строкой х\ х%. Легко видеть,
что эти векторы линейно независимы и принадлежат Ж. Предложе-
Предложение доказано.
Отсюда и из предыдущих предложений следует
Предложение 6. Размерность конуса Ж, определяемого
системой линейных неравенств A), равна п — р, где р — ранг мат-
матрицы, составленной из коэффициентов жестких неравенств.
2. Строение выпуклого многогранного конуса. Пусть <%" — ко-
конус, задаваемый системой неравенств A). Рассмотрим подмноже-
подмножества конуса Ж, получаемые заменой некоторых нежестких нера-
неравенств системы A) на равенства. Легко видеть, что эти подмноже-
подмножества — конусы меньшей размерности. Они называются гранями ко-
конуса Ж.
Частным случаем грани является подпространство, определяе-
определяемое системой линейных уравнений
F)
Эта грань называется минимальной гранью конуса. Название свя-
связано с тем, что какова бы ни была грань Ж'', она содержит в себе
минимальную грань. Размерность минимальной грани равна п — г,
где г — ранг матрицы А из коэффициентов системы A).
Рассматривая грань Ж' конуса Ж как самостоятельный конус,
мы можем определить грани Ж'. Очевидно, что они являются гра-

240 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
нями конуса &?. Минимальная грань конуса Ж является минималь-
минимальной гранью любой его грани.
Минимальная грань конуса может оказаться нулевым подпро-
подпространством. В этом случае конус называется заостренным. Для того
чтобы конус был заостренным, необходимо и достаточно, чтобы
Rg A = п. Если Rg А <.п, то конус называется тупым. (Употреб-
(Употребляется также термин «клин».)
Удобно будет ввести следующее определение. Пусть &>и ..., йРд —
множества векторов в линейном пространстве %п. Суммой 0Ь1 -+¦ ...+
+ zf'q этих множеств мы будем называть множество всех векторов
вида л; = Хг + ... + хд, где х-, е <^, i = 1 q.
Отметим, что сумма подпространств в смысле обычного опреде-
определения является их суммой в указанном выше смысле.
Теперь мы можем сформулировать и доказать следующее
Предложение 7. Каждый выпуклый многогранный ко-
конус S% является суммой некоторого заостренного конуса &?х и своей
минимальной грани Лб°. Каждая грань Ж' конуса Ж есть сумма Xй
и некоторой грани конуса с/?1. Обратно, каждая такая сумма есть
грань конуса <%".
Доказательство. Пусть Xi — такое подпространство,
что Хп — <5?° + ¦%* и Х°[\Х1 = 0. Рассмотрим множество век-
векторов (Р?1 = d6l Г) SK- Ои° определяется системой неравенств,
получаемой объединением системы неравенств A) конуса Sr? и си-
системы уравнений подпространства X1. Следовательно, з^1 — ко-
конус. Минимальная грань 5Г1 определяется системой уравнений, ко-
которая получается заменой на равенства всех неравенств в системе
A) и добавлением уравнений подпространства ЗИ1. Но это как раз
система уравнений для =5?° П X1, и она имеет только тривиальное
решение. Следовательно, конус S%^ заостренный.
Далее, для любого jt е Хп имеет место разложение х = х0 -\-
+xit где jtroecS?° и^е 351. Если jc e Ж, то вектор хг как сумма
векторов jt и —лг0 из Ж также принадлежит 3?. Таким образом,
Xi е Ж. Легко видеть, что и, обратно, из лг0 е Хй и хх е Ж
следует хо-\-Хх^ &?. Это заканчивает доказательство первого
утверждения.
Для доказательства второго утверждения достаточно заметить,
что пересечение <Ж" [~| %1 является гранью конуса 5Г1. Но это
очевидно, потому что система неравенств для Ж' П ^i получается
из системы для S%i = Ж [\ %^ заменой на равенства некоторых
неравенств, а именно тех, которые обращаются в равенства на гра-
грани &?' конуса &?.
Обратное утверждение доказывается столь же просто.
Важные заключения о строении многогранных конусов могут
быть сделаны из следующего предложения.
Предложение 8. Пусть &? — заостренный выпуклый мно-
многогранный конус размерности ^2. Тогда каждый вектор jcoe^
представим как сумма двух векторов, принадлежащих граням Ж.

§ 1. ОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ 241
Доказательство. Для вектора, принадлежащего грани,
утверждение очевидно. Пусть х0 не принадлежит ни одной грани.
Обозначим через с1, .... ат строки матрицы системы нера-
неравенств, задающей Ж, и рассмотрим вектор хх из Ж, не коллинеар-
ный вектору х0. Будем предполагать, что нежестким неравенствам
системы соответствуют номера I ^ s. Тогда для таких номеров i
выполнены строгие неравенства а'х0 > 0.
Рассмотрим числа
и докажем, что среди них есть хотя бы два различных. В самом
деле, если существует такое число К, что для всех !<s
то вектор Kxo — Xi удовлетворяет всем нежестким неравенствам
как равенствам. Кроме того, для всех i>s имеем а'хо = О и
а'хг = 0. Поэтому Хх0 —Ху удовлетворяет также и всем жест-
жестким неравенствам. Это означает, что %xo — Xi принадлежит мини-
минимальной грани конуса $С и, следовательно, равен нулю, так как
конус заостренный. В этом случае вектор Х\ коллинеарен л;0 вопреки
предположению.
Итак, среди чисел А,г существуют различные между собой мак-
максимальное %i и минимальное Ху. Для %t имеем
h(а{х0) — (a'xi)Ss0, ьф.1, i^s,
" h (alx0) — (a'xi) = 0.
Кроме того,
%i (alx0) - (а'Хг) = 0, i > s,
так как х0 и Xt удовлетворяют жестким неравенствам. Все эти со-
соотношения означают, что вектор у — ^лг0 — хх принадлежит грани
конуса SfC.
Аналогично доказывается, что другой грани конуса &С при-
принадлежит вектор 2 = jti — KjX0- Теперь доказываемое легко сле-
следует из равенства у + z = (Я,- — %/) х0-
Грани выпуклого многогранного конуса обладают следующим
свойством.
Предложение 9. Если вектор х грани Ж' представлен
как сумма нескольких векторов конуса, то все эти векторы принад-
принадлежат Ж'.
Действительно, пусть а1 — строка коэффициентов одного из
неравенств системы, обращающихся в равенства для грани SK',
а л: = х% ¦+¦ ... + Xi — то разложение, о котором идет речь. Тогда
alx = а1хх + • ¦ ¦ + a'xi = 0,
а сумма неотрицательных чисел может равняться нулю, только
если все они равны нулю. Поэтому a'Xj = 0 для всех / = 1, ..., /,
откуда и следует доказываемое.

242 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Одномерные грани конуса получаются обращением в равенства
п — 1 линейно независимых неравенств системы, задающей конус.
Если при этом остается еще одно независимое нежесткое неравен-
неравенство, то одномерная грань является лучом. Одномерные грани-
лучи называются ребрами многогранного конуса. В заостренном
конусе одномерная грань — обязательно луч.
Предложение 10. Заостренный конус есть сумма своих
ребер.
Докажем сначала, что каждый вектор х заостренного конуса
можно представить в виде
где все ct; 5= 0, a Xi — ненулевые векторы, принадлежащие реб-
ребрам конуса.
Доказательство проведем индукцией по размерности конуса.
У двумерного заостренного конуса гранями являются ребра, и
потому доказываемое совпадает с утверждением предложения 8.
Для конуса размерности п в силу того же предложения 8 каж-
каждый вектор сможет быть разложен в сумму х = х1-\-х2, где х%
и х2 принадлежат граням. Грани — заостренные конусы меньшей
размерности, и, согласно предположению индукции, существуют
разложения
х1 = а1у1-\-...-\-акук
где все щ, Ру 5= 0, a yt и zs — ненулевые векторы, принадлежа-
принадлежащие ребрам. Отсюда прямо следует доказываемое.
Обратное утверждение очевидно. В самом деле, если хи ..., х^—
направляющие векторы ребер, то любая их неотрицательная ли-
линейная комбинация принадлежит конусу согласно предложению 1.
Для того чтобы от заостренных конусов перейти к конусам
общего вида, докажем
Предложение 11. q-мерное подпространство 35 q является
суммой q + 1 лучей.
Доказательство. Пусть еъ ..., eq — базис в 35q. Поло-
Положим /=—{ех + ... + eq). Тогда для любого i = 1, ..., q верно
равенство
Произвольный вектор л: из %q имеет разложение л:= \1ех + .¦¦
... + %qeq. Если I1 •< 0 при каком-то <", то заменим в разложении л:
слагаемое ?'е4 на

§ I. ОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ 243
После приведения подобных членов мы получим разложение х по
векторам еь ..., eq, f с неотрицательными коэффициентами.
Наоборот, легко видеть, что всякая линейная комбинация этих
векторов с неотрицательными коэффициентами принадлежит Xq,
Предложение доказано.
Объединяя предложения 7, 10 и 11, мы получаем следующую
теорему.
Теорема 1. Каждый замкнутый выпуклый многогранный
конус является суммой конечного числа лучей, или, что то же, сово-
совокупностью линейных комбинаций конечного числа векторов с неот-
неотрицательными коэффициентами.
Возможно, что для некоторых целей более удобным окажется
представление, связанное с предложением 7: произвольный вектор
конуса представим как сумма некоторой линейной комбинации
базисных векторов минимальной грани и неотрицательной линей-
линейной комбинации ненулевых векторов ребер заостренного конуса.
Теорема 1 может быть сформулирована и иначе:
Теорема 1а. Обще решение системы однородных линейных
неравенств может быть записано в виде
х — а^Хх +... + <XnXn,
еде xlt ...xN —некоторый набор решений, а коэффициенты аи ..., а^
неотрицательны.
Мы будем использовать следующую терминологию. Конечное
множество лучей, суммой которых является конус, мы назовем
системой образующих конуса и будем говорить, что они порождают
конус. Про направляющие векторы этих лучей мы будем также
говорить, что они порождают конус.
Минимальная (по количеству) система образующих называется
остовом конуса. Допуская вольность речи, мы будем называть осто-
остовом и множество направляющих векторов лучей, составляющих
остов конуса.
По отношению к системе линейных неравенств набор решений,
упомянутый в теореме 1а, назовем полной системой решений, а ми-
минимальную (по количеству) полную систему решений — фундамен-
фундаментальной системой.
Отметим, что существует весьма громоздкий, но в принципе приво-
приводящий к цели способ нахождения всех ребер заостренного конуса.
Именно, нужно перебрать все подсистемы системы линейных урав-
уравнений F), ранг которых равен п — 1. (Такие системы существуют,
так как ранг системы F) равен п, а вычеркивание одного уравнения
уменьшает ранг не больше чем на 1.) Каждая такая система имеет
фундаментальную систему решений из одного решения. Если это
решение х удовлетворяет системе A), то оно определяет ребро ко-
конуса; если оно удовлетворяет системе A) с противоположными зна-
знаками неравенств (^), то —л; определяет ребро конуса. В остальных
случаях л: не представляет интереса.

244 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Говоря о фундаментальных системах решений однородных си-
систем линейных неравенств, следует помнить об одном их существен-
существенном отличии от фундаментальных систем решений однородных си-
систем уравнений. Именно, разложение решения системы неравенств
по фундаментальной системе решений, вообще говоря, не единствен-
единственно. Приведем соответствующий пример.
Пусть четырехгранный конус определяется в трехмерном про-
пространстве системой неравенств
Легко видеть, что остов этого конуса можно составить, например,
из векторов еи е2, /=<?i + <?3 и g = e2 + е3, где elt е2 и е3 —
базисные векторы. 'Нетрудно также заметить, что принадлежащий
конусу вектор e2-\-f можно представить также и в виде ех-\- g.
Для того чтобы описать остов произвольного конуса, введем
следующее определение. Крайним вектором конуса <%" назовем
вектор х е^Г, который не допускает представления в виде Xf\-x2i
где Xi и х2 — неколлинеарные векторы, принадлежащие $?. Иными
словами, вектор х крайний, если из х = хг + х2 и Хц ^еЖ
следует, что хг и х2 коллинеарны.
Очевидно, что вектор %х, пропорциональный крайнему вектору
х с неотрицательным множителем К, также является крайним.
Луч, состоящий из крайних векторов, назовем крайним лучом.
Предложение 12. Если конус Ж заостренный, то его
ребра и только они являются его крайними лучами.
Действительно, вектор х е <%", не принадлежащий ребру <%",
принадлежит или внутренности е%", или внутренности его грани
размерности ^ 2. В этом случае он не является крайним, так как
раскладывается в сумму двух векторов, принадлежащих граням
того конуса, для которого он — внутренний. Таким образом, край-
крайними лучами могут быть только ребра. Но они действительно яв-
являются крайними лучами, как следует из предложения 9. Предло-
Предложение доказано.
Каждый крайний луч конуса обязательно входит в его остов,
так как векторы этого луча не могут быть получены как неотрица-
неотрицательные линейные комбинации векторов из других лучей. Поэтому
прямым следствием предложений 10 и 12 является
Предложение 13. Остов заостренного конуса содержит
все его ребра и только их.
Докажем теперь следующее
Предложение 14. Остов произвольного конуса Ж является
объединением остовов его минимальной грани Хй и заостренного
конуса S&! такого, что &С — 35Q + Ж±.
Доказательство. Согласно предложению 7 конус $%
имеет грани размерности п — г + 1, каждая из которых является
суммой минимальной грани Хй конуса S% и одного из ребер ко-
конуса 5КХ. Пусть <Л — одна из таких граней. Остов <Л мы получим,

§ 1. ОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ 245
если к остову <5?0 присоединим направляющий вектор того ребра
конуса Sffu которое содержится в Jk. В самом деле, очевидно, что
все векторы из <М раскладываются в неотрицательные линейные
комбинации этой системы из п — г + 2 векторов. Остов <М не может
состоять из меньшего числа векторов, так как совокупность неотри-
неотрицательных линейных комбинаций п — г + 1 векторов в (п — г + 1)-
мерном пространстве является либо заостренным конусом (если
эти векторы составляют базис), либо конусом меньшей размерности
(если векторы линейно зависимы).
Далее, в силу предложения 9 остов конуса !Ж должен содер-
содержать в себе остовы всех его (п — г + 1)-мерных граней. Минималь-
Минимальной системой, удовлетворяющей этому требованию, является си-
система векторов, о которой идет речь в формулировке предложения.
Это заканчивает доказательство.
Доказанное предложение можно рассматривать как уточнение
теоремы 1, позволяющее описать минимальную систему векторов,
порождающую конус.
Ниже мы докажем теорему, обратную теореме 1, но сначала
нужно будет рассмотреть линейные неравенства, являющиеся след-
следствиями заданной системы линейных неравенств.
3. Неравенства — следствия системы линейных неравенств.
Рассмотрим неотрицательную линейную комбинацию неравенств,
составляющих систему A). Это — линейное неравенство такого же
вида, как и неравенства системы. Оно имеет строку коэффициентов
иА, где й —строка || иъ ..., ит || с неотрицательными элементами,
а А — матрица системы.
Очевидно, что неравенство иАх^О является следствием систе-
системы Ах3= 0 в том смысле, что оно выполнено для всех ее решении.
В этом пункте мы получим фундаментальный результат, кото-
который состоит в том, что каждое однородное линейное неравенство,
являющееся следствием системы Ах^О, имеет вид иАх^О
при й^О. Этот результат известен как теорема Фаркаша. Предва-
Предварительно мы докажем следующее
Предложение 15. Системы Ах S? О и иА — 0, «SsO
обладают решениями х0 и ио> для которых
Ахо + ио>О. G)
Докажем сначала, что найдутся решения, для которых поло-
положительна первая компонента левой части G). После этого доказа-
доказательство не будет составлять труда.
Если т — 1, т. е. матрица А состоит из одной строки, утверж-
утверждение очевидно. В самом деле, если единственная строка а1 нуле-
нулевая, то положим jt = O, а и = 1. В противном случае положим
х = (а*)Т, а и = 0.
Допустим теперь, что утверждение доказано для матриц, со-
состоящих из m — 1 строк, и докажем его для матрицы А из m строк
а1, .,., ат. Строки а1, ..., а-1 составляют матрицу Л, к которой

246 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИИ
можно применить предположение индукции. Поэтому существуют
столбец х высоты п и неотрицательная строка \\и1, ..., и1"-11|, для
которых
Если атх^О, то л: и Ни1, ..., и1"-1, 0 || являются требуемыми
решениями, и утверждение доказано. Допустим, что amx<z0.
Составим матрицу В размеров (т — 1) X п из строк
bi-=ai-atam, i= 1, ..., т- 1,
где
_ а'х
Очевидно, что столбец Вх состоит из элементов а'х + а1атх
и потому равен нулю. К матрице В применим предположение ин-
индукции и найдем столбец у и строку v такие, что
Рассмотрим строку
W= v1, ..., и""-1, — 2 a,-
Она неотрицательна, так как все у' ^0, а,- ^ 0 в силу а'х ^ О
и атлг <0. Легко видеть, что
wA =vB = 0.
Рассмотрим столбец z=y + fix, где Р выбрано так, чтобы
amz = 0. Для этого должно быть р = —ату/атх. Мы имеем
Здесь использовано доказанное выше равенство Вх = 0.
Далее, из (8) следует, что а>г = Ыу. Кроме того, ш1 = и1. Сле-
Следовательно, а1г-\-ю1 = Ыу + vl > 0, и потому z и w являются
искомыми столбцом и строкой для матрицы А.
Докажем теперь, что можно найти такие столбецлго и строку ю0,
что Лл;оЗ=О, и0Л =0, ю0 S& 0 и Лл;0+ и0Г > 0. Для этого при-
применим доказанное выше утверждение к матрице PtA, где Р{ —
матрица перестановки, переставляющая i-ю строку на первое ме-
место. Мы получим строку Win столбец zt, для которых положительна
i-я компонента левой части G). Рассмотрим
т т

§ I. ОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ 247
Легко показать, что х0 и и0 удовлетворяют всем требуемым соотно-
соотношениям. Этим заканчивается доказательство предложения.
Докажем теперь теорему Фаркаша в следующей формулировке.
Теорема 2. Каковы бы ни были матрица А размеров т X п
и. строка Ь длины п, обязательно имеет решение одна и только
одна из систем
Ах^О, Ьх<0
и
aA=b, и5гО.
Заметим сначала, что это утверждение действительно совпадает
со сформулированным в начале этого пункта: если несовместна
первая система, то из Ал: 3s О следует Ьх^гО, и тогда совместна
вторая, т. е. Ь есть неотрицательная линейная комбинация строк А.
Обратно, если совместна первая система, то неравенство Ьх ^ О
не следует из Ax^Q, и тогда противоречива вторая система, т. е.
& не получается как неотрицательная линейная комбинация строк Л.
Для доказательства теоремы рассмотрим матрицу А, получае-
получаемую из А добавлением строки —Ъ. В силу предложения 15 сущест-
существует такой столбец х высоты п и такая неотрицательная строка и
длины т + 1, что
Выделяя последний элемент строки и
« = | Mi, ..., Um, Um+i | = I», U
получаем следующие соотношения:
Выделим последнюю компоненту столбца Ах + иг:
Это означает, что либо um+i > 0, либо Ьх<.0. В первом случае
совместна вторая система: а°А=Ь, где
т.
«? ^0,
Во втором случае совместна первая: Ах ^ 0, Ьх < 0.
Докажем, что сразу обе системы не могут быть совместны.
Действительно, из всех четырех соотношений следует, что аАх^О
и и Ах = Ьх < 0. Теорема доказана.
Если мы заменим матрицу А на транспонированную матри-
матрицу АТ, запишем строки в виде столбцов и столбцы в виде строк,
мы получим следующую равносильную формулировку теоремы.
Следствие. Какова бы ни была матрица А и столбец Ь,
обязательно имеет решение одна и только одна из систем
Ах — Ь,

248 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
иЛ^О, й&<0.
Это следствие — условие существования неотрицательных ре-
решений у системы линейных уравнений. Полезно сравнить его с тео-
теоремой Фредгольма, которая может быть сформулирована так:
Для любой матрицы А и любого столбца Ь обязательно совмест-
совместна одна и только одна из систем
Ах = Ь
и
иА = 0, иЬ<0.
(Доказать, что приведенное утверждение равносильно теореме
Фредгольма, предоставляется читателю.)
Теперь мы в состоянии доказать теорему, обратную теореме 1.
Теорема 1 и ее обратная показывают, что выпуклый и многогран-
многогранный конус можно определить не только как пересечение конечного
числа полупространств, но и как множество всех неотрицательных
линейных комбинаций конечного числа векторов.
Теорема 3. Пусть <Л — множество всех неотрицательных
линейных комбинаций векторов alt ..., ат. Тогда еМ является пере-
пересечением конечного числа полупространств.
Пусть А — матрица размеров п X т, состоящая из столбцов
ах, ..., ат. Вектор Ь принадлежит <JC, если Ь = Ах, х^О и только
в этом случае. В силу следствия из теоремы 2 это условие равно-
равносильно тому, что неравенство ид^О вытекает из системы нера-
неравенств иА ^ 0, или, что то же самое, из системы АТиТ ^ 0.
Обозначим через ии ..., Ддг фундаментальную систему решений
системы и А :э= 0 и рассмотрим систему неравенств
0 (9)
относительно Ь. Вектор Ь удовлетворяет этой системе тогда и только
тогда, когда он принадлежит &^.
Действительно, если ub^O для всех решений системы пА ^ 0,
то, в частности, выполнено (9). Обратно, произвольное решение
« системы иА ^ 0 представимо в виде и = а1и1 + ... -\- aNuN,
где все аи ..., адг неотрицательны. Поэтому из (9) следует неравен-
неравенство ub ^ 0 для произвольного и.
Таким образом, система неравенств (9) задает множество <Л,
и теорема доказана.
Заметим, что при доказательстве мы могли выбрать вместо
Й1, ..., ин произвольную систему столбцов, порождающую конус
решений системы иА S» 0. Выбрав фундаментальную систему ре-
решений, мы получили для <М систему неравенств, содержащую ми-
минимальное число неравенств.
Для системы однородных линейных уравнений очень просто
выделить эквивалентную ей систему из минимального числа урав-

§ 1. ОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ 249
I
нений—достаточно взять уравнения, соответствующие строкам
базисного минора матрицы системы. Для систем неравенств это сде-
сделать сложнее. Дело сводится к отысканию остова некоторого вспо-
вспомогательного конуса Ж*, который порожден строками коэффи-
коэффициентов неравенств исходной системы. Сейчас мы рассмотрим эти
конусы подробнее.
4. Двойственные конусы. Пусть Ж — конус в линейном про-
стр-лнстве %п. В пространстве %%, сопряженном пространству
Хп, рассмотрим множество Ж*, составленное из всех таких у, для
которых ')
(У, х)^0, A0)
каков бы ни был вектор jt е Ж. Если векторы xit ..., Хм задают
остов конуса Ж, то условие A0), очевидно, равносильно системе
линейных неравенств
(у, х,)^0, г = 1 N.
Таким образом, Ж* является конусом.
Определение. Конус Ж* в пространстве Х*п, опреде-
определяемый условием A0), называется двойственным или сопряженным
конусу Ж в Хп.
Пусть конус Ж в некотором базисе задан системой линейных
неравенств B). Тогда строки матрицы А являются координатными
строками векторов а1, .... ат из %%. Очевидно, что все эти векторы
принадлежат Ж*.
Если уе^Г*, т.е. (у, jtKsO для всех л;е<Р?\ то, согласно
теореме Фаркаша, найдутся неотрицательные коэффициенты
иъ ..., ит, g которыми у разлагается по а1, ..., ат. Отсюда выте-
вытекает
Предложение 16. Линейные функции, стоящие в левых
частях неравенств, которые определяют конус Ж, порождают
двойственный конус Ж*.
Рассмотрим конус Ж** в X'„, двойственный конусу Ж*. По опре-
определению Ж**—множество всех векторов х^Хп таких, что
(у, Jt) 5*0 для всех у^Ж*. Непосредственно из определения
следует, что Ж s Ж**, но, используя предложение 16, нетрудно
показать, что
Ж** = Ж. A1)
Действительно, если хи ..., х^- порождают конус Ж, то Ж*
определяется системой линейных неравенств (у, jc,)^O, i=a
= 1, ..., N, и потому Ж** порождается теми же векторами
Х\, ... , Xpf.
Формула A1), как и предложение 16, является непосредствен-
непосредственным следствием теоремы Фаркаша. Наоборот, эта теорема легко
l) Пусть у записан как строка, ах — как столбец. Тогда (у, х) = ух.

250 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
может быть получена из формулы A1). Поэтому формулу A1)
иногда считают формулировкой теоремы Фаркаша.
Пусть векторы Xi,..., х^ из <5?я порождают конус Ж, а векторы
Уи •••! Ум из %Ъ порождают Ж*. Рассмотрим числа
v*/ = 07. Xt), i = \ N, / = 1 M. A2)
Из них может быть составлена матрица Н, называемая матрицей
двойного описания конуса Ж. Столбцы Н соответствуют неравенствам
системы, определяющей Ж, а строки — векторам, порождающим
&?. Конус SK* имеет матрицу двойного описания НТ,
Следует помнить, что для данного конуса существует много
матриц двойного описания, в том числе и отличающихся размерами.
Если один из векторов уи ..., ум линейно выражается через
остальные, то та же зависимость имеет место и для столбцов матри-
матрицы Н. Обратное утверждение верно при условии, что среди
Хи ..., Xjv есть п линейно независимых, т. е. конус Ж является
п-мерным. Аналогичные утверждения верны и для строк матрицы Н.
В матрице двойного описания обычно интересуются нулевыми
элементами. Величина положительных элементов не столь суще-
существенна для описания конуса.
Нулевые столбцы матрицы Н соответствуют жестким неравен-
неравенствам системы, задающей конус. Действительно, если неравенство
обращается в равенство для всех хи ..., Хм, то оно обращается
в равенство и для любой их линейной комбинации.
Столь же очевидно, что нулевые строки соответствуют тем Хь
которые лежат в минимальной грани конуса Ж.
Таким образом, матрица двойного описания заостренного «-мер-
«-мерного конуса не содержит нулевых строк и столбцов. Из сказанного
следует также
Предложение 17. Если конус SK заостренный, то конуо
$С* п-мерный. Если конус Ж п-мерный, то Ж* заостренный.
Допустим теперь, что конус Ж заостренный и «-мерный (и, сле-
следовательно, таков же и конус Ж*). Тогда остовы Ж и Ж* состоят
из ребер. Составим матрицу двойного описания, используя направ-
направляющие векторы ребер.
Каждое ребро Ж удовлетворяет п — 1 линейно независимым
неравенствам—как точным равенствам, и хоть одному — как стро-
строгому неравенству. Поэтому в матрице двойного описания Н в каждой
строке будет не меньше чем п — 1 нулей в линейно независимых
столбцах и хоть один положительный элемент. Тем же свойством
обладают и столбцы Я, так как они — строки матрицы двойного
описания конуса Ж*, составленной для его ребер. Поэтому имеет
место
Предложение 18. Каждое ребро заостренного п-мерного
конуса Ж лежит на прямой, которая является пересечением п — I
подпространств таких, что ограничиваемые ими полупространства
содержат SK. Каждое из этих подпространств проходит через

§ 1. ОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ 251
п — 1 ребер конуса Ж', направляющие векторы которых линейно
независимы.
5. Теорема отделимости. Еще один результат, тесно связанный
с теоремой Фаркаша, — это так называемая теорема отделимости
для выпуклых многогранных конусов.
Теорема 4. Если вектор х0 не принадлежит замкнутому
выпуклому многогранному конусу Ж', то найдется такое (п—1)-
мерное подпространство Хп-г, что х0 лежит в одном из определяе-
определяемых им полупространств, а конус $? —в другом, причем хй не при-
принадлежит %п-\-
Для доказательства заметим, что, согласно формуле A1), ха
не принадлежит Ж**. Это означает, что найдется у е Ж*, для ко-
которого (у, jco)<0. Если уеЖ'*, то (у, х)^0 для любого
л: е Ж. Итак, подпространством, существование которого мы до-
доказываем, является подпространство, состоящее из векторов л;,
удовлетворяющих условию (у, х) = 0.
Существует много различных вариантов этого результата, и
возможно такое изложение теории однородных систем линейных
неравенств, при котором теоремы об отделимости доказываются
непосредственно, а из них выводится теорема Фаркаша и другие
теоремы.
6. Построение общего решения. Здесь мы рассмотрим один
из способов построения общего решения однородной системы ли-
линейных неравенств. На геометрическом языке этот способ можно
описать так.
Одно нетривиальное неравенство определяет полупространство,
остов которого легко может быть построен. Допустим, что у нао
уже построен конус Ж3 решений системы из s неравенств, и изве-
известен остов этого конуса. Добавим к системе еще одно неравенство.
Определяемое им полупространство <Ж отсекает от конуса часть
Ж',5+1 = Ж's П е^,
которая и будет конусом решений системы из s + 1 неравенств.
При этом в общем случае некоторые из ребер конуса Жs не попа-
попадут в <Jt и окажутся «отрезанными». Зато у Ж5+1 появятся новые
ребра, лежащие в пересечении граничного подпространства X
полупространства а? с гранями конуса Ж3. Добавляя таким об-
образом по одному все неравенства, мы получим фундаментальную
систему векторов нужного нам конуса. Ниже этот процесс будет
рассмотрен подробно.
Рассмотрим систему из s линейных однородных неравенств
определяющую конуо <й?, и пусть хг Ха — система образующих
(не обязательно минимальная), порождающая этот конус. Найдем
пересечение конуса $%, о полупространством «0, определяемым

252 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
неравенством
Обозначим через Р/ числа Ьх,, / = 1, ..., N, и отнесем номер /
к одному из трех классов /+, /_или /0, смотря потому, положительно,
отрицательно или равно нулю число Р,.
Если множество /_ пусто, то Ьх,-^0 для всех / и, как легко ви-
видеть, GKS <=, Л.
Пусть пусто множество /+. Рассмотрим линейную комбинацию
образующих с неотрицательными коэффициентами x = a1XiJr ...
...+ адгДГдг.Если здесь <Х/ > 0 хоть для одного / из /_, то &Д"<0.
Отсюда видно, что <sfi?s+1 совпадает с множеством неотрицательных
линейных комбинаций векторов X) для всех / е /0.
Таким образом, мы можем считать оба множества /+ и /_ не-
непустыми. Пусть i e /+ и j s /_. Рассмотрим вектор
Хц = f>iX, - Р/л:,-.
Легко видеть, что он удовлетворяет равенству Ьхц—0 и, та-
таким образом, принадлежит граничному подпространству X полу-
полупространства <Ж. Произвольный вектор х е <Ж\ f| <Jl> расклады-
раскладывается в неотрицательную линейную комбинацию
х = <%\Х 1 +... 4" <xnXn-
Пару слагаемых a{Xi-{-ajX/ из этой комбинации мы можем пред-
представить через Хц в виде
ЩХ1 + Ct,/Xj = — Jfx +
или, если выразим X/ через Xi и хц, в виде
= -^ Хц -f- -^7- (а,-
Так как р,- > 0, а Р/ <с 0, коэффициенты в правой части одного
из этих выражений неотрицательны при любых неотрицательных
at и а;.
Заменяя пару слагаемых а^ 4-<*/•?/ ее неотрицательным раз-
разложением по jc* и Хц или по X/ и лгу, мы получим следующее раз-
разложение вектора л::
х= 2 «*•«*+ Л, a-iXi 4- 2
Здесь общее число индексов в множествах 1\ и Г_ на единицу мень-
меньше, чем в множествах /+ и /_.
Если оба множества Г+ и Г_ не пусты, мы можем продолжать
действовать подобным же образом по отношению к полученному
разложению. Заменив некоторое количество пар слагаемых, мы

§ 1. ОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ 253
придем к разложению вида
2
йе/о
Здесь J+ и У_— множества номеров оставшихся векторов с р\ > О
и р\ < 0 соответственно, а Я — множество рассмотренных пар но-
номеров. Процесс может продолжаться, пока одно из множеств /+
или J _ не сделается пустым.
Если вектор х принадлежит полупространству <J?, то при непу-
непустом /_ множество J+ пустым оказаться не может. Действительно,
так как все х{/ и xh при fte/0 лежат в подпространстве X, при
пустом У+ и непустом У_мы имели бы
Таким образом, в любом случае множество /_, полученное
в конце процесса, пустое, и мы доказали, что вектор л; е з/^ Л а'^
представим как неотрицательная линейная комбинация векто-
векторов Xi при i е /+ U /0 и векторов д;у, t е /+, / е /_.
С другой стороны, очевидно, что любая такая линейная ком-
комбинация лежит в пересечении ЗР3 (] <М. Мы получили следующее
Предложение 19. Если xlt..., Xn — система образующих,
порождающая конус ?%s, то xt, ! е /+ U /0» и Ху, i е /+, / s /_,—
система образующих конуса affs+i-
Это предложение можно использовать для нахождения общего
решения системы однородных линейных неравенств, если последо-
последовательно добавлять неравенства к первому неравенству системы.
Для начала процесса можно использовать тождественно выполнен-
выполненное тривиальное неравенство 0x^0, но нетрудно и указать фунда-
фундаментальную систему решений для одного нетривиального нера-
неравенства. В предложении 11 было показано, как построить остов
подпространства. Докажем
Предложение 20. Остов полупространства, определяе-
определяемого неравенством
ах = aix1 -f... + апхп ^ 0,
получается добавлением вектора аТ = || а1( ..., ап\\т к остову гра-
граничного подпространства X.
Очевидно, что аТ принадлежит к полупространству и не при-
принадлежит к граничному подпространству. Рассмотрим произволь-
произвольный вектор х, для которого ах = а ^ 0. Этот вектор можно пред-
представить в виде
*-¦?¦+'•
где у е cSf. Действительно, здесь ау = 0, так как
т
ах а ааа + ау.
аа1

254 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Значит, ат вместе с остовом X образует полную систему решений
неравенства ax^zO. Нетрудно показать и то, что ни один из век-
векторов этой системы не может быть из нее удален без нарушения
ее полноты.
Следует заметить, что непосредственное применение предложе-
предложения, при котором к полной системе присоединяются все Хц для
любых I e /t и / ё /_, приводит к полным системам, содержащим
слишком большое количество векторов. Опишем способ, позволя-
позволяющий уменьшить количество векторов, вводимых на каждом этапе.
Для простоты ограничимся случаем заостренного n-мерного конуса.
Изложение общего случая можно найти в книге Черникова [40].
Рассмотрим пересечение Ж&+х заостренного n-мерного конуса
S%s и полупространства <Л> с граничным подпространством X.
Систему неравенств для <^+1 мы получим, если объединим нера-
неравенство
определяющее <Л, с системой неравенств конуса &?s. Итак, система
неравенств
A3)
а\хг +... + asnxn э= О
определяет Ж^ъ Все ребра е%^+1 находятся среди лучей, на каж-
каждом из которых обращаются в равенства по п — 1 линейно независи-
независимых неравенств системы A3). Такими лучами являются ребра &?s
и пересечения X с двумерными гранями &Рг, не лежащими в X
полностью. Следовательно, остов Sfts+i получается из остова S%s
исключением ребер, не лежащих в <к#, и добавлением пересечений
X с двумерными гранями SfCs, не содержащимися в X.
Возникает задача определить, какие из ребер конуса &CS яв-
являются соседними в том смысле, что через них проходит двумерная
грань. Это можно сделать по матрице Н двойного описания конуса
&CS, если строки матрицы соответствуют ребрам. Двумерная грань
определяется обращением в точные равенства п — 2 линейно не-
независимых неравенств системы. Поэтому соответствующие сосед-
соседним ребрам строки матрицы Н имеют нули в одних и тех же п — 2
столбцах, причем столбцы эти линейно независимы.
Нетрудно проверить, что при этом ни в какой другой строке
элементы этих п — 2 столбцов не будут одновременно равны нулю.
Действительно, это означало бы, что три различных ребра конуса
лежат в одной и той же двумерной грани, что противоречит пред-
предложению 12.
Отметим, что, найдя ребра конуса <%Vh, мы можем составить
его матрицу двойного описания и продолжать далее присоедине-
присоединение неравенств.

§ 2. НЕОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ 255
Наше предположение о том, что конус &CS заостренный и л-мер-
ный, будет ограничительным на начальных шагах процесса, пока
общее число линейно независимых неравенств меньше размерности
пространства. Это предположение может оказаться ограничитель-
ограничительным и на любом шагу, если появятся жесткие неравенства.
Процесс можно начать с заостренного конуса, если данная нам
система линейных неравенств содержит подсистему из п независи-
независимых неравенств, фундаментальная система решений которой легко
может быть найдена; в частности, если в систему входят неравен-
неравенства х1 ^ 0, ..., хп Ss 0.
В этой связи следует заметить, что за счет увеличения числа
переменных система однородных линейных неравенств может быть
преобразована в систему с неотрицательными переменными. Для
этого вместо каждой переменной х1, не подчиненной условию неот-
неотрицательности, нужно ввести две неотрицательные переменные у1
и г' и подставить в систему у1 — г' вместо х'. По общему решению
преобразованной системы легко может быть построено общее реше-
решение исходной.
§ 2. Неоднородные системы линейных неравенств
1. Выпуклые множества в аффинном пространстве. В этом па-
параграфе мы рассмотрим неоднородные системы линейных неравенств
вида
Ах^Ь, A)
или, в более подробной записи,
Как и в случае однородных систем, мы не уменьшаем общности,
предполагая, что все неравенства записаны с помощью знаков ^.
В поисках подходящей геометрической интерпретации для ре-
решений неоднородных систем неравенств можно обратиться к их
хорошо известному частному случаю — системам линейных урав-
уравнений. Неоднородные системы линейных уравнений естественнее
всего интерпретировать в аффинном (точечном) пространстве (К.»
§ 1 гл. IX), если выбрать в нем декартову систему координат О, е,
которая каждой точке X сопоставляет ее радиус-вектор ОХ и его
координатный столбец л: относительно базиса е, называемый также
координатным столбцом точки X.
Решения неоднородной системы линейных уравнений в этом
случае изображаются точками, а все множество решений — пло-
плоскостью. Решения приведенной однородной системы естественно
'изобразить векторами. Тогда все множество решений приведенной

256 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
системы составляет направляющее подпространство той плоскости,
которая задается неоднородной системой.
Так же мы поступим и с неоднородными системами линейных не-
неравенств — их решения будут изображаться точками в аффинном
пространстве.
Этот пункт будет посвящен важному для дальнейшего классу
точечных множеств в аффинном, пространстве — выпуклым мно-
множествам.
Допустим, что система линейных неравенств A) совместна и
Хи ..., xs — ее решения. Если коэффициенты аь ..., а^ удовлетво-
удовлетворяют условиям
«1=эО а,=50, <*! + ... + а,= 1, B)
то линейная комбинация
,..-\-asxs C)
также является решением системы A). Такие линейные комбинации
столбцов, коэффициенты которых удовлетворяют условию B), на-
называются выпуклыми комбинациями. Точку X, координатный стол-
столбец которой есть выпуклая комбинация координатных столбцов
точек Xi Xs, называют выпуклой комбинацией этих точек.
При этом выбор системы координат не играет роли. Разумеется,
коэффициенты линейной комбинации не изменятся при замене
базиса, но и начало координат может быть сдвинуто на произволь-
произвольный вектор. Действительно, из C) следует
Пусть ®* — некоторое множество точек в аффинном простран-
пространстве. Выпуклой оболочкой множества о?5 называется множество все-
всевозможных выпуклых комбинаций точек из $*.
Примеры. 1) Покажем, что отрезок ХгХ% есть выпуклая
оболочка его концов. Отрезок лежит на прямой с параметрическим
уравнением
{Xt-Xi),
где хг и х2 — координатные столбцы концов отрезка. При этом
точка со значением параметра t принадлежит отрезку тогда и только
тогда, когда t е [0, 1]. Поэтому, преобразовав уравнение прямой
к виду
имеем аг = 1 — t&zO, аа = t ^ 0 и аг 4- аг == 1, как и требова-
требовалось.
2) Пусть точки Ху., Х2 и Х3 не лежат на одной прямой. Выбе-
Выберем четвертую точку О, не лежащую в двумерной плоскости &г,
проходящей через Хи Хг и Х3. В трехмерной плоскости, натянутой
на точки О, Xlt X2, Х3, выберем систему координат о началом О

§ 2. НЕОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ 257
и базисом ОХЪ 0Х2, 0Х3. В этой системе координат плоскость §г
имеет уравнение аг + а2 + а3 = 1 • Поэтому пересечение плоско-
плоскости <?2 с положительным октантом рассматриваемой системы коор-
координат и есть выпуклая оболочка точек Xit Хг, Х3. Таким образом,
выпуклая оболочка трех точек, не лежащих на прямой, — тре-
треугольник с вершинами в этих точках.
3) Пусть точки Xi, X2, Xa лежат на одной прямой, причем Хг
лежит между Хх и Х3. Покажем, что их выпуклая оболочка есть
отрезок ХхХ3. Действительно, по нашему предположению суще-
существует число а е [0, 1] такое, что jt2 = ajt1 + A — a)jt2. Пусть
у = Ххг -(- \ix% + vx3, причем К, \i и v неотрицательны и в сумме
равны 1. Тогда
-а)ц)л;2.
Очевидно, что коэффициенты этой комбинации неотрицательны и
Этим наше утверждение доказано.
Множество точек в аффинном пространстве называется выпуклым,
если вместе с любыми двумя своими точками оно содержит отрезок,
соединяющий эти точки. Заметим, что пустое множество и множе-
множество, состоящее из одной точки, считаются выпуклыми.
Нетрудно проверить, что выпуклыми являются: все простран-
пространство, полупространство, ограниченное произвольной гиперпло-
гиперплоскостью (К-, § 1 гл. IX), плоскость любого числа измерений, в част-
частности прямая линия. Круг на обычной евклидовой плоскости —
множество выпуклое, а окружность — не выпуклое.
Непосредственно из определения вытекает, что выпуклым яв-
является пересечение любого (не обязательно конечного) множества
выпуклых множеств.
Предложение 1. Выпуклая оболочка любого множества
является выпуклым множеством.
Действительно, пусть точки Ъх и Z2 принадлежат выпуклой обо-
оболочке множества &>. Это значит, что их координатные столбцы пред-
ставимы в виде выпуклых комбинаций
координатных столбцов точек, принадлежащих S5. Если числа
Лиц таковы, что Х^О, ц^0иА,-т-ц = 1,то

258 ГЛ. V СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
причем здесь все коэффициенты неотрицательны и
Таким образом, отрезок с концами Zx и Z2 также принадлежит
выпуклой оболочке множества Ф, и предложение доказано.
Предложение 2. Если точки Хъ ..., Xs принадлежат
выпуклому множеству &, то любая их выпуклая комбинация при-
принадлежит этому множеству.
Докажем это предложение индукцией по числу точек. Для двух
точек утверждение совпадает с определением выпуклого множества
(см. пример 1)).
Рассмотрим выпуклую комбинацию X точек Хх, ..., Хк. Ее
координатный столбец х выражается через координатные столбцы
этих точек выпуклой комбинацией
Если ак = 0, то утверждение прямо сводится к предположению
индукции. Если ак = 1, то все остальные коэффициенты равны
нулю, и утверждение тривиально.
В общем случае О <С ak <c 1 введем числа
Все они не отрицательны и, кроме того,
Поэтому, согласно предположению индукции, у = pxjci + ...
... +pV1.?ft_1 ей. Но тогда в силу выпуклости & имеем акхк +
+ A — ак)у ей, т. е.
как нам и требовалось.
Из предложения 2 следует, что каждое выпуклое множество й,
содержащее множество $Г>, содержит также и его выпуклую обо-
оболочку. Отсюда и из предложения 1 вытекает
Предложение 3. Выпуклая оболочка множества № есть
пересечение всех выпуклых множеств, содержащих $>.
Множество аР точек в аффинном пространстве назовем ограни-
ограниченным, если в некоторой системе координат все координаты всех
его точек по абсолютной величине ограничены одним и тем же числом.
Это равносильно тому, что множество координатных столбцов
точек ®* ограничено в с-норме. В силу теоремы 1 § 4 гл. I, мы можем
заключить отсюда, что множество в аффинном пространстве ограни-

§ 2. НЕОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ 259
чено тогда и только тогда, когда соответствующее множество коор-
координатных столбцов ограничено в какой-либо норме.
Нетрудно показать независимость приведенного определения
от выбора системы координат. Действительно, при изменении системы
координат координатный столбец х заменяется на х' = Sx + р,
и мы можем написать оценку
из которой следует доказываемое утверждение.
Предложение 4. Если множество аР ограничено, то его
выпуклая оболочка также ограничена. В частности, выпуклая обо-
оболочка конечного множества ограничена.
Доказательство. Для координатного столбца произ-
произвольной точки из выпуклой оболочки имеет место разложение
в выпуклую комбинацию координатных столбцов точек из <9\ От-
Отсюда мы получаем
S a, I xt 1 «s max |] дг, || 2 а* = max | xt |.
Так как SP ограничено, существует такое число р, что || х II ^ р
для всех Хе!1. Поэтому max II л^ || «^ р и || у || ^ р, как и тре-
бовалось.
Пусть в аффинном пространстве выбрана система координат.
Тогда каждое линейное неравенство, содержащее ненулевые коэф-
коэффициенты при переменных, определяет замкнутое полупространство
относительно плоскости, вообще говоря, не проходящей через на-
начало координат. Система таких неравенств определяет пересечение
полупространств. Тривиальное неравенство (с нулевой левой
частью) или несовместно, или выполнено тождественно. Поэтому
добавление таких неравенств или не меняет множества решений,
или делает его пустым.
Пересечение полупространств является выпуклым множеством,
так как каждое полупространство выпукло. Введем следующее
Определение. Пересечение полупространств аффинного
пространства называется выпуклым многогранным множеством.
Если выпуклое многогранное множество ограничено, то его назы-
называют выпуклым многогранником.
В силу этого определения множество решений неоднородной
системы линейных неравенств изображается выпуклым многогран-
многогранным множеством.
Заметим, что часто любые выпуклые многогранные множества
называют выпуклыми многогранниками. Такого употребления
слов мы придерживались в К.-, § 1 гл. IX.

260 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Выпуклые многогранные конусы, определенные в § 1, можно
рассматривать и как точечные множества в аффинном пространстве.
Тогда они представляют собой специальный случай выпуклых
многогранных множеств, в котором граничные плоскости всех полу-
полупространств проходят через общую точку — начало координат.
2. Множество решений неоднородной системы линейных нера-
неравенств. Мы видели, что множество точек, изображающих решения
системы вида A), является пересечением полупространств и, сле-
следовательно, выпукло. Мы даже дали таким множествам название.
Теперь изучим их подробнее. С этой целью введем дополнительную
переменную хп+1 и рассмотрим систему
Ах — xn+1b =з 0,
D)
Для каждого решения х системы A) столбец д = \\хт, IF удов-
удовлетворяет системе D), и наоборот, при условии хп+1 = 1 первые
п элементов решения системы D) удовлетворяют системе A).
Обозначим через ри ..., ps фундаментальную систему решений
системы D) и предположим нумерацию такой, что в столбцах
Pi,..,Pt последняя компонента положительна, а в столбцахpt+i,...,ps
равна нулю. При этом можно даже считать, что в первых t столбцах
последняя компонента равна 1, так как любой из столбцов может
быть заменен на ему пропорциональный с положительным множи-
множителем пропорциональности.
Если система A) совместна, то t ^ 1. Действительно, в противном
случае для любых х и хп+1 из Ах — хп^ b ^ 0 следует x"+i = 0, и
в частности, для решения х системы A) из Ах — б ^ 0 вытекает
1 = 0.
Все решения системы D) и только они могут быть представлены
формулой
Я = «1A + ... + atp< + рх pt+i + ... + $s-tPs E)
с неотрицательными коэффициентами а,- и ру-. При этом в силу
наших предположений столбец q имеет последнюю компоненту,
равную 1, тогда и только тогда, когда
Полученное равенство необходимо и достаточно для того, чтобы
первые п компонент столбца E) были решением системы A). При
этом условии, отбросив последние элементы' всех столбцов в
формуле E), мы получим общее решение системы линейных нера-
неравенств A).
Геометрически добавление вспомогательной переменной х"+г
означает переход к (п + 1)-мерному пространству, в котором ис-
исходное n-мерное пространство содержится в качестве гиперплоскости
с уравнением х"*г = Г. Система однородных неравенств D) опреде-

§ 2. НЕОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ 261
ляет выпуклый многогранный конус Ж. Множество решений сис-
системы A) — это пересечение конуса Ж и гиперплоскости xn+i = I.
При xn+i = 0 система D) превращается в однородную систему
Ах^О. F)
Решения этой системы мы будем представлять себе как векторы.
Так как последняя компонента каждого из этих векторов равна нулю,
они лежат в направляющем подпространстве гиперплоскости xn+i =1.
Система F) определяет в этом подпространстве выпуклый много-
многогранный конус &?'. Легко видеть, что рм, ..., ps — координатные
столбцы векторов остова &С.
Столбцы ^!,... ,pf будем рассматривать как координатные столбцы
точек Р1( ..., Pt. Тогда первая группа слагаемых в формуле E)
представляет собой произвольную выпуклую комбинацию точек
Рх, ..., Pt, а вторая группа — произвольный вектор из конуса &?.
Таким образом, мы можем сформулировать следующую теорему,
которая является переводом формулы E) на геометрический язык.
Теорема 1. Пусть <М — выпуклое многогранное множество.
Тогда найдутся выпуклая оболочка конечного числа точек а/5 и выпук-
выпуклый многогранный конус Ж такие, что все точки <Л и только они полу-
получаются откладыванием векторов из Ж от точек из $".
Пусть система F) имеет только тривиальное решение. Тогда
конус Ж состоит из нулевого вектора, множество <М совпадает
с ёъ и потому ограничено. Наоборот, если Ж содержит ненуле-
ненулевой вектор, то, умножая его на достаточно большой коэффициент,
можно получить точку множества <М, среди координат которой бу-
будут сколь угодно большие по абсолютной величине. Следовательно,
имеет место
Следствие. Выпуклое многогранное множество, опреде-
определяемое системой A), является многогранником в том и только том
случае, когда соответствующая однородная система неравенств
имеет только тривиальное решение.
Другой предельный частный случай получается при t — 1. Тут
множество а?5 состоит из одной точки, и тогда oS— выпуклый мно-
многогранный конус, рассматриваемый как точечное множество.
Докажем теорему, обратную теореме 1.
Теорема 2. Пусть множество &* — линейная оболочка ко-
конечного числа точек, о?С — выпуклый многогранный конус, a <JC —
множество точек, получаемых откладыванием векторов из Ж от
точек из ПР. Тогда еЖ — выпуклое многогранное множество.
Доказательство. Координатный столбец произвольной
точки X из 4 имеет вид
X = «!*! + . . . + O/Xt + РЖ + • • • + Мл-
Здесь Xi,..., Xt и 1-у, ..., lh — координатные столбцы соответственно
точек, на которые натянуто &", и векторов, порождающих Ж.

262 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Все коэффициенты неотрицательны, и аг + ... +at = 1. Обозна-'
чим через/)/, i = 1, ..., t, столбцы, получаемые из Xi дописыванием
снизу единиц, а через qJt j — 1, ..., h, — столбцы, получаемые из /,-
дописыванием снизу нулей.
Произвольные неотрицательные линейные комбинации столбцов
pi и q, вида
составляют выпуклый многогранный конус Ж в (п + 1)-мерном
линейном пространстве. По теореме 3 § 1 найдется набор строк
а1, ..., aN длины п+1 таких, что jce<^ тогда и только тогда,
когда
для всех k = 1, ..., N. Запишем эти неравенства подробнее и учтем,
что сумма коэффициентов а,- равна единице. Мы получим
t t h
akx= 2 «i («**¦**)+ 2 a<a? + !+ 2
Ho X e вЖ тогда и только тогда, когда х е (Ж1. Таким образом,
X ^ еЛ тогда и только тогда, когда ее координатный столбец
удовлетворяет системе неоднородных линейных неравенств
a*x + akn + l^0, k=\ N.
Теорема доказана.
Следствие. Выпуклая оболочка произвольного конечного
множества точек является выпуклым многогранником.
3. Грани выпуклого многогранного множества. Говорят, что
непустое выпуклое многогранное множество имеет размерность d,
если оно лежит в d-мерной плоскости и не лежит ни в какой плоскости
меньшего числа измерений.
Неравенства, входящие в неоднородную систему вида ?1), могут
быть разделены на жесткие и нежесткие так же, как это было
сделано в § 1 по отношению к однородным неравенствам. Под жест-
жесткими неравенствами мы понимаем такие, которые для решений
данной системы могут быть выполнены только как точные ра-
равенства.
Предложение 5. Размерность выпуклого многогранного
множества <Л>, определяемого системой A), равна п — р, где р —
ранг матрицы, составленной из коэффициентов жестких неравенств.
Доказательство основывается на рассуждениях, аналогичных
приведенным при доказательстве предложений 2 — 5 § 1. Во-пер-
Во-первых, заменив в жестких неравенствах знаки ^ на =, мы получим
уравнения плоскости <§„_р размерности п — р, в которой лежит
многогранное множество »#. Если мы выразим из этих уравнений р

<5 2. НЕОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ 263
переменных и подставим их в оставшиеся (нежесткие) неравенства,
то получим систему нежестких неравенств, с помощью которой <Jt
определяется в плоскости <fn-p.
Далее, рассматривая <fn_p как самостоятельное пространство,
покажем, что множество, определяемое системой нежестких нера-
неравенств, не лежит ни в какой гиперплоскости. С этой целью покажем
сначала, что соответствующая система строгих неравенств имеет ре-
решение х0- Действительно, каждое неравенство в некоторой точке
множества оМ выполнено как строгое. Нужным нам решением х0
будет любая выпуклая комбинация этих точек с ненулевыми коэф-
коэффициентами.
Нетрудно доказать, что х0 будет внутренней точкой множества
в том смысле, что принадлежит ему вместе с некоторой (п — р)-
мерной окрестностью. Отсюда аналогично доказательству предло-
предложения 5 § 1 можно вывести доказываемое утверждение.
Определение. Гранью выпуклого многогранного мно-
множества, определяемого системой A), называется выпуклое много-
многогранное множество решений системы, которая получается из A) за-
заменой некоторых нежестких неравенств на равенства.
Одномерные грани называются ребрами, 0-мерные грани —
вершинами выпуклого многогранного множества.
Каждое одномерное выпуклое многогранное множество — это
либо прямая линия, либо луч, либо отрезок. Поэтому, если ребра
существуют, они могут быть только трех перечисленных выше ти-
типов. У ограниченного выпуклого многогранника ребра могут быть
только отрезками.
й-мерное многогранное множество лежит в й-мерной плоскости
и (если оно не пустое и не совпадает со всей плоскостью) задается
в ней системой неравенств, которая содержит нетривиальные не-
нежесткие неравенства. Поэтому й-мерное многогранное множество
имеет (й — 1)-мерные грани, получаемые обращением в равенство
одного из этих неравенств. Заметим, что все грани пустыми быть
не могут. Если бы так случилось, многогранное множество состояло
бы из решений системы строгих неравенств. Тогда рассуждением,
аналогичным доказательству предложения 4 § 1, мы доказали бы,
что это множество открытое, тогда как, будучи пересечением замк-
замкнутых множеств, оно должно быть замкнутым. Более подробно
сейчас это обосновывать не стоит, так как это следует из доказы-
доказываемой ниже теоремы 7.
Итак, непустое и не совпадающее с ^-мерной плоскостью й-мер-
й-мерное выпуклое многогранное множество должно иметь (й — ^-мер-
^-мерные грани, но нельзя утверждать, что оно имеет грани меньших
размерностей, так как (k — 1)-мерная грань вполне может оказаться
(й — 1)-мерной плоскостью. Точнее, имеет место
Предложение 6. Выпуклое многогранное множество, зада-
задаваемое системой линейных неравенств с матрицей А ранга г, не
может иметь граней размерностей, меньших чем п — г.

264 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Действительно, для того чтобы грань имела размерность k, на
ней должны обращаться в равенства п — k линейно независи-
независимых неравенств системы. Но общее число линейно независимых
равенств, получаемых из системы A), не больше чем г.
Из доказанного нами предложения следует, что для существо-
существования вершин у выпуклого многогранного множества нгобходимо
равенство п = г. Докажем, что это условие и достаточно, т. е.
имеет место
Предложение 7. Непустое выпуклое многогранное мно-
множество &€, задаваемое системой A), имеет вершины тогда и только
тогда, когда столбцы матрицы системы линейно независимы.
Доказательство. Пусть г = п. Тогда конус <%", опре-
определяемый системой D), заостренный, так как система уравнений
Ах - xn+1b = О,
имеет только тривиальное решение. Следовательно, каждый из
столбцов ри ..., ps в формуле E) определяет ребро конуса Ж и
потому обращает в равенства какие-нибудь п (число переменных
без единицы) линейно независимых неравенств системы D). Для
столбцоврх, .-., pt в число обращаемых в равенства последнее не-
неравенство не входит, так как для них xn+i = 1. Значит, первые п эле-
элементов каждого из этих столбцов удовлетворяют п линейно незави-
независимым неравенствам системы A) как точным равенствам. Отсюда
следует, что первые п элементов столбцовых, ..., pt составляют коор-
координатные столбцы вершин многогранного множества <Л. Предло-
Предложение доказано.
В дальнейшем нам не придется изменять систему координат.
Поэтому для облегчения словесных конструкций мы будем отожде-
отождествлять точку или вектор с соответствующим координатным столб-
столбцом. Это фактически превращает аффинное пространство в арифме-
арифметическое пространство, в котором мы будем рассматривать объекты
аффинного пространства: точки, векторы, плоскости различного
числа измерений и т. д.
Из свойств граней произвольной размерности докажем
Предложение 8. Пусть Ж — грань многогранного мно-
множества о?. Если некоторая точка х е <М' представлена как выпук-
выпуклая комбинация
с ненулевыми коэффициентами точек Xx,...,XkU3 <M, то все эти точки
принадлежат J&'.
Для доказательства рассмотрим произвольное неравенство
afx^b' системы A), обращающееся в равенство на грани Ж.
Мы имеем
dfx = а!»'*! ¦+-... + aha'xk.

'?r § 2. НЕОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ 265
Для всех / здесь a'Xj ^ Ь'. Если при некотором /0 выполнено а'х,-0>6*,
то из ах > 0, ..., ak > 0 и аг + .. + ak = 1 следует а'л: > Ь' воп-
вопреки предложению. Это заканчивает доказательство.
Определение. Точку х выпуклого множества оЖ мы назо-
назовем его крайней точкой, если из х = ахг + A— а) лг2 при 0 < а < 1
и Хъ х%^:еМ следует х = хх = х2. Иначе можно сказать, что край-
крайняя точка не является внутренней ни для какого отрезка, целиком
лежащего в <Ж.
Предложение 9. Вершины выпуклого многогранного
множества и только они являются его крайними точками.
Доказательство. Если х — вершина, т. е. 0-мерная
грань множества еЖ, то, согласно предложению 8, из х = ах1 +
+ A — а)лг2, 0 < а < 1 и х1у х2 е оМ, следует, что хгн х2 лежат
в той же 0-мерной грани и, значит, совпадают сх. Таким образом,
каждая вершина — крайняя точка.
Докажем, что каждая крайняя точка является вершиной. Про-
Проверим сначала, что из существования крайней точки следует
п = Rg А. Действительно, если j' — нетривиальное решение системы
уравнений Ау — 0, то каждое решение х системы A) можно рас-
рассматривать как середину отрезка с концами х +у и х— у, кото-
которые также являются решениями системы A).
Далее, докажем, что в разложение крайней точки по формуле
E) не входят члены с номерами, большими t. Действительно, пусть
х— крайняя точка. Тогда столбец д = || хТ, 1 \\т может быть пред-
представлен по формуле E) в виде
или q = и + v, где и = агрг + ... + atpt, a v == Р,/>/+1 +...
1 3
... + §s-tPs- Столбцы в + -д-с и u-\-yv соответствуют точкам мно-
множества <Ж, и точка q — середина отрезка, ограниченного этими
точками, если только v Ф 0.
Итак, для крайней точки мы имеем
Отсюда следует, что q совпадает с одним из рг, ..., pt. В самом
деле, пусть, например, ах Ф 0. Если а2 -f-... + o.t = 0, то все до-
доказано. В противном случае q = axpx + A —&i)Po, где
Ро = («г + • • • + а,)-1 (а2ръ +... + «/А),
и из определения крайней точки следует, что q=P\ = р0-
Но при доказательстве предложения 6 мы видели, что в том слу-
случае, когда существуют вершины, столбцыplt...,pt определяют именно
вершины. Это заканчивает доказательство.
Следствие. Число вершин выпуклого многогранного Мно-
Множества конечно.

266 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Действительно, если существуют вершины, они являются край-
крайними точками, а крайние точки определяются столбцами plt ..., pt.
Значит, все вершины определяются этими столбцами.
Если выпуклое многогранное множество, задаваемое системой A)
ограничено, то однородная система F) имеет только тривиальное
решение, а значит, п = г, и потому выпуклый многогранник обя-
обязательно имеет вершины. Мы получаем следующую теорему.
ТеоремаЗ. Выпуклый многогранник имеет вершины (край-
(крайние точки) и является выпуклой оболочкой своих вершин.
Эта теорема — частный случай более общей теоремы, согласно
которой каждое ограниченное выпуклое множество имеет крайние
точки и является выпуклой оболочкой своих крайних точек. В об-
общем случае множество крайних точек бесконечно. Например,
крайними точками шара являются точки ограничивающей его сферы.
Доказательство этой более общей теоремы можно найти, например,
в книге Никайдо [24].
Используем теорему отделимости для выпуклых многогранных
конусов и сведение неоднородной системы неравенств к однородной
для того, чтобы получить теорему отделимости для выпуклых много-
многогранных множеств.
Теорема 4. Пусть Az <cb. Тогда найдется такая строка v
и число w, что vzA-w <0, а для всех решений системы Ах^Ь
выполнено vx + w 3= 0.
Доказательство. Отметим, что столбец г, получаемый
из г дописыванием снизу единицы, не принадлежит множеству
решений однородной системы D):
Ах — bxn+1 S& 0,
Согласно теореме 4 § 1 найдется строка v длины п + 1, для
которой vz<.0 и vx^O для всех решений системы D), в частности
для тех, которые имеют последнюю компоненту, равную 1. Первые
п компонент каждого из таких решений удовлетворяют системе
Ах^Ь. Наоборот, если х — решение системы Ах^Ь, то х =
= \\хТ, 1 ||г —¦ решение системы D).
Пусть © = || v, w ||. Тогда vz = vz + w < 0 и vx = vx +
+ w^O для всех решений системы Ax^b, как это и -требова-
-требовалось.
4. Условие совместности. В отличие от однородных систем,
неоднородные системы линейных неравенств могут быть несовмест-
несовместными. Существует ряд условий совместности таких систем. Усло-
Условия, обобщающие теорему Кронекера — Капелли, можно найти
в книге Черникова [40]. Здесь мы приведем одно из условий, обоб-
обобщающих теорему Фредгольма.
Теорема 5. Система линейных неравенств
A)

§ 2. НЕОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ ^ 267
совместна тогда и только тогда, когда из иА = О, и ^ 0 следует,
что ub ==? 0.
Доказательство. Пусть система неравенств A) совмест-
совместна, т. е. существует столбец л: высоты п, для которого Ax^sb.
Тогда для любой неотрицательной строки и длины т мы имеем
и Ах S= ub, и потому из и А = 0 следует ub =^ 0.
Обратное утверждение менее очевидно. Покажем, что для несов-
несовместной системы вида A) найдется строка w;s=0, для которой
иА = 0 и ub > 0. С этой целью рассмотрим строки ult ..., as — фун-
фундаментальную систему решений системы уравнений иА = 0 и мат-
матрицу U, составленную из строк ии ..., us. Очевидно, что UA=O.
Через § мы обозначим плоскость в пространстве сМт, состоящую
из всех столбцов вида Ах — Ь для всевозможных х^.(Шп. Для
всех у е $ мы имеем
и{у= — ир (i=l, ..., s). G>
Обратно, если уравнения G)ж выполнены для некоторого у, то y-j-b
удовлетворяет условию теоремы Фредгольма, и система Ах=у-\-Ь
совместна. Таким образом, система уравнений G) определяет плос-
плоскость $. Чтобы записать эту систему в матричной форме, введем
столбец q = —Ub. Тогда G) примет вид
Uy = q. (8)
Система неравенств A) несовместна в том и только том случае,
когда плоскость & не содержит столбцов с неотрицательными эле-
элементами, или, что то же самое, система (8) не имеет неотрицательных
решений. В этом случае, согласно следствию из теоремы 2 § 1,
должна быть совместна система неравенств
zU^O, zq<.0.
Пусть z — какое-то решение этой системы. Обозначим zU через и.
Тогда и 5== 0, uA=zUA~0 и zq= — zUb < 0, т. е. ub > 0.
Таким образом, строка и — та, которая нам требовалась.
Получим некоторые следствия из доказанной теоремы.
Предложение 10. При фиксированной матрице А мно-
множество столбцов Ь, для которых система A) совместна, является
замкнутым относительно произвольной нормы в <=ffim, а множество
столбцов Ь, для которых эта система несовместна, является от-
открытым.
Доказательство достаточно провести для последнего утвержде-
утверждения, так как дополнение открытого множества является замкнутым
(см. Кудрявцев [16], т. I, стр. 305).
Система A) противоречива, если найдется такая неотрицатель-
неотрицательная строка -и, что иЛ=0 и ab > 0. Если столбец Ь' от-
отличается от b достаточно мало, та же самая строка и удовлетворяет
условию ub' > 0, и отсюда следует несовместность системы Ах ^ V'.

268 - ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Докажем это утверждение, оценив по с-норме возможную разность
р = V — Ь.
Если ub > 0, то неравенство и (б + Р) > 0 заведомо выполнено,
если | «р |' < иЪ. Но
Р
т
где v= 2 "<• Поэтому достаточно малым будет отклонение, для
которого
Заметим, что v ф 0. Действительно, элементы строки и неотри-
неотрицательны, и среди них есть отличные от нуля, так как й&>0.
Предложение 11. Система линейных неравенств Ах ^= b
совместна при любой правой части b тогда и только тогда, когда
система уравнений иА = 0 имеет только тривиальное неотрица-
неотрицательное решение.
Доказательство. Пусть система и А = 0 имеет неотри-
неотрицательное решение и и система Ах^Ь совместна при любой правой
части. Возьмем в качестве правой части столбец иТ. Тогда согласно
теореме 5 должно быть выполнено неравенство uuTs^0, означаю-
означающее, что и = 0.
Обратное утверждение доказывается столь же просто.
В приложениях часто возникают системы неравенств вида A)
с условием неотрицательности переменных х':. Разумеется, это
условие равносильно добавлению еще п неравенств и не вносит
ничего принципиально нового, но имеет смысл сформулировать ус-
условие совместности для этого случая,
Предложение 12. Система линейных неравенств Ах ^ Ь
имеет неотрицательное решение х ^э= 0 тогда и только тогда,
когда из иА =ss 0 и и 3= 0 следует ub «=s 0.
Доказательство. Рассмотрим матрицу А, получаемую
из А приписыванием снизу единичной матрицы порядка п, и стол-
столбец в, получаемый из b добавлением снизу п нулевых элементов.
Существование неотрицательного решения системы A) равносильно
совместности системы
Лх^Ь. (9)
Чтобы применить теорему 5, рассмотрим строки вида
й==|«, »| = ll"l "ш, «1 Vn\.
Система (9) совместна тогда и только тогда, когда из иА — 0,
Я Э1 0 следует ub =^ 0. В более подробной записи это означает,
что из uA+v = 0 и и^О, ©^ 0 следует ub + v0 ==s 0. Исклю-

'" § 2. НЕОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ 269>
чая из условия строку v, которая не входит в следствие, мы полу-
получаем требуемое утверждение.
Существуют и другие условия совместности неоднородных систем
линейных неравенств, но все они, как и приведенные выше, удобны
для теоретических рассуждений, но мало пригодны для практи-
практического исследования конкретной системы.
В следующих параграфах будет рассмотрена задача линейного
программирования. В процесс ее решения в качестве первого шага
входит отыскание точки выпуклого многогранного множества
(или выяснение того, что это множество пустое). Программы для
решения этой задачи доступны, просты в употреблении и эффек-
эффективно работают. Поэтому они с успехом могут быть использованы
и для исследования систем неравенств на совместность.
5. Неравенства — следствия неоднородной системы линейных
неравенств. Для неоднородных систем теорема Фаркаша имеет место
в следующем виде: линейное неравенство cx'^f есть следствие сов-
совместной системы линейных неравенств A) тогда и только тогда,
когда оно является или неотрицательной линейной комбинацией
неравенств системы, или получается из такой линейной комбина-
комбинации уменьшением свободного члена. В последнем случае неравенство
называют ослабленной линейной комбинацией. Мы докажем эту те-
теорему в формулировке, аналогичной формулировке для однород-
однородных систем (теорема 2 § 1), предоставив читателю проверить, что эта
формулировка равносильна приведенной выше.
Теорема 6. Если система Ах^Ь совместна, то, каковы бы
ни были строка с длины п и число f, из двух систем неравенств
cx<f A0)
O, «б^з/ A1)
обязательно имеет решение одна и только одна.
Доказательство. Пусть система A0) несовместна.
Тогда при любом /' </ несовместна также и система
Ax^sb, — cx^ — f. A2)
К системе A2) мы можем применить теорему 5. По этой теореме
существует строка v—\\v, w \\ длины п + 1 такая, что t> :>= 0,
vA — we = 0 и vb — wf > 0.
Докажем, что w > 0. Действительно, в противном случае мы
имели бы vA = 0 и vb > 0, откуда следовало бы, что система
Ах 5= Ь несовместна.
Обозначим через v' строку w~lv длины п. Очевидно, что
©'SsO, v'A = c, v'b>f.
Таким образом, при произвольном /' </ система A3) совместна,
и из предложения 10 следует, что совместна система A1).

270 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Нам остается доказать, что системы A0) и A1) одновременно
совместны быть не могут. Это нетрудно. Если они обе совместны,
и л: и и — соответствующие решения, то
что противоречит неравенству сх </• Этим теорема полностью
доказана.
Как уже упоминалось, часто возникает необходимость рассмат-
рассматривать системы неравенств вида A) с дополнительным требовани-
требованием неотрицательности переменных. Приведем формулировку теоремы
Фаркаша для этого случая.
Предложение 13. Из двух систем линейных неравенств
Ах^Ь, хз=0, cx<f A4)
и
UA^C, «SsO, «б=з/ A5)
обязательно совместна одна и только одна система.
Как и для доказательства предложения 12, рассмотрим мат-
матрицу А и столбец в, с которыми можно систему Ах ^= b, x 5г 0 запи-
записать в виде Ах^Ь. Применяя теорему 6, находим, что система
Ах^Ъ, сх</совместна тогда и только тогда, когда противоре-
противоречива система
которую нетрудно преобразовать к нужному виду A5).
Применим теорему Фаркаша к тому частному случаю, когда
система A) является системой линейных уравнений. Мы запишем
такую систему как объединение систем Ах^ b и —Ах^ — Ь и до-
докажем
Предложение 14. Неравенство сх ^ f является след-
следствием совместной системы линейных уравнений Ах = Ь тогда
и только тогда, когда система
Ах=ь;
совместна, и строка с есть линейная комбинация строк матрицы А.
Стоит заметить, что геометрическая формулировка этого предло-
предложения довольно прозрачна: (п — /^-мерная плоскость лежит в полу-
полупространстве тогда и только тогда, когда она имеет в нем хотя бы
одну точку и параллельна гиперплоскости, ограничивающей полу-
полупространство.
Доказательство. 1. Пусть cx^f есть следствие сис-
системы Ах = Ь. Ясно, что система A6) совместна. Кроме того, по тео-
теореме 6 найдутся неотрицательные строки а и v, для которых с=>
= uA—vA и ub — vb^f. В частности, это означает, что
с = (и — v) А, т. е. с — линейная комбинация строк А.

§ 2. НЕОДНОРОДНЫЕ СИСТЕМЫ ЛИНЕЙНЫХ НЕРАВЕНСТВ 271
2. Пусть нам дано, что с =рА и система A6) совместна. Положим
щ — pi, Vi — 0, если /?,-5=0,
и
«, = 0, vt — — ph если pi < 0, t = 1, ..., т.
Таким образом, w:>= 0, г» Зг 0 и р = и — ©. Для неотрицательной
строки || и, v, 1 || длины 2/п + 1 в силу совместности системы A6)
из
||«, v, 1|- Л =0
следует
или, иначе, ub — vb^f. Вместе с рА=иА—vA — с, и^О,
v > 0 это означает, что неравенство cx^f следует из системы
Ах ^5 Ь, — Ах ^ — Ь, что мы и должны были доказать.
6. Принцип граничных решений. В этом пункте мы докажем сле-
следующую теорему, которая носит название принципа граничных
решений.
Теорема 7. Пусть система A) совместна и Rg А = г 5^ 1.
Тогда найдется подматрица А', состоящая из г строк А, такая,
что RgA' =r и из А'х=Ь' следует Ах 3= Ь. Здесь Ь' — столбец,
образованный из элементов Ь, соответствующих строкам, вошедшим
в А'.
Геометрически утверждение теоремы означает, что выпуклое
многогранное множество решений системы A) имеет хотя бы одну
грань, являющуюся плоскостью размерности п — г.
Доказательство состоит в последовательном выборе строк,
составляющих подматрицу А'.
1. Покажем, что при г ^ 1 совместная система вида A) имеет
решение, обращающее хоть одно из ее неравенств в равенство.
Пусть х0 — решение системы, и оно не обращает в равенство ни одно
из ее неравенств. Так как г 5^ 1, хоть одно из неравенств не выпол-
выполнено тождественно, и следовательно, существует столбец хх, не удов-
удовлетворяющий системе. Рассмотрим отрезок, соединяющий х0 и хг:
Xt = xo + t{xi-Xo), /e=[0, 1]. A7)
Простой подсчет показывает, что неравенство atXt^bi, гдеа,- —
i-я строка А, равносильно
где

272 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
при diXi — bt <С 0 и а; = 0 при щХх — Ь{ ^ 0. Пусть
Тогда нетрудно проверить, что хх — решение системы A) и aitxx = bh.
Таким образом, система
aitx=bh, A8)
щх^Ъи ie{l, mf, 1ф1\ A9)
совместна. Если г = 1, то каждое из неравенств A9) в силу предло-
предложения 14 является следствием уравнения A8), и теорема доказана.
В противном случае, найдется неравенство с номером г2, которое
не выполнено на некотором решении уравнения A8).
2. Допустим теперь, что мы выбрали k < г строк А с номерами
t'i, ..., t* так, что эти строки линейно независимы, и система
а(х = &;, ie{(b ..., lk} = I, B0)
ajx^bj, ]ф1, B1)
совместна. В силу предложения 14 хоть одно из неравенств B1)
не есть следствие B0), и потому найдется Xi такой, что О/Л^ = Ь,-,
i е /, но при некотором / выполнено о,х,- < bj.
Пусть х0 — решение системы B0), B1). Рассмотрим отрезок,
определяемый формулой A7). Так как х0 и Xi удовлетворяют B0),
этой системе уравнений будет удовлетворять и xt при каждом t.
Вместе с тем, действуя так же, как и в первой части доказательства,
мы можем выбрать т на отрезке [0, 1] таким образом, что хх — ре-
решение системы B1), обращающее одно из ее неравенств в равенство.
Пусть 1к+1 — номер этого неравенства.
Заметим, что для неравенств, являющихся следствиями системы
уравнений B0), обязательно aiXx — bt 52 0, и потому а| = 0, a
минимальное значение т соответствует максимальному а;-, которое
положительно. Поэтому строка й; не является линейной комби-
комбинацией строк а,-, г е /.
Присоединяя равенство a,-ft tx = bik 1 к системе B0) и исключая
соответствующее неравенство из B1), мы получим совместную сис-
систему вида B0), B1), но уже с k + 1 линейно независимыми равенст-
равенствами.
Теперь, если k + 1 = г, то теорема доказана, если же k + 1 < г,
то процесс выбора строк может быть продолжен. Это заканчивает
доказательство.
В предложении 6 мы видели, что выпуклое многогранное мно-
множество не может иметь граней размерности, меньшей чем п — г.
С другой стороны, сейчас мы докажем, что множество решений сис-
системы линейных неравенств A) не может содержать плоскости,
размерность которой больше чем п — г. Говоря алгебраическим
языком, имеет место

§ 3. ОСНОВЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ 273
Предложение 15. Пусть все неравенства системы A)
выполнены для решений совместной системы линейных уравнений
fj, /=1 s, B2)
причем строки си..., cs линейно независимы. Тогда s>*RgA.
Действительно, из предложения 14 следует, что каждая из
строк матрицы А есть линейная комбинация строк с,, ..., cs.
Поэтому s 5= Rg А = г, а размерность п — s плоскости, определяе-
определяемой уравнениями B2), не больше п — г.
Таким образом, в теореме 7 доказано существование (п — г)-
мерной грани-плоскости, размерность которой минимальна среди
размерностей граней и максимальна среди размерностей плоскостей,
содержащихся в многогранном множестве.
§ 3. Основы линейного программирования
1. Введение. Методы нахождения наибольшего (или наимень-
наименьшего) значения линейной функции на выпуклом многогранном мно-
множестве объединяются под общим названием линейного программиро-
программирования. Более подходящим по смыслу названием было бы «линейная
оптимизация», но не слишком удачно переведенный с английского ')
термин прочно вошел в обиход.
Линейное программирование как самостоятельное направление
появилось в конце 40-х — начале 50-х годов, т. е. примерно в то
'же время, что и первые электронные вычислительные машины, и в
значительной мере развивалось в связи с усовершенствованием
вычислительной техники. Стремление применить математический
аппарат и возможности вычислительных машин к широкому кругу
прикладных задач вызвало создание линейных оптимизационных
моделей в экономике, технике, медицине, военном деле и т. д.
Слово «модель» в этом контексте означает заведомо приближенное
и неточное описание реальной ситуации и связанной с ней задачи, ко-
которое, однако, сохраняет достаточное для практических целей
сходство. В математических моделях описание производится с ис-
использованием математической символики и математического ап-
аппарата. В частности, линейные модели используют линейные функ-
функции и системы линейных уравнений или неравенств. Оптимизацион-
Оптимизационные модели отличаются тем, что по отношению к ним ставится за-
задача нахождения условного экстремума функции.
Экономические приложения наиболее характерны для линейного
программирования, и для простоты мы будем говорить только о них.
Чтобы иметь перед собой нечто конкретное, рассмотрим следующую
модель, называемую стандартной экономической интерпретацией
общей задачи линейного программирования.
1) Выражение «linear prosramming» лучше было оы перевести как «линей»
ное планирование».

274 ГЛ V СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Рассматривается предприятие, которое может производить п
видов продукции с использованием некоторого набора из т ре-
ресурсов (например, труд, станки, энергия, материалы ...). Известно,
что на производство единицы продукции /-го вида требуется aif
единиц j'-го ресурса. Заданы также предельные объемы расхода
каждого ресурса: Ы, i = 1, ..., т, и величина прибыли от продажи
единицы продукции каждого вида: с,-, / = 1, ..., п. Требуется ука-
указать, сколько продукции какого вида следует выпустить для полу-
получения максимальной прибыли.
Если предприятие произведет х> единиц продукции /-го вида
(/ = 1, ..., «), то оно израсходует
единиц (-го ресурса. Этот расход не должен превышать предельно
возможного расхода Ь'. Таким образом, ограничения на ресурсы
имеют вид системы линейных неравенств
ацх1 +... + ainxn =s? ft\ i = 1 т.
Общая прибыль от выпуска всей продукции будет равна
От нас требуется подобрать xi, .... х" таким образом, чтобы они
удовлетворяли системе линейных неравенств и доставляли функ-
функции максимальное значение.
Уже при создании первых линейных оптимизационных моделей
выяснилось, что задача линейного программирования, к которой
они приводятся, может быть полностью решена. Это вызвало бур-
бурный рост числа работ в этой области и столь же бурное развитие
линейного программирования, перед которым новые модели ставили
новые требования.
Целью значительного большинства работ по линейному програм-
программированию было решение задач возможно больших размеров (т. е.
с большим числом переменных и неравенств) за возможно меньшее
время. Исследованию точности полученного решения придавалось
второстепенное значение. Это происходило не только потому, что
в период быстрого роста разработка трудоемких и не дающих непо-
непосредственной отдачи вопросов всегда откладывается. Основная при-
причина в том, что в экономических задачах главным источником оши-
ошибок являются неадекватность модели, т. е. ее несоответствие реаль-
реальности, и ошибки при сборе исходной информации. Хотя ошибки
округления, накапливаясь, могут привести к решению, вообще не
имеющему отношения к решаемой задаче, они не вызывали особого
беспокойства со стороны экономистов благодаря ходячему представ-
представлению о них как о чем-то ничтожно малом по сравнению о прочими
источниками ошибок.
Решение задач больших размеров стимулировалось следующим
обстоятельством. Линейные модели первоначально составлялись

§ 3. ОСНОВЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ 275
для экономических задач мелкого масштаба (например, для плани-
планирования в пределах фирмы), но по мере успехов в этой области ста-
стали разрабатываться линейные модели для более крупных задач
вплоть до разработки плана по народному хозяйству в целом. Ес-
Естественно, что такие модели приводят к задачам больших размеров.
С практической точки зрения, однако, такие модели не имеют
большого значения, так как они не могут быть адекватными. Не
говоря уже о том, что невозможно описать большую и сложную
экономическую задачу при помощи хотя бы и большой системы ли-
линейных неравенств, сам подход, лежащий в основе оптимизационных
моделей, требовал бы выразить цель развития большого экономи-
экономического организма (скажем, всего народного хозяйства) при помощи
одной функции, которую нужно максимизировать.
Развитие вычислительной техники оказывает на линейное про-
программирование двоякое влияние. С одной стороны, увеличение быст-
быстродействия машин и объема их запоминающих устройств, улучшение
периферийного оборудования — все это позволяет решать задачи
линейного программирования все больших размеров. Это стимулиру-
стимулирует, разработку линейных экономико-математических моделей и кос-
косвенно способствует развитию теории линейного программирования.
Непосредственное же влияние прогресса вычислительной техники
на линейное программирование скорее отрицательное.
Дело здесь вот в чем. Само по себе нахождение максимума
линейной функции на многогранном множестве никаких теоретиче-
теоретических трудностей не представляет. Несколько упрощая ситуацию,
можно сказать, что максимум может быть найден простым перебо-
перебором вершин этого многогранного множества. Таким образом, если
бы существовала чудо-машина, способная осуществить этот пере-
перебор за приемлемое время, никакой теории не понадобилось бы. Сов-
Современные большие машины по отношению к задачам двадцатилетней
давности находятся почти в положении чудо-машин. Если раньше
для решения некоторой задачи требовался специально разработан-
разработанный алгоритм, теперь она может решаться по стандартной програм-
программе за еще меньшее время. Здесь, кстати, лежит еще один источник
интереса к непомерно большим задачам.
В целом, можно сказать, что за сравнительно короткое время ли-
линейное программирование сделалось, во-первых, важной составной
частью новой науки — математической экономики, а во-вторых,
стало большим разделом прикладной математики, богатым идеями,
результатами и связями с другими ее разделами.
В этой главе мы познакомимся с основными результатами и
только некоторыми приложениями линейного программирова-
программирования.
2. Постановка задачи. В этом параграфе мы будем предпола-
предполагать, что задана система линейных неравенств вида
sb, A)
10*

276 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
или, в более подробной записи,
и отыскивается решение х1, ..., хп этой системы, на котором функция
» B)
принимает минимальное значение.
Функция B) называется целевой функцией задачи, система
неравенств A) — системой ограничений, любое решение системы
неравенств A) называется допустимой точкой, а та точка, в которой
достигается минимальное значение, — решением задачи. Стоит от-
отметить, что существует несколько различных систем терминов
для описания задачи линейного программирования. Так, например,
решение задачи иногда называют «оптимальным планом» и т. п.
Как и в § 2, для геометрической интерпретации неоднородной
системы неравенств A), мы воспользуемся аффинным пространством.
Для наших целей можно будет ограничиться одной раз на всегда
выбранной системой координат, что, по существу, превращает аф-
аффинное пространство в арифметическое пространство. Мы будем
отождествлять точку с ее координатным столбцом.
Сформулированная нами задача не является задачей самого
общего вида, но обладает тем свойством, что произвольную задачу
линейного программирования можно привести к такому виду при по-
помощи несложных преобразований.
Во-первых, может оказаться необходимым найти максимум
функции, а не минимум. Но очевидно, что, научившись находить
минимум, мы сможем найти и максимум, так как максимум функции
Ф (х) принимается в той же точке, что и минимум функции — ф (х).
Во-вторых, система линейных неравенств A) содержит условия
неотрицательности переменных. Как мы видели в конце § 1, произ-
произвольная система линейных неравенств может быть преобразована
в систему с неотрицательными переменными, если вместо каждой из
исходных переменных х' ввести две неотрицательные переменные
у1 и z' такие, что х' = у' — г'. Подробнее о преобразованиях за-
задачи линейного программирования речь будет идти в п. 2 § 4.
Наличие в системе ограничений условий неотрицательности пе-
переменных приводит к тому, что ранг системы неравенств A) обя-
обязательно равен п, и потому выпуклое многогранное множество до-
допустимых точек имеет вершины, если, конечно, оно не пустое.
Задача линейного программирования не обязательно имеет
решение. Может случиться, что система ограничений не совместна,
но и при совместной системе ограничений решения может не су-
существовать, если целевая функция не ограничена снизу. Последнее

§ 3. ОСНОВЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ 277
возможно только тогда, когда многогранное множество не ограни-
ограничено.
В этом параграфе мы не будем заниматься способами решения
задачи, а исследуем ее основные свойства.
3. Существование решения. Прежде всего, мы установим усло-
условия, при которых существует решение задачи
х=зО, Ах^Ь, сх->тт, C)
и опишем множество решений, если оно не пустое.
Теорема 1. Если система ограничений A) совместна, а це-
целевая функция ограничена снизу, то задача C) разрешима. Наимень-
Наименьшее значение функции ц> достигается в одной из вершин многогран-
многогранного множества &Д, определяемого системой A) (а, кроме того,
возможно, и в других точках).
Для доказательства представим произвольную точку множества
всоответствии с теоремой 1 § 2 в виде
x —
Здесь
N
«=2
i= I
— выпуклая комбинация вершин хх, ..., Xn множества е??, а
м
— вектор конуса, остов которого 1Х, ..., 1М.
Заметим, прежде всего, что с/у ^ 0 для всех /= 1, ..., М.
Действительно, если бы нашелся вектор lk, для которого было
бы elk < 0, то, увеличивая §ft при фиксированных остальных
коэффициентах, мы могли бы неограниченно уменьшать значение
функции
ф {Х) = СХ = PfeCi
что противоречит предположению об ее ограниченности снизу.
Сопоставим точке х точку х', которая получается из л; заменой
на нуль всех коэффициентов р,- в ее разложении. Тогда
так как сх' получено из сх отбрасыванием неотрицательных
слагаемых. Обозначим через <р0 наименьшее из чисел cxlt ..., СХ{/.
Тогда справедлива следующая оценка:
N N
СХ' = 21 а^лг.^фо 2 а< = Фо-

278 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Таким образом, для произвольной допустимой точки х выполнено
неравенство
СХ 5г Фо,
где ф0 — значение функции ср (х) = сх в одной из вершин, Это
заканчивает доказательство.
Назовем точку х внутренней точкой выпуклого многогранного
множества о4', определенного системой неравенств A), если она
удовлетворяет всем нежестким неравенствам системы как строгим
неравенствам.
Предложение 1. Если линейная функция <р (л:) не по-
постоянна на многогранном множестве а^, то она не может достигать
наименьшего значения в его внутренней точке.
Пусть р — ранг системы, составленной из жестких неравенств,
входящих в систему A), Согласно предложению 5 § 2 многогранное
множество лежит в (п — р)-мерной плоскости ^,_р, определяемой
жесткими неравенствами, Пусть нумерация неравенств такова, что
am'p+i, ..., ат — строки коэффициентов жестких неравенств, Мы
можем решить систему уравнений
а!х = bf, j = т — р -f-1, ..., т,
относительно р переменных, Пусть номера этих переменных
п — р + 1, ...| п. Подставим эти переменные в неравенства с но-
номерами ss; т — р и в выражение для целевой функции. При этом
оставшиеся (линейно зависимые) жесткие неравенства будут вы-
выполнены тождественно, а нежесткие неравенства примут вид
где x^lx1 ... х"-р\\Т.
Ограничение целевой функции на плоскости $„_р будет линейной
функцией
ф (X) = СХ + f
с постоянным членом/. Функция ф постоянна на esf тогда и только
тогда, когда строка коэффициентов с — ||flt ..., сп_^ || равна нулю,
Поэтому мы считаем, что с Ф 0.
Пусть л:0 — внутренняя точка многогранного множества а^,
С учетом жестких неравенств точка х0 определяется столбцом
х0, состоящим из первых п — р элементов столбца х0- Рассмотрим
луч
где / — параметр, принимающий неотрицательные значения. Для
любого I — 1, ..., m — р имеем а'х0 ~> Ь1 и
а'х ~а'х0 —а*с1't.

4 3. ОСНОВЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ 279
Если а'ст sg; 0, то все точки луча удовлетворяют неравенству
а'х > V. Если же а'ст > 0, то неравенство а'х Ss 0 выполне-
выполнено для тех точек луча, которым соответствуют значения параметра
t ==? th где
Очевидно, что все /,¦ >¦ 0. Пусть точке х соответствует положитель-
положительное значение параметра, не большее чем все tt. Такая точка лежит
в е-/, т. е. является допустимой точкой.
Вместе с тем при i > 0
C{Xo — CTt) = CXo— CCTt<.CX0,
и, следовательно, в точке х0 не достигается минимум сх + /»
а тем caiMbiM и минимум функции ф.
Из доказанного нами предложения следует, что минимальное
значение на множестве е^ может достигаться только в точке ка-
какой-либо его грани &#'. Но каждая грань — также выпуклое
многогранное множество, к которому применимо то же предложе-
предложение: если функция не постоянна на грани &#'t то минимальное
значение может достигаться только в точке ее грани &#". После-
Последовательно применяя эти соображения к граням все меньших раз-
размерностей, мы приходим к следующей теореме.
Теорема 2. Решения задачи линейного программирования
C) заполняют некоторую грань многогранного множества, опреде-
определяемого системой ограничений. Решение единственно тогда и толь-
только тогда, когда эта грань является вершиной.
Благодаря неравенствам х' ^ 0 ранг матрицы системы A)
равен п, и многогранное множество, определяемое системой A),
имеет вершины. Значит, имеет вершины и любая его грань. Поэтому,
как и утверждалось в теореме 1, в любом случае, если задача раз-
разрешима, одним из ее решений будет вершина.
4. Двойственная задача. С задачей линейного программирования
C) может быть связана другая задача, называемая двойственной
задачей. Она состоит в нахождении максимума линейной функции
определенной на пространстве строк длины т при условии, что
аргумент а принадлежит выпуклому многогранному множеству,
определяемому ограничениями
MSsO, uA^c. D)
Таким образом, двойственная задача коротко может быть записана
так:
и 5= 0, иА^с, ub -у max. E)
Связь между задачами C) и E) взаимна, т. е. задача, двойствен-
двойственная для E), эквивалентна задаче C). В самом деле, чтобы построить

280 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
двойственную для задачи E), последнюю надо преобразовать к виду
C). Для этого умножим матрицу А, столбец Ь и строку с на —1 и за-
запишем и в виде столбца ит. Мы получим
arSs0, -Атит^-ст, -bTuT ->min E')
(нахождение минимума —я[з (и) равносильно нахождению макси-
максимума \|) (а)). Двойственная для этой задачи имеет вид
j>SsO y{—AJ)^-bT, y{—cT)-+max. C')
Заменяя у на хт и изменяя знаки у —Ат, — Ьт и —ст, мы
приведем C') к виду C).
Предложение 2. Если х и а — допустимые точки
задач C) и E), то
ub^cx. F)
/7ри этом, если для каких-то допустимых точек х0 и м° выполнено
сх0 — и°Ь, то х0 и и° являются решениями задач C) и E) соответ-
соответственно.
Доказательство. В силу неотрицательности хаи
имеем
Кроме того, для любой допустимой точки задачи C) из доказанного
неравенства следует
ex S» и°Ь = схй.
Поэтому сх0 — наименьшее из значений сх на допустимых
точках. Аналогично, для любой допустимой точки задачи E)
ПЪ «S СХь = U°b.
Это означает, что ийЬ — наибольшее из значений функции ub
на допустимых точках.
Следующая теорема носит название теоремы двойственности.
Теорема 3. Если исходная задача C) имеет решение х0, то
двойственная ей задача E) также имеет решение и°, и тогда
СХо = U»b.
Если в исходной задаче целевая функция не ограничена снизу,
то в двойственной задаче система ограничений несовместна.
Доказательство основывается на предложении 13 § 2, согласно
которому из двух систем неравенств
jcssO, Ах^Ь, cx<f G)
и
и^О, иА^с, ub^f (8)
совместна одна и только одна система.
Неограниченность снизу функции сх на многогранном мно-
множестве A) означает, что система G) совместна при любом /, и еле-

§ 3. ОСНОВЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ 281
довательно, система (8) несовместна, каково бы ни было /. Допустим,
что задача E) имеет допустимую точку и, и положим / = иЬ.
Тогда и окажется решением системы (8) для этого f, что противо-
противоречит предположению. Таким образом, задача E) не имеет до-
допустимой точки, и второе утверждение теоремы доказано.
Докажем первое утверждение. Если задача C) имеет решение
jc0, т. е. сх0 — минимальное значение функции сх на много-
многогранном множестве A), то система G) несовместна при / < сх0,
и следовательно, система (8) совместна для таких значений /. Нао-
Наоборот, для / ^ сх0 система G) совместна, и следовательно, (8)
противоречива. Отсюда мы видим, что системы ограничений обеих
задач совместны. Кроме того, существенно, что для каждой из си-
систем G) и (8) найдется такое значение /, при котором эта система
совместна.
Разобьем все множество вещественных чисел на два класса
U и V. К верхнему классу U отнесем те числа /, для которых
совместна система G), а к нижнему классу V — те, для которых
совместна система (8). Мы видели, что оба класса не пусты и каждое
число принадлежит одному и только одному классу. Докажем, что
каждое число из класса 21 больше любого числа из класса V.
Действительно, пусть /' =^/" и при / = /' совместна система G),
а при / =/" совместна (8). Но из сх </' следует cx<f", и
потому система G) совместна и при / — /", что противоречит сде-
сделанному предположению.
Согласно принципу Дедекинда (ср. Кудрявцев [16], т. I, стр.18),
построенное нами разбиение на классы определяет единственное
число /0, которое не больше любого числа из класса U и не меньше
любого числа из класса V. Само число f0, вообще говоря, может
принадлежать любому из классов. Рассмотрим обе возможности.
Пусть /0 е V. В этом случае найдется такая точка и1, что
и1 Ss 0, a1 A ==s с, игЬ 5= /о-
Если »'& > /о, то »*& е U, и найдется такая точка х, что
b, cx<ulb.
Это противоречит неравенству F). Следовательно, ulb = f0.
С другой стороны, система G) с числом /0 противоречива, и по-
потому для решения jCi задачи C) выполнено cxi ^ /0; Докажем,
что здесь обязательно имеет место равенство.
Действительно, пусть cxi > /0. Тогда схг е2, и система
, СХ<СХ\
совместна. Это означает, что значение функции cx± не минималь-
минимальное. Таким образом, мы показали, что

282 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Рассмотрим теперь случай f0 e U. В этом случае найдется точка
которой
Последнее неравенство показывает, что схх е V, и потому най-
найдется точка и1, удовлетворяющая системе неравенств
И1 2* О, йМ<С,
Согласно F), последнее неравенство может иметь место, только
если выполнено равенство
Итак, какому бы классу U или V число fg ни принадлежало,
найдутся такие точки хх и и1, что сх\ = К4&. Из предложения
2 следует, что они являются решениями задач C) и E) соответствен-
соответственно. Далее, очевидно, что, каковы бы ни были решения xQ и «°,
имеют место равенства схх = сх0 и м1^ = а°Ь, Отсюда сле-
следует, что для любых решений выполнено равенство сх° = и°Ь.
Это заканчивает доказательство теоремы.
В силу взаимности связи двойственных систем из теоремы 3
следует, что в случае, когда функция ub не ограничена сверху
на многогранном множестве D), система ограничений A) задачи
C) несовместна.
Необходимо отметить, что обратное утверждение для этого
(и для второго утверждения теоремы 1) несправедливо. Из несов-
несовместности системы ограничений одной из задач не вытекает неогра-
неограниченность функции для другой: обе системы ограничений могут
быть несовместными, как показывает следующий пример.
Для задачи
х1 — 2л;2 > 1
^о #о -0] -*-mm
двойственной является задача
их — u<i ^ О,
Легко видеть, что в каждой из задач ограничения несовместны.
Получим одно важное следствие теоремы 3. Если x0 и и0 —
решения пары взаимно двойственных задач C) и E), то из теоремы
3 вытекает, что
в«& = и°Ах0. (9)
Действительно, имеют место соотношения а°Ь =s и°Ах0 ^ сх0, и
а°Ь = схй. Равенство (9) можно переписать в виде и°у = 0, где
у = Ах0 — Ь.
Элементы строки м° и столбца у неотрицательны. Это означает,
что в выражении
U°y = «V + и%У2 + • • • + u'njT

§ 3. ОСНОВЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ 283
все ненулевые слагаемые положительны. Поэтому из а°у = 0 сле-
следует, что каждое слагаемое равно нулю.
Пусть а[ — элементы матрицы А, а Ы и xk0 — элементы столб-
столбцов b и х0- Тогда
п
, у' = 2 affl-b*, i= I, ..., т,
4 = 1
и мы приходим к следующему предложению.
Предложен и еЗ. Если х0 и м° — решения пары взаимно
двойственных задач C) и E), и при некотором номере i e [I, m]
то /-я координата и] точки и0 равна нулю. Наоборот, если и) >• О,
то
Заметим, что одновременное обращение в нуль и) и г/ возможно.
Аналогично может быть доказано
Предложение 4. Для решений х0 и и0 пары взаимно
двойственных задач из
.(— 1
следует х' = 0, а из х' > О следует
1= 1
Представим себе, что элементы столбца Ь в A) являются не-
независимыми переменными. Рассмотрения такого рода существенны
для исследования влияния изменений условий задачи на решение.
Изменения могут быть связаны как с изменением самой задачи,
так и с ошибками в измерениях входных данных.
Столбец Ь не входит в систему ограничений двойственной за-
задачи, и вершины и0, ..., ир многогранного множества допустимых
точек этой задачи не зависят от Ь. Если мы немного изменим Ь, то
измененная целевая функция двойственной задачи будет достигать
своего максимального значения в той же вершине и0, что и старая
функция. Покажем это, оценив возможное изменение Ъ.
Нам нужно, чтобы при всех / = 1, ..., р выполнялось неравен-
неравенство
а0 (Ь + АЬ) =2 а1ф + АЬ),

284 ГЛ. V СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
ИЛИ
(и'- а0) ЬЬ.
Здесь левая часть неотрицательна, поскольку и0 — решение исход-
исходной задачи. В силу неравенства Коши — Буняковского имеем
(в' — «°) А& «S || в' — и0 || • 11 А& ||. Поэтому нужное нам не-
неравенство будет выполнено при всех i, если
и°—и!)Ь
Отсюда следует
Предложение 5. Яри изменениях столбца Ь, не пре-
превосходящих правую часть формулы A0), решение »° двойственной
задачи E) остается неизменным.
В силу двойственности отсюда вытекает неизменность реше-
решения задачи C) при малых изменениях коэффициентов с целевой
функции ф.
Воспользуемся предложением 5 для того, чтобы получить сле-
следующее свойство решения двойственной задачи.
Минимальное значение сх0 функции сх задачи C), естествен-
естественно, зависит от Ь, так как с изменением Ь меняется множество
точек, на котором ищется минимум. При этом мы знаем вид этой
зависимости:
сх0 = и°Ь.
Нельзя сказать, что эта зависимость линейна, так как при зна-
значительном изменении Ь строка и0 изменяется. Но в некоторой
окрестности столбца Ь (за исключением конечного числа таких
столбцов) функция является линейной. Укажем, что одномерным
аналогом такой функции является функция, график которой — ло-
ломаная линия.
С учетом этого мы можем утверждать, что
«? (П)
там, где эти частные производные существуют.
Допустим, что некоторая компонента и\ решения -м° двой-
двойственной задачи равна нулю. Равенство и\ — 0 останется справед-
справедливым и после замены столбца Ь на близкий столбец Ь'. Следо-
Следовательно, частная производная от cXq по Ы равна нулю в некоторой
окрестности исходного значения Ы. Таким образом, равенство
к,- = 0 означает, что сх0 не меняется при малых изменениях Ь'.
С другой стороны, согласно предложению 3, и? обращается
в нуль, если для решения х0 исходной задачи C) «-е ограничение
выполнено как строгое неравенство. Мы получили
Предложение 6. Минимальное значение функции <р не
меняется при малых изменениях i-го элемента столбца свободных
членов тогда и только тогда, когда равна нулю i-я компонента

§ 3. ОСНОВЫ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ 285
решения двойственной задачи. Для этого достаточно, чтобы i-e
ограничение выполнялось для х0 как строгое неравенство.
5. Функция Лагранжа. Еще одна интерпретация решения двой-
двойственной задачи связана с функцией
L(x, u) = cx + u(b — Ax), A2)
составляемой для задачи C). Здесь а — строка длины т, и L (х, и),
таким образом, есть функция от т + п переменных. Она называется
функцией Лагранжа. Перегруппировав слагаемые, мы можем пред-
представить ее в виде
L(x, u) = ab + (c-aA)x. A3)
Отсюда видно, что для пары взаимно двойственных задач функция
Лагранжа одна и та же.
Предложение 7. Пусть х0 и м° — решения взаимно
двойственных задач C) и E). Тогда точка (х0, м°) в <Мт+п является
седловой точкой функции Лагранжа, т. е. для любых х ^ 0 и и ^ О
имеют место неравенства
L(x0, a)^L(x0, u°)^L(x, и0). A4)
Доказательство. При любом неотрицательном а из
Ах0 ^ Ъ следует и ф — Ах0) ^ 0. Но в силу равенства (9)
«° ф — Ахй) = 0. Поэтому
схй + а ф — Ах0) «s сх0 + и°ф- Ахо),
и левое из неравенств A4) доказано. Правое неравенство доказы-
доказывается аналогично с использованием выражения A3) и предложе-
предложения 4. Из приведенного доказательства вытекает, что
L(jc0, u°)
Функция Лагранжа известна из курса математического анализа
(см. Кудрявцев [16], т. II, стр. 96), где она строится для отыскания
условного экстремума функции / (х) при ограничениях вида фг- (х) =
= 0, i = 1, ..., т, и имеет вид
т
Переменные klt ..., %т называются множителями Лагранжа.
В нашем случае ограничения являются неравенствами, и пере-
переменные подчинены условию неотрицательности. Теорема, которая
распространяет метод Лагранжа на задачи с ограничениями более
общего вида, называется теоремой Куна — Таккера. С ней можно
познакомиться, например, по книге Карманова A4).
Доказанное нами предложение 7 представляет собой теорему
Куна — Таккера для случая линейной функции при ограничениях
вида A). Мы видим, что переменные двойственной задачи играют
роль множителей Лагранжа по отношению к исходной задаче.

286 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
§ 4. Симплекс-метод
1. Введение. В этом параграфе мы познакомимся с симплекс-
методом. Это основной из конечных методов решения задач линей-
линейного программирования, т. е. из таких методов, которые дают
в принципе точный результат за конечное число операций. Именно
эффективность симплекс-метода обеспечила широкую популяр-
популярность линейного программирования. Слово «симплекс» на латыни
означает «простой». Это значение слова представляется наиболее
подходящим для характеристики метода, хотя и нет уверенности,
что его авторы имели в виду именно это значение.
Основная идея, лежащая в основе симплекс-метода, весьма
прозрачна. По теореме 1 § 3 минимум целевой функции ф дости-
достигается в одной из вершин многогранного множества, определяемого
системой ограничений. От одной вершины к другой мы можем пере-
переходить по ребру. При этом значение целевой функции ф будет убы-
убывать, если проекция ее градиента на ребро (или, иначе, производ-
производная ф по направлению ребра) будет отрицательна. Пусть мы нашли
некоторую вершину, из которой исходит такое ребро, что проек-
проекция градиента на него отрицательна. Имеются две возможности:
а) Ребро является отрезком. В этом случае второй конец от-
отрезка — вершина, в которой ф принимает меньшее значение, чем
в исходной вершине.
б) Ребро является лучом. Тогда на ребре найдутся точки со сколь
угодно малыми значениями ф, и задача неразрешима ввиду неогра-
неограниченности функции снизу.
Допустим, что задача имеет решение. Так как после прохож-
прохождения каждого ребра значение ц> убывает, мы не можем вернуться
в уже пройденную вершину, а всего вершин конечное число. По-
Поэтому, через конечное число шагов мы придем в ту вершину, где
достигается минимум. Эта вершина характеризуется тем, что про-
проекции градиента на все исходящие из нее ребра являются неотри-
неотрицательными.
Важное достоинство симплекс-метода состоит в том, что все
вычисления, необходимые для реализации описанной схемы, легко
осуществляются в процессе преобразования некоторой матрицы
по алгоритму, близкому к методу Гаусса.
Из других методов линейного программирования следует упо-
упомянуть итерационные методы, которые в последнее время интен-
интенсивно совершенствуются и становятся все более употребительными.
Из-за недостатка места мы не сможем остановиться на этих методах.
2. Каноническая форма задачи. Симплекс-метод применяется
к задачам так называемой канонической формы. Именно, система
ограничений должна иметь вид
хэ=0. A)

§ 4. СИМПЛЕКС-МЕТОД 287
При этом предполагается, что свободные члены неотрицательны,
^SsO, ..., bm SsО,
а строки коэффициентов линейно независимы. Из последнего пред-
предположения, -в частности, следует, что т ^ п.
В системе A) имеется т независимых жестких неравенств и п
(также независимых) неравенств вида х> 5= 0. Таким образом, если
система совместна, она определяет выпуклое многогранное мно-
множество размерности ==g n — т, имеющее вершины.
В общей постановке задача может и не иметь канонической
формы, и тогда симплекс-метод непосредственно неприменим.
Однако за счет увеличения числа переменных каждая задача
может быть сведена к эквивалентной ей задаче канонического вида.
Эквивалентность здесь понимается в том смысле, что по решению
канонической задачи легко может быть указано решение исходной
задачи.
Предложение 1. Любая задача линейного программиро-
программирования может быть сведена к задаче канонического вида.
Доказательство. Пусть система ограничений исходной
задачи имеет вид
B)
Сначала преобразуем неравенства в равенства,
n-yi = bl, /=1, ..., т,
где у1 — неотрицательные переменные. (Конечно, если в систему B)
входит неравенство вида х1 ~з^ 0, то нет нужды преобразовывать
его в х1 — у1 = О, у'^0.) После этого умножим на —1 каждое
из равенств, имеющее отрицательную правую часть.
В полученной системе вместо каждой из переменных, не под-
подчиненных условию неотрицательности, введем две новые неотрица-
неотрицательные переменные, связанные с ней равенством
%1 = z!
Теперь, если отбросить линейно зависимые уравнения, система
отличается от системы A) только обозначениями коэффициентов
и переменных.
Для простоты записи предположим, что в исходной системе
не содержалось неравенств вида ^^0 и было добавлено т до-
дополнительных переменных у1. Пусть \\х1, ..., хп \\Т—допустимая
точка исходной задачи. Положим zi — х1, zn+> = 0, если х1 ^ п,
и z> = 0, zn+i — —х1, если х1 <. Q. Обозначим разности
через у1. Тогда | г1, ..., г2", у1, ..., ут \\Т — допустимая точка канв-
нической задачи. Наоборот, по допустимой точке канонической

288 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЬ
задачи легко построить допустимую точку исходной задачи. По-
Поэтому системы ограничений той и другой задачи совместны или
несовместны одновременно.
Для целевой функции ф(лг) = схх{ + ... + спхп исходной за-
задачи определим соответствующую функцию для канонической за-
задачи:
Ф (z) = w1 + ... + cnzn - cxzn^ -,..- c2nz2n + 0у1 + ... + 0ут.
Если точке г = \г1, ..., z2n, у1, ..., ут\Т сопоставлена точка
X = Р (Z) = II ?Х — ?>!+1 ?п — ?2п 11Г
то очевидно, что ф(г) = ф(лг).
Множества значений обеих функций совпадают, и ф (х) огра-
ограничена снизу тогда и только тогда, когда ограничена снизу ф (г).
Если минимальное значение ф (z) достигается в точке гй, то то же
значение ф (л:) принимает в точке х0 = Р {z0), и оно также мини-
минимальное. Предложение доказано.
Следует сказать, что в погоне за простотой и общностью при
доказательстве мы не скупились на дополнительные переменные.
Возможны другие способы сведения задачи к канонической, при
которых число переменных возрастает не так сильно или даже
убывает. Вот один из них.
Пусть система B) имеет матрицу коэффициентов ранга п и
первые п неравенств имеют линейно независимые правые части.
Введем новые переменные
y/ = anx1 + ... + aJnxn-b', /=1 п.
Тогда первые п неравенств примут вид у* 5s 0, ..., уп ^ 0. В остав-
оставшиеся неравенства подставим вместо х1, ..., х" их выражения
через новые переменные и затем преобразуем их в линейно неза-
независимые равенства с неотрицательными свободными членами так же,
как это было сделано при доказательстве предложения 1.
Имеются и другие приемы преобразования ограничений, но
метод, примененный при доказательстве, очень широко применя-
применяется благодаря его простоте.
Далее в этом параграфе будет предполагаться, что решается
каноническая задача линейного программирования
сх -> min
при условии
Rg А = пг, Ь^О.
3. Задача, двойственная канонической. Чтобы построить за-
задачу, двойственную задаче C), мы перепишем C) в виде
cxr-»-min,

« X СИМПЛЕКС-МЕТОЛ w
где матрица Р и столбец q имеют следующее клеточное строение:
Тогда двойственная задача запишется, согласно E) § 2, в виде
, yb -у max.
Здесь _у —строка длины 2п, которую мы запишем как соединение
двух строк у1 и у2 длины п каждая: у — \\у1, у21|. Это позволит
записать двойственную задачу подробнее:
(у1— д>2)Л==?с, ySsO, (У— уг)Ь-+тах.
Помимо условия неотрицательности, строки у' и у2 входят
сюда только в виде разности у1 —у2, которую мы обозначим че-
через и. Строка и не обязана быть неотрицательной. Если \\у1, у2 \\
удовлетворяет системе ограничений, то и удовлетворяет си-
системе и А ==? с.
Обратно, если для некоторой строки и выполнено иА sg; с,
то нетрудно построить такую строку у длины 2л, что уР «S с
и у 5= 0. Поэтому задача, двойственная канонической задаче C),
сводится к задаче
иА sg с, ab->- max, D)
которую мы и будем называть двойственной задаче C).
Задача D) не является канонической. Мы придадим ей вид,
более близкий к каноническому, если введем п неотрицательных
переменных г1, ..., zn, записываемых в столбец г, и превратим
ограничения этой задачи в равенства
ATuT-\-z = cT, bTuT -»-tnax. E)
Так как переменные и не подчинены условию неотрицательности,
не имеет смысла добиваться неотрицательности свободных членов.
4. Вершины и ребра многогранника канонической задачи. Вер-
Вершины многогранного множества, задаваемого системой линейных
неравенств, определяются обращением в точные равенства каких-
либо п независимых неравенств системы. Система A) содержит
т равенств
l1 i b\
F)
Поэтому в каждой вершине должны обращаться в равенства по
меньшей мере п — т из неравенств х1 ~5* 0, ..., хп ^ 0. Это озна-
означает, что каждая вершина имеет по меньшей мере п — т нулевых
координат.
Вершины, имеющие больше чем п — т нулевых координат,
называются вырожденными. Если такая вершина существует, то

290 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И. ЛИНЕЙНОЕ
и многогранное множество и вся задана, также называются вырож-
вырожденными.
Примером вырожденного многогранного множества может слу-
служить отрезок, задаваемый системой неравенств
Конец N A, 0, 0) этого отрезка — вырожденная вершина (рис. 5).
Пример невырожденного многогранного множества дает система
неравенств
которая задает отрезок MN на рис. 6. Сравнение этих примеров
показывает, что вырожденность — свойство не многогранного мно-
множества, а его расположения по отношению к системе координат.
Рис. 5.
Рис. 6.
Предложение 2. Для каждой вершины выпуклюж, много-
многогранного множества, определяемого системой A), найдутся т ли-
линейно независимых столбцов матрицы А, в число которых входят
все столбцы, соответствующие положительным координатам дан-
данной вершины.
Доказательство. Для простоты записи, аредиаяежим,
что рассматриваемая вершина определена ©бращешш » щль
последних га — т координат и рассмотрим квадратную матрицу
порядка п:
" А
I E
и=\

§ 4 СИМПЛЕКС МЕТОД
где А—матрица системы A), а Е — единичная матрица по-
порядка п — т. Матрица U состоит из строк, соответствующих нера-
неравенствам, обращающимся в равенства для данной вершины. По
предположению эти неравенства линейно независимы, и следова-
следовательно, детерминант матрицы не равен нулю. Отсюда вытекает,
что отличен от нуля минор порядка т матрицы Л, который рас-
расположен в первых т столбцах. Это и заканчивает доказательство.
Столбцы, о которых идет речь в предложении 2, являются
столбцами базисного минора матрицы А. В линейном программи-
программировании т линейно независимых столбцов матрицы А называются
просто базисом. Координаты вершины, соответствующие базисным
столбцам, называются базисными.
Соответствие между базисами и вершинами можно описать сле-
следующими утверждениями: а) Каждой вершине соответствует хоть
один базис. Если вершина вырождена (и только в этом случае) ей
может соответствовать больше одного базиса.
б) Базису не обязательно соответствует вершина. Если мы
положим небазисные переменные равными нулю и найдем базис-
базисные из системы, то столбец х' высоты т, составленный из значений
этих переменных, окажется равным Ajlb, где Л/— подматрица
матрицы Л, состоящая из базисных столбцов. Итак, базису будет
соответствовать вершина, если
и только в этом случае. Базис, которому соответствует вершина,
называется допустимым.
Существование вырожденных задач вызывает существенные
трудности в теории симплекс-метода. При вычислениях по симплекс-
методу должны приниматься специальные меры, без которых алго-
алгоритм может оказаться неэффективным для вырожденной задачи.
Ниже мы будем предполагать задачу невырожденной, отложив
обсуждение вырожденных задач до п. 9.
Ребро многогранника, исходящее из вершины х0, может быть
определено параметрическим уравнением
x = xo + tl, G)
где / — направляющий вектор, a t — неотрицательный параметр.
Для ребра-отрезка t е [О, Т], для реб^а-луча t е [0, + оо).
Так как для всех точек многогранника выполнены равенства
Ах = Ъ, направляющий вектор ребра удовлетворяет^ условию
А1 = 0. (8)
Как одномерная грань многогранника ребро определяется обра-
обращением в точные равенства и — 1 неравенств системы A), а зна-
значит, у всех точек ребра должны равняться нулю одни и те же л — m—
— 1 координат. Пусть / = {tlt ..., im} — набор номеров столбцов ба-
базиса, соответствующего вершине х0. Так как задача предполагается

292 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
невырожденной, этот базис однозначно определен и jj>0 для
всех i e /.
По этой причине у точек ребра может отличаться от нуля каж-
каждая из координат х', i <= /, и, кроме них, еще одна координата,
номер которой мы обозначим через k. Остальные координаты заве-
заведомо равны нулю, и потому
//=0, }ф1, \фк. (9)
Учитывая эти равенства в формуле (8), мы находим
где Aj — матрица, составленная из столбцов матрицы А с номе-
номерами из I, a I1 — столбец высоты т, составленный из координат /',
t e /. Отсюда
/'= —/Mj'a*. A0)
Подстановка значений (9) в параметрическое уравнение G)
дает
хк = 1Н, A1)
*/=0, )ф1, \Фк.
Теперь мы можем определить, является ребро лучом или отрез-
отрезком и чему равно в последнем случае значение Т, соответствующее
второму концу отрезка. Отметим, во-первых, что
/*>0. A2)
Действительно, при V' < 0 мы имели бы xk < 0 при всех / > О,
что невозможно, а при Iй = 0, согласно A0), мы имели бы / = 0.
Собственно, требование /* > 0 фиксирует направление вектора /,
определенного формулами (9) и A0) с точностью до множителя,
так, чтобы этот вектор был направлен вдоль ребра в ту сторону,
где расположена вторая вершина (если ребро — отрезок) или
по лучу (если ребро — луч).
При Z'S^O, очевидно, что формула A1) при всех / ^ 0 дает
неотрицательное решение системы F). Это означает, что рассматри-
рассматриваемое ребро является лучом.
Пусть среди элементов столбца /' имеются отрицательные.
Обозначим через /" множество тех i, для которых /' < 0. Рассмо-
Рассмотрим луч, .определяемый формулами A1) при t^0. Коорди-
Координаты х', i e /", текущей точки этого луча меняют знак, каждая
при своем значении t. Первой изменит знак координата с номе-
номером s, для которого минимально отношение —х!0/1', ie/'. Она
обратится в нуль при значении t, равном

§ 4 СИМПЛЕКС-МЕТОД 293
Это и будет значением параметра, соответствующим второй вер-
вершине xt на рассматриваемом ребре. Для этой вершины мы имеем
х\ = 0, а х\>0. Поэтому базис, соответствующий вершине хх,
получается из базиса вершины х0 заменой столбца с номером s
на столбец с номером k. Если случится, что минимум A3) дости-
достигается хотя бы для двух значений i = slt s2, то вершине хг соот-
соответствуют два базиса и она является вырожденной. Мы предпола-
предполагаем, что этого не происходит.
Заметим, что во всех предыдущих рассуждениях номер k был
произвольным номером, не входящим в /. Поэтому из произвольной
невырожденной вершины исходит п — т ребер.
Как известно (см. Кудрявцев, т. I, § 20), для дифференцируе-
дифференцируемой функции ф от п переменных производная по направлению,
определяемому вектором /, есть проекция градиента
grad ф =
дх1' ' *'' дх" |
на это направление, т. е.
2-шг11' м
если вектор / нормирован так, что сумма квадратов его компо-
компонент равна 1. Значение ф (х) функции убывает при смещении в на-
направлении /, если выражение A4) отрицательно. Знак этого выра-
выражения не зависит от нормировки /.
Мы рассматриваем линейную функцию ф (jt) = с^х1 + ...+ спхп,
для которой градиент постоянен
L, •••. Сп\,
и проекция его на ребро в каждой точке ребра одна и та же. Мы
имеем, согласно (9) и A0),
с,/' = c,V + cklk = lk (ck - с,АГак).
i= 1
Здесь Ci и V — строка и столбец, составленные из тех компонент
си/, номера которых принадлежат /. Так как 1к > 0, знак про-
проекции градиента на рассматриваемое ребро совпадает со знаком
числа
А. A5)
Естественно, что числа А* для всех k ф. I играют большую роль
в симплекс-методе. Они называются оценками замещения, соот-
соответствующими базису, который определяется множеством номеров /.
5. Шаг симплекс-метода. Теперь ясно, какие вычисления нам
надо проделать, чтобы перейти из данной вершины многогранника
в соседнюю, уменьшив при этом значение целевой функции. Пусть

294 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
исходная вершина задана нам указанием множества / номеров
столбцов соответствующего ей базиса.
Первое, что мы должны сделать, это вычислить оценки заме-
замещения A5) для всевозможных k ф L Если все они неотрицательны,
данная нам вершина представляет собой решение задачи, и нам
остается только вычислить ее ненулевые координаты по формуле
x' = A'j'b A6)
и значение функции
ф (X) = С;Х'
для получения ответа.
Если среди оценок замещения имеются отрицательные, отыски-
отыскиваем максимальную по модулю из отрицательных оценок и обозна-
обозначаем ее номер через k. Столбец с номером k будет введен в базис.
Далее, находится столбец
V= — ATah A0')
(нормировку направляющего вектора ребра считаем такой, что
lk = 1). Если все элементы этого столбца неотрицательны, задача
не имеет решения по причине неограниченности целевой функции
снизу.
Если среди элементов столбца /; имеются отрицательные, то
находим минимальное отношение A3) и номер s e /, для которого
отношение минимально. Столбец с номером s должен быть исклю-
исключен из базиса. Теперь сформировано новое множество /', содержа-
содержащее номера столбцов базиса новой вершины, и шаг симплекс-метода
закончен.
Основная трудность при этих вычислениях состоит в нахожде-
нахождении матрицы А]1 (если, конечно, размеры матрицы не столь велики,
что, например, простой перебор для поиска минимального отно-
отношения A3) представляется затруднительным). Можно заметить,
что как таковая А у1 не нужна. Нужны произведения CiA'}1, A'^b,
—Л7'я*| которые можно найти решением систем линейных урав-
уравнений уА; = Си А[Х' = b и Ail1 + ah = 0. Для их решения
достаточно один раз найти LtZ-разложение матрицы Л/. Такой
подход реализован, например, в программе, содержащейся в книге
Уилкинсона и Райнша [34].
Расчеты по симплекс-методу могут быть организованы на основе
элементарных преобразований, производимых со строками матрицы
г — 1А ь\
~\с of'
«ли, в более подробной записи,
т
~m am b"
е» Q

% 4. СИМПЛЕКС-МЕТОД 2^5
Эта матрица (как в исходном виде, так и после преобразований)
называется симплексной таблицей. Если задано множество индек-
индексов исходного базиса /, то элементарными преобразованиями
строк матрицы Т мы добиваемся, чтобы ее столбцы с номерами
из / превратились в первые m столбцов единичной матрицы по-
порядка m + 1. Как легко видеть, это равносильно умножению
слева на матрицу
Ар
с i Ар
01
1
[
Е
— С1
0
1
Ар
0
0
1
Обозначим через Aj подматрицу матрицы А, составленную
из небазисных столбцов, а через Cj—строку из тех коэффициен-
коэффициентов Cj, для которых / ф I. Если для ясности записи считать, что
базисные столбцы расположены на первых местах, мы можем
написать
Ар 0
Aj Ь\ \Е ApAj A<
Cj—CjApAj —CjApb
Очевидно, что матрица VT содержит всю необходимую информа-
информацию. Заметим, что элемент в правом нижнем углу этой матрицы
только знаком отличается от значения целевой функции в рас-
рассматриваемой вершине.
Важное достоинство этого способа состоит в том, что при пере-
переходе к следующей вершине нет необходимости снова преобразовы-
преобразовывать матрицу Т, а можно принять VT за исходную и преобразовы-
преобразовывать ее. Действительно, система ограничений задачи с матрицей VT
эквивалентна системе ограничений исходной задачи, а целевая
функция получена из исходной функции ср прибавлением выраже-
выражения, тождественно равного нулю на многогранном множестве,
определяемом ограничениями.
Отмеченное обстоятельство существенно сокращает вычисления,
так как базис за один шаг изменяется на один столбец, и для матри-
матрицы VT потребуются элементарные преобразования, соответствую-
соответствующие только тому столбцу, который вводится в базис.
Недостаток метода, основанного на преобразовании таблицы,
состоит в том, что в процессе преобразований вычисляются все
произведения Apaj, }ф1, в то время как прямой необходимости
в этом нет. Действительно, произведение ApAj не нужно. Нужны
(CiA~jl) Aj и Apak для столбца ак, вводимого в базис.
Для повышения эффективности расчетов по симплекс-методу
можно преобразовывать однажды найденную матрицу Ар в матри-
матрицу Ар, соответствующую следующей вершине. Это не сложно бла-
благодаря тому, что А/- получается из А/ изменением одного столбца.
Здесь можно использовать так называемую элиминативную форму
записи обратной матрицы, которая находит применение не только
при реализации симплекс-метода, но и во многих численных мето-
методах линейной алгебры.

296 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
6. Элиминативная форма записи обратной матрицы. Нам при-
придется вспомнить получение L(/-разложения методом Гаусса, изло-
изложенное в § 3 гл. III. Пусть В — невырожденная квадратная матри-
матрица, строки и столбцы которой упорядочены так, чтобы главные
миноры В были отличны от нуля. На стр. 139 были введены матри-
матрицы Sh такие, что
где В0 — В, В1, ..., В ("' = (/ — последовательность матриц,
получаемых из В методом Гаусса. Каждая из матриц Sft лишь
одним столбцом отличается от единичной матрицы и может быть
записана в виде
Здесь ек — столбец единичной матрицы, а элементы столбца ak
выражаются через элементы Б(*-1) по формулам
0^ = 0, i<k,
Для запоминания S* достаточно записать элементы столбца <хА
с номерами i ^ k, так как произведение Sk на произвольный стол-
столбец % легко можно найти, используя только эти элементы. Действи-
Действительно,
Skl = 1+ (а* - ек) ell =! + (**- е„) I".
Аналогично можно вычислить произведение произвольной строки
на Sk.
Последовательность операций обратной подстановки в схеме
единственного деления можно осуществить, умножая U на матри-
матрицы Tj, j = n, ..., 2. При i > / элемент Щ) матрицы U равен bty.
Поэтому / — 1 элементарных операций, превращающих /-й стол-
столбец U в /-й столбец единичной матрицы, эквивалентны умноже-
умножению U на матрицу
где столбец т/ имеет элементы
(Напомним, что диагональные элементы U равны единице.) Так же,
как и для матриц Sk, произведение Гу| может быть вычислено
по элементам х; при помощи лишь небольшого числа арифметиче-
арифметических операций:

§ 4. СИМПЛЕКС-МЕТОЛ 297
Умножением на п — 1 матриц матрица U превращается в еди-
единичную:
Т2... TnU = E.
Это означает, что
7\ • • • TnSn ... SiB = Е,
или
Такое разложение Б на множители называется элиминативной
формой представления обратной матрицы (от слова «eliminate» —
исключать). В это разложение входит п нижних треугольных
матриц Sk и п — 1 верхних треугольных матриц Tj. Подробнее
об элиминативной форме и других формах представления обрат-
обратной матрицы можно прочесть в книге Тьюарсона [32].
Элиминативная форма особенно удобна для обработки больших
разреженных матриц. Такие матрицы часто встречаются в задачах
линейного программирования.
Посмотрим, как изменится элиминативная форма матрицы В~1,
если в В заменить /-й столбец на столбец bj. Через В мы обозна-
обозначим матрицу, полученную в результате такой замены. При эле-
элементарных операциях со строками каждый столбец преобразуется
независимо от других. Поэтому матрицы
Н = Г/+1 ... TnSn ... SiB
и
Н — Т/+1 ... TnSn ... SiB
отличаются одна от другой только /-м столбцом. Пусть /-й стол-
столбец Н имеет элементы а', / = 1, ..., п. Чтобы превратить его в стол-
столбец ef, нужно умножить И на матрицу
eJ, A7)
где Т/ — столбец с элементами
(Нетрудно проверить, раскладывая det H по последним столбцам,
что а7' Ф 0.)
Матрицы TjH и Т/Н равны и потому приводятся к единичной
матрице умножением на одну и ту же последовательность матриц
Тг ... Т/-1. Мы видим, что элиминативная форма В отличается
от такой же формы В заменой множителя Tt на множитель TJt
определяемый по формулам A7), A8), причем
а = Г/+1 ... TnSn ... Sib/.

298 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
В литературе по линейному программированию описаны многие
другие способы пересчета обратной матрицы при изменении базиса,
но мы ограничимся этим достаточно простым и характерным при-
примером.
7. Нахождение начального базиса. Мы уже многое знаем о сим-
симплекс-методе, но не можем пока применить его, так как не сможем
найти никакой вершины, с которой можно было бы начать. Дей-
Действительно, произвольно выбрав базис, мы не можем быть уверены,
что базисные переменные, найденные по формуле A6), окажутся
неотри нательным и.
Если начальный базис неизвестен заранее, то проблема его
выбора решается за счет введения дополнительных переменных.
Назовем переменную изолированной в некотором уравнении, если
она входит в это уравнение с положительным коэффициентом, а
ни в какое другое уравнение не входит. Мы можем сразу указать
начальный базис, если каждое из уравнений системы F) содержит
изолированную в нем переменную. Именно, базисными можно счи-
считать столбцы, соответствующие этим переменным.
Изолированные переменные возникают, например, при преобра-
преобразовании неравенств в равенства, но может при этом возникнуть
и переменная, входящая в свое уравнение с коэффициентом —1.
Прием построения начального базиса состоит в том, что во все
уравнения, которые не содержат изолированных в них перемен-
переменных, добавляются специально вводимые изолированные перемен-
переменные, называемые искусственными переменными.
Если мы ввели р искусственных переменных, мы перешли
от выпуклого многогранного множества о/6 в пространстве <Мп
к выпуклому многогранному множеству &? в пространстве а^я+р.
Множество о/6 обязательно содержит хоть одну точку. В действи-
действительности оно имеет даже вершину, так как для определяющей его
системы ограничений существует допустимый базис.
Для того чтобы найти вершину многогранного множества &?
(или убедиться в том, что оно пустое), рассмотрим так называе-
называемую М-задачу: на многогранном множестве &# найти минимум
функции
тр(х1, ..., х"+р) = ф(х1, ..., хп) + М(хп+1 + ... + хп+р).
Здесь сумма искусственных переменных хпп, ..., хп+р прибавлена
после умножения на числовой множитель, по традиции обозначае-
обозначаемый через М. Ниже мы будем обозначать точки пространства е%а+р
вадчеркнутыми буквами:
jr — jl <Л хп уп+l хп+р ЦТ
а их проекции на е^Л — теми же буквами без черты:
Л. II J-1 V" II Г

§ 4. СИМПЛЕКС-МЕТОД 299
Точку х мы отождествим с
I*1 хп, 0, .... Of.
Могут представиться следующие возможности:
1. М-задача разрешима при некотором М и имеет решение Зс-0,
у которого все координаты х%+' (соответствующие искусственным
переменным) равны нулю. В этом случае исходная задача разре-
разрешима, и Хо — ее решение.
Действительно, хй удовлетворяет системе ограничений исход-
исходной задачи, и следовательно, х0 s orf. Кроме того, на orf функ-
функции ф и г|) совпадают, и потому для каждого X из erf
. A9)
л
Если для Хо здесь имеет место равенство, то, разумеется, значе-
значение ф (х0) минимальное на erf.
2. Существует достаточно большое М, при котором М-задача
разрешима, но какое-либо ее решение х0 имеет отличную от нуля
координату с номером, большим п. В этом случае многогранник erf—
пустое множество, и исходная задача не разрешима.
Действительно, если erf — не пустое множество, то из разре-
разрешимости М-задачи в силу A9) следует разрешимость исходной
задачи и имеет место неравенство
min ф^г mini|). B0)
Обозначим через е минимальную из положительных коорда-
нат х%+' точки лг0. Очевидно, что
ф (х0) + Мг sg i|) (Хо) = min ip.
А
Продолжим функцию ф на пространство е%„+р по формуле ф (х) =ч
= ф (лг) и обозначим для краткости minq> и пи'пф через ф^ и <р^
л л
соответственно. Из формулы B0) мы получаем
ф- 4- Мг sg; фд,
или
Итак, предположение о том, что erf — не пустое множество,
приводит к существованию верхней границы для числа М. Эц>
доказывает наше утверждение.
Из анализа случаев 1 и 2 следует, что при достаточно боль,
шом' М не может существовать двух решений М-задачи х0 и xt
таких, что '*? + '= 0, ( = 1, ..., р, но существует ^«+/0

300 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Остается последняя возможность:
3. /И-задача неразрешима при достаточно больших М. В этом
случае исходная задача также неразрешима.
Действительно, допустим, что исходная задача разрешима.
Тогда разрешима и двойственная ей задача, т. е. существует стро-
строка и0 длины т, для которой иРА'^с, и функция ub принимает
максимальное значение и°Ь.
Для простоты записи будем предполагать, что искусственные
переменные введены во все ограничения исходной задачи. Тогда
задача, двойственная М-задаче, формулируется следующим обра-
образом: найти строку и длины т так, чтобы ub достигало максималь-
максимального значения и выполнялись ограничения иА ^ с и щ eg M
для всех / = 1, ..., т. Если М больше, чем максимальная коор-
координата и0, то и0 удовлетворяет системе ограничений двойствен-
двойственной /И-задачи, и эта система ограничений совместна. Функция ub,
ограниченная на множестве решений системы иА^с, останется
ограниченной и после добавления новых ограничений. Отсюда
вытекает, что двойственная М-задача разрешима, а следовательно,
разрешима и М-задача. Утверждение доказано.
Полученные нами оценки того, какое М можно считать «до-
«достаточно большим», практически бесполезны. При использовании
этого метода нахождения начального базиса расчеты организуются
так, чтобы считать М большим, чем любое сравниваемое с ним число.
Тогда при решении /И-задачи Ak в формуле A5) при k> n будут
положительными и большими остальных Ак. Поэтому искусствен-
искусственные переменные будут первыми выведены из числа базисных.
После того как некоторая искусственная переменная будет выве-
выведена из базиса, она вообще может быть исключена из рассмотре-
рассмотрения.
Если нет оснований сомневаться в совместности системы огра-
ограничений исходной задачи, то с известной долей риска (впрочем,
небольшой при некотором опыте) можно просто назначить в ка-
качестве М некоторое большое число. Если будет получено решение
М-задачи с нулевыми значениями искусственных переменных,
то произведенный выбор М оказался удачным.
8. Двойственный симплекс-метод. Для исходной задачи C)
рассмотрим двойственную задачу, заданную в виде E), и попро-
попробуем решить ее при помощи симплекс-метода, хотя форма ее не впол-
вполне совпадает с канонической.
В задачу E) входит т + п переменных, и следовательно, вер-
вершина многогранного множества допустимых точек определяется
обращением в равенства т -f- n ограничений. Среди ограничений
имеется п равенств. Значит, в каждой вершине обращаются в ра-
равенства какие-нибудь т из п ограничений вида z' ^ 0. Итак,
остаются не обязательно равными нулю п — т из переменных г1
и все т переменных щ. Все эти п переменных относятся к числу
базисных.

§ 4. СИМПЛЕКС-МЕТОД 301
Матрица системы уравнений Атит + z — ст равна || Ат, Е ||,
где Е — единичная матрица порядка п. Из столбцов матрицы
системы в какой-либо базис задачи входят все столбцы матри-
матрицы Ат, так как они соответствуют переменным «,-, которые всегда
базисные. (Заметим, что столбцы матрицы Ат линейно независимы,
поскольку линейно независимы строки А по предположению об ис-
исходной задаче.) Кроме того, в базис входят некоторые п — m столб-
столбцов единичной матрицы, причем должны быть удовлетворены два
условия. Во-первых, эти столбцы в совокупности со столбцами Ат
должны быть линейно независимы и, во-вторых, значения базис-
базисных переменных г' должны быть неотрицательны. Переменные щ
требованию неотрицательности не подчинены.
Обозначим через J множество номеров переменных z>, вошед-
вошедших в базис, а через /.— множество номеров небазисных перемен-
переменных zK Легко видеть, что, каков бы ни был базис двойственной
задачи, строки матрицы Ат с номерами из множества / линейно
независимы. Чтобы в этом убедиться, достаточно разложить ми-
минор, составленный из базисных столбцов, по входящим в него
столбцам единичной матрицы.
Эти строки матрицы Ат будем рассматривать как m линейно
независимых столбцов матрицы А и обозначим составленную из них
подматрицу через Л/. Нельзя утверждать, что эти m столбцов обра-
образуют допустимый базис исходной задачи C), так как соответствую-
соответствующие им базисные переменные не обязательно неотрицательны.
Чтобы подчеркнуть это, назовем столбцы, входящие в Л/, псевдо-
псевдобазисом исходной задачи? Следует обратить внимание, что псевдо-
псевдобазис — это не произвольный набор из m линейно независимых
столбцов матрицы Л. В определение псевдобазиса (при помощи
базиса двойственной задачи) входит требование неотрицательности
переменных z> двойственной задачи.
Чтобы выразить это требование более подробно, вычислим
базисные переменные, соответствующие какому-либо базису двой-
двойственной задачи. Разделим столбцы z и ст на части z[t Zj и с],
cTj соответственно, отнеся, например, в Zj компоненты с номерами
из J. Аналогично, обозначим через Aj подматрицу матрицы А,
состоящую из столбцов, не вошедших в Л/. Тогда мы можем запи-
записать
ATjUT+Zj = cTj, zf=O.
Отсюда и = CjAj1 и
Итак, набор из пг линейно независимых столбцов матрицы Л явля-
является псевдобазисом, если
Zj^Cj-c^j'Aj^O. B1)

320 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Допустим, что множеству номеров / соответствует базис исход-
исходной задачи C). Тогда числа Zj, j e J, будут оценками замещения,
соответствующими этому базису (см. формулу A5)). Неотрицатель-
Неотрицательность этих чисел показывает, что базис задачи C) будет псевдо-
псевдобазисом тогда и только тогда, когда он соответствует решению
задачи.
Теперь мы можем указать геометрическую характеристику
псевдобазисов. Какую точку мы получим, если выделим произволь-
произвольный набор линейно независимых столбцов А и найдем соответст-
соответствующие переменные при условии, что остальные равны нулю? Оче-
Очевидно, что это будет точка пересечения (я — т)-мерной плоскости,
задаваемой системой Ах — b, и m-мерной плоскости, натянутой
на некоторые из базисных векторов. Обозначим эту точку л:*.
Если набор столбцов является базисом, то точка х* лежит на
границе положительного ортанта (базисные переменные неотрица-
неотрицательны).
Если набор столбцов является псевдобазисом, то проекция
градиента целевой функции на все ребра, исходящие из точки,
являются неотрицательными (выполнено условие B1)).
Для применения симплекс-метода к двойственной задаче E)
мы должны вычислить проекции градиента функции ЬТаТ на ребра,
исходящие из выбранной нами вершины многогранного множества
задачи E). Поскольку функция Ьтат максимизируется, для реше-
решения задачи все эти проекции должны быть неположительны.
Введем некоторые обозначения, которые позволят представить
это вычисление в матричной форме. Через Ьт обозначим строку &г.
дополненную п нулями, и разделим ее на части Ьт = | Ът, b"j, b] |>
причем bTj и б^равны нулю. Е} будет обозначать матрицу, составлен-
составленную из столбцов единичной матрицы с номерами из /, а матрицу
порядка п из базисных столбцов обозначим буквой Р.
Согласно формуле A5) знаки проекций градиента определяются
знаками чисел Ьк, k = 1, ..., пг, которые можно записать в строку
Переставив строки в матрице Р, приведем ее к клеточно треуголь-
треугольному виду
| А] О ||
II\
и воспользуемся легко проверяемым тождеством
F О 11-1 _ || F-i о
G Н\ "l — H^GF'1 Я-1
Перестановке строк матрицы соответствует такая же перестановка
столбцов ее обратной, а умножение Р~* справа на Et выделяет из

§ 4 СИМПЛЕКС-МЕТОД 303
столбцы с номерами, принадлежащими /. Поэтому
Р^Е! =
и
В исходной задаче C) множеству номеров / соответствует псев-
псевдобазис. Если мы положим переменные исходной задачи Xj рав-
равными нулю, то переменные хг окажутся равными А]\Ь Поэтому
Как мы отмечали, базис двойственной задачи соответствует ее
решению (максимуму Ьтит), если 6/ ^ 0. Это равносильно усло-
условию X/ Ss 0. Таким образом, псевдобазис соответствует решению
двойственной задачи E) тогда и только тогда, когда он является
базисом.
Если среди элементов xi имеются отрицательные и максималь-
максимальный по модулю из них имеет номер k, то число k должно быть исклю-
исключено из / и включено в J. Для того чтобы определить, каким номе-
номером из J оно должно быть заменено в множестве /, нужно подсчи-
подсчитать столбец d = —Р~1еь- Как было показано,
/»?,-! {Ajr II
' к кг г
Ясно, что элементы искомого столбца отличаются тольком знаком
от элементов fe-ro столбца этой матрицы. Нас интересуют отрица-
отрицательные элементы столбца d, расположенные на последних п — т
местах; первые т элементов соответствуют переменным и,-, которые
не обязаны быть неотрицательными, и потому знаки этих элементов
несущественны. Следовательно, остается просмотреть элементы
столбца й] такого, что
d] =ATxAjek = AT^ak. B2)
Эти элементы только знаком отличаются от чисел, играющих ту же
роль а исходной задаче (ср. формулу A0)). Номер, на котором
достигает минимума отношение —z}/dj для отрицательных dj и
определяет столбец, выводимый из базиса двойственной задачи.
Соответствие, которое существует между базисами двойствен-
двойственной задачи и псевдобазисами исходной, позволяет описать проиесв
решения двойственной задачи по симплекс-методу, не упомиадя
.двойственную задачу и используя только термины, связанные с ис-
исходной задачей. Получаемый в результате метод решения исходной
задачи носит название двойственного симплекс-метода. Коротко
опишем его.

304 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Допустим, что мы уже построили некоторый псевдобазис. Пер-
Первое, что мы должны сделать, это проверить, не соответствует ли
он решению. Для этого вычисляются xit i = 1, ..., т. Если они все
неотрицательны, решение получено.
Пусть среди элементов xt столбца Xi имеются отрицательные.
Каждому из отрицательных элементов xk соответствует строка dj —
= А'^аи- Если найдется такой отрицательный элемент х#, для кото-
которого dTj ^s 0, то двойственная задача имеет неограниченную сверху
целевую функцию и неразрешима. Следовательно, в этом случае
исходная задача неразрешима из-за несовместности ограничений.
Допустим теперь, что предположение предыдущего абзаца не
выполнено, и в каждой строке dj при отрицательном xk есть отри-
отрицательный элемент. Мы выводим из псевдобазиса столбец, соответ-
соответствующий максимальному по модулю отрицательному элементу
столбца Xi- Пусть ег.о номер k. В соответствующей ему строке dj
отыскиваем все отрицательные элементы, и для них составляем от-
отношения —kjfd]. Номер минимального из этих отношений опре-
определяет столбец, вводимый в псевдобазис. Это правило обеспечивает
неотрицательность всех чисел А/, соответствующих новому набору
столбцов, и этот набор, таким образом, является псевдобазисом.
На этом шаг двойственного симплекс-метода заканчивается.
Проблема построения начального псевдобазиса (или базиса для
двойственной задачи), как и в прямом симплекс-методе, вообще
говоря, вызывает затруднения. Двойственный симплекс-метод может
оказаться предпочтительнее потому, что начальный базис для со-
сопряженной задачи, может быть указан без затруднений. Однако
возможно и обратное положение: для прямой задачи начальный
базис указать легче, чем для двойственной.
К числу задач, в которых начальный базис двойственной задачи
может быть легко указан, относятся так называемые задачи с верх-
верхними ограничениями. В этих задачах переменные х> удовлетворяют
не только условию неотрицательности, но и ограничениям вида
х> «S р7. В задаче с верхними ограничениями при помощи переноса
начала координат приводится задача с двусторонними ограничениями
вида a/ sg xJ < ft.
Один общий метод построения начального базиса двойственной
задачи основан на введении «лишних» верхних ограничений. Если
к ограничениям исходной задачи добавить ограничения
где М — число большее, чем самая большая компонента решения,
ТО эти ограничения, очевидно, не повлияют на решение задачи,
во превратят ее в задачу с верхними ограничениями. Естественно,
что величина М не может быть уверенно указана перед началом
решения. Поэтому расчеты организуются так, чтобы считать М

§ 4. СИМИЛЕКС-МЕТОД 305
больше любого числа, которое может встретиться в процессе расче-
расчетов. Подробнее на этом вопросе мы останавливаться не будем.
9. Зацикливание. Вырожденной задачей линейного программи-
программирования мы назвали такую задачу, в которой хотя бы одной вер-
вершине многогранного множества допустимых точек, соответствует
не один базис, а больше. Это явление связано с обращением в нуль
базисных переменных, или, говоря геометрическим языком, с тем,
что через данную вершину проходит больше чем п гиперплоскостей,
получаемых обращением ограничений задачи в равенства. Вырож-
Вырожденную вершину мы можем рассматривать как две (или больше)
совпавшие вершины или как вершины, соединенные ребром ну-
нулевой длины.
Мы предполагали задачу невырожденной как при рассмотрении
прямого, так и при рассмотрении двойственного симплекс-метода.
Однако в действительности вырожденные задачи встречаются до-
достаточно часто. Например, если мы начинаем с базиса, составлен-
составленного из столбцов, соответствующих изолированным переменным
(см. п. 7), и в столбце свободных членов имеется нулевой элемент,
то одна из базисных переменных будет равна нулю, и задача —
вырожденная.
Таким образом, предположение о невырожденности задачи че-
чересчур ограничительно. Посмотрим, какие затруднения может вы-
вызвать невыполнение этого ограничения. Отличие от нуля базисных
переменных само по себе, в сущности, не используется. Затрудне-
Затруднение может вызвать то, что одной и той же вершине соответствуют
несколько различных базисов. Проекция градиента целевой функ-
функции на ребро нулевой длины не определена, но для определения
столбца, выводимого из базиса, мы пользуемся не проекциями,
а числами Д,-, вычисляемыми по формуле A5), которые определены
в любом случае. Поэтому, если новый базис соответствует старой /
вершине, мы заметим это только в конце шага, найдя, что значение
целевой функции не изменилось.
Итак, по алгоритму симплекс-метода мы переходим к другому
базису, но можем остаться в той же самой вершине, и после вы-
выполнения шага симплекс-метода значение целевой функции не умень-
уменьшится. Само по себе это еще не означает, что нахождение минимума
нельзя довести до конца. Но может оказаться, что при действую-
действующем правиле выбора столбца, выводимого из базиса, и столбца,
вводимого в базис, мы будем переходить от одного базиса, соот-
соответствующего данной вершине, к другому и после ряда шагов вер-
вернемся к тому базису, с которого начали. Такое явление называется
зацикливанием.
Следует иметь в виду, что возникновение зацикливания свя-
связано не с существом метода, а с второстепенным вопросом — пра-
правилом выбора столбцов, вводимых в базис и выводимых из базиса.
Это правило может быть усовершенствовано .так, чтобы зациклива-
зацикливание не возникало. Следующий способ наиболее прост с точки зре-

306 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
.кия обоснования, но, возможно, приводит к длинной последова-
последовательности бесполезных вычислений. Если появляются несколько
переменных, каждая из которых может быть выведена из базиса,
то эта переменная выбирается случайным образом. Так как среди
переменных заведомо имеются такие, что выведение их из базиса
даст базис, соответствующий другой вершине, после некоторого
числа проб мы выведем одну из таких переменных.
Имеются и более совершенные приемы «борьбы с зацикливанием»,
но мы не будем на них останавливаться. Зацикливание, как в пря-
прямом, так и в двойственном симплекс-методе, явление настолько
редкое, что примеры задач, в которых возникало бы зацикливание,
приходится специально изобретать. Тем не менее с принципиальной
возможностью зацикливания приходится считаться.
§ 5. Приложения линейного программирования
1. Транспортная задача. Из всего множества приложений ли-
линейного программирования мы сможем здесь познакомиться лишь
с немногими. При сколь угодно строгом отборе этих немногих при-
приложений начать следует, по-видимому, с так называемой транспорт-
транспортной задачи. Это одна из первых линейных оптимизационных моде-
моделей, которая была построена в 1939 г., еще до появления линейного
программирования как самостоятельной области науки. Для ее
решения был предложен ряд способов, вошедших в число классиче-
классических методов линейного программирования.
В простейшем варианте транспортная задача формулируется
следующим образом. Рассматриваются т поставщиков какой-то
продукции и п ее потребителей. Пусть поставщики имеют запасы
продукции аи ..., ату а потребители должны получить соответст-
соответственно Ьи ..., Ьп единиц этой продукции. Заданы затраты на пере-
перевозку единицы продукции от каждого поставщика к любому потре-
потребителю ctj, i — 1, ..., т, j = 1, ..., п. При этих условиях требуется
составить план перевозок, т. е. для всех пар Ц указать количество
продукции Ж;/, перевозимое от 1-го поставщика к /-му потребителю.
При этом нужно самым экономным способом удовлетворить потреб-
потребности всех потребителей и вывезти всю продукцию от поставщиков.
Естественно, эти требования выполнимы только в том случае,
когда
т п
Если это условие выполнено, транспортная задача называется сба-
сбалансированной. В общем случае задача легко приводится к сбалан-
сбалансированной введением фиктивного поставщика или фиктивного по-
потребителя.
Bee требования к плану перевозок, включая подразумеваю-
подразумевающуюся неотрицательность чисел ху, могут быть записаны в виде

§ 5. ПРИЛОЖЕНИЯ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
следующей задачи линейного программирования:
307
( = 1
2
/ = 1
min.
i, /
В задачу входит /тел переменных и т -\- п ограничений-равенств.
Форма записи задачи отличается от канонической только тем, что
ограничения линейно зависимы. В существовании линейной зави-
зависимости легко убедиться: сумма равенств первой группы
с l i
та же самая, что и сумма равенств второй группы
(задача предполагается сбалансированной). Линейную зависимость
уравнений не исключают, чтобы не нарушать симметрии.
Обозначим буквой Т матрицу системы ограничений. Каждый
из ее столбцов содержит две единицы и m + п — 2 нулей. Чтобы
лучше представить себе строение этой матрицы, выпишем ее для
случая m = 2, п = 3. Переменные и правые части ограничений на-
написаны для идентификации столбцов и строк.
т =
1
0
1
0
0
1
0
0
1
0
*13
1
0
0
0
1
xzi
0
1
1
0
0
0
1
0
1
0
0
1
0
0
1
а2
bi-
Матрица имеет большие (по сравнению с m и п) размеры и спе-
специальный разреженный вид. Поэтому естественно постараться
организовать расчеты так, чтобы не преобразовывать эту матрицу.
Благодаря ее специальному строению это оказывается возможным.
Докажем следующее замечательное свойство матрицы Т.
Предложение 1. Каждая невырожденная подматрица
матрицы Т перестановкой строк и столбцов может быть приве-
приведена к треугольному виду.
Докажем сначала, что в невырожденной подматрице Т мат-
матрицы Т обязательно найдется столбец, содержащий одну единицу.
Действительно, если все строки подматрицы относятся к первой
(или все ко второй) группе строк матрицы Т, то каждый столбец
Содержит одну единицу. Если же в подматрице присутствуют
отроки из разных групп, то сложим между собой строки М^й

308 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
группы и вычтем из них сумму строк второй группы. Если каждый
столбец содержит две единицы, то эти единицы расположены в стро-
строках из разных групп, и составленная нами разность — нулевая
строка.
Переставим столбец, содержащий одну единицу, на первое
место, а строку, в которой расположена эта единица, также сделаем
первой. Теперь, как легко видеть, подматрица Т" матрицы 7",
расположенная в строках и столбцах с новыми номерами, большими
двух, также невырождена. Применяя к ней те же соображения, что
и к Г, выделим матрицу Т" и т. д.
Таким образом, за конечное число шагов мы приведем матрицу 7"
к верхнему треугольному виду.
Отметим, что в полученной матрице в каждом столбце выше
главной диагонали расположено не больше одной единицы, а осталь-
остальные элементы равны нулю. Кроме того, все диагональные элементы
также равны единице. Поэтому имеет место
Предложение 2. Любой базисный минор матрицы Т по
абсолютной величине равен единице.
Определим теперь ранг матрицы Т и вместе с тем укажем способ
построения вершины многогранного множества <?Г допустимых то-
точек транспортной задачи.
Рассмотрим матрицу С, составленную из элементов cif. Пусть
сар — min Сц и аа < frp. Тогда полагаем ха$ — аа и ха]- = 0 для
всех / Ф р\ и исключаем из дальнейшего рассмотрения строку
матрицы С с номером а. Число frp заменяется на Ьр — а^.
Если аа > frp, то полагаем ха$ = ftp иХф = 0 при i Ф а, число аа
заменяем на а^ — frg и исключаем из рассмотрения столбец мат-
матрицы С с номером р1.
При равенстве можно аналогичным образом исключить или
строку, или столбец, но что-нибудь одно. Если исключили, напри-
например, строку, то Ьр заменяется на нуль. Однако если в матрице имеется
одна строка и несколько столбцов, то исключается столбец, а если
один столбец и несколько строк, то исключается строка.
Такое присвоение значений переменным хц соответствует тому,
что мы отправляем по самому дешевому маршруту столько, сколько
возможно, и тем самым либо удовлетворяем потребность одного
потребителя, либо исчерпываем запасы одного поставщика.
После этого к оставшейся части С" матрицы С применяется тот
же процесс до тех пор, пока не будут исключены все столбцы и
строки. Всего имеется m + n столбцов и строк, и на каждом шагу,
кроме последнего, исключается одна строка или один столбец.
На последнем шагу исключаются и строка и столбец. Таким обра-
образом, процесс состоит из m + п — 1 шагов, и построенная матрица
X — II xtj || будет содержать m + п — 1 не обязательно равных
нулю элементов.
С; ДЬкажем, что элементы так построенной матрицы X удовлет-
удовлетворяют системе ограничений транспортной задачи, и выделенные

§ 5. ПРИЛОЖЕНИЯ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ Ч 309
нами переменные являются базисными переменными. Для доказа-
доказательства проследим еще раз за процессом построения матрицы К.
Пусть для определенности на первом шагу была исключена строка.
Значение переменной ха^, выделенной на первом шагу, однозначно
определено по aai и fcPl при условии, что xaj = 0 для всех / Ф (J.
Это значение таково, что уравнение с номером ах из первой группы
выполнено.
Уменьшенная матрица С соответствует сбалансированной тран-
транспортной задаче, в которой на одного потребителя меньше, и frjj, =
= &р, — ааг Выделяемая на втором шагу переменная ха&г также
однозначно определена по а'аг и &р\ при условии, что xaj = 0 (или
соответственно Хфг = 0, если на втором шагу исключался столбец).
Так как о?, и &рг определены по щ и bf, значение ха2р2 однозначно
определено по а,- и bJy причем выполнено одно ограничение, соот-
соответствующее уменьшенной матрице.'Если р\ = р, это ограничение
отличается от ограничения исходной задачи, но, учитывая значе-
значение Xa.pjH изменение Ь^, мы увидим, что выполнено и ограничение
исходной задачи.
Продолжая рассуждать таким же образом, мы получим в конце
концов уменьшенную матрицу размеров 1 X 1 и два равных между
собой числа а и Ь. Последнюю переменную полагаем равной а и тем
удовлетворяем сразу два последних оставшихся уравнения.
Таким образом, все уравнения удовлетворены, и выделенные
переменные однозначно определены как линейные многочлены отно-
относительно alt ..., ат и Ьи ..., Ьп при условии, что остальные пере-
переменные равны нулю. Это означает, что выделенные переменные
являются базисными. Отсюда следует, что
Заметим, что требование, в силу которого на каждом шагу вы-
выбирается минимальный элемент матрицы С, никак не использова-
использовалось. Можно было бы каждый раз брать первый попавшийся (левый
верхний, например) элемент. Выбор минимального элемента дает
вершину многогранника, более близкую к решению задачи. С дру-
другой стороны, существует ряд более сложно реализуемых методов,
позволяющих получить еще лучшие начальные решения.
Мы видим, что построение начального базиса в транспортной
задаче затруднений не вызывает.
В силу описанного нами строения базисного минора матрицы 7'
вычисления по формулам A0), A5) и A6) § 4 осуществляются крайне
просто: для решения соответствующих систем линейных уравнений
требуется сравнительно небольшое число сложений и вычитаний
и совсем не требуется умножений и делений. Поэтому все трудности
в применении симплекс-метода к транспортной задаче сводятся
к выбору переменных, вводимых в базис и выводимых из базиса.
Это позволяет создать для транспортной задачи весьма эффектив-
эффективную модификацию симплекс-метода. Эта модификация (под дазва-

310 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
нием метода потенциалов) была построена раньше, чем общий
симплекс-метод. Мы не будем разбирать метод потенциалов, а лучше
рассмотрим другие задачи, связанные с транспортной.
2. Задача о максимальном потоке. Из задач, родственных тран-
транспортной задаче, рассмотрим задачу о максимальном потоке в сети.
В этой задаче рассматривается поток груза или еще чего-нибудь
(например, жидкости) по сети коммуникаций, связывающей неко-
некоторые пункты или узлы сети. Дуги, составляющие сеть, считаются
направленными. Если между двумя узлами возможно движение
в обоих направлениях, мы будем считать, что узлы соединены двумя
противоположно направленными дугами.
Для каждой из дуг, входящих в состав сети, задана пропуск-
пропускная способность, т. е. число, определяющее верхнюю границу ве-
величины потока, возможного по данной дуге. В некоторых узлах вы-
выполнены уравнения баланса: сумма потоков, входящих в узел, равна
сумме исходящих из него потоков. Но имеются узлы, в которых
эти суммы различны. Такие узлы называются источниками или
стоками, смотря по знаку суммарного потока. Всегда можно ввести
дополнительные дуги с соответствующими пропускными способно-
способностями и с их помощью соединить все источники в один источник и
все стоки в один сток.
С описанной сетевой моделью может быть связано несколько
оптимизационных задач. Задача о максимальном потоке состоит
в том, чтобы найти максимальную величину потока от источника
к стоку, которая была бы совместна с заданными пропускными спо-
способностями.
Пусть сеть содержит п узлов, кроме источника и стока. Источ-
Источнику присвоим номер 0, стоку — номер п -f 1 • Сеть может быть
задана матрицей D порядка п + 1. Элемент dy, i = 0, ..., п; j =
= 1, ..., п + 1, этой матрицы равен пропускной способности дуги,
если i-й и /-и узлы соединены дугой, и нулю в остальных случаях.
В частности, диагональные элементы da равны нулю.
Стоит заметить, что для большинства реальных сетей матрица D
разреженная, и потому записывать ее целиком нет смысла.
Данные о сети можно хранить и во многих других формах. Одна-
Однако для теоретических рассуждений удобнее представлять себе мат-
матрицу.
Обозначим через Хц величину потока по дуге из /-го узла в /-й.
Для того чтобы упростить запись уравнений, будем считать, что
величины потоков определены для всех пар t, /, i = 0, ..., п; j =
= 1, .... п + 1, но фактически отсутствующим дугам соответствуют
нулевые пропускные способности и нулевые величины потоков.
Тогда ограничения на потоки, накладываемые пропускными спо-
способностями, имеют вид
О <*!/«? 4* A)
ддя всех пар /, /.

§ 5. ПРИЛОЖЕНИЯ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ ЗИ
Уравнение баланса в /-м узле для / = 1, .... п можно записать
так:
п п + 1
?%-2] х,А=о. B)
Следствием уравнений баланса является требование, чтобы сумма
потоков, исходящих из источника, равнялась сумме потоков, вхо-
входящих в сток:
п + 1 п.
Tt Xoj = Л Х/,„+1. C)
/=1 / = 0
Последнее уравнение можно также рассматривать как уравне-
уравнение баланса, если представить себе, что сток и источник соединены
дугой с большой пропускной способностью, которая возвращает
в источник все, протекшее через сеть, и тем самым объединяет
источник и сток в одну точку.
Под величиной потока через сеть мы будем понимать левую
часть равенства C). Эту сумму мы и должны сделать максимальной
при условии, что выполнены ограничения A), B).
Для приведения задачи к канонической форме введем дополни-
дополнительные переменные у{/, i = 0, ..., п; j = 1, ..., п -f- 1» такие, что
ограничение на пропускные способности запишется в виде равенств
dt/. D)
Дополнительные переменные у^ неотрицательны.
Матрица S системы ограничений B), D) имеет две группы строк:
строки первой группы состоят из коэффициентов уравнений B),
а строки второй — из коэффициентов D). Каждая переменная Хц
входит с ненулевым коэффициентом в два уравнения первой группы:
в одном — в первую сумму, в другом — во вторую. Каждой пере-
переменной Ху соответствует уравнение второй группы, куда, кроме нее,
входит только переменная уц с теми же значениями индексов.
Таким образом, столбец матрицы 5, который соответствует пере-
переменной Ху, содержит три ненулевых элемента, именно +1 и —1
в строках первой группы и +1 в строках второй группы. Столбцы,
которые соответствуют переменным уц, содержат одну единицу.
По аналогии с предложением 1 мы можем доказать
Предложение 3. Каждая невырожденная квадратная под-
подматрица матрицы S системы ограничений B), D) при помощи
перестановки строк и столбцов может быть приведена к треуголь-
треугольному виду.
Как мы видели, достаточно доказать, что каждая невырожден-
невырожденная подматрица имеет столбец с одйим ненулевым элементом. До-
Докажем это.
Во-первых, если подматрица содержит столбец, соответствую-
соответствующий уф то доказывать нечего: единственная единица этого: столбца

312 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
должна входить в подматрицу. Поэтому мы будем считать, что таких
столбцов нет.
Если подматрица содержит строки только из второй группы,
то в каждом столбце только одна единица. Если же присутствуют
строки из обеих групп, то детерминант подматрицы распадается
в произведение минора, содержащего все единицы из строк второй
группы, и его дополнительного минора, расположенного целиком
в первой группе строк. Так вопрос сводится к исследованию под-
подматриц, целиком лежащих в первой группе строк. К таким подмат-
подматрицам применяется доказательство от противного, вполне аналогич-
аналогичные проведенному для предложения 1.
Конечно, нет смысла вводить в матрицу 5 столбцы, соответст-
соответствующие заведомо равным нулю переменным. Представление мат-
матрицы зависит от выбранного способа задания сети. Нам только нужно
отметить, что удаление из матрицы S каких бы то ни было столбцов
не меняет предложения 3.
Пусть матрица 5 содержит столбцы, соответствующие N раз-
различным парам значений индексов /, /. В число базисных переменных
какого бы то ни было базиса для каждой пары i, j обязательно вхо-
входит или Хц, или ytj, или обе эти переменные, поскольку уравне-
уравнение Хц 4- уу = dif, как и всякое уравнение, должно содержать
хоть одну базисную переменную. В соответствии с этим пары i, j
разделяются на три класса:
обе переменные Хц и уц базисные;
переменная х^ базисная, уц — нет;
переменная уц базисная, хц — нет.
Число пар первого класса легко может быть сосчитано. Если таких
пар k, то остальных N — k, и общее число базисных переменных
равно 2k + N — k. Но число базисных переменных равно числу
независимых уравнений, т. е. п + N. Отсюда следует, что k = п.
Рассмотрим подматрицу, составленную из базисных столбцов,
и переставим строки и столбцы так, чтобы столбцы, соответствую-
соответствующие базисным ytj, были последними, и строки, содержащие еди-
единицы в этих столбцах, также были последними. Это приведет под-
подматрицу к клеточному виду
р, о
с с
II О2 Ья
Очевидно, что det Sj Ф О и Si должна содержать столбец, в кото-
который входит один ненулевой элемент. Но в нее входят все строки
первой группы, и следовательно, этим столбцом может быть только
столбец, соответствующий переменной xQi или */,n+i- Более того,
вторая единица из этого столбца в Si не вошла, значит, пара 0, i
(или /, п + 1) относится к парам первого класса &.
Сформулируем задачу, двойственную задаче о максимальном
потоке. Для задачи максимизации функции при канонической фор-
форме ограничений двойственная задача может быть сформулирована

§ 5. ПРИЛОЖЕНИЯ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ 313
аналогично задаче D) § 4 так:
yb -»-min.
В рассматриваемом случае двойственная задача будет содержать
п переменных ик, соответствующих ограничениям B), и Л' пере-
переменных Vij, соответствующих ограничениям D). Можно считать,
что uk соответствуют узлам сети, a vtj — ее дугам. Система ограниче-
ограничений двойственной задачи имеет вид
si,
SO*,
Здесь и далее индексы принимают следующие значения: i = 0,..., п;
j — 1, ..., п + 1; k, I = 1, .... п, но не в произвольных сочетаниях,
так как в систему входят ограничения только для тех пар индек-
индексов, которые соответствуют входящим в основную задачу N пере-
переменным Хц.
Пусть и%, v*j — решение двойственной задачи, а х*/, у% —
решение исходной. Предположим задачу невырожденной и рас-
рассмотрим базис исходной задачи, соответствующий решению. Будем
говорить, что дуга сети и переменная vit относятся к классу Gt,
G2 или G3, если соответствующая пара индексов i, j относится к
этому классу.
Для пар индексов класса Gx имеем х*/ > 0, у*ц > 0. Это зна-
значит, что дуга занята некоторым потоком, но не загружена до пре-
предела пропускной способности. Согласно предложению 3 § 3 и% и Уц
удовлетворяют соотношениям:
и%=\, если 0, k^Gi,
и% = 0, если k, п -\-1 е Gi,
uf — и*, если ft, /e Glt
v% = 0, если /, / е G\.
На Uk здесь всего п независимых соотношений по числу пар в Gx.
Сопоставим источнику Ыо = 1. а стоку ы*+1 = 0. Тогда можно
вывести отсюда, что и* = 1 для всех узлов сети, которые соединены
с источником не загруженными до предела дугами, а и* = 0 для
тех узлов, которые соединены незагруженными дугами со стоком.
При этом каждая переменная uk имеет значение и%, равное нулю
или единице.
Для пар индексов класса G2 имеем х% > 0, у*) — 0. К этому
классу относятся загруженные до предела дуги. Для них имеем
v*j>0, vtt = u% — vf,
и% + v'tk — 1, если 0, k e G2,
«ft-fft.n+i = 0, если А,п+1е02( г . h ;

314 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Отсюда следует, что при i, j s G2 выполнено и* = 1 и uf = 0.
Это означает, что загруженные до предела дуги соединяют узлы,
для которых и* = 1, с узлами, для которых uf = 0.
Для пар индексов класса G3 имеем х*ц = 0, у*/ > 0. Это сво-
свободные от потока дуги, которые могли бы быть исключены из сети
без изменения максимального потока. Имеем
Последнее означает, что свободные дуги соединяют те вершины,
для которых и% = 0, с теми, для которых и* = 1.
Целевая функция двойственной задачи есть
Ее минимальное значение в силу сказанного выше равно
В последней сумме суммирование распространяется только на пары
из класса G2) так как только для них vf/ отлично от нуля.
Рассмотрим интерпретацию этого результата в терминах сети.
Сумма E) есть сумма пропускных способностей некоторого множе-
множества дуг. Введем следующее
Определение. Пусть множество узлов сети разбито на
два непересекающихся подмножества ёТ^ и ^2. причем источник
входит в еТ5!, а сток в $V Множество всех дуг, начало которых при-
принадлежит еТ5!, а конец принадлежит <^г, называется разрезом сети.
Сумму пропускных способностей всех дуг разреза назовем пропуск-
пропускной способностью этого разреза.
Основанием для введения термина «разрез» служит следующее
свойство. Рассмотрим ориентированный путь от источника к стоку.
Это такая последовательность узлов и0, щ , ..., ut , un+1, что каждый
узел в ней связан дугой со следующим. Последовательность начи-
начинается в источнике и0, а кончается в стоке ип+1. Каков бы ни был
разрез сети, каждый путь от источника к стоку обязательно содер-
содержит одну из дуг этого разреза. Действительно, будем двигаться
вдоль пути, отмечая, к какому из подмножеств ^ или ^2 относятся
проходимые узлы. Мы начинаем с узла из $РЪ а кончить должны
узлом из <^2- Поэтому где-то должны перейти из ^ в ^2.
Если мы отнесем к &'1 те узлы, для которых uf— 1, а к <^2 —
tM$ которых uf = 0, то это разбиение определит разрез, состоя-
1^3 дуг класса G2. Сумма E) есть пропускная способность этого
реза.

§ S ПРИЛОЖЕНИЯ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ 315
Назовем разрез минимальным, если его пропускная способность
не превосходит пропускную способность любого другого разреза.
Легко видеть, что величина максимального потока в сети не может
превосходить пропускной способности минимального разреза. Дей-
Действительно, прежде чем попасть в сток, максимальный поток должен
попасть в множество ^2, определяющее минимальный разрез.
Теперь теорема двойственности в применении к задаче о мак-
максимальном потоке может быть сформулирована следующим обра-
образом.
Теорема 1. Величина максимального потока в некоторой
сети равна пропускной способности минимального разреза этой
сети.
3. Дискретное линейное программирование. Ряд практически
важных моделей приводит к задачам линейного программирования
с тем дополнительным условием, что все (или некоторые) перемен-
переменные должны принимать только целые значения.
Например, пусть в пунктах Л,-, i = 1, ..., т, может быть орга-
организовано производство некоторого продукта в размерах а-, что
требует затрат /,-. Потребители в пунктах В,- имеют потребности bj,
/= 1, ..., п, которые надо удовлетворить наиболее экономным спо-
способом с учетом затрат Сц на транспортировку от Л,- до Bj.
Это приводит к задаче линейного программирования с целевой
функцией
2 СЧХЧ + 2 /<#<•>
и I i
где Ух = 0 или 1 в зависимости от того, организуется производ-
производство в пункте Ai или нет. При внешнем сходстве с транспортной
задачей эта задача, называемая простейшзй задачей размещениях,
производства, гораздо сложнее именно из-за условия целочислен-
ности yt.
Могло бы возникнуть мнение, что решение задачи дискретного
линейного программирования получается при подходящем округле-
округлении решения задачи обычного линейного программирования, полу-
получаемой отбрасыванием условий целочисленности. Однако на самом
деле это мнение было бы неверным, как показывает рис. 7. На нем
заштрихованная область — многогранное множество допустимых
точек задачи линейного программирования с двумя переменными,
вектор с указывает направление градиента целевой функции. Ре-
Решение X задачи дискретного линейного программирования далеко
от решения Y непрерывной задачи.
Задачи дискретного линейного программирования по возникаю-
возникающим при их решении проблемам и по методам их преодоления го-
гораздо ближе к общим задачам дискретного программирования, чем
к задачам линейного программирования. Однако существует не-
несколько дискретных задач, решение которых можно получит!», ре-
решая соответствующую линейную задачу- Они связаны с рассмотрен-

816 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Рис. 7.
ными нами транспортной и сетевой задачами, и мы на одной из них
сейчас остановимся.
Задача о назначениях заключается в следующем. Пусть имеется
п. должностей и столько же кандидатов на эти должности, причем
каждый из кандидатов в разной степени удовлетворяет требова-
требованиям, предъявляемым для замещения какой-либо из должностей.
(Конечно, это могут быть не должности и кандидаты на них, а, ска-
скажем, строительные объекты и машины, на них используемые, и т. д.)
Пусть ожидаемый эф-
эффект от назначения г'-го
кандидата на /-ю долж-
должность измеряется числом
Су, i, / = 1 п. Нуж-
Нужно составить такой спи-
список назначений, чтобы
ожидаемый эффект от
принятия такого списка
был максимальным.
По своей природе за-
задача никак не связана с
линейным программиро-
программированием, и первый прихо-
приходящий в голову способ решения — это перебор п\ возможных спис-
списков назначений. Однако если п не очень мало, этот способ мало
привлекателен. В дискретном программировании рассматриваются
различные способы упорядочить перебор вариантов с тем, чтобы не
просматривать их все, а отбрасывать неподходящие варианты це-
целыми группами. Попробуем, однако, составить задачу линейного
программирования.
Введем переменные Хц, и пусть Хц = 1, если t-й кандидат на-
назначен на /-ю должность, и Хц — 0, если не назначен. Тогда ожи-
ожидаемый эффект от принятия списка, задаваемого матрицей X =
= || Хц ||, будет равен
2 CijXtj. F)
и i
Эта сумма должна быть сделана максимальной при условии, что X
есть матрица перестановки, т. е. каждая ее строка и каждый стол-
столбец содержат одну и только одну единицу, а остальные элементы —
нули.
Если X — матрица перестановки, то выполнены условия
,-=i, 2%~i.
G)
Одаако эти условия, конечно, недостаточны и не гарантируют того,
се х^ равны нулю или единице.

§ 5. ПРИЛОЖЕНИЯ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ 317
Таким образом, решение задачи максимизации суммы F) при
условиях G) дает решение задачи о назначениях, если его компо-
компоненты Хц равны нулю или единице, и бесполезно в противном
случае.
Заметим, что сформулированная задача отличается от транс-
транспортной задачи только тем, что требуется максимизация функции,
а не ее минимизация. Это отличие, конечно, не имеет отношения
к свойствам матрицы системы ограничений, и для этой матрицы
справедливо предложение 2. Из предложения 2 немедленно следует
свойство целочисленности решений транспортной задачи: если
числа о,- и bj целые, то все вершины многогранника &~ допустимых
точек транспортной задачи имеют только целые координаты.
Заметим, что аналогичное свойство целочисленности для задачи
о максимальном потоке следует из предложения 3, если пропуск-
пропускные способности — целые числа.
Итак, мы можем быть уверены, что для задачи с ограничениями
G) максимум функции F) достигается в точке с целыми координа-
координатами. Если решение не единственно, среди решений будут и не це-
целочисленные, но целочисленное решение обязательно существует.
Целые Xij неотрицательны, и суммы G) равны единице. Поэтому
все Xij равны либо нулю, либо единице.
Мы видим, что решение дискретной задачи свелось к решению
гораздо более простой задачи линейного программирования благо-
благодаря свойству целочисленности решения транспортной задачи.
Подробное изложение теории сетевых" задач и их применения
к задачам дискретного программирования можно найти в книге Ху
C9).
4. Матричные игры. Важным классом моделей, тесно связан-
связанным с линейным программированием, являются так называемые
матричные игры.
Под игрой в математическом смысле слова понимается процесс,
в котором несколько лиц принимают решения. После окончания
процесса каждый участник игры получает выигрыш (возможно, не
положительный), который зависит от решений, принятых им и
остальными участниками. Помимо игр в обычном смысле слова,
сюда относятся модели ситуаций, рассматриваемых в стратегии и
тактике, модели биржевых операций и многие другие.
В интересующих нас матричных играх принимают участие два
лица, интересы которых противоположны, так как сумма их выигры-
выигрышей равна нулю. При таком предположении игра называется антаго-
антагонистической игрой или игрой с нулевой суммой. В действительности
интересы игроков могут быть противоположны и при ненулевой
сумме выигрышей, но этот случай легко приводится к случаю нуле-
нулевой суммы.
Процесс принятия решений предполагается однократным, т. е.
выигрыш определяется после того, как каждый участник игры при-
принял решение один раз. Решения, принимаемые игроками, йазУ-

318 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
ваются стратегиями. В таких играх, как шахматы, противники
делают по многу ходов, на каждом из которых принимается реше-
решение. При этом подходе игра относится к классу динамических игр
Но можно представить себе, что перед началом игры игрок решил,
каким ходом он будет отвечать на любой возможный ход против-
противника (конечно, для шахмат и почти всех реальных игр это лишь
теоретическая возможность). Каждое такое решение будет страте-
стратегией в игре с однократным принятием решений, и игра, таким
образом, приобретет нормальную форму.
Для игр в нормальной форме предполагается, что ни один из
игроков не имеет никакой достоверной информации о той стратегии,
которую выберет другой, т. е. решения игроков принимаются не-
независимо. Под недостоверной информацией понимается такая, ко-
которую игрок может сам извлечь из предыдущих результатов игры,
если он играет с данным противником не в первый раз. Так, если
до сих пор противник всегда пользовался стратегией а, то можно
предположить, что он и далее будет пользоваться этой стратегией.
Матричные игры относятся к классу конечных игр. Это означает,
что число стратегий каждого игрока предполагается конечным.
На этом предположения заканчиваются. Любую конечную анта-
антагонистическую игру в нормальной форме называют матричной игрой.
Такую игру можно описать матрицей, строки которой соответствуют
стратегиям первого игрока, а столбцы — стратегиям второго. Эле-
Элемент матрицы ац равен выигрышу, который получит первый игрок,
если он выберет стратегию с номером i, а противник выберет стра-
стратегию с номером ]. Если бы мы поменяли игроков местами, то в мат-
матрице строки заменились бы столбцами, столбцы — строками, а эле-
элементы матрицы изменили бы знаки. Таким образом, матрица А
заменилась бы на —АТ. Например, симметричная игра, в которой
оба игрока находятся в одинаковом положении, должна иметь косо-
симметрическую матрицу.
Разумеется, для задания игры достаточно указать матрицу для
первого игрока. Так мы и поступим, хотя это вводит некоторую
несимметричность в обозначения. Будет рассматриваться игра,
заданная матрицей А размеров т X п с элементами ац. Первый
игрок имеет т стратегий, второй — п. При этом мы можем считать,
что игра состоит в том, что первый игрок выбирает строку матрицы,
а второй независимо от него выбирает столбец. Если на пересече-
пересечении строки и столбца стоит элемент ац, то первый игрок получает ац,
а второй получает —ац.
Таким образом, первый игрок заинтересован в выборе макси-
максимального элемента матрицы, а второй — в выборе минимального
Элемента. В соответствии с этим первого иногда называют макси-
максимизирующим игроком, а второго — минимизирующим.
5. Гарантированные выигрыши. Представим себе в роли пер-
первого игрока очень осторожного человека, который не хочет риско-
йать, а хочет получить, если это возможно, хоть и не самый большой,

§ 5 ПРИЛОЖЕНИЯ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ 319
но зато гарантированный выигрыш, не зависящий от действий вто-
второго игрока. Первый игрок может рассуждать так: «В самом худ-
худшем случае мне достанется самый маленький элемент из выбранной
мной строки. Поэтому следует выбрать ту строку, в которой самый
маленький элемент максимален». Итак, пусть i = 1, ..., т, а / =
= 1, ..., п, и
i i
Выбрав стратегию i0, первый игрок не может получить меньше
чем aio'fo, что бы ни выбрал второй игрок. При других стратегиях
он может получить и меньше чем а,„,„ и больше, но это зависит от
действий второго. Однако если второй действует осторожно, первый
не может получить больше некоторого предела, который мы сейчас
установим.
Число max min а,,- называется гарантированным выигрышем пер-
i I
вого игрока. Число —max min а{;- является верхней границей
i I
выигрыша второго игрока, больше которой при осторожных дейст-
действиях первого игрока он получить не может.
Проведем аналогичные рассуждения за второго игрока. Для
получения гарантированного выигрыша он должен выбрать тот
столбец, в котором самый большой элемент будет минимальным,
т. е. столбец с номером /ь для которого
ailjt = min max ay.
/¦ '
При стратегии ]\ второй игрок получает гарантированный выиг-
выигрыш, равный —min max atj. Одновременно мы получаем, что число
; t
min max а,ц является верхней границей выигрыша первого игрока,
/ i
больше которой он при осторожных действиях второго игрока полу-
получить не может.
Установим, как связаны между собой гарантированные выигрыши
игроков. Нетрудно доказать, что обязательно
max min an <; min max a,-,-.
i I ii
Это означает, что всегда верхняя граница выигрыша не меньше,
чем гарантированный выигрыш. Действительно, рассмотрим стол-
столбец/;, составленный из элементов pt = min a;y. Каждый из элемен-
элементов этого столбца не больше соответствующего элемента любого
другого столбца:
Pl^ay, /=1, .... П.
Если А-й элемент столбца р является наибольшим, то для Всех
/ = 1, .... п верно
max pi = pk^ akj «s max ai}.

520 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Поскольку рк не больше каждого из п чисел, то оно не больше ми-
минимального из них:
max pt ^ min max ay.
t i i
Это совпадает с доказываемым неравенством.
Игры, в которых выполнено равенство
max min atj — min max a,-/,
i i i i
называются вполне определенными. Если aiaj, — тот элемент, кото-
который равен обеим частям этого равенства, то, выбрав стратегию i0,
первый игрок получает свой гарантированный выигрыш, который
одновременно является и его максимальным выигрышем при осто-
осторожной игре второго игрока^ Это — большее, на что он может
рассчитывать. Точно так же второй игрок выбирает стратегию /„
и выигрывает —а(оУо. Это верхняя граница выигрыша при пра-
правильных действиях первого. Если ни один из игроков не рассчиты-
рассчитывает на оплошность другого, то результат игры определен, с чем
и связано название этого класса игр.
Стратегии i0 и /0 называются чистыми оптимальными страте-
стратегиями.
Рассмотрим в качестве примера игру с матрицей
Из |
Ясно, что первому игроку следует выбрать вторую строку, а второму,
если только он не надеется на ошибку первого, нужно выбрать
первый столбец.
Положение меняется, если мы перейдем к игре с матрицей
13 1
\2 А
Эта игра уже не будет определенной, так как max min ai;- = 2,
a min max an = 3. Стремясь получить свой гарантированный
выигрыш 2, первый игрок должен выбрать вторую строку. Если
при этом второй игрок, также рассчитывая на гарантированный
выигрыш —3, выбирает первый столбец, то он получает больший
выигрыш, равный —2. При таких стратегиях первый игрок явно
в невыгодном положении: он мог бы получить 3, если бы, надеясь
на осторожность второго, выбрал первую строку. Тогда второй
получил бы только гарантированный минимум. В этой игре, как
мы видим, нет чистых оптимальных стратегий, гарантированно даю-
дающих наилучшие возможные при правильной игре обеих сторон ре-
результаты.
6. Смешанные стратегии. Рассмотрим игру, для которой
й@/0 = max min йу < min max а» = а;,/,.
i I i i

§ 5. ПРИЛОЖЕНИЯ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ 321
До сих пор мы предполагали, что игра играется один раз. При
этом предположении для рассматриваемого случая дальше продви-
продвинуться не удается. Будем считать, что игра повторяется много-
многократно.
Если при многократном повторении игры первый игрок будет
постоянно выбирать стратегию i0, то второй игрок, рассчитывая
на это, будет выбирать стратегию /п и первый будет получать aiaj,.
Если же первый неожиданно выберет стратегию ilt то выигрыш его
будет равен а,-1?0, причем
akh 5s ahh > а«<А-
Однако если он будет продолжать выбирать стратегию ?1( то второй
заметит это и оставит ему выигрыш min a(l/, не больший, а вообще
говоря, меньший чем а,-0/0.
Правильное решение игрока в не вполне определенной игре
состоит в том, чтобы выбирать стратегию случайным образом так,
чтобы противник не мог предугадать, какая стратегия будет выбрана
в следующий раз. При правильном выборе стратегий и их вероят-
вероятностей такое решение позволяет поднять средний выигрыш выше,
чем max min а,-,-, хотя и не доведет его до min max a,-,-.
/ / i
Допустим, что стратегия i применяется первым игроком с ве-
вероятностью х', t = l, ••¦, т, а стратегия / применяется вторым
игроком с вероятностью у', j = 1, ..., п. Естественно, что
Выигрыш первого игрока теперь — случайная величина, мате-
математическое ожидание которой нетрудно подсчитать. Так как стра-
стратегии выбираются независимо, вероятность выбора пары стратегий i,
/ равна х'у>, а значит, математическое ожидание величины выиг-
выигрыша первого игрока есть
f(x, y) = ZaiJx'yf
ct
или, в матричной форме, хтАу.
Столбцы х = II х1, ..., хт \\Т и у = \\у1, ..., уп\\т мы назовем
смешанными стратегиями первого и второго игроков, а стратегии,
рассматривавшиеся выше, в отличие от смешанных, будем назы-
называть чистыми. Чистые стратегии можно рассматривать как смешан-
смешанные стратегии, определяемые столбцами единичной матрицы.
Геометрически мы можем представлять себе чистые стратегии
как базисные векторы в m-мерном (или соответственно п-мерном)
пространстве, а смешанные стратегии — как выпуклые комбина-
комбинации чистых. Все множество смешанных стратегий, например, rilp-
вого игрока изображается выпуклой оболочкой т точек в т-мерМой

322 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
аффинном пространстве, причем эти точки не лежат ни в какой
(т — 1)-мерной плоскости. Такое множество — простейший т-мер-
ный многогранник — называется m-мерным симплексом.
Исследуем, чего могут достигнуть игроки, если они будут при-
применять смешанные стратегии. Если первый игрок выберет страте-
стратегию х, то он может быть уверен, что его выигрыш будет не меньше
чем
min хгАу.
у
Этот минимум существует, так как функция хТАу при фиксирован-
фиксированном х непрерывна на замкнутом ограниченном множестве значе-
значений у. Поэтому гарантированный выигрыш первого игрока при при-
применении смешанных стратегий не превосходит
sup min xTAy.
х у
Аналогично, при выборе стратегии у второй игрок выигрывает
не меньше —max xTAy, и потому при его правильной игре выигрыш
х
первого игрока не превосходит
inf max xTAy.
у х
Ниже мы увидим, что эти верхняя и нижняя грани достигаются и,
следовательно, являются максимумом и минимумом, а пока отме-
отметим только, что выполнено неравенство
min хтАу «? sup min xTAy «g Inf max xTAy «g max xTAy. (8)
у x у ух х
В доказательстве здесь нуждается только средний знак неравенства.
Очевидно, что при любых х и у выполнено
min xTAy «^ xT Ay ^ max jcrAy.
у х
Так как правая часть этого неравенства не зависит от х, имеем
sup min xTAy «g max xTAy.
x у х
Но в этом неравенстве левая часть не зависит от у. Поэтому
sup min xTAy «s inf max xTAy.
x у ух
В действительности здесь обязательно имеет место раве^твр.
В этом заключается основная теорема теории матричных игр, кото*
рую мы ниже докажем. Но сейчас для доказательства формулы (ь)
полученного нами неравенства достаточно.
Докажем еще, что при любом х выполнено
^ijfi, у).

§ 5. ПРИЛОЖЕНИЯ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ _ . 823
Действительно, по определению / (х, у) имеем
Если мы заменим каждую внутреннюю сумму на наименьшую из них,
мы получим неравенство
f (х, У) S* B У'\ m.in Л аУх' = min 2 я*/**-
Это верно при всех_у, в частности при том, на котором достигается
min / (x, у). Этим требуемое неравенство доказано. Аналогично
у
доказывается, что
max v ацу' ~?s max }
' i * . .
7. Применение линейного программирования. Из доказанных
нами неравенств видно, что, выбрав стратегию х, первый игрок
может быть уверен, что его выигрыш будет не меньше чем v =»
= min 2 ауХ1. Стратегия х удовлетворяет системе неравенств
т
Bfl, /=1, .... П,
^о <9)
При этом первый игрок стремится так выбрать х, чтобы v было
максимальным. Для того чтобы свести эту задачу к задаче линей-
линейного программирования, потребуется преобразование матрицы А.
Именно, прибавим ко всем элементам А одно и то же число, на-
настолько большое, чтобы все элементы стали положительными. Это
равносильно тому, что первый игрок получает определенную сумму
за участие в игре. Поэтому преобразование не влияет на выбор
стратегии каждым Игроком. Итак, положим йу = Яу + а и Л =»
•=» II йу II, где а > max | а» |. Величина v, составленная для мат-
х ui
рицы А, положительна, и мы можем ввести новые переменные
Ъ' = v-1xi, t = 1, ..., т.
Это приведет систему неравенств (9) для матрицы А к виду
2 sl, /=1, ..., п,

324 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Теперь стремление увеличить v приводит к следующей задаче ли-
линейного программирования:
21 Луб'5=1, /=1, .... п,
(=1
|'5sO, i=l, .... т,
Мы сможем записать эту задачу в матричной форме, если введем
столбец г, все элементы которого равны 1. Нам потребуются также
столбцы высоты т и п, но высоту мы указывать не будем, так как
она ясна из употребления столбца. Задача первого игрока при-
принимает вид
Эта задача разрешима. Действительно, целевая функция ограничена
снизу, так как очевидно, что y«s max xl Ay. Система ограничений
х< у
задачи A0) совместна, потому что всеа,у > 0, и, выбрав |4 > max aij,
мы сделаем в каждом неравенстве одно из слагаемых большим
единицы.
Построим теперь задачу второго игрока. Если второй игрок
выберет стратегию у, то его проигрыш будет не больше чем w =
= max 2 8>ijt/- При этом
п
w, i=l, ..., т,
Преобразования, аналогичные примененным в задаче первого иг-
игрока, приводят задачу минимизации максимального проигрыша
к виду
т]т/->тах,
где ц — w~ly.
Нетрудно заметить, что задачи первого и второго игроков —
взаимно двойственная пара задач. Из теоремы 3 § 3 и формулы (9)
§ 3 следует, что для решений |0 и г\0 задач A0) и A1) выполнены ра-
равенства
Перейдем к старым переменным хну, учитывая, что |0 и ц0

§ 5. ПРИЛОЖЕНИЯ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ 32S
соответствуют
po = mi
и
Умножая A2) почленно на vowo, получаем
min 2 V» =у!ЛТхо=тах 2 йцУ{-
I i « /
Теперь мы можем вернуться к исходной матрице А. Имеем
min 2 (fly + ос) х\ = min ? a, jc< + а 2 х* = min 2 с,$ + «
' i I i i i i
max 2] (fl;y + «) y/ = max 2 аф{ + а,
1 I l l
а также
us ¦ иi " t.i t.i
Поэтому
t-j-i» ti \" /y vf \%T A T v" - m a v \^ /У tii
llllil f j i& .л, ^= V /1 Л — IIldA /, t*//?/ ,
/г * ,•
Отсюда немедленно следует
A3)
У х
Действительно, в двойном неравенстве
min 2 ацх[ ==sттутАтх0
крайние члены равны. Отсюда следует первое из доказываемых ра-
йенств, а второе доказывается аналогично.
Теперь из неравенства (8) и равенств A3) таким же приемом
получаем
sup min xTAy = inf max хтАу = хТАу
х у ух
Отсюда следует не только равенство верхней и нижней граней но
и то, что эти грани достижимы. Мы можем сформулировать резуль-
результат так:
Теорема 2. Для произвольной матричной игры существуют
такие смешанные стратегии х0 и у0, при которых
max min хТАу ~ min max xTAy = xJAy
х у у х

326 ГЛ. V. СИСТЕМЫ НЕРАВЕНСТВ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ
Число х%Ау0 называется значением игры, а стратегии х0 иу0 —
оптимальными стратегиями. Пара оптимальных стратегий х0, у0
носит название решения игры.
Чистые оптимальные стратегии, которые существуют для вполне
определенной игры, являются оптимальными в этом смысле. Можно
сказать, что игра является вполне определенной, если значение
игры равно одному из элементов матрицы.
Равенства A3) показывают, что, выбрав свою оптимальную
стратегию х0, первый игрок обеспечивает себе выигрыш, равный
значению игры. Больше этого он получить не сможет, если только
второй игрок также выберет свою оптимальную стратегию. Если
один из игроков выберет оптимальную стратегию, то второй, укло-
уклоняясь от оптимальной стратегии, может только ухудшить свой
выигрыш.
Оптимальные стратегии игроков не единственны, но все, ска-
сказанное выше, относится к любой паре оптимальных стратегий, так
как ка ч-дая из них получается из какого-нибудь решения соответ-
соответствующей задачи линейного программирования, а равенство A2) из
котсрого следует A3), имеет место для любых двух решений пары
сопряженных задач.
Совокупность оптимальных стратегий, например, первого иг-
игрока образует выпуклое подмножество в множестве его смешанных
стратегий, и ка«дая из оптимальных стратегий — выпуклая комби-
комбинация некоторых, но, возможно, не всех чистых стратегий. В раз-
разные оптимальные стратегии могут входить разные выборы чистых
стратегий. Впрочем, возможно, что и одна и та же смешанная стра-
стратегия раскладывается в выпуклую комбинацию двух различных
наборов чистых стратегий.
Надо помнить, что значение игры — это математическое ожида-
ожидание выигрыша первого игрока. В любом случае может быть реали-
реализована только конечная последовательность повторений .игры.
Пусть игроками приняты их оптимальные стратегии J*J, ..., л^Ц
и | уг0, ..., у"й II и при каждом повторении игры i-я и /-я чистые стра-
стратегии выбираются с вероятностями дс* и у^ соответственно. Тогда
средний выигрыш первого игрока при увеличении числа повторе-
повторений стремится к значению игры. Все рассуждения о свой-
свойствах оптимальных стратегий следует понимать только в таком
смысле.
Можно ли извлечь пользу из смешанных стратегий, если реа-
реализуется небольшое число повторений, или просто игра играется
один раз? Ответ на этот вопрос, так же как и подробное изложе-
изложение теории матричных игр, можно найти в книге Льюса и Райфы
[20}.
В заключение хотелось бы сделать замечание о логической
связи некоторых теорем этой главы. Одной из основных теорем
является теорема Фаркаша о неравенствах—следствиях системы

§ 5. ПРИЛОЖЕНИЯ ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ 327
линейных неравенств. Теорема двойственности в линейном програм-
программировании, по существу, прямо из нее вытекает, так как при дока-
доказательстве теоремы двойственности, кроме теоремы Фаркаша, ис-
используется только принцип Дедекинда непрерывности множества
вещественных чисел. В свою очередь теорема о максимальном по-
потоке и основная теорема теории матричных игр получены прямым
применением теоремы двойственности. Доказательство предложе-
предложения 15 § 1, играющего роль леммы при доказательстве теоремы
Фаркаша, довольно тяжелое. Но как мы видим, усилия, на него за-
затраченные, приводят к замечательным результатам.

ДОБАВЛЕНИЕ
ВЫЧИСЛЕНИЕ КОЭФФИЦИЕНТОВ
ХАРАКТЕРИСТИЧЕСКОГО МНОГОЧЛЕНА
Рассмотрим квадратную матрицу А порядка п. Ее характе-
характеристический многочлен мы запишем в виде
det (А - Щ = {—\)п (Хп + а^"-1 +... + ая)
и найдем числа аъ ..., а„, только множителем (—1)" отличаю-
отличающиеся от коэффициентов характеристического многочлена.
Пусть Къ ..., ?.„ —характеристические числа матрицы А,
причем каждое из них повторено столько раз, какова его крат-
кратность. Вещественности характеристических чисел не требуется.
Введем обозначение
**= j>* A)
для суммы степеней характеристических чисел.
Предложение 1. Коэффициенты alf ..., а„ удовлетворяют
соотношениям
Ы п. B)
Для доказательства воспользуемся выражением коэффициентов
многочлена через его корни
«*=(-!)* Е \---K C)
Формулы C), называемые формулами Виета, легко получить,
если записать многочлен в виде произведения
(Х-Х1)...(Х-К)
и раскрыть скобки.
Найдем произведение а/т*-./ при произвольном /. Согласно
равенствам A) и C)
Перемножая суммы почленно, мы можем записать произведение
в виде Л/ + М/, где
^-.л, „,+...+ 2 K-'-bib_fi D)

ДОБАВЛЕНИЕ 329
— сумма тех членов, которые получаются при i, отличном от
—сумма членов, получающихся при t, равном одному из г'ь..., ?*_,-.
Как нетрудно заметить, М/ = Л/+1. Поэтому, складывая произве-
произведения 0,-a^f, мы сможем привести подобные члены:
2 0,aw = 2 (-1 )*-/ (Л, + М,) = (-1 )*-1 Лх - М*.,. F)
/ = 1 .'=1
При /=1 все суммы в равенстве D) совпадают, и мы имеем
Лх = (—\)kkak. При l = k—\ в формулах E) остается только одна
сумма, и в ней в каждом слагаемом только один множитель Я|,.
Итак, Mi = oft. Теперь в силу F) мы имеем
что совпадает с доказываемым равенством.
Пока мы не использовали того, что рассматриваемый много-
многочлен — характеристический многочлен некоторой матрицы. Это
обстоятельство можно использовать для нахождения сумм A).
Действительно, согласно предложению 9 § 4 гл. II характеристи-
характеристические числа матрицы Ак равны Я.?,..., Я,*. Так как след матрицы
есть сумма ее характеристических чисел,
ivA" = ok. G)
Найдя таким образом числа ак, мы можем последовательно при-
применить формулы B) для нахождения всех коэффициентов ак,
k = 1 п.
Усовершенствование этого метода, введенное Д. К. Фаддеевна
в книге [35], позволяет совместить нахождение степеней матрицы,
с подстановкой в формулы B). Для этого проделывается следую-
следующая последовательность вычислений. Положим
Аг = А, oci = — tr/lb Bx =
Затем
A2 = ABlt a2 = — ~trA2, Bi=
и так далее. Выпишем последние равенства:
Лл_! = АВ„_2, ал_! = — ^jj tr Л„_ь Вп_г = Л„_х

30 ДОБАВЛЕНИЕ
Докажем, что так определенные числа аь ..., сс„ удовлетворяют
равенствам B) и, таким образом, только множителем (—1)" отли-
отличаются от коэффициентов характеристического многочлена мат-
матрицы А.
С этой целью отметим сначала, что
ЛА = Л* + а1Л*-1 + ... + а*-И, (8)
как нетрудно проверить с помощью метода полной индукции.
След матрицы —линейная функция от ее элементов. Поэтому
tr Ak = h Ak-\-alhAk-1-\-... + ak_1ivA.
Так как tr Ak = — kak, последнее равенство совпадает с равен-
равенством B).
Наша задача выполнена, но построенная последовательность
матриц Въ ..., Вп заслуживает того, чтобы поговорить о ней
подробнее. Из равенства (8) легко видеть, что
и, в частности,
Вп = А п + ссИ"-1 +... + апЕ = О
согласно теореме Гамильтона —Кэли. Отсюда следует, что Л„ =
= ЛБя-1 = — апЕ. Мы знаем, что свободный член характеристи-
характеристического многочлена равен детерминанту матрицы. Поэтому для
невырожденной матрицы а,^0 и
Таким образом, мы пришли к выражению для обратной матрицы,
полученному на стр. 95, но теперь явно указана последователь-
последовательность вычислений, приводящая к А'1.
Рассмотрим матрицу
Для нее мы имеем
Так как ABk-x — Bk = akE для всех k=\, ..., п и
мы получаем равенство
в котором р (X) — характеристический многочлен Л. Поэтому
в том случае, когда X не является характеристическим числом,
и матрица (—l)n+1 Q — взаимная для А—КЕ, т. е. ее .транспониро-
.транспонированная составлена из алгебраических дополнений соответствующих

ДОБАВЛЕНИЕ 331
элементов матрицы А — %Е. Так как миноры — непрерывные функ-
функции от элементов матрицы, Q(K) будет взаимной для А — ХЕ при
всех к.
Пусть теперь ^ — характеристическое число матрицы А. Тогда
(A-XkE)Q(kk) = O,
и для каждого столбца матрицы Qit = Q(Xk) имеем
Таким образом, ненулевые столбцы матрицы Qk являются собст-
собственными векторами матрицы А, принадлежащими значению X*.
К сожалению, в общем случае матрица Qk может оказаться
нулевой. В этом легко убедиться, если найти Q(l) для матрицы А,
равной единичной матрице второго порядка.
Однако не трудно получить условие, достаточное для того,
чтобы указанным способом могли быть найдены все собственные
векторы матрицы А. В самом деле, Q (кк) — линейная комбинация
матриц Bj, и, следовательно, многочлен относительно А степени,
не большей чем п— 1. Допустим, что все характеристические
числа А различны. Тогда минимальный многочлен А имеет
степень п, и потому Qft не может равняться нулю.
Если характеристические числа А различны, то собственные
подпространства имеют размерность 1, и все столбцы матрицы Q*
должны быть пропорциональны.

ЛИТЕРАТУРА
1. Алберт А. Регрессия, псевдоинверсия и рекуррентное оценивание.— М.:
Наука, 1977.
2. БеллманР. Введение в теорию матриц. —М.: Наука, 1969.
3. Беклемишев Д. В. Курс аналитической геометрии и линейной алгеб-
алгебры.—М.: Наука, 1980.
4. БулавскийВ. А., Звягина Р. А., Яковлева М. А. Численные
методы линейноге программирования. —М.: Наука, 1977.
5. Воеводин В. В. Вычислительные основы линейной алгебры. — М.:
Наука, 1977.
6. Воеводин В. В. Линейная алгебра. —М.: Наука, 1980.
7. Воеводин В. В. Численные методы алгебры.—М.: Наука, 1966.
8. Гантмахер Ф. Р. Теория матриц. — М.: Наука, 1967.
9. Глазман И. М., Л ю б и ч Ю. И. Конечномерный линейный анализ. —
М.: Наука, 1969.
10. Гольштейн Е. Г., Юдин Д. Б. Задачи линейного программирова-
программирования транспортного типа. — М.: Наука, 1969.
11. Данциг Дж. Б. Линейное программирование, его применения и обоб-
обобщения. — М.: Прогресс, 1966.
12. Дрейфус М., Ганглоф К. Практика программирования на форт-
фортране.—М.: Мир, 1978.
13. И к р а м о в X. Д. Задачник по линейной алгебре. — М.: Наука, 1975.
14. К а р м я н о в В. Г. Математическое программирование. — М.: Наука,
1975.
15 Кострикин А. И., М а н и н Ю. И. Линейная алгебра и геометрия. —
М.: Изд-ло МГУ, 1980.
16. Кудрявцев Л. Д. Курс математического анализа. Т. I, II. — М.: Выс-
Высшая школа, 1981.
17. Ланкастер П. Теория матриц. — М.: Наука,Л978.
18. Л а п п о - Д а н и л е в с к и й И. А. Применение функций от матриц к
теории линейных систем обыкновенных дифференциальных уравнений. —
М.: Гостехиздат, 1957.
19. Линейные неравенства и смежные вопросы: Сб. статей под ред. Г. Куна и
А. Таккера. — М.: ИЛ, 1959.
20. Льюс Р. Д., Райфа X. Игры и решения. — М.: Мир, 1981.
21. Мальцев А. И. Основы линейной алгебры. — М.'. Наука, 1970.
22. Маркус AI., Минц X. Обзор по теории матриц и матричных нера-
неравенств.— М.: Наука, 1972.
23. Матричные игры: Сб. перев. под ред. Н. Н. Воробьева.—М.: Физматгиз,
1961.
24. Н и к а й д о X. Выпуклые структуры и математическая экономика. — М.:
Мир, 1972.
25 Островский А. Решение уравнений и систем уравнений. — М.: ИЛ,
1963.
26. П а р о д и М. Локализация характеристических чисел матриц и ее приме-
применения. — М.: ИЛ, 1960.
27. Постников М. М. Линейная алгебра и дифференциальная геометрия. —
М.: Наука, 1979.
28. Р о з а в о в Ю. А. Лекции по теории вероятностей. — M.i Наука, 1968.

ЛИТЕРАТУРА
333
29. Самарский А. А. Введение в теорию разностных схем. — М.: Наука,
1971.
30. Се б ер Дж. Линейный регрессионный анализ.—Л1.: Мир, 1980.
31. Тихонов А. Н., Арсенин В. Я. Методы решения некорректны»
задач. — М.: Наука, 1974.
32. Т ь ю а р с о н Р. Разреженные матрицы. —М.: Мир, 1977.
33. Уилкинсон Дж. Алгебраическая проблема собственных значений. —•
М.: Наука, 1970.
34. Уилкинсон Дж., Р а й н ш К- Справочник алгоритмов на языке алгол.
Линейная алгебра.—М.: Машиностроение, 1976.
35. Ф а д д е е в Д. К., Ф а д д е е в а В. Н. Вычислительные методы линей-
линейной алгебры.—М.: Физматгиз, 1963.
36. Федор юк М. В. Обыкновенные дифференциальные уравнения.—М.!
Наука, 1980.
37. Форсайт Дж., М о л е р К- Численное решение систем линейных алгеб-
алгебраических уравнений. — М.: Мир, 1969.
38. Форсайт Дж., Малькольм М., Моулер К- Машинные методы
математических вычислений.—М.: Мир, 1980.
39. X у Т. Целочисленное программирование и потоки в сетях. — М.: Мир,
1974.
40. Черников С. Н. Линейные неравенства. — М.: Наука, 1968.
41. Шилов Г. Е. Математический анализ. Конечномерные линейные простран-
пространства. — М.: Наука, 1969.
42. Юдин Д. Б., Г оль штейн Е. Г. Линейное программирование.—М4
Физматгиз, 1963.

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Алгоритм деления с остатком 63
Алгоритм Евклида 55
Анализ ошибок обратный 114
— — прямой 114
Конус двойственный 249
— заостренный 240
— тупой 240
Коэффициент перекоса 132
базис задачи л. п. 291
— — — допустимый 291
-» сингулярный 17, 29
— циклический 61
Вектор внутренний 238
— крайний 244
— присоединенный 66
Вершина 263
Вещественная часть преобразования 87
Внутренность конуса 238
— — относительная 238
Выпуклая комбинация 256
— оболочка 256
Выпуклое множество 42, 257
— — многогранное 259
Выпуклый коиус 236
— многогранник 259
Вырожденная вершина 289
— задача 290
Главный элемент 143
Граничное подпространство 236
Грань 239, 263
— минимальная 239
Жесткое неравенство 237, 269
Жорданов базис 69, 71
Жорданова клетка 71
— нормальная форма 72
— цепочка 66
Задача двойственная 279
— о максимальном потоке 310
— о назначениях 316
— размещения 315
— о верхними ограничениями 304
— о двусторонними ограничениями 304
— транспортная 306
Запятая плавающая 112
— фиксированная 113
Зацикливание 305
Значение игры 325
Значения на спектре 84
Игра 317
— вполне определенная 320
— динамическая 318
— конечная 318
— матричная 318
— симметрическая 318
— о нулевой суммой 317
Итерационное уточнение 166
Локализационные круги 106
Луч 236
— крайний 244
Масштабирование 145
Матрица вычислимая 120
— диагональная 201
— двойного описания 250
— жорданова 72
— идемпотентная 198
— клеточно диагональная 64
— ковариаций 232
— ленточная 121
— перестановки 142
— почти вырожденная 118
— — треугольная 182
— псевдообратная 193
— равновесная 148
— разреженная 120
— регрессии 129
— с доминирующей диагональю 105
— сопровождающая 102
— треугольная 33, 136
— трехдиагональная 184
— фундаментальная 99
Матрицы компонентные 87
— подобные 72
Машинное е 114
Метод вращений 156, 171
— Гаусса 134, 149
— Гревиля 222
— Жордана 138
— квадратного корня 151
— наименьших квадратов 226
— оптимального исключения 137
— отражений 152
— переортогонализации 214
— последовательных смещений 167
— потенциалов 310
— простой итерации 162
— степенной 171
— — обратный 174
— Якоби 165, 171
Методы исчерпывания 178
Мнимая часть преобразования 37
Многочлен аннулирующий 59
— интерполяционный 88, 90
— матричный 57
— минимальный 60
Наибольший общий делитель 54
Наименьшее общее кратное 56
Невязка 158
Норма 39
— евклидова 40, 50
— индуцированная 46

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Норма кольцевая 47
— мажорирующая 42
— согласованная 45
— сохраняющая единицу 46
— спектральная 48
— унитарная 40, 50
Нормы эквивалентные 42
Нормальная система 189
— форма игры 318
— — матрицы 138
Образующие конуса 243
Общее решение 200
Ограниченное множество 258
Окрестность 39
Ортогональное дополнение 7
Остаток при делении 53
Остаточная сумма квадратов 233
Остов конуса 243
Отношение Релея 22
— — обобщенное 186
Отображение псевдообратное 200
— сжимающее JC2
— сопряженное 9
Отождествление 85
Отражение 152
Отрезок 42
Оценка 227
— замещения 293
— линейная 230
— несмещенная 230
— точности апостериорная 160
— — априорная 160
Ошибка 230
— округления 114
Переменная дополнительная 287
— искусственная 298
Погрешность 115, 158
Подпространство корневое 62
— собственное 32
— циклическое 61
Показатель нильпотентности 61
Полная система решений 243
Полупространство 235
Преобразование нильпотентное 61
¦— нормальное 34
— нулевое 59
— простой структуры 73
— сопряженное 12
Преобразования перестановочные 32
Принцип граничных решений 271
— неподвижной точки 162
Проблема собственных значений 170
Проектирование 85
Пространство нормированное 39
— эрмитово сопряженное 20
Псевдобазис 301
Псевдорешение 190
Разложение полярное 25
— сингулярное 18, 219
— скелетное 196
— спектральное 87
Размерность конуса 236
— многогранного множества 262
Разрез сети 314
— — минимальный 315
Расстояние 39
Ребро 242, 263
Регрессор 229
Режим накопления 148
Решение игры 325
Ряд матричный 78, 97
Сеть 310
Симплекс 322
Симплекс-метод 286
— — двойственный 303
Симплексная таблица 295
Система возмущенная 115
— невозмущенная 115
— ограничений 276
Спектральный радиус 103
Столбец неотрицательный 235
Стратегия 318
— оптимальная 320, 325
— смешанная 321
— чистая 320, 321
Сумма множеств 240
— прямая 63
— ряда 78
Сфера единичная 22, 41
Схема единственного деления 135
Сходимость по норме 39
— по форме 181
— поэлементная 52
Теорема Гамильтона — Кэли 66
— двойственности 280
— Жорда.ча 72
— Куна — Таккера 285
— о максимальном потоке 313
— отделимости 251
— Фаркаша 247, 269
— Фредгольма 12
Точка внутренняя 278
•— допустимая 276
— крайняя 265
Фундаментальная система решений 243
Функции линейно зависимые 227
— параметрические 231
Функция Лагранжа 285
— матричная 77, 96
— — регулярная 78
— полулинейная 19
— целевая 276
Ч/стиое двух многочленов 53
Числа сингулярные 17, 29
Число обусловленности 123
— — спектральное 124
Эквивалентное возмущение 159
Злимннативиая форма 297
Ядро отображения 11
с-иорма 40
с'-норма 51
/-норма 40
LU-разложение 139
М -задача 29S
СЯ-алгоритм 180
СЯ-раэложение 152
(//¦-разложение 213
СЯ-разложенне 214