/
Author: Воеводин В.В. Кузнецов Ю.А.
Tags: вычислительная математика численный анализ математика линейная алгебра теория матриц задачи по алгебре
Year: 1984
Text
22.19
В 63
УДК 519.6
Матрицы и вычисления. Вое вод и п В. В.. Кузнецов Ю. А.— М_:
Наука. Главная редакция физико-математической литературы, 1984.— 320 с.
Книга представляет собой справочное пособие по линейной алгебре.
Это пособие охватывает как основные теоретические вопросы линейной ал-
гебры, так и ее численные методы. Описание ведется с учетом особенностей
реализации методов на ЭВМ. Отличительной чертой дапиогб справочного
пособия является отсутствие доказательств и теоретических обоснований
приводимых фактов и методов.
Для студентов, аспирантов и научных сотрудников, деятельность кото-
рых связана с решением задач алгебры па ЭВМ.
Р 1702070000 — 038
Издательство «Наука».
'Ьз Главная редакция
053(02)-84
физико-математической
литературы, 198 i
ОГЛАВЛЕНИЕ
Предисловие.......................................................... 7
Глава 1. Основы теории............................................... 9
§ 1. Множества, элементы, операции............................... 9
Операции. Группа. Кольцо Поле. Линейное пространство. Опера-
тор.
§ 2. Системы векторов........................................... 16
Изоморфизм. Вектор. Линейная оболочка. Линейная зависимость.
Эквивалентные системы. Ранг. Базис.
§ 3. Матрицы и операторы..........................................21
Матрица. Матричные операции. Траспопированне. Сопрпягсниость.
Диагональная матрица. Перестановочные матрицы. Треугольная
матрица.
$ 4. Определители, миноры, дополнения..............................28
Перестановка. Определитель. Формула Бинс — Коши. Рапг матри-
цы. Невырожденная матрица.
§ 5. Скалярное произведение . ..........................34
Скалншюс произведение. Ортогональность. Ортогональное дополне-
ние. Длина, угол, расстояние. Проекция и перпендикуляр. Объем
системы векторов.
§ 6. Системы линейных алгебраических уравнений .... 42
Теорема Кронскера — Капелл и. Формулы Крамера. Альтернатива
и теорема Фредгольма. Псевдорешение. Псевдообратная матрица.
Система и гиперплоскости. Проектор.
5 7. Матрицы простой структуры.....................................50
Матрица преобразования координат. Эквивалентные матрицы. По-
добные матрицы. Собственные значения и векторы. Характеристи-
ческий многочлен. Матрица простои структуры. Соответствующая
матрица.
§ С. Инвариантные подпространства..........................- . 56
Инвариантное подпространство. Блочная матрица. Матричный мно-
гочлен. Корневой вектор. Теорема Колн — Гамильтона. Канониче-
ская форма Жордана. Теорема Шура.
§ !). Х-матрицы ................................................. 64
/.-матрицы. Минимальный многочлен. Эквивалентные Х-матрицы.
Инвариантный многочлен. Каноническая форма Смита. Канониче-
ская форма Фробениуса. Каноническая форма Жордана.
§ 10. Нормальные матрицы . ..............................70
Нормальная матрица. Унитарная матрица. Эрмитова матрица. Ко-
соэрмитова матрица.
ОГЛАВЛЕНИЕ
4
§ 11. Мультипликативные представления матриц.......................75
LtT-pa з л о жен п с. Блочное LU-разложепне. QK-раэложение. Полярное
раззтожешгег^ийгулярные числа. Сингулярное разложение. Кроне-
керово произведение.
§ 12, Билинейные формы.............................................82
Билинейная форма. Квадратичная форма. Эрмитова билинейная фор-
ма. Эрмитова квадратичная форма. Матрица билинейной формы.
Положительно определенная матрица. Конгруэнтность. Закон
инерции квадратичных форм.
§ 13. Билинейно метрические пространства...........................91
Матрица и определитель Грама. Нулевые подпространства. Ортого-
нальный -базис. Пеевдбортогопальный базис. Пеевдодвойственные
базисы. Сопряженная система векторов.
$ 14. Векторные и матричные нормы..................................98
Метрическое пространство. Нормированное пространство. Полно-
та нормированного пространства. Эквивалентность норм. Норма мат-
рицы. Согласованная и подчиненная нормы.
§ 15. Функционалы в евклидовом пространстве F 105
Функционал. Градиент. Функционал ошибки. Множество решения
системы уравнений. Спуск по функционалу ошибки. Отношение
Релея. Собственные значения. Теорема Куранта — Фишера. Функ-
ционал невнзки.
§ 164 Возмущения и локализация . .....................НО
Степенной ряд. Число, обусловленности. Оценка ошибки решения
систем. ЛокализВДПГ-'собственных Значении. Круги Гершгорипа.
Gwhw’P и малые возмущения. Малые возмущения и сингулярное
разложение.
§ 17. Матрицы типа теплицевых . .....................11S
Теплицева матрица. Представление обратной матрицы. Циркуляпт-
; пая матрица. Дискретное преобразование Фурье. Многоуровневые
матрицы. Теплпцсв ранг.
§ 18. Матрицы с неотрицательными элементами . .... 120
Неотрицательная матрица. Теорема Перрона — Фробениуса. Цик-
лическая матрица. Осцилляционная матрица.
§ 19. Матрицы специального вида...................................134
Якобиева матрица. Обобщенная проблема собственных значений. Не-
которые разностные матрицы.
§ 20. Неравенства и оценки .......................................141
Классические неравенства. Теорема Вилапдта — Гофмана. Спектр
суммы эрмитовых матриц. Сингулярные числа суммы матриц. Син-
гулярные числа произведения матриц. Спектр произведения эрми-
товых матриц. Неравенства Г. Вейля. Мажорирующие последова-
тельности. Теоремы разделения.
Глава 2. Численные методы............................................147
§ 21. Математические особенности машинной арифметики . . . 147
Система счисления. Округление. Фиксированная и плавающая зэ-
пнгая. Основные гипотезы. Свойства машинных операций. Прямой
и обратный анализ ошибок.
§ 22, Элементарные матрицы и преобразования.......................152
Матрица вращения- . Последоватсльцость-щмюбразовцпий вращения.
Циклические последовательности. Процесс исключения. Матрица
отражения. Элементарные пеунитарныс матрицы.
§ 23. Ортогонализация........................................... 164
Процессы ортогонализации. Ортогонализация степенной последова-
тельности. Трехчленные соотношения. Устойчивость и . неустойчи-
вость. Переортогоналпзация. — . "
ОГЛАВЛЕНИЕ
5
§ 24. Основные разложения матрицы па мпожптели . . . . 171
Метод Гаусса. Перестановки. Выбор ведущего элемента. Компактная
схема. Метод квадратного корня. Метод вращений. Метод., отраже-
ний. Цармалпзованный метод вращения. Метод ортогонализации*.
Сравнение разложений*.*" -- ’
§ 25. Решение систем с невырожденными матрицами .... 181
Обратная и прямая подстановки. Подстановка с нормировкой. Раз-
личные методы решения систем. Уточнение решении.
26. Особенности решения неустойчивых систем ..... 188
Непрерывность п разрывность решений. Сингулярное разложение.
Главные проекции решения. Регуляризация.
§ 27. Тактика решения систем общего вида...........................193
Сведение к двухдпагоналыюй системе. Решение двухдпагопальнык
систем. Оценка точности. Матрица неполного ранга. Сингулярное
разложение двухдпагоналыюй матрицы. Регуляризация.
§ 28. Методы сопряженных направлений . . ..... 201
Общая схема. Выбор начального вектора. Условия на матрицы.
Трехчленные соотношения. Матрицы в различных базисах. Мини-
мизация функционала ошибок. Метод сопряженных градиентов.
Метод АЛ*-миипмалЫ1Ых итераций. Метод ЛМ-мипимальпых ите-
раций. Метод эрмитова разложения. Метод неполного разложения.
Методы двойственных направлений. Отклонение от решения. Связь
с разложением матриц. СхемА с уточнением.
5 29. Другие методы . .....................................211
Метод оптимального исключения. Метод Жордана. Модификация
обратной матрицы. Метод окаймления. Блочный метод квадратно-
го корня. Методы д.чя теплицевых матриц.
§ 30. Прямые и обратные итерации..................................218
Прямые итерации. Обратные итерации. Сдвиги. Скорость и устой-
чивость. Сведение к почти треугольной матрице. Последовательно-
сти Релея.
§31. QII- и (/^-алгоритмы........................................225
' QB-алгоритм. Сходимость. Инвариантность к почти треугольной
форме. Инвариантность к блочно треугольной форме. Сдвиги. Квад-
рагпчная скорость. Комплексно сопряженные сдвиги, ^-алгоритм.
§ 32. Эрмитовы матрицы........................................... 233
Вычисление знаков миноров якобиевой матрицы. Метод бнеекций.
Обратные итерации и QR-алгоритм. Эффективность QH-алгоритма
со сдвигами. Метод вращений. Стратегии выбора элементов.
§ 33. Метод Лапцоша...............................................240
Вычислительная схема. Некоторые оценки. Аппроксимации Ритца.
Геометрическая интерпретация. Особенности практической реализа-
ции.
§ 34. Общие вопросы теории итерационных методов решения сис-
тем линейных уравнений......................................245
Итерационные методы: р-шагоиый метод, стационарный метод, ци-
клический метод, линейный метод. Оператор перехода. Скорость
сходимости. Метод Ричардсона.
§ 35. Методы релаксации....................................... 257
Точечный п блочный методы Якоби. Метод Гаусса — ЗеЙдсля. Ме-
тод последовательной верхней релаксации. Согласованно упорядо-
ченные матрицы. Теория выбора оптимального параметра релак-
сации. Метод симметричной последовательной верхней релаксации.
§ 36. Итерационные методы для систем с монотонными матрицами 269
Монотонные матрицы. Регулярное расщепление матриц. Теория схо-
димости. М-матрпца. Матрица Стнлтьеса.
6 ОГЛАВЛЕНИЕ
С 37. Методы расщепления (методы переменных направлений) 272
Необходимые и достаточные-условия сходимости. Коммутативный
случай. Метод Писмана — Рэкфорда. Выбор последовательности
параметров. Некоммутативный случай. Попеременно треугольный
• метод.
§ 38. Чебышевские итерационные методы.............................279
Многочлены Чебышева. Двухшаговый метод Ричардсона. Двухшаго-
вый чебышевский метод. Одношаговыц чебышевский метод. Упоря-
дочивание параметров. Циклический чебышевский метод.
§ 39. Нелинейные итерационные методы............................. 289
Метод наискорейшего спуска, метод минимальных невязок, метод
минимальных ошибок. Обобщенный метод минимальных итераций
Лаппоша. Обобщенный метод сопряженных градиентов.
§ 40. Итерационные методы решения систем с вырожденными
матрицами........................................................ 298
Стационарные методы. Достаточное условие сходимости. Методы
релаксации Методы расщепления. Обобщенный метод сопряжен-
ных градиентов. Метод фиктивных компонент. Решение несовмест-
ных систем.
Литература............................................. 308
Предметный указатель . . .................................312
ПРЕДИСЛОВИЕ
Линейная алгебра со своим математическим аппаратом и чис-
ленными методами исключительно активно проникает в самые
различные области, в особенности связанные с вычислениями.
I [остроение процесса решения сложной проблемы па основе
сведения к последовательности решений задач линейной алгеб-
ры является в настоящее время одним из важнейших паправ-
•депий развития вычислительной математики.
Как правило, в прикладных задачах линейная алгебра игра-
ет вспомогательную роль. С точки зрения специалиста, решаю-
щего основную проблему, единственное, что требуется от линей-
ной алгебры,— это предложить подходящий способ решения его
частной задачи. Довольно часто такой способ можно выбрать из
уже имеющегося обширного багажа теоретических и практиче-
ских знаний в области линейной алгебры. Однако не менее ча-
сто это сделать не удается. Оказывается, что существующие зна-
ния не учитывают специфику основной проблемы, и поэтому не-
возможно решить задачу даже с использованием ЭВМ с нужной
степенью эффективности из-за недостаточной скорости, точности
или нехватки ресурсов вычислительной техники. После этого
начинается утомительный поиск необходимых фактов с целью
конструирования подходящего численного метода.
Настоящая книга предназначена для оказания помощи чита-
телю в осуществлении такого поиска. Опа представляет собой
монографию справочного характера. Главная ее отличительная
черта заключается в полном отсутствии каких-либо доказа-
тельств. Изложены только факты, определения п вычислитель-
ные схемы. В необходимых случаях приведены краткие поясне-
ния. Материал систематизирован и описан таким образом, что
каждый по8ый факт является, в основном, следствием предыду-
щих. Поэтому данную книгу можно рассматривать и как кон-
спективное изложение основ теории матриц и численных мето-
дов. Порядок расположения определений и фактов в целом соот-
ветствует порядку их изложения в курсах линейной алгебры и
численных методов, читаемых в высших учебных заведениях.
Весь материал книги разбит на две главы. Первая глава по-
священа основам теории, вторая — численным методам. Содер-
8
ПРЕДИСЛОВИЕ
жание отдельных параграфов приведено в оглавлении после их
названия. Для указания расположения утверждений принята
двойная нумерация: левые цифры означают номер параграфа,
правые — порядковый помер утверждения в данном параграфе.
Все необходимые пояснения выделены петитом и не отмечены
нумерацией. В случае необходимости ссылок на факты из тек-
ста пояснений оип даются по ближайшему утверждению с но-
мером.
Обилие теоретического и вычислительного материала в об-
ласти линейной алгебры не позволило дать достаточно полное
изложение всех ее разделов в одной книге. Поэтому авторы огра-
ничились описанием лишь тех из них, знание которых особенно
необходимо широкому кругу читателей. В случае имеющейся
неоднозначности в определениях, терминологии и классифика-
ции, как правило, излагается наиболее распространенная точка
зрения.
В этой книге §§ 1 —17, 20—33 написаны В. В. Воеводиным,
§§ 18, 19, 34—40 —10. А. Кузнецовым.
В. В. Воеводин, 10. А. Кузнецов
ГЛАВА 1
ОСНОВЫ ТЕОРИИ
§ 1. Множества, элементы, операции
В этой книге мы будем рассматривать те или иные совокупности объек-
тов, объединенных некоторым общим признаком. Число различных видов
объектов будет невелико. В основном это матрицы и векторы. Однако боль-
ш'ое число признаков, связывающих объекты, порождает огромное разно-
образие их совокупностей.
Совокупность объектов, объединенных общим признаком, принято на-
зывать множеством, а сами объекты — элементами множества. Как прави-
ло, .мы будем обозначать множества прописными латинскими буквами:
А. В. ..., а их элементы — малыми: а, Ъ, ... Мы будем писать хе Л, если
элемент х принадлежит множеству А, и х ф А, если элемент х не принад-
лежит множеству А. Иногда для удобства мы будем вводить в рассмотре-
ние так называемое пустое множество (т. е. множество, которое не содер-
жит ни одного элемента) и обозначать его 0.
Среди всевозможных множеств особый интерес вызывают те, над эле-
ментами которых допускается выполнение некоторых операций. Пусть за-
дано некоторое множество Л, содержащее хотя бы один элемент.
1.1. Будем говорить, что в множестве А определена алгеб-
раическая операция, если указан закон, по которому любой паре
элементов а, Ь, взятых из этого множества в определенном по-
рядке, однозначным образом ставится в соответствие некоторый
третий элемент с, также принадлежащий этому множеству.
Эта операция может быть названа сложением, и тогда с будет назы-
ваться суммой элементов а и Ъ и обозначаться символом с = а + Ь; эта
операция может быть названа, умножением, и тогда с будет называться
произведением элементов а и Ъ и обозначаться символом с = ab.
Вообще терминология и символика для операции, определенной в мно-
жестве А, не будет играть в дальнейшем какой-либо существенной роли.
Как правило, мы будем пользоваться символикой суммы и произведения
независимо от того, каким образом определена операция в действительно-
сти. Если же нам потребуется подчеркнуть некоторые общие свойства ал-
гебраической операции, то будем обозначать операцию символом *.
1.2. Алгебраическая операция называется коммутативной, ес-
ли результат ее применеййя -не зависит -от порядка выбора эле-
ментов, т. е. для любых двух элементов а ц Ъ из заданного мно-
жества имеет место равенство .а * b = b * а.
[ГЛ., I
1.3. Алгебраическая операция называется ассоциативной, ес-
ли для любых трех элементов а, Ь, с исходного множества
а * (Ь » с} = (а * Ь) * с.
Ассоциативность операции позволяет говорить об однозначно опреде-
ленном результате применения алгебраической операции к трем элементам
а, Ь, с, понимая под ним любое из выражений а * (Ъ * с), (о * Ь) • с, и пи-
сать а » Ь * с без скобок'.
1.4. Результат вычисления выражения а, * щ . * а„ для
пеассоциативной операции в общем случае ирп п > 2 зависит от
расстановки скобок.
1.5. Результат вычисления выражения at * я2 * ... » ап для
ассоциативной операции пе зависит от расстановки скобок при
всех п.
1.6. Результат вычисления выражения at * а, * ... * а„ для
ассоциативной и коммутативной операции при всех и пе зависит
ни от расстановки скобок, пи от порядка элементов.
При обсуждении свойств алгебраической операции мы неявно предпо-
лагали возможность проверки любых двух элементов множества на их сов-
падение или несовпадение между собой. Мы нигде не предполагали, что
совпадающие элементы действительно представляют собой одни элемент,
а не являются различными объектами. По существу же мы лишь исполь-
зовали то, что некоторая группа элементов, которые мы называли равными,
в определенных ситуациях проявляет себя одинаково.
В самых различных вопросах мы будем сталкиваться с необходимостью
разбиения того или иного множества на группы элементов, объединенных
по некоторому признаку. Если при этом ни одни элемент по принадлежит
двум различным группам, то будем говорить о разбиении множества на не-
пересекающиеся группы, или на классы.
Пусть задан некоторый признак. Будем считать, что в отношении лю-
бой пары элементов а, b из множества А можно сказать, что либо элемент
а связан с элементом b данным признаком, либо не связан с ним. Если эле-
мент а связан с Ь, то будем писать а ~ Ь и говорить, что а эквивалентен Ъ.
1.7. Признак называется отношением эквивалентности, если
он удовлетворяет следующим условиям:
— рефлексивность: а ~ а для всех a е А;
— симметричность: если а ~ Ь, то Ь ~ а\
— транзитивность: если а ~ b и b ~ с, то а ~ с.
1.8. Множество можно разбить на классы по любому отно-
шению эквивалентности.
Любые два элемента с точки зрения рассматриваемого признака могут
быть либо эквивалентными, либо не эквивалентными. Ничто не изменится,
если эквивалентные элементы мы назовем равными (в отношении данного
признака), а не эквивалентные — не равными (в отношении того же приз-
нака). Введение отношения равенства позволяет разбить все множество на
классы элементов, которые по тем или иным причинам мы решили считать
равными. Это означает, что различие .между элементами, входящими в один
класс, не имеет для нас никакого значения. Следовательно, во всех ситуа-
циях, которые мы будем в дальнейшем рассматривать, элементы, названные
равными, должны проявлять себя одинаково.
Вернемся снова к изучению операций. Пусть в множестве А определе-
на алгебраическая ойерадня. Предположим, что она обладает тем свойст-
§ ‘1
пом, что уравнения
а » х = b, у * а = Ь
имеют, и притом единственные, решения при любых «, Ь. Тогда каждой
упорядоченной паре элементов а, Ь из А мы можем поставить в соответст-
вие однозначно определенные элементы х, у из А\ т. е. ввести две алгебраи-
ческие операции.
1.9. Описанные операции называются правой и левой обрат-
ными операциями по отношению к основной операции.
1.10. Если существует правая и левая обратные операции,
то говорят, что основная операция имеет обратную операцию.
1.11. Не каждая алгебраическая операция, даже коммутатив-
ная и ассоциативная, имеет правую и левую обратные операции.
1.12. Если алгебраическая операция коммутативна и обрат-
ная операция для нее существует, то правая и левая обратные
операции совпадают.
1.13. Из ассоциативности или коммутативности алгебраиче-
ской операции не обязательно следует ассоциативность или ком-
мутативность обратной операции, даже если обратная операция
существует.
1.14. Если правая и левая обратные операции совпадают, то
исходная алгебраическая операция коммутативна.
1.15. Если алгебраическая операция имеет обратную, то пра-
вая и левая обратные операции также имеют обратные.
1.16. Операция, обратная к левой или правой обратной, пе
обязательно совпадает с исходной алгебраической операцией.
Множества с одной алгебраической операцией в некотором смысле яв-
ляются самыми простыми, и поэтому естественно начать наши исследова-
ния именно с таких множеств. Мы будеуг считать свойства операции аксио-
мами и затем выводить из них следствия. Это позволит в дальнейшем сра-
зу применить результаты исследований ко всем множествам, в которых
операции имеют аналогичные свойства, независимо от конкретных особен-
ностей.
1.17. Группой называется множество G с одной алгебраиче-
ской операцией, ассоциативной (хотя не обязательно коммута-
тивной), причем для этой операции должна существовать обрат-
ная операция. Группа, состоящая из конечного числа элементов,
называется конечной группой.
Заметим, что обратную операцию нельзя считать второй независимой
операцией в группе, так как она определяется через основную. Назовем,
как это принято в теории групп, операцию, заданную в G, умножением и
условимся употреблить соответствующую символику.
1.18. Во всякой группе G существует, и притом единствен-
ный, элемент е, удовлетворяющий равенствам ае ~ еа = а для.
всех я из G. Этот элемент называется единицей группы G.
1.19. Во всякой группе G любой элемент а обладает един-
ственным обратным элементом я-', для которого аа~' — а~'а = е.
1.20. Имеет место соотношение е~' = е.
ОСНОВЫ ТЕОРИИ.
1ГЛ. I
и
1.21. Для любых элементов а,, а2, .... а,, из группы G имеет
место соотношение (а^а., . . . = a^la„Lt . . . af1.
Проверка того факта, является ли группой множество с одной ассоци-
ативной операцией, облегчается тем, что в определении группы требование
о выполнимости обратной операции .можно заменить предположением о су-
ществовании единицы и обратных элементов, причем лишь с одной сторо-
ны (например, правой) и без предположения об их единственности.
1.22. Множество G с одной ассоциативной операцией будет
группой, если в G существует хотя бы один элемент е, обладаю-
щий свойством ае = а для всех а из G, п по отношению к нему
всякий элемент а из G обладает хотя бы одним правым обрат-
ным элементом а~', т. е. аа~‘ = е.
1.23. Группа называется коммутативной или абелевой, если
групповая операция коммутативна.
В этом случае операцию, как правило, называют сложением и вместо
символа произведения ab пишут символ суммы а + Ь. Единицу абелевой
группы называют нулевым элементом н обозначают символом 0. Обратную
операцию называют вычитанием, а обратный элемент—противоположным.
Обозначают его символом —а. Мы будем считать, что по определению сим-
вол разности а— Ъ означает сумму а + (—Ь).
Если все же по каким-либо причинам операцию в коммутативной груп-
пе мы будем называть умножением, то обратную операцию будем считать
делением. Равные в этом случае произведения а~Ч> и Ьа~' будем обозна-
чать через bja и называть частным ог деления b на а.
Рассмотрим множество К, в котором введены две операции. Назовем
одну из вих сложением, а другую — умножением и будем иснользовать со-
ответствующую символику. Будем предполагать, что обе операции связаны
законом дистрибутивности, т. е. для любых трех элементов а, Ь, с из К
имеют место соотношения
(а Ь)с = ас + Ьс, а[Ь + с) = ab + ас.
1.2^. Множество К называется кольцом, если в нем опреде-
лены две операции — сложение и умножение, обе ассоциативные,
а также связанные законом дистрибутивности, причем сложение
коммутативно и обладает обратной операцией.
1.25. Кольцо называется коммутативным, если умножение
коммутативно, и некоммутативным — в противном случае.
1.26. Любое кольцо является абелевой группой по сложению.
1.27. В любом кольце существует единственный пулевой эле-
мент 0. При этом для всякого элемента а из кольца имеют .ме-
сто равенства
0+а = а + 0 = а, 0 • а = я • 0 = 0.
1.28. Ненулевые элементы кольца, произведение которых есть
пулевой элемент, называются делителями нуля.
1.29. Коммутативное кольцо, в котором есть единичный эле-
мент и каждый ненулевой элемент имеет обратный, называет-
ся полем.
1.30. Поле не имеет делителей пуля.
I] MllUmL.Ull>21, -~----, ------ , __
Используя запись частного nib в виде произведения ai"', легко пока
дать, что во всяком поле сохраняются все обычные правила обращения с
дробями е точки зрения операций сложения, вычитания, умножения и де-
ления, а именно:
а с ad + 1>с а с ас —а а
b ~ d bd b d ,bd ’ b b
JfpOMO того, ajb = cld тогда и только тогда, когда ad = be, если, конечно,
и d =У= 0. Поэтому все ноля с точки зрения обычных правил обраще-
ния с дробями неотличимы от множества чисел. По этой причине элементы
поля часто называются числами.
Рассмотрим теперь множество К и поле Р произвольной природы.
Предположим, что для всех элементов из К определены операции сложе-
ния н умножения па числа из Р. Будем называть элементы из К векторами,
независимо от их конкретной природы.
1.31. Множество К называется линейным или векторным про-
странством над полем Р, если для всех векторов из К определе-
ны операция-сложения и умножения на числа из Р, причем вы-
полнены следующие аксиомы:
А. Каждой паре векторов .я, у отвечает вектор х + у, назы-
ваемый суммой х и у, причем:
— сложение коммутативно: х + у = у + х;
— сложение ассоциативно: х + (у + z) = (х + у) + z;
— существует единственный пулевой вектор 0 такой, что
х + 0 = х для любого вектора х\
— для каждого вектора х существует единственный противо-
положный вектор —х такой, что х + (—х) = 0.
В. Каждой паре а, х, где а — число, ах — вектор, отвечает
вектор ах, называемый произведением а и х, причем:
— умножение па число ассоциативно: a([Jr) = КotfDzr:;
— 1 • х = х для любого вектора х.
С. Операции слоящпия и умножения связаны между собой
следующими соотношениями:
— умножении па число дистрибутивна относительно слоясе-
пия векторов: а(х + у) = ах + ау; '
— умножение па вектор дистрибутивно относительно сложе-
ния чисел: (а + [Da: = ах + fix.
Перечисленные аксиомы не претендуют на логическую независимость.
Свойства Л описывают множество векторов с, точки зрения операция сло-
жении и говорят о том, что оно по отношению к этой операции является
абелевой группой. Свойства В описывают множество векторов е точки зре-
ния операции умножения вектора на число. Свойства,С описывают связь
двух операций между собой.
1.32. В любом линейном пространстве для каждого вектора х
имеет место равенство 0 • х = 0, где в правой части 0 означает
пулевой вектор, а в левой 0 — число нуль.
1.33. В любом линейном пространстве для любого 'Вектора х
справедливо соотношение—х= (—I)#.
[ГЛ. [
1.34. В любом линейном пространстве имеет место равенство
а • 0 = 0 для любого числа а.
С точки зрения операций умножения, сложения и вычитания формаль-
но имеют место все правила эквивалентных преобразований алгебраических
выражений в любом линейном пространстве. В дальнейшем эти правила мы
уже не будем оговаривать особо.
1.35. Множество L линейного пространства К называется его.
линейным подпространством, если при тех же операциях, что и
в пространстве К, оно само является линейным пространством.
1.36. Множество, состоящее из одного нулевого вектора, яв-
ляется линейным подпространством. Это подпространство назы-
вается нулевым.
Наименьшим подпространством является нулевое, наибольшим — само
исходное линейное пространство. Эти два пространства называются триви-
альными, остальные — нетр ивиальным и.
1.37. Для того чтобы множество векторов линейного прост-
ранства было его подпространством, необходимо и достаточно,
чтобы это множество вместе с каждой парой элементов х, у со-
держало и все их линейные комбинации ах + $у.
Мы будем называть линейное пространство рациональным, веществен-
ным или комплексным в зависимости от того, является ли поле Р полем
рациональных, вещественных или комплексных чисел, и обозначать соот-
ветственно буквами Р, R и С. Тот факт, что в названии и в обозначении
отсутствует какая-либо ссылка на элементы самого пространства, имеет
глубокий смысл, пбоб этом мы будем говорить позднее.
Важнейшим моментом в создании основ математического анализа яв-
ляется введение понятия функции. Это понятие можно распространить на
произвольные множества. Правило, по которому каждому элементу х неко-
торого непустого множества X ставится в соответствие единственный эле-
мент у некоторого множества У, называется оператором. Результат приме-
нения оператора А к элементу х обозначают у = А (х)' или у = Ах и го-
ворят, что оператор А действует из X в У, или отображает X в У.
Множество X называется областью определения оператора А. Элемент
у называется образом элемента х, а ж,— прообразом элемента у. Совокуп-
ность всех образов называется областью значений оператора А. В том слу-
чае, когда каждый элемент у е У имеет, и притом только один, прообраз,
оператор называется взаимно однозначным. Оператор называется также
отображением, преобразованием или операцией.
В дальнейшем мы будем рассматривать лишь так называемые линей-
ные операторы. Их отличительные особенности заключаются в следующем.
Во-первых, областью определения линейного оператора всегда является не-
которое линейное пространство или его подпространство. Во-вторых, свой-
ства линейного оператора тесно связаны с операциями над векторами ли-
нейного пространства. В общей теории операторов линейпые операторы иг-
рают столь же важную роль, как и линейные функции в математическом
анализе.
1.38. Пусть заданы линейные пространства X, Y над одним
и тем же полем Р. Рассмотрим оператор 4, областью определе,-
иия которого является пространство X, а областью значений —
некоторое множество из У. Оператор А называется линейным,
§ 1] МНОЖЕСТВА, ЭЛЕМЕНТЫ, ОПЕРАЦИИ 15
если
' А (аи + (Jp) = аАи.+ v
для любых векторов и, v е X и любых чисел а, (} е Р.
1.39. Область значений любого линейного оператора есть под-
пространство пространства У.
Оператор, который каждому вектору х е X ставит в соответствие ну-
левой вектор из У, является, очевидно, линейным. Он называется нулевым
оператором и обозначается символом’ 0. Оператор В, построенный по пред-
писанию Вх = —Ах, где А есть линейный оператор из X в Г, также явля-
ется линейным оператором нз X в У. Он называется оператором, противо-
положным оператору А. Зафиксируем произвольное число а и каждому
вектору х е X поставим в соответствие вектор ах е X. Построенный таким
способом оператор будет линейным оператором, действующим из X в А'.
Он называется скалярным. При а = 0 мы получаем нулевой оператор, при
а = 1 — так называемый тождественный оператор. Тождественный опера-
тор обозначается символом Е или I. По определению всегда Ех == х
(1х = х).
1.40. Два оператора А, В, действующие из X в У, называ-
ются равными, если Ах = Вх для всех х^Х. Равенство операто-
ров обозначается А=В.
1.41. Оператор С называется, суммой операторов А, В, дей-
ствующих нз X в У, если Сх = Ах + Вх для всех х е X. Сумму
операторов обозначают С = А + В.
1.42. Оператор С называется произведением оператора Л;
действующего из X в У, на число Л из поля Р, если выполняет-
ся равенство Сх = л • Ах для всех х е X. Это произведение обо-
значают С = ХА.
1.43. Для линейных операторов Л, В операторы А+В и ХА
являются линейными.
1.44. Операция сложения линейных операторов является ал-
гебраической, ассоциативной и коммутативной.
1.45. Множество всех линейных операторов, действующих из
линейного пространства X в линейное пространство У, есть лл-
пейпое пространство.
Рассмотрим три линейных пространства X, У, 1 над одним и тем же
полем Р. Пусть А — оператор, действующий из X в У. В — оператор, дей-
ствующий из У в Z.
1.46. Оператор С, действующий из X в Z, называется произ-
ведением оператора В на оператор А, если Сх = В(Ах) для всех
ttsX. Произведение операторов В и А обозначают С — ВА.
1.47. Произведение линейных операторов есть снова линей-
ный оператор.
1.48. Произведение операторов обладает следующими свой-
ствами:
(ЛВ)С = А (ВС), Х(ВА) = (ХВ)А = В(ХА),
(А + В)С = АС + ВС, А(В+,С) = АВ А-АС.
VbUUBbl ТЕОРИИ
[ГЛ. t
*9
1.49. Множество всех линейных операторов, действующих в
линейном пространстве X, вообще говоря, есть некоммутативное
кольцо.
§ 2. Системы векторов
Рассмотрим множество всех линейных пространств, заданных над од-
ним и тем же полем Р. Естественно спросить, чем же похожи и чем разли-
чаются между собой все эти пространства.
Каждое линейное пространство в своем описапнн содержит две суще-
ственно различные части. Во-первых, линейное пространство есть совокуп-
ность конкретных объектов, называемых векторами. Во-вторых, над этими
конкретными объектами определены операции сложения и умпогкепия на
число. Поэтому можно интересоваться либо природой векторов и их свой-
ствами, либо свойствами указанных операций независимо от природы эле-
ментов.
Во всех практически интересных случаях построение и исследование
линейных пространств осуществляется в два этапа: сначала, учитывая при-
роду векторов, определяют операции сложения н умножения на число,
а затем на основе свойств этих операций изучают сами пространства. Поэ-
тому два пространства, устроенные одинаково по отношению к операциям
сложения н умножения на' число, можно считать обладающими одинаковы-
ми свойствами.
2.1. Два линейных пространства, заданных над одним и тем
же полем, называются изоморфными, если между их векторами
Можно установить такое взаимно однозначное соответствие, при
котором сумме любых двух векторов первого пространства будет
отвечать сумма соответствующих векторов второго пространства,
а произведению какого-либо числа на вектор первого простран-
ства будет отвечать произведение того же числа на соответствую-
щий вектор второго пространства.
2.2. G точки зрения всех следствий, вытекающих из аксиом
линейного пространства, изоморфные пространства неотличимы
друг от друга.,
. 2.3. Отношение изоморфизма есть отношение эквивалент-
ности.
Согласно ’утверждению 1.8 мно.кество всех линейных пространств, за-
данных над одним и тем же полем, может быть разбито на классы. ПрИ
этом в каждый класс будут входить изоморфные пространства, н только
они. Так как изоморфные пространства неотличимы друг от друга, то вме-
сто изучения всех линейных пространств, заданных над одним полем, мож-
но изучать лнпГь представителей на -каждого класса. К описанию этих
представителен мы н переходим.
2.4. Вектором размерности п (или п-мерным вектором) назы-
вается упорядоченная совокупность из п чисел поля Р. Если
.г-^вектор, определяемый числами-а(, а2, • • , <%п, то будем пи-
сать
г, = (а,, а2, ..., а„).
2.5. Числа а>, ..., а„ называется координатами вектора х.
СИСТЕМЫ ВЕК -ОРОВ
.: 2.6. Если векторы х, у размерности п .заданы своими коор-
динатами: х=(.а,, ..ап), у = (pi, ..., р„), то суммой этих век-
торов называется вектор
х + у = (а, + [}), а2 + р2, . -ал + р„).
. . 2.7. Если вектор х задан своими координатами 2.4, то произ-
ведением вектора на число X из поля Р называется вектор
Ах = (Ха(, Ха2, • •., Хап).
2.8. Нулевым вектором называется вектор, все координаты
которого равны пулю, т. е. О = (0, ..., 0).
2.9. Вектором, противоположным вектору 2.4, называется
вектор
—х = (—а(, ..., — а„).
2.10. Множество векторов 2.4 с операциями 2.6, 2.7 есть ли-
нейное пространство. Это ’ пространство называется арифметиче-
ским пространством размерности п и обозначается Рп. Размер-
ность пространства Рп обозначается dim Рп.
2.11. Линейное пространство, изоморфное пространству Р„,
называется конечномерным^
2.12. Линейное пространство, не изоморфное никакому про-
странству называется бесконечномерным.
Таким образом, все линейные пространства, заданные над одним и тем
же полем Р, разбиваются на два класса — конечномерные и бесконечномер-
ные. Типичным примером бесконечномерного пространства является
множество всех вещественных функций, заданных на одном и том же
отрезке, с естественными операциями сложения функций и умножения
функции на вещественное число. Различные пространства получаются при
Наложении на допустимые функции различных условий гладкости. Вообще
говоря, бесконечномерные пространства в большинстве случаев оказывают-
ся связанными с пространствами типа Р», которые определяются аналогич-
но 2.4—2.7, но с бесконечным числом координат каждого вектора. Однако
мы не будем изучать такие пространства.
Мы будем иметь дело в дальнейшем только с вещественными и ком-
плексными арифметическими пространствами’R„, С„ и с изоморфными нм
пространствами. При этом под размерностью произвольного конечномерного
пространства будем понимать размерность изоморфного ему арифметиче-
ского пространства. Если при формулировке какого-либо определения или
утверждения не подчеркивается, о каком пространстве идет речь, то это
означает, как правило, что рассматриваются сразу и вещественное и ком-
плексное пространства, причем слово «арифметическое» чаще всего будет
опускаться.
2.13. Вектор е называется единичным, если одна его коорди-
ната равна единице, 'а остальные равны нулю.
2.14. В п-мериом арифметическом лространстве совокупность
единичных векторов
Л = (1, 0, 0, ..., 0), р2 = (0, 1, 0, ..., 0), ..., р,. = (0, 0, 0, ..., 1)
I . t
называется естественным базисом пространства.
2 в. В. Воеввдон, Ю. А. Кузнецов <
основы ТЕОРИИ
[ГЛ t
2.15. Для любого вектора x=(af, а2, а„) справедливо
следующее представление:
х = a,Pi + агрг +... + апр„.
2.16. Пусть заданы система векторов е„ ег, ..., е„ и вектор х.
Если при некоторых числах а„ а2, • .., а,. выполняется равенство
х = a,et + а2е2 +_+ а„е„,
то говорят, что вектор х линейно выражается через векторы
е„, или представлен в виде разложения по этим векторам.
2.17. Правая часть равенства 2.16 называется линейной ком-
бинацией векторов ..., еп, числа а„ ..., а„ — коэффициента-
ми линейной комбинации.
2.18. Пусть задана система векторов е,, ..., еп- Множество
всех линейных комбинаций векторов е(, ..., е„ называется ли-
нейной оболочкой этой системы векторов и обозначается L(eh ...
* •., е«).
2.19. Линейная оболочка любой системы векторов из любого
липеймог.о пространства является линейным подпространством.
2.20. Линейная оболочка векторов et, ..., еп есть «наимень-
шее» линейное подпространство, содержащее эти векторы, т. е.
любое линейное подпространство, содержащее какую-либо систем
му векторов, содержит и ее линейную оболочку.
Интерес к линейным оболочкам определяется несколькими обстоятель-
ствами. Во-первых, любая линейная оболочка устроена очень просто — это
совокупность всех линейных комбинаций векторов заданной системы. Во-
вторых. любая линейная оболочка является линейным пространством.
И наконец, согласно представлению 2.15 любое арифметическое простран-
ство есть линейная оболочка векторов своего естественного базиса. В об-
щем случае каждое линейное пространство содержит в себе бесчисленное
множество других линейных пространств — линейных оболочек всевозмож-
ных своих систем векторов. В основе исследования связи линейных прост-
ранств, лииейцых оболочек и порождающих их систем векторов лежит од-
но из самых фундаментальных понятий — понятие линейной зависимости
системы векторов.
2.21. Система векторов еь е2, ..., е„ называется линейно за-
висимой, если один из векторов линейно выражается через
остальные векторы системы или эта система состоит из одного
нулевого в ед тора.
2.22. Система векторов, не являющаяся линейно зависимой,
называется линейно независимой.
2.23. Система векторов et, е«, ..., еп линейно независима тог-
да и только тогда, когда из равенства
tXi^i + а2е2 + ... + ане„ = 0
следует равенство пулю всех коэффициентов линейной комби-
нации.
6 2]
СИСТЕМЫ ВЕКТОРОВ
19
2.24. Система, содержащая пулевой вектор, линейно зависима.
2.25. Система, состоящая из одного ненулевого вектора, ли-
нейно независима.
2.26. Если в системе векторов некоторая подсистема линейно
зависима, то и вся система линейно зависима.
2.27. Система векторов линейно независима тогда и только
тогда, когда линейно независима любая ее подсистема.
2.28. Пусть система векторов е„ ..., еп линейно независима,
а система е„ ..., еп, х линейно зависима. Тогда вектор а: линей-
но выражается через векторы е„ ..., е„.
2.29. Система векторов е„ ег, ..., е,, линейно зависима тогда
и только тогда, когда либо «1 = 0, либо некоторый вектор
2 к п, линейно выражается через предшествующие векторы.
2.30. Система векторов ..., еп линейно зависима тогда и
только тогда, когда либо е„ = 0, либо некоторый вектор еЛ,
га— 1, линейно выражается через последующие векторы.
2.31. Если какой-либо вектор линейного пространства един-
ственным образом представляется в виде линейной комбинации
векторов е,, ..., е„, то эта система векторов линейно независима.
2.32. Если система векторов линейно независима, то любой
вектор ее линейной оболочки единственным образом представля-
ется в виде линейной комбинации векторов системы.
2.33. Если система векторов линейно зависима, то для любо-
го вектора ее линейной оболочки существует бесконечно много
разложений по векторам системы.
2.34. Если каждый из векторов линейно независимой системы
elt ..., еп линейно выражается через векторы р(, ..., ут, то
п С т.
Линейная оболочка может порождаться различными системами векто-
ров — как зависимыми, так и независимыми. Естественно предположить,
что все эти системы должны обладать некоторыми общими свойствами.
2.35. Две системы векторов щ, ..., еп и Д, ..., /т называются
эквивалентными, если каждый из векторов одной системы ли-
нейно выражается через векторы другой системы.
2.36. Эквивалентность систем векторов есть отношение экви-
валентности (см. 1.7).
2.37. Две системы векторов эквивалентны тогда и только тог-
да, когда их линейные оболочки совпадают.
2.38. Эквивалентные линейно независимые системы векторов
содержат одинаковое число векторов.
2.39. Любые га + 1 векторов из линейной оболочки системы,
содержащей га векторов, линейно зависимы.
2.40. Если не все векторы системы нулевые, то в этой систе-
ме можно выбрать эквивалентную ей линейно независимую под- |/
систему. Всякая такая подсистема называется базой данной 1
системы.
20
ОСНОВЫ ТЕОРИИ
[ГЛ. I
Г / 2.41. Все базы одной и той же системы векторов состоят из
/ одинакового числа векторов. Это число называется рангом си-
•' стемы. Если все векторы системы пулевые, то ее ранг считается
равным пулю.
2.42. Пусть ранг системы векторов равен г. Если некоторая
ее подсистема содержит более г векторов, то опа линейно за-
висима.
2.43. Любая лппейпо независимая подсистема, содержащая г
векторов,, является базой системы.
2.44. Любую лппейпо независимую подсистему данной си-
стемы векторов можно достроить до базы этой системы.
2.45. Если векторы одной системы линейно выражаются че-
рез векторы другой системы, то ранг первой системы не больше
ранга второй.
2.46. Если две системы векторов имеют одинаковый ранг и
векторы одной системы линейно выражаются через векторы дру-
гой, то эти системы эквивалентны.
Эквивалентные системы векторов позволяют дать полное описание
строения линейных пространств как линейных оболочек некоторых систем
векторов и указать свойства этих систем.
2.47. Система из векторов естественного базиса арифметиче-
ского пространства линейно независима.
2.48. В арифметическом пространстве размерности п пе мо-
жет существовать линейно независимая система, содержащая
более п векторов.
2.49. В арифметическом пространстве размерности п любая
линейно независимая система, содержащая п векторов, эквива-
лентна естественному базису.
2.50. Любое арифметическое пространство размерности п яв-
ляется линейной оболочкой любой своей линейно независимой
системы из п векторов.
2.51. Никакое арифметическое пространство размерности и
пе может являться линейной оболочкой системы, содержащей
менее п векторов.
2.52. Линейно независимая система из п векторов арифме-
тического пространства размерности п называется базисом про-
странства.,
Базис имеет огромное значение при изучении линейных пространств и
постоянно используется в самых различных исследованиях. Именно сущест-
вование базисов в произвольных конечномерных пространствах позволяет
создавать конструктивные методы изучения как самих пространств, так и
функции в этих пространствах. Базис позволяет легко описать строение
любого линейного пространства, причем простота описания в значительной
мере определяется конкретным выбором базиса. Конечно, естественный базис
является самым простым и удобным, однако им можно воспользоваться
очень редко, да и то только в арифметическом пространстве. Например,
любая линейная оболочка является линейным пространством. Но среди
векторов, образующих ее базисы и рассматриваемых как векторы осповно-
МАТРИЦЫ И ОПЕРАТОРЫ
21
§ 3]
то арифметического пространства, может просто не быть ни одного единич-
ного вектора.
В произвольном конечномерном линейном пространстве, вообще говоря,
все базисы равноправны. Их неравноправие начинается лишь тогда, когда
мы рассматриваем базисы по отношению к каким-либо другим объектам
линейного пространства, например по отношению к какому-нибудь фиксиро-
ванному базису пли системе векторов или по отношению к каким-либо
функциям, введенным в линейном пространстве, и т. п. Как уже отмеча-
лось, любой вектор может быть представлен своим разложением по любому
базису.
2.53. Если имеет место равенство 2.16, где е„ еп являют-
ся векторами базиса, то оно называется разложением вектора х
по базису, а числа а,, ..., а„ называются координатами векто-
ра относительно этого базиса.
2.54. Разложение любого вектора по любому базису един-
ственно.
2.55. Все координаты нулевого вектора относительно любого
базиса равны нулю.
2.56. При сложении двух векторов их координаты относи-
тельно любого базиса складываются.
2.57. При умножении вектора на число его координаты от-
носительно любого базиса умножаются на это число.
Аналогичные утверждения можно было бы продолжить, одпако в этом
лет никакой необходимости. Предположим, что задано некоторое конечно-
мерное линейное пространство К размерности п. В .частности, это может
быть и арифметическое пространство. Выберем в К какой-либо базис
е,, ..., е„ и каждому вектору х пз К поставим в соответствие вектор х,., со-
ставленный из коордппат вектора х в выбранном базисе. Это соответствие
пе только отображает пространство К взаимно однозначно на арифметиче-
ское пространство, по и отображает изоморфно. Поэтому при таком отобра-
жении любая линейно зависимая система переходит в линейно зависимую,
ранг системы пе изменяется, базис переходит в базис и т. д.
Установленная связь между произвольными конечномерными п ариф-
метическими пространствами позволяет ограничиться исследованиями, свя-
занными только с арифметическими пространствами. Но чтобы не потерять
общности исследований, мы время от времени будем обращаться к произ-
вольным линейным пространствам.
§ 3. Матрицы и операторы
Как уже отмечалось ранее, множество всех линейных операторов, дей-
ствующих из одного линейного пространства в другое, есть линейное про-
странство (см. 1.45). Исследование этого пространства с помощью базиса
является эффективным п приводит к возникновению исключительно важ-
ного матричного аппарата.
3.1. Для любого базиса et, ..., em m-мерного пространства X
п любой системы векторов ..., /т «-мерного пространства У
существует такой линейный оператор А, что jk = Aek для всех к.
Если х — + ... + tmem, то
m
Ах = 2 Ikfk-
‘ lt-1
VtHUDDl иьигим
[ГЛ. 1
zz
3.2. Лилейный оператор, действующий из пространства X в
пространство У, однозначно определяется совокупностью обра-
зов какого-либо базиса пространства X.
3.3. Линейное пространство операторов, действующих из т-
мерного пространства X в n-мерное пространство У, есть конеч-
номерное пространство размерности тп.
Если в пространстве линейных операторов выбрать некоторый базис,
то тем самым устанавливается изоморфное соответствие пространства опе-
раторов арифметическому пространству векторов. При этом операция про-
изведения операторов порождает соответствующую операцию пад вектора-
ми. Однако прямой подход в данном случае оказывается не самым лучшим.
Значительно более интересные результаты можно получить, если базис в
пространстве операторов выбрать связанным определенным образом с ба-
зисами тех пространств, в которых заданы сами операторы. К тому же
оказывается, что вектор арифметического пространства, соответствующий
оператору, удобнее записывать не в виде строки 2.4, а в виде некоторой
прямоугольной таблицы.
3.4. Матрицей называется совокупность вещественных или
комплексных чисел ai}, расположенных в виде прямоугольной
таблицы:
^12 ’ ' ’ &1т
а.21 а.22 • • • а-2т
&п2 * ' * &пт_
/3.5. Числа Яц называются элементами матрицы. Индексы г, J
означают, что элемент аа расположен па пересечении г-й строки
и /-го столбца матрицы. Если т или п равно единице, то соот-
ветствующий индекс может отсутствовать.
3.6. Если матрица имеет п строк и т столбцов, то она назы-
вается матрицей размера пХт.
, 3.7. Матрица называется квадратной матрицей порядка п,- ес-
ли п = т. В общем случае матрица называется прямоугольной.
3.8. Прямоугольная матрица размера и X 1, состоящая из од-
ного столбца
«г
а,
называется столбцевой и обозначается (<Zj, а2, ..., а„).
3.9. Прямоугольная матрица размера 1 X иг, состоящая из од-
ной строки [Pjр2...называется строчной и обозначается
(Р1, Рг» • • •, Pm).
3.10. Столбцевая матрица’называется также -вектор-столбцом,
строчная матрица называется вектор-строкой. Если не возникает
3]
МАТРИЦЫ И ОПЕРАТОРЫ
23
каких-либо недоразумений, то оба вида матриц называются про-
сто векторами.
Для обозначения, матрицы используются различные символы, напри-
мер: А, А(пХ т), Л(а,;), А = (afj) и т. п., или же она указывается явно
в виде таблицы, в зависимости от того, какие характеристики матрицы
нужно отметить, В случае необходимости указать элемент, расположенный
па пересечении z-й строки и /-го столбца матрицы, или Л-й элемент векто-
ра, заданные выражением {•}, используются символы соответственно {•}.,
или (•}*. В некоторых случаях один или оба индекса ставятся вверху. По
отношению к векторам, заданным своим разложением по какому-либо ба-
зису, символ означает не что иное, как k-ю координату этого разло-
жения.
3.11. Пусть в m-мерпом пространстве X задап базис et,...,em,
в n-мерпом пространстве У — базис q,, ..., qn. Линейный опе-
ратор Л, действующий из X в У, однозначно определяется на-
бором чисел {Ae,}j для 1i =£ m, 1 j =£ п.
3.12. При фиксированных базисах et, ..., em и qt, ..., qn в
пространствах X, У матрица размера nXm с элементами на-
зывается матрицей оператора А в выбранных базисах, если а0 =
= {Ae,}j для всех i, j.
3.13. При введенных выше обозначениях выполняются соот-
ношения
п
Aej = 2 asjqs-
3.14. Пусть у = Ах, где А есть линейный оператор, действу-
ющий из пространства X в пространство У. Если векторы х„ у
заданы своими разложениями
тп п
X = S i-e.), У = 2
j-^I i-I
по базисам, то при введенных Выше обозначениях выполняются
соотношения
Д1 = Я11В1 + <*12?2 + . • • + Щт&п,
Дг = «21^1 + «22^2 +...+- «2т^т,
i]n = + «,,2^2 + ... + а„т£т.
Между линейными операторами, действующими из m-мерного простран-
ства X в п-мерное пространство Y пад общим полем Р, и прямоугольными
матрицами размера п X ш с элементами из того же поля Р установлено
взаимно однозначное соответствие. По существу, матрица оператора есть
вектор того арифметического пространства размерности тп, которому изо-
морфно пространство линейных операторов. Все различие заключается лишь
в том, что этот вектор удобно записывать не строкой своих координат, а мат-
рицей.
Базис пространства линейных операторов, с помощью которого устанав-
ливается отображение данного пространства па арифметическое, устроен
[ГЛ. t
очень просто. Это есть совокупность из тп линейных операторов Ец, у ко-
торых при выбранных базисах в пространствах X, У все элементы матриц,,
за исключением одного, являются нулевыми. Ненулевой элемент находится
В. позиции (г, /) и равен единице. Координаты образа, прообраза и линеп-
.пого оператора в своих базисах связаны между собой соотношениями 3.14.
Чтобы говорить об изоморфизме множества линейных операторов и:,мат-
риц, необходимо определить для матриц понятие равенства и ввести сорт-
ветствующие операции сложения, произведения и умножения на число.'
3.15. Матриц;>1 А и В называются равными, если они имеют
одинаковые размеры и {A),j = {Б},; для всех i, j. Равенство мат-
риц А а В обозначается А — В.
3.16. Отношение равенства матриц есть отношение эквива-
лентности. •
3.17. Суммой матриц А и В размеров т X н называется мат-
рица С размера тХп, если {C}tj = {А};> + {5}fJ для всех г, /. Эта
операция обозначается С — А + В.
3.18. Произведением матрицы А размера т X п па число а
называется ^матрица С размера тХп, если {£},; = а{А}„ для
всех г, /. Эта операция обозначается С = аА.
3.19. Разностью матриц А и В размеров тХп называется
матрица С размера тХп, если {С)ц = {А}ц — {В}^ для всех i, j.
Эта операция обозначается С = А — В.
3.20. Произведением матрицы А размера т X п и матрицы В
размера п X р называется матрица С размера т X р, если
п
fc=l
для всех г, /. Эта операция обозначается С = АВ.
3.21. Операция сложения матриц коммутативна и ассоциа-
тивна, т. е. ,
А+В = В + А, (А + В) + С = А + (В + С).
3.22. Всегда выполняется соотношение А — В = А + (—1)В.
3.23. Для выполнимости операции произведения двух матриц
необходимо и достаточно, чтобы число столбцов левого сомножи-
теля равнялось числу строк правого сомножителя.
3.24. Операция произведения матриц не является в общем
случае коммутативной.
3.25. Если для каких-либо матриц А и В выполняется равен-
ство АВ = ВА, то матрицы называются коммутирующими или
перестановочными.
3.26. Если операция произведения матриц выполнима, то она
ассоциативна, т. е. (АВ)С = ACBCY.
3.27. Для выполнимости операции 'произведения нескольких
матриц, -заданных в определенном порядке, необходимо и доста-
точно., чтобы чцедо столбцов каждой матрицы равнялось числу
строк соседней .матрицы справа. В этом случае произведение мат-
§ 3]
, МАТРИЦЫ И ОПЕРАТОРЫ
25-
риц определяется однозначно и может быть вычислено прп про-
извольном порядке расстановки скобок,
3.28. Если операция произведения матриц выполнима, то опа
дистрибутивна по отношению к операции сложения, т. е.
(Л + В)С = АС + ВС, D(A + В) = DA + DB.
3.29. В терминах введенных операций соотношения 3.14 мо-
гут быть записаны следующим образом:
3.30. Множества линейных операторов и матриц с соответ-
ствующими операциями изоморфны.
3.31. Множество прямоугольных матриц одинаковых разме-
ров т X п образует линейное пространство размерности тп.
3.32. Множество квадратных матриц одного порядка, вообще
говоря, образует некоммутативное кольцо.
Важно подчеркнуть, что все операторные и соответствующие матрич-
ные равенства будут выглядеть совершенно одинаково, если символ Ах по-
нимать как произведение оператора А на вектор х. Так как символика н
свойства операций над матрицами и операторами в этом случае полностью
совпадают, то любое преобразование операторного равенства приводит к
аналогичному преобразованию матричного равенства. Поэтому с формаль-
ной точки зрения безразлично, иметь ли дело с матричными или оператор-
ными соотношениями. Использование матричного аппарата позволяет соз-
давать конструктивные методы исследования, и в этом заключается основ-
ное его достоинство. Операторный аппарат оказывается более удобным, на-
пример, в тех случаях, когда нужно подчеркнуть общие свойства или когда
по каким-либо причинам приходится отказываться от рассмотрения конк-
ретных базисов.
И дальнейшем мы не будем делать различия между операторными и
матричными соотношениями. Более того, все новые понятия и факты, имею-
щие место в отношении операторов (матриц), мы, как правило, без особой
оговорки будем распространять и на матрицы (операторы).
3.33. Матрица А' размера п X т называется транспонирован-
ной 'по отношению к матрице А размера т X и, если (Л '},j =
для всех i, j.
3.34. Имеют место соотношения
(аЛ)' = аА', (А + В)'= А'+ В', (АВУ=В'А', (А')'=А.
3.35. Матрица А размера т X п называется комплексно со- ‘
пряженной по отношению к матрице А размера т X п, если
{Л},, = {ЛЕ,- для всех г, j. Здесь черта означает комплексное соп-
ряжение.
пмиы. ТЕОРИИ
[ГЛ. I
3.36. Имеют место соотношения
(<^А)=аА, (А + Я) = А + В,
(АВ) = А- В, (А)=А.
/ 3.37. Матрица А* размера п X т называется сопряженной по
/ отношению к матрице А размера пгХп, если {Л*),( = М)Ъ для
1 всех i, j.
3.38. Имеют место соотношения
(аА)* = аА*, (И + В)* = А* + В*,
(Л5)* = 5*А*, (А*)* = Л, (А)' = СГ).
3.39. Совокупность элементов матрицы, для которых i = j,
называется главной диагональю' соответствующие элементы а^
называются диагональными. Все остальные элементы называются
внедиагонал ь ными.
f 3.40. QyMMa диагональных элементов матрицы А называется
следом матрицы А и обозначается trA.
3.41. Имеют место соотношения
trA=trA' trA*=trA, tr (ссА) = atr Л,
tr (Л + В) — tr A + tr B, tr (BA) = tr (AB).
3.42. Все элементы матрицы А равны пулю тогда и только
тогда, когда tr (ДА*) = 0.
3.43. Матрица, все элементы которой равны пулю, называ-
ется нулевой и обозначается символом 0.
3.44. Для любой матрицы А и нулевых матриц соответствую-
щих размеров справедливы равенства
А + 0 = 0 + А=А, 0-А=Л 0 = 0.
3.45. Матрица А называется диагональной, если все ее внеди-
агональные элементы равны пулю. Диагональная матрица с
элементами аи, ..., атт обозначается diag (аи, а22, ...,
3.46. Диагональная квадратная матрица с равными диагональ-
ными элементами называется скалярной.
3.47. Диагональная квадратная матрица с диагональными
элементами, равными единице, называется матрицей тождествен-
ного преобразования или единичной и обозначается Е или I.
3.48. При умножении прямоугольной матрицы А справа (сле-
ва) па диагональную матрицу diag (d„ d2,...) все столбцы
(строки) матрицы А умножаются как векторы па числа
d,. d2, ...
3.49. Если квадратная матрица А перестановочна с квадрат-
ной диагональной матрицей D, имеющей попарно различные
диагональные элементы, то матрица А — диагональная.
МАТРИЦЫ И ОПЕРАТОРЫ
27.
§ 3]
3.50. Если квадратная матрица А перестановочна со всеми
квадратными матрицами того же порядка, то матрица А — ска-
лярная.
3.51. Множество матриц, перестановочных с любой фикси-
рованной матрицей А, является подпространством.
3:52. Множество матриц, перестановочных с любой фиксирО'
ванной матрицей А, является кольцом.
3.53. Если матрицы А, В перестановочные, то имеют место
соотношения
(Л + В)2 = Л- + 2АВ + В2,
А-~ В- = (Л + В)(Л — В),
(А + В)п = А'1 + С^Ап~1В + - Вп,
А1' ~ В" = (А — В) (А”-1 + Ап~'2В + ... + АВп~2 + Л”"’).
3.54. Матрицей перестановок называется квадратная матрица,
у которой в каждой строке и в каждом столбце только один эле-
мент отличен от нуля и равен единице.
3.55. При умножении прямоугольной матрицы А справа (сле-
ва) на матрицу перестановок переставляются столбцы (строки)
матрицы А.
3.56. Для любой матрицы перестановок Р всегда выполняются i ,
соотношения Р'Р = РР' = Е. г
3.57. Произведение матриц перестановок одного порядка
есть снова матрица перестановок.
3.58. Множество всех матриц перестановок одного порядка
есть конечная группа по умножению. При этом единичным эле-
ментом группы является единичная матрица, а элементом, обрат-
ным для матрицы перестановок Р,— матрица Р".
3.59. Матрица А с элементами ai} называется правой или
верхней (левой или нижней) треугольной, если а,> = 0 при i > /
(i<j). kU
3.60. Матрица А с элементами называется строго правой ,
пли строго верхней (строго левой или строго нижней) треуголь- ( 4
ной, если йц = 0 при i > у (i С j).
3.61. Сумма и произведение любых двух треугольных матриц
одного наименования есть треугольная матрица того же наиме-
нования.
3.62. Множество треугольных матриц одного размера и одно-
го наименования есть линейное пространство.
3.63. Множество квадратных треугольных матриц одного по- [
рядка и одного наименования есть кольцо. .
3.64. Множество квадратных треугольных матриц с ненуле-
выми диагональными элементами одного порядка и одного наи-
менования есть группа по умножению.
шиши [ГЛ. t
§ 4. Определители, миноры, дополнении
4.1. Совокупность чисел /2, ..., jn, среди которых нет рав-
ных и каждое из которых есть одно из чисел 1, 2, ..и, назы-
вается перестановкой этих чисел. Перестановка 1, 2, ..., п назы-
вается нормальной.
4.2. В множестве из п чисел общее количество перестановок
равно п\.
4.3. Говорят, что в данной перестановке числа i, j образуют
инверсию, если i > /, но I стоит в перестановке раньше ]'.
4.4. Перестановка называется четной, если ее числа состав-
ляют четное количество инверсий, н нечетной — в противном
случае.
4.5. Транспозицией называется преобразование перестановки,
при котором меняются местами какие-либо два числа, не обяза-
тельно стоящие рядом.
4.6. Всякая транспозиция меняет четность перестановки.
4.7. Все и! перестановок из п чисел можно расположить в
таком порядке, что каждая следующая будет получаться из пре-
дыдущей при помощи одной транспозиции, причем начинать мож-
но с любой перестановки.
4.8. Число Четных перестановок равно числу мечетных и
равно
4.9. Определителем п-го порядка, соответствующим квадрат-
ной матрице порядка п, называется алгебраическая сумма п!
членов, составленная следующим образом. Членами определителя
служат всевозможные произведения по п элементов матрицы,
взятых по одному в каждой строке и каждом столбце. Член бе-
рется со знаком плюс, если индексы столбцов его элементов об-
разуют четную перестановку при условии, что сами элементы
расположены в порядке возрастания номеров строк, и со знаком
минус — в противном случае.
4.10. Если необходимо указать явный вид элементов матри-
цы А, то для ее определителя употребляется обозначение
“11 “12 • • “ш
°21 а22 • • • “а?'
“nl “«2 • • • апп
Если же явный вид не нужен, то используется обозначение det А
или 1Л1.
4.11. Определитель не меняется при транспонировании мат-
рицы. Это утверждение означает, что все свойства определителя,
которые имеют место по отношению к строкам матрицы, будут
справедливы также и по отношению к столбцам. Поэтому в даль-
нейшем мы будем указывать только свойства, касающиеся строк.
ОПРЕДЕЛИТЕЛИ, МИНОРЫ, ДОПОЛНЕНИЯ
4.12. Определитель равен нулю тогда и только тогда, когда
строки матрицы образуют линейно зависимую систему.
4.13. Если какую-либо строку матрицы умножить на число
а, то и определитель умножится па число а.
4.14. Если все элементы матрицы порядка п умножить па
число а, то определитель умножится па а".
4.15. Определитель меняет знак, если любые две различные
строки матрицы поменять местами.
4.16. Определитель не меняется, если к какой-нибудь строке
матрицы прибавить любую линейную комбинацию остальных
строк.
4.17. Если все элементы i-й строки представлены в виде сум-
мы ац = ац + «и, то определитель равен сумме двух определите-
лей, у которых все строки, кроме г-й, такие же, как в исходном
определителе, а i-я строка в одном из слагаемых состоит из эле-
ментов «ц, в другом — из элементов ац.
, 4.18. Определитель р-т порядка, составленный из элементов
матрицы А, стоящих па пересечении строк с номерами ц, г2, ...
..., ip и столбцов с номерами у„ у2, ..., ур, называется минором
р-го порядка (матрицы или определителя) и обозначается
А Р1 1'2 ' ’ ’
Vi ’ч • 1'п/
При этом совпадение к.аких-либо индексов в верхней (нижней)'
строке в обозначении минора означает, что совпадают между
собой соответствующие строки (столбцы) самого минора.
4.19. Минор, расположенный в первых р строках и первых
р столбцах, называется ведущим или угловым минором. Минор,
расположенный в столбцах и строках с одинаковыми номерами,
называется главным.
4.20. {Формула Бине — Коши.) Пусть квадратная матрица С
порядка п равна произведению двух прямоугольных матриц А и
В соответственно размеров п X т и т X п, причем тга 5s «. Тогда
12..
12..
*1
1
Z-.
2~
кп
. п
4.21. Пусть квадратная матрица С порядка и равна произ-
ведению двух прямоугольных матриц А и В соответственно раз-
меров п X т и т X п, причем т < п. Тогда det С = 0.
• 4.22. Определитель произведения двух квадратных матриц
равен произведению определителей сомножителей.
4.23. Пусть в строках ц, ..., ц и столбцах •, h опреде-
лителя расположен минор М порядка к. Минор N порядка п — кТ
расположенный в строках и столбцах матрицы, оставшихся после
вычеркивания строк ц, ..., ik и столбцов д, ..., д, называется
иъиикы ТЕОРИИ
[ГЛ t
дополнительным минором для минора М. Число
h
Д'
называется алгебраическим дополнением минора М. Алгебраи-
ческое дополнение элемента ац (минор 1-го порядка) матрицы
А обозначается Ац.
4.24. (Теорема Лапласа.) Пусть в определителе d порядка п
произвольно выбраны к строк (столбцов), где 1 Л: /г — 1. Тог-
да сумма произведений всех миноров к-ro порядка, содержащихся
в выбранных строках (столбцах), на их алгебраические дополне-
ния равна определителю d.
4.25. Пусть в определителе d порядка п произвольно выбра-
ны две различные группы по к строк (столбцов), где 1 к =£ п— 1.
Тогда сумма произведений всех миноров fc-ro иорядка, содер-
жащихся в строках (столбцах) одной группы, па алгебраические
дополнения соответствующих миноров другой группы равна нулю.
4.26. Для любой квадратной матрицы А(а,;) порядка п всегда
выполняются следующие соотношения:
(det А, к = I,
s=l ' ’ 7 ’
п
** —I
(det А,
I о,
к = i,
к ^=-1.
4.27. Определитель диагональной матрицы равен произведе-
нию диагональных элементов.
4.28. Определитель единичной матрицы равен единице.
4.29. Определитель треугольной матрицы равен произведению
диагональных элементов.
''Прежде чем переходить к дальнейшим исследованиям различных ас-
пектов, связанных с определителем, заметим следующее. Существует много
эквивалентных определений этого понятия. Мы рассмотрели одно из них,
самое распространенное, но, пожалуй, и самое формальное. За этим опре-
делением трудно «разглядеть», что же представляет собой эта функция,
если отвлечься от использования конкретных базисов в линейных прост-
ранствах.
Иногда определитель вводится как некоторая рекуррентная (по поряд-
ку матрицы) ’функция, вычисляемая на основе теоремы Лапласа. Наверное,
наиболее наглядно определитель можно было бы ввести как ориентирован-
ный объем системы векторов, о чем речь пойдет дальше. Однако, чем про-
ще выглядит определение определителя, тем сложнее доказать свойство
4.11. Для установления этого свойства неизбежно приходится в той или иной
мере переходить к определению 4.9.
В действительности определитель есть некоторая скалярная функция,
являющаяся пе чем иным, как числовой мерой степени линейной зависи-
мости или независимости системы векторов. Оказывается, что при вполне
естественных ограничениях существует только одна функция, обладающая
свойствами определителя.
4.30. На множестве квадратных матриц существует единст-
венная функция Ф, обладающая следующими свойствами:
J 4] ОПРЕДЕЛИТЕЛИ. МИНОРЫ, ДОПОЛНЕНИЯ
— Ф есть линейная функция по каждой вектор-строке мат-
рицы;
— Ф равна пулю па всех матрицах с линейно зависимыми
вектор-строками;
— Ф равна единице на единичной матрице.
4.31. Функция Ф совпадает с определителем.
4.32. Наивысший порядок отличных от нуля миноров прямо-
угольной матрицы А называется ее рангом и обозначается сим-
волом rank Л. По определению rank 0 = 0.
4.33. Любой отличный от нуля минор порядка rank Л назы-
вается базисным минором матрицы Л.
4.34. Строки и столбцы, на которых расположен базисный ми-
пор, называются базисными.
4.35. Любые базисные строки (столбцы) матрицы образуют
базу ее вектор-строк (вектор-столбцов).
4.36. Для любой прямоугольной матрицы ранги ее систем век-
тор-строк и вектор-столбцов совпадают и равны рангу матрицы.
4.37. На пересечении любых базисных строк и базисных столб-
цов матрицы находится базисный минор.
4.38. В любых г линейно независимых строках (столбцах)
матрицы найдется ненулевой минор порядка г.
4.39. Перестановками строк и столбцов прямоугольной мат-
рицы можно добиться того, что все ведущие миноры, порядок
которых не превосходит ранга матрицы, будут отличны от пуля.
4.40. Перестановками строк (столбцов) квадратной матрицы
с ненулевым определителем можно добиться того, что все веду-
щие миноры будут отличны от нуля.
4.41. Прямоугольная матрица А размера т X п называется
матрицей полного ранга, если rank Л = minim, «}.
4.42. Для любой квадратной матрицы А полного ранга все'
ведущие миноры матриц А*А и АА* неотрицательны, а ведущие
миноры, порядок которых не превосходит rank Л, строго поло-
жительны.
4.43. Матрица размера п X т имеет ранг 1 тогда и только
тогда, когда опа может быть представлена в виде произведения
двух ненулевых .матриц размеров п X 1 и 1 X т.
FiAk. Любую матрицу ранга г можно представить в виде сум-
мы г матриц ранга 1 и нельзя представить в виде суммы мень-
шего числа матриц ранга 1.
4.45. (Неравенство Фробениуса.) Если Л, В, С — прямоуголь-
ные матрицы и произведение ЛВС существует, то
rank Л В + rank ВС =£ rank В + rank АВС.
4.46. (Неравенство Сильвестра.) Если прямоугольные матри-
цы ЛиЙ имеют соответственно п столбцов и строк, то
rank Л + rank В — п rank АВ min {rank Л, rank В}.
[ГЛ Г
• шины Т1ЮИ1И
32
4.47. Имеют место соотношения
гапк(аА) = rank А, а О,
rank А = tank АА* = rank А*А,
rank Л = rank А' = rank А *,
rank АВ min {rank A, rank#},
rank (Л + В) rank А + rank В.
4.48. От умножения слева или справа на матрицы, определи-
тель которых отличен от нуля, рапг не меняется.
4.49. Матрица называется невырожденной (неособенной), ес-
ли ее определитель не равен нулю, и вырожденной (особен-
ной) — в противном случае.
4.50. Матрица является невырожденной тогда и только тогда'
кйгда ее строки (столбцы) лппейпо независимы.
4.51. Произведение невырожденных матриц одного порядка
есть невырожденная матрица.
4.52. Произведение любой квадратной матрицы и вырожден-
ной матрицы есть вырожденная матрица. '
4.53. Матрица А с элементами ац называется присоединен-
ной для квадратной матрицы А с элементами ац, если atj = Ад, где
Aji есть алгебраическое дополнение «д.
4.54. Согласно 4.26 матрица п присоединенная к ней связа-
ны между собой соотношением
АА = АА = det А • Е.
4.55. Определитель матрицы, присоединенной для квадратной
матрицы порядка п, равен (detA)n~*.
4.56. Для любой невырожденной матрицы А существует един-
ственная матрица А-1 такая, что AA-i = A-iA=E. Матрица А~‘
называется обратной к матрице А.
4.57. Обратная матрица связала с присоединенной соотноше-
нием А~‘ = (detА)~‘А, и ее элементы таковы:
^21 Аги
det А det А det А
А'1 = det А del А det А
det А det л det А
4.58. Множество всех невырожденных матриц одного поряд-
ка есть группа но умножению.
§ 41
ОПРЕДЕЛИТЕЛИ, МИНОРЫ, ДОПОЛНЕНИЯ
33 ,
4.59. Имеют место соотношения
(Л)-1 =7л~г), (Л')-1 = (л-1)', (Л*)-1 = (Л-1)*,
(Л5)-1 = Б-1Л-‘.
4.60. Всегда выполняется равенство det Л-1 = (det-Л )~1.
4.61. Пусть матрица Л — невырожденная и матрица В ранга
i представлена в виде В = ху', где х, у — столбцевые матрицы..
Тогда
(Л + Б)"1 = Л-1 - рЛ-'БЛ-1,
где [}=(! + а)-1, а = у'А~1х.
4.62. Если к матрице Л прибавить матрицу ранга 1, то и к
обратной матрице Л-1 прибавляется матрица ранга 1.
4.63. Квадратная матрица Л называется вполне неотрицатель-
ной (вполне положительной), если все миноры любых порядков
этой матрицы неотрицательны (положительны).
4.64. Произведение вполне неотрицательных (вполне положи-
тельных) матриц есть матрица вполне неотрицательная (вполне
положительная).
4.65. Пусть Л — квадратная матрица порядка п. Для задан-
ного числа р, 1 р п, упорядочим все N = Сп сочетаний из
п чисел 1,2, ..., п по р чисел kt < к2 < ... < кр в лексикографи-
ческом порядке. Это означает, что сочетание kt < к2<.. .< kf
предшествует сочетанию < к2 < • • < кр, если кц = кг, ...
.... = kt-i, но к, <Zkj, 1 =£ I =5 р. Составим квадратную мат-
рицу ЛР с элементами
а л ( 21 12 '
CCjj I р
\ . . . ip /
если номер сочетания < i2 < ... < ip равен i, а номер сочетания
Ji < /г <• • •< 1р равен у. Полученная матрица Ар называется р-й
ассоциированной с Л матрицей.
4.66. Ассоциированная матрица для единичной есть единич-
ная.
4.67. Ассоциированная матрица для диагональной есть диа-
гональная.
4.68. Ассоциированная матрица для треугольной есть тре-
угольная того же наименования.
4.69. Имеют место соотношения
Л,=Л, An = detA, (ЛВ)р = ЛРВр, (Л-‘)Р = (ЛР)-1.
4.70. Мипоры матрицы и обратной к ней связаны между со-
бой соотношениями
Л~’
’р
1
det А
Р / z ,
2 / к к, . . .
л , ;
\ ‘1 £2 • • •
\ к2
3 В. В. Воеводин, 10. А. Кувнецоп
34
ОСНОВЫ ТЕОРИИ
[ГЛ. 1
Здесь it < i2 < ... < iP вместе с ii < i2<j • • • < гп-Ри A1<A2< ...
— < кр вместе с < кг < — < kn_v составляют полную си-
стему индексов 1, 2, ..п.
Среди других числовых функций от матриц отметим перманент мат-
рицы. Перманент отличается от определителя тем, что в определении 4.9
каждый член всегда берется со знаком плюс. Для этой функции справед-
ливы многие свойства определителя, например 4.11, 4.13, 4.17, имеют место
аналоги теоремы Лапласа 4.24, формулы Бине — Коши 4.20 и т. п. Однако
перманент не меняется при перестановке строк матрицы. Он не может слу-
жить мерой линейной зависимости или независимости системы векторов.
Легко построить примеры, показывающие, что перманент может быть от-
личен от нуля, даже если строки матрицы линейно зависимы, и равен пу-
лю для матрицы с линейно независимыми строками. Мы не будем более
детально касаться свойств перманента.
§ 5. Скалярное произведение
Абстрактные линейные пространства в некотором смысле беднее свои-
ми понятиями и. свойствами, чем множества направленных отрезков на
плоскости и в пространстве. Беднее прежде всего потому, что в них не на-
щли отражения важнейшие факты, Связанные с измерениями длин, углов,
площадей, объемов и т. д. Распространять метрические понятия на абст-
рактные линейные пространства можно различным образом. Однако самым
эффективным способом задания возможности измерений является аксиома-
тическое введение скалярного произведения векторов.
5.1. Вещественное линейное пространство Е называется ев-
клидовым, если каждой паре векторов х, у из Е поставлено в со-
ответствие вещественное число (х, у), называемое скалярным или
внутренним произведением, причем выполнены следующие акси-
омы:
' {х, у) = (у, х),
(Xz, у) = Х(х, у), >
(х + у, z) = {х, z) + (у, z),
(х, х) > 0 при х 0, (0, 0) = 0
для произвольных векторов х, у, z из Е и произвольного вещест-
венного числа X.
5.2. Комплексное линейное пространство U называется уни-
тарным, если каждой паре векторов х, у из U поставлено в соот-
ветствие комплексное число Gr' у), называемое скалярным или
внутренним произведением, причем выполнены следующие ак-
сиомы:
{х, у) = {у, х),
(Хаг, у) = Х(х, у),
(х + у, z) = (х, z) + (у, z),
(х, х) > 0 при 1^0, (0, 0) = 0
СКАЛЯРНОЕ ПРОИЗВЕДЕНИЕ
35
§ 5]
для произвольных векторов х, у, z и произвольного комплексного
висла X. Черта в первой аксиоме означает комплексное сопря-
жение.
Сравнение аксиом евклидова и унитарного пространств показывает, что
они различаются «всего лишь» комплексным сопряжением в первой аксио-
ме. Однако это небольшое отличйе исключительно важно, и его нельзя
забывать. Если бы в комплексном пространстве аксиомы скалярного произ-
ведения полностью совпадали с аксиомами евклидова пространства, то та-
кое пространство имело бы совсем другие свойства, чем унитарное.
При указанных выше аксиомах большинство фактов евклидова и уни-
тарного пространств оказываются либо одинаковыми, либо очень похожи-
ми. Если какие-либо определения или факты в обоих типах пространств
совпадают полностью или с точностью до замены комплексных чисел веще-
ственными, мы будем приводить соответствующие формулировки только для
унитарных пространств без дополнительной оговорки.
Естественно, что любое подпространство евклидова (унитарного) про-
странства само становится евклидовым (унитарным) пространством, если
в нем сохранить скалярное произведение.
5.3. Со скалярным произведением можно выполнять формаль-
ные алгебраические преобразования, т. е.
' Г 8 \ Г 8
2 «л, 2 = 5 2 «А (ъ, yj)
\i— 1 5=1 / t=l j=l
для любых векторов x<, у,, чисел a,-, fij и любого числа г, s сла-
гаемых.
5.4. Пусть et, , еп — базис линейного пространства и для
произвольных векторов х, у имеют место разложения
х~= §1ё, + §2е2 + ... + |„е„,
У = T]iei + т]ге2 + • • • + т]пе„.'
Скалярное произведение всегда можно ввести следующим образом:
(Х, !/) = g,T) 1 + S2TI2 + . . . + SnT)n-
5.5. {Неравенство Коши — Буняковского.) Для любых векто-
ров х, у справедливо неравенство
I{х, у)|2 С {х, х){у, у).
Это неравенство иногда называют неравенством Шварца.
Мы нс будем сейчас обращать внимание на исследование арифметиче-
ских пространств со скалярным произведением. Наличие естественного ба-
зиса в этих пространствах делает соответствующие иллюстрации почти
очевидными. Так, если векторы заданы своими координатами, то формула
5.4 представляет собой наиболее распространенный способ задания скаляр-
ного произведения через координаты векторов, неравенство Коши — Буня-
ковского превращается в известное неравенство
для двух последовательностей комплексных чисел и т. д.
3*
36
ОСНОВЫ ТЕОРИИ
[ГЛ. t
Однако в арифметическом пространстве скалярное произведение далеко
пе всегда вводится через естественный базис, и к тому же в форме 5.4.
Чтобы не потерять в дальнейшем общности, мы будем использовать в на-
ших исследованиях только сформулированные выше аксиоматические свой-
ства скалярного произведения. Естественно, что при этом все утверждения
остаются в силе и в том случае, когда скалярное произведение задано в
виде 5.4.
5.6. Неравенство Коши — Буняковского обращается в равен-
ство тогда и только тогда, когда векторы х, у коллинеарны, т. е.
либо х = ау, либо у — ах для некоторого числа а.
5.7. Вектор х называется нормированным, если (х, х) = 1.
5.8. Система векторов называется нормированной, если нор-
мированы все ее векторы.
5.9. Любой ненулевой вектор у можно нормировать, если ум-
ножить 'его на число А. = (у, у)“1/2.
5.10. Векторы х, у называются ортогональными, если (я, у) =
= 0.
5.11. Система векторов называется ортогональной, если либо
она состоит из одного вектора, либо ее векторы попарно ортого-
нальны.
5.12. Нормированная ортогональная система векторов назы-
вается ортонормированной.
5.13. Ортогональная система ненулевых векторов всегда ли-
нейно независима.
5.14. Единственный вектор, который ортогонален ко всем век-
торам пространства, есть нулевой вектор.
5.15. Если ..., еп — ортонормировапная система векторов
и для векторов х, у имеют место разложения
х = оке, + а2е2 + ...’ + апеп,
у = Pie, + [}2е2 + ... +
то справедливы равенства
а, = (х, ед, = (у, ед,
(х, у) = аф1 + а2[}2 + ... + ап^п,
(х, х) = 1а,12 + 1а212 + ... + 1а„12.
5.16. В любом конечномерном пространстве со скалярным про-
изведением существует ортонормированный базис.
5.17. Если для какого-либо базиса одно из равенств 5.15 вы-
полняется для всех векторов, то этот базис по отношению к дан-
ному скалярному произведению является ортонормированным.
5.18. Любую ортонормированную систему векторов можно до-
полнить до ортонормированного базиса.
5.19. Два множества векторов называются ортогональными,
если каждый вектор одного множества ортогонален каждому век-
тору другого множества. Ортогональность множеств F и G обоз-
начается F -L G.
§ 51
СКАЛЯРНОЕ ПРОИЗВЕДЕНИЕ
37
5.20. Для того чтобы вектор х был ортогонален к подпрост-
ранству Л, необходимо и достаточно, чтобы он был ортогонален
ко всем векторам какого-либо базиса подпространства L.
5.21. Для того чтобы два подпространства были ортогональны,
необходимо п достаточно, чтобы каждый вектор какого-либо ба-
зиса одного подпространства был ортогонален ко всем векторам
какого-либо базиса другого подпространства.
5.22. Совокупность всех векторов, ортогональных множеству
называется ортогональным дополнением множества F н обоз-
начается
5.23. Ортогональное дополнение любого множества есть под-
пространство.
5.24. Множество К векторов некоторого линейного простран-
ства называется суммой множеств Л,, Л2, ..., Lm этого простран-
ства п обозначается К = Lt + L2 + ... + L,„, если оно состоит п.з
всех векторов вида х = xt + х2 + ... + хт, где xt^,L( для всех i.
5.25. Сумма подпространств есть подпространство.
5.26. Говорят, что линейное пространство К есть прямая сум-
ма своих подпространств Lt, Ь2, ..., L„„ и обозначают
К = Li 4- L2 4-... 4- Lm,
если любой вектор х^К единственным образом представляется в
виде суммы х = + х2 +...+ хт, где х, е Li для всех г. Если
т = 2, то вектор Xi (z2) называется проекцией вектора х па под-
пространство Li (Л2) вдоль подпространства L2 {Li).
5.27. Для того чтобы пространство К было прямой суммой сво-
их подпространств, необходимо и достаточно, чтобы объедине-
ние базисов этих подпространств составляло базис всего прост-
ранства.
5.28. Для того чтобы сумма подпространств была прямой, не-
обходимо и достаточно, чтобы нулевой вектор единственным об-
разом был разложим по векторам базисов подпространств.
5.29. Множество F некоторого линейного пространства назы-
вается пересечением множеств Lt, L2 этого пространства и обоз-
начается F = Li П L2, если оно состоит из векторов, одновре-
менно принадлежащих как так и L2.
5.30. Пересечение подпространств есть подпространство.
5.31. Для любых подпространств Л,, L2 имеет место равенство
dim {Li П L2) + dim {Lt + L2) = dim Li + dim L2.
5.32. Размерность суммы любого числа подпространств не
меньше, чем максимальная из размерностей этих подпространств.
5.33. Для того чтобы сумма подпространств была прямой, необ-
ходимо и достаточно, чтобы пересечение каждого из подпрост-
ранств с суммой остальных содержало лишь пулевой вектор.
38
ОСНОВЫ ТЕОРИИ
[ГЛ. 1
5.34. Сумма К подпространств У, L2, Lm называется ор-
тогональной и обозначается
. K = Lt® L2® ...® Lm,
если подпространства попарно ортогональны.
5.35. Ортогональная сумма ненулевых подпространств всегда
является прямой суммой.
5.36. Евклидово или унитарное пространство есть ортогональ-
ная сумма любого своего линейного подпространства и его орто-
гонального дополнения.
5.37. Для того чтобы ранг какой-либо системы векторов рав-
нялся размерности пространства, необходимо и достаточно, чтобы
единственным вектором пространства, ортогональным всем век-
торам системы, был нулевой вектор.
5.38. Пусть К = Li +__4- Lm и для векторов х, у имеют ме-
сто разложения х = + ... + хт, у = у,+ ... + у„. Для того что-
бы сумма К была ортогональной,. необходимо и достаточно, чтобы
для всех х, у выполнялось равенство (х, у) = (xt, уД + ...
• • .4" (xm, Ут).
5.39. Для любых двух подпространств L, М евклидова или
унитарного пространства К справедливы соотношения
dim L + dim 1У- = dim К;
(1УУ-=Ь, Кх = 0, (У = К;
(L + МУ = М П М\ {L П МУ = M + М-У
если L с М, то М1- с 1У-.
5.40. Длиной Izl вектора х называется величина + (х, х)1/й.
5.41. Для любого вектора х и числа А выполняется равенство
|Ах1 = I Al 1x1.
5.42. Если векторы хь ..., х„ попарно ортогональны, то
1х, + ... + xsl2 = Ixil2 + ... 4- IxJ2.
5.43. Для произвольных векторов х, у имеют место соотноше-
ния llxl — |i/||sSlx — !/15£|х| + |!/|.
5,44. Для любых векторов х, у имеет место тождество парал-
лелограмма 1х — г/12 4- |х4-1/12 — 2(|х|24- Ii/l2).
5.45. Углом {х, у} между ненулевыми векторами х, у евклидо-
ва пространства называется угол, определяемый соотношениями
cos{x, у} = ! , 0<{х, !/}<Л.
Если среди векторов х, у есть хотя бы один пулевой, то угол
между такими векторами считается не определенным. В унитар-
ном пространстве понятие угла между векторами обычно пе
вводится.
5.46. Угол между ненулевыми векторами равен 0 или л тогда
и только тогда, когда векторы коллинеарны.
СКАЛЯРНОЕ ПРОИЗВЕДЕНИЕ
39
§ 5]
5.47. Пусть е(, ..., е„ — ортопормпроваппый базис евклидова
пространства, х — произвольный вектор. Всегда выполняется ра-
венство
cos2 {х, е,} + cos2 {х, е2} + ... + cos2 {х, е„) — 1.
5.48. Расстоянием р(х, у) между векторами х, у называется
величина Iх — у I.
5.49. Расстояние между векторами удовлетворяет следую-
щим свойствам:
р(х, у) = р(у, х);
р(х, у) > 0, если х Ф у, р(х, у) = 0, если х = у‘
р(х, у) < р(х, z) + p(z, у) (неравенство треугольника').
5.50. Расстоянием р(Л, В) между множествами Л, В векторов
одного и того же пространства называется величина
р(Л, В) — inf р(х, у), хе Л, у^В.
5.51. Углом {х, L) между ненулевыми вектором х и подпро-
странством L евклидова пространства называется наименьший из
углов, которые х образует с векторами из L.
5.52. Если евклидово пространство разложено в ортогональ-
ную сумму подпространств Lt, ..., Lp, то
cos2 {х, Lt} + cos2 {х, L2} + ... + cos2 {x, Lp} = 1.
5.53. Каковы бы ни были вектор / и подпространство L, всег-
да существует, и притом единственное, разложение / = g + h, где
g е L, h -L L. Вектор g называется ортогональной проекцией век-
тора / па подпространство L, вектор h — перпендикуляром,
опущенным из / па L. Проекция обозначается prL/, перпенди-
куляр — ortL/.
5.54. Для любых векторов х, у и числа А всегда выполняются
соотношения
prLX = ortr'-X, OrtLX = prt-'-X,
prL(x + у) = prLx + prLy, prL(Ax) = A pr^x,
ort,.(x + y) = ortLx + ortLy, ortL(Ax) = A ortLx,
prL(prLx) = prLx, ortL(ortLx) = ortrX.
5.55. Для того чтобы сумма Lt + L2 подпространств Lt, L2
была ортогональной, необходимо и достаточно, чтобы для любого
вектора х выполнялось равенство
ргн1+н2^ = prLix + prL х.
5.56. Если подпространства A,, L2, ..., Lm попарно ортогональ-
ны, то для любого вектора х справедливо неравенство
гп
И2> SI ргьг-И2,
1=1
40
ОСНОВЫ ТЕОРИИ
[ГЛ 1
причем равенство достигается тогда и только тогда, когда х при-
надлежит ортогональноii сумме этих подпространств.
5.57. Расстояние между вектором и подпространством рав-
но длине перпендикуляра, опущенного из вектора на подпрост-
ранство.
5.58. Ближайшим вектором подпространства к заданному век-
тору является его проекция па это подпространство.
5.59. Угол между вектором п подпространством совпадает с
углом между этим вектором п его проекцией на подпространство.
5.60. Пусть е15 е3— ортопормироваппый базис подпро-
странства L. Для любого вектора х имеют место соотношения
8 S
prL.r = ei)ei> OrtLZ = Z— ei)ei,
i=l i=l
8 S
|рг/.т|2 = S|(^, £i)|2, |ortLz| = |z|2 — £|(*, е.)Г-
i=[ i=l
5.61. Две системы векторов xt, ..., xk и y{, ..., yh называются
биортогоналъными или двойственными, если
5.62. Каждая из биортогопальпых систем линейно незави-
сима.
5.63. Для любого базиса существует единственный биортого-
нальный базис.
5.64. Пусть щ, ..., е„ и /,, ..., /„ — пара биортогопальпых ба-
зисов. Для любого к, 1 к < п, ортогональное дополнение к ли-
нейной оболочке векторов ..., ек совпадает с линейной оболоч-
кой векторов /,,+1, ...,
5.65. Пусть в пространстве со скалярным произведением за-
дана система векторов х1г ..х„. Обозначим через L„ пулевое,
подпространство, через Li — линейную оболочку векторов xt, ...
..., Xi. Объемом У (.г,, ..., z„) системы векторов xt, ..., хп назы-
вается величина
П-1
F (z17 . . . , ,т„) = ПI ortLizi+11.
1=0
5.66. Для любой системы векторов справедливо не-
равенство Адамара
П-1
. . ., I -0+11,
1—0
причем равенство имеет место тогда и только тогда, когда систе-
ма xt, ..хп ортогональна или содержит пулевой вектор.
СКАЛЯРНОЕ ПРОИЗВЕДЕНИЕ
41
§ 5)
5.67. Если система xt, ..., хп нормирована и ее объем равеи
единице, то она ортотрмировапа.
5.68. Среди нормированных систем ортонормироваппая си-
стема имеет максимальный объем.
5.69. Для любых двух ортогональных множеств векторов
х<, ..., Хр и (/1, ..., у, справедливо равенство
V(z„ ..., хР, у„ ..., у‘г) = УСг,, ..., zp)V((/1, ..., у,).
5.70. Разложим векторы ад, ..., х„ по какому-нибудь ортопор-
мироваппому базису е„ ..еп и из координат этого разложения,
расположенных по строкам или столбцам, составим квадратную
матрицу. Модуль определителя данной матрицы всегда совпада-
ет с объемом системы векторов х,, ..., х„.
5.71. Пусть е(, ..., е„ — ортонормироваппая система векторов.
Если для системы е,, ..., е„ выполняется неравенство
1ы2<1,
то система векторов Cj + е,, ..., е„ + е„ линейно независима.
5.72. Евклидовы (унитарные) пространства К и К' называ-
ются евклидово (.унитарно) изоморфными, если они изоморфны
как вещественные (комплексные) линейные пространства и, кро-
ме того, для любой пары векторов х, у из К и соответствующих
векторов х', у' из К' выполняется равенство (х, у) = (х', у').
5.73. Для того чтобы два евклидовых (унитарных) пространст-
ва были евклидово (унитарно) изоморфны, необходимо и доста-
точно, чтобы были равны их размерности.
5.74. Пусть даны два евклидовых (унитарных) пространства
одной размерности. Выберем в каждом пространстве по какому-
нибудь ортонормпрованному базису и установим соответствие
между теми векторами, которые имеют одинаковые координаты
соответственно в своих базисах. Это соответствие есть евклидов
(унитарный) изоморфизм.
Установление изоморфизма между двумя пространствами со скаляр-
ным произведением позволяет в теоретическом плане ограничиться иссле-
дованием арифметических пространств со скалярным произведением 5.4 по
отношению к естественному базису. В реальных ситуациях не всегда мож-
но указать ортоиормированнып базис, позволяющий установить изоморфное
соответствие арифметическому пространству. Именно этим, в основном, и
объясняется наше стремление сохранить большую общность. Кроме того,
не всегда за определенными фактами в арифметических пространствах лег-
ко увидеть существенные моменты. В качестве примера приведем следую-
щее утверждение.
5.75. Пусть в арифметических пространствах скалярные про-
изведения введены согласно 5.4 по отношению к естественным
базисам. Для любой прямоугольной матрицы А и любых векто-
42
ОСНОВЫ ТЕОРИИ
[ГЛ. 1
ров х, у соответствующих размеров всегда выполняется равенство
(Ах, у) = (х, А*у).
Рассматривая это равенство с точки зрения формальных матричных
определений и естественного скалярного произведения, трудно увидеть что-
нибудь большее, чем то, что написано.
В заключение мы хотели бы обратить внимание па утверждение 5?71.
Из него вытекает, что при малых изменениях ортопормированиых систем
сохраняется их линейная независимость. В других системах это свойство
уже не проявляется в столь четком виде, так как малость изменения зави-
сит в общем случае от меры линейной независимости исходной системы.
Эта особенность ортопормированиых систем определила их широкое ис-
пользование при построении самых различных вычислительных алгоритмов.
§ 6. Системы линейных алгебраических уравнений
6.1. Системой линейных алгебраических уравнений относитель-
но неизвестных Xt, х2, хт называется совокупность уравнений
вида
а^х, + а12х2 + ... + almxm = yt,
а21х, + а,2х2 +...+ а2тх,л = у2,
. ап,х, Ч~ ая2х2 -Ь ... Ч- аптхт ул.
Числа называются коэффициентами системы, числа у, — ее
правыми частями.
6.2. Упорядоченная совокупность неизвестных, удовлетворяю-
щая каждому из уравнений, называется решением системы.
6.3. Если система имеет хотя бы одно решение, то опа назы-
вается совместной; в противном случае система называется не-
совместной.
6.4. Если система совместна, то каждое ее решение называет-
ся частным; совокупность всех частных решений называется об-
щим решением.
6.5. Система называется неоднородной, если среди ее правых
частей есть хотя бы одна отличная от пуля; в противном случае
система называется однородной.
6.6. Система, полученная путем замены всех правых частей
пулями, называется приведенной однородной системой.
6.7. Однородная система всегда совместна, так • как одним из
ее частных решений является пулевое решение.'
6.8. Две совместные системы линейных алгебраических урав-
нений относительно одних и тех же неизвестных называются эк-
вивалентными, если каждое решение одной системы является ре-
шением другой системы.
§ 6J
СИСТЕМЫ ЛИНЕЙНЫХ АЛГЕБРАИЧЕСКИХ УРАВНЕН
43
6.9. В терминах матричных операций система линейных алгеб-
раических уравнений может быть записана следующим образом:
вектор у, составленный из чисел у„ ..., уп,— вектором правых
частей системы или просто правой частью.
В этих обозначениях система линейных алгебраических уравнений вы-
глядит так: Ах = у.
Решение систем линейных алгебраических уравнений является одной
из самых важных задач линейной алгебры. Как вытекает пз соотношений
3.14, к ней сводится нахождение по заданному образу при линейном ото-
бражении одного пространства в другое всех или части его прообразов.
К решению лилейных систем сводится также определение координат век-
торов при их разложении по заданному базису, установление принадлеж-
ности вектора заданной линейной оболочке и многое другое. Все эти задачи
особенно наглядны в арифметических пространствах, если к тому же под
линейным преобразованием понимать умножение матрицы на вектор.
Совпадение символической записи для линейного преобразования и
системы линейных алгебраических уравнений, конечно, не случайно, если
принять во внимание изоморфизм линейных операторов и матриц. Задача
решения систем, по существу, полностью совпадает с задачей исследования
множества прообразов по заданному образу при фиксированных базисах в
пространствах. Поэтому снова, вводя новые понятия и получая новые факты
в отношении матриц, мы будем распространять их, как правило, и па опе-
раторы без специальных оговорок.
6.11. В терминах векторных операций (точнее, операций пад
столбцевыми матрицами) система линейных алгебраических урав-
нений может быть записана следующим образом:
аи
“и
в22
ат
ani
Система линейных алгебраических уравнений совместна
только тогда, когда вектор правой части принадлежит
6.12.
тогда и
линейной оболочке вектор-столбцов матрицы системы.
6.13. Матрица, полученная приписыванием справа к матрице
системы столбца правых частей, называется расширенной мат-
рицей системы.
6.14. (Теорема Кронекера — Капелли.) Для того чтобы систе-
ма линейных алгебраических уравнений была совместна, необхо-
димо и достаточно, чтобы ранг расширенной матрицы системы
равнялся рангу матрицы системы.
44
ОСНОВЫ ТЕОРИИ
[ГЛ t
6.15. Общее решение приведенной однородной системы обра-
зует в m-мерпом арифметическом пространстве подпространство
размерности т — г, где г — ранг матрицы системы.
6.16. Любой базис подпространства решений приведенной од-
нородной системы называется фундаментальной системой ре-
шений.
6.17. Общее решение неоднородной системы получается пу-
тем прибавления к общему решению приведенной однородной си-
стемы любого частного решения неоднородной системы.
6.18. Разность любых двух частных решений неоднородной си-
стемы есть частное решение приведенной однородной системы.
6.19. Для того чтобы совместная система имела единственное
решение, необходимо п достаточно, чтобы ранг матрицы системы
был равен числу неизвестных.
6.20. Для того чтобы однородная система имела ненулевое ре-
шение, необходимо и достаточно, чтобы ранг матрицы системы
был меньше числа неизвестных.
6.21. Однородная система с квадратной матрицей имеет нену-
левое решение тогда и только тогда, когда матрица системы вы-
рожденная.
6.22. Система линейных алгебраических уравнений Ах = у
с квадратной матрицей Л имеет единственное решение тогда и
только тогда, когда матрица А невырожденная. В этом случае
решение задается формулой х=А~'у.
6.23. (Формулы Крамера.) Рассмотрим систему линейных ал-
гебраических уравнений с невырожденной матрицей. Обозначим
через d определитель матрицы системы, через d, — определитель,
отличающийся от d лишь тем, что в нем /-й столбец заменен
столбцом правых частей. Тогда единственное решение системы
может быть вычислено по формулам xs = djd для всех /.
Несмотря па то, что формулы Крамера дают ясное представление ре-
шения системы с невырожденной матрицей, они редко используются в
практических расчетах. Основные причины этого заключаются в большой
трудоемкости процесса вычисления всех определителей и в численной его
неустойчивости. Однако в теоретическом отношении формулы Крамера не-
редко оказываются полезными, так как позволяют исследовать зависимость
решения от элементов матрицы и правой части.
Теорема Кронекера — Капелли формулирует необходимое и достаточное
условие разрешимости системы в терминах ранга матрицы. Это не очень
удобно, так как не позволяет заметить той глубокой связи, которая сущест-
вует между линейными системами и уравнениями других типов. В даль-
нейших исследованиях существенно используется соотношение 5.75, поэто-
му будем считать, что скалярное произведение введено согласно 5.4, через
естественный базис.
6.24. Пусть X, Y — арифметические пространства размерности
соответственно in, п н А—матрица размера п X тп. Множество
векторов х е X, для которых Ах = 0, называется ядром матри-
цы А и обозначается ker^l. Размерность ядра матрицы А иногда
называется ее дефектом. Множество векторов J/ е У, для которых
§ 6]
СИСТЕМЫ ЛИНЕЙНЫХ АЛГЕБРЛИЧЕ .КИХ УРАНИТ. ши
40
у = Ах хотя бы для одного вектора х^Х, называется образом
матрицы А и обозначается ini И.
6.25. Образ п ядро любой матрицы суть подпространства, при
этом всегда имеют место равенства
dim (im А) = rank Л, dim (ker Л) = т — rank Л.
6.26. Для любой матрицы Л и сопряженной к ней матрицы
Л* всегда выполняются соотношения
rank Л = rank Л*,
dim (ker Л) = dim (kerЛ*),
ker Л* = (im Л )х, кегЛ = (!тЛ*)-\
кег (Л*Л) = кет Л, im (Л*Л) = im Л*,
кег (ЛЛ*) = кегЛ*, im (ЛЛ*) = im Л.
6.27. Для арифметических пространств X, Y со скалярным про-
изведением при любой матрице Л справедливы разложения
X = ker Л ® im Л* = ker (Л*Л) ® im (Л*Л),
У = ker Л* ® im Л = ker (ЛЛ*) ® im (ЛЛ*).
6.28. Или неоднородная система Ах = у имеет решение при
любой правой части, или сопряженная однородная система
Л*и = 0 имеет по крайней мере одно ненулевое решение.
6.29. {Альтернатива Фредгольма.) Или неоднородная система
с квадратной матрицей всегда имеет, п притом единственное, ре-
шение при любой правой части, или сопряженная однородная си-
стема имеет по крайней мере одно ненулевое решение.
6.30. {Теорема Фредгольма.) Для того чтобы неоднородная си-
стема с квадратной матрицей была разрешима, необходимо и до-
статочно, чтобы правая часть, была ортогональна ко всем реше-
ниям сопряженной однородной системы.
6.31. Если система Ах — у совместна, то среди ее решений су-
ществует только одно, принадлежащее 1тЛ*. Это решение назы-
вается нормальным.
6.32. Среди всех решений системы Ах = у нормальное реше-
ние является единственным, которое ортогонально ядру матри-
цы Л.
6.33. Среди всех решений системы Ах = у нормальное реше-
ние имеет минимальную длину |дг|. '
6.34. Для того чтобы система линейных алгебраических урав-
нений Ах = у была совместна, необходимо и достаточно, чтобы
правая часть у была ортогональна ядру матрицы Л*.
6.35. Система А*Ах = А*у совместна при любой матрице Л и
любой правой части у.
6.36. Если система Ах = у совместна, то она эквивалентна си-
стеме А*Ах = А*у.
UCHO Ы ТЕОРИИ
[ГЛ. t
чи
6.37. Псевдорешением или обобщенным решением системы
Ах = у называется решение системы А*Ах = А*у.
6.38. Среди всех, векторов пространства X псевдорешения, и
только они, обеспечивают:
— ортогональность вектора невязки Ах — у образу матри-
цы А;
— минимальность длины вектора невязки |.4z — у|.
6.39. Пусть задана система Ах = у. Рассмотрим вектор у, рав-
ный проекции вектора у на образ матрицы А. Система Ах = у
всегда совместна, и множество ее решений совпадает с множест-
вом псевдорешений исходной системы.
6.40. Для любой системы линейных алгебраических уравнений
всегда существует, и притом единственное, нормальное псевдо-
решение.
6.41. Среди всех псевдорешений системы Ах = у нормальное
псевдорешение, и только оно, ортогонально ядру матрицы Л.
Таким образом, если разрешимость Ах = у не гарантируется, то мы
всегда можем заменить решение этой системы решением системы А* Ах =
= А*у. При этом обеспечивается минимизация длины невязки Ах — у.
В случае системы с невырожденной матрицей ее решение находится с
помощью обратной матрицы. Обратная матрица играет существенную роль
при выполнении многих исследований. Однако она была определена лишь
для невырожденных матриц, и пока мы не имеем соответствующего анало-
га для вырожденных и тем более для прямоугольных матриц. Этот аналог
может быть построен на основе псевдорешений.
Пусть задана произвольная прямоугольная матрица А. Каждому век-
тору у е У поставим в соответствие вектор хо е X, являющийся нормальным
псевдорешением системы Ах = у. Это соответствие порождает отображение
хо — А+у пространства Y в пространство X с помощью некоторого операто-
ра Л+. Принимая во внимание, что псевдоретения линейно зависят от пра-
вой части, а нормальное псевдорешение к тому же ортогонально ядру мат-
рицы А, легко показать, что оператор А+~ линейный. Матрица оператора
Д+ и есть аналог обратной матрицы.
6.42. Пусть А — прямоугольная матрица размера иХ/пи ран-
га г > 0. Существуют матрицы В, С размеров соответственно в X г,
г X т и ранга г такие, что
Это разложение матрицы А называется скелетным.
6.43. В скелетном разложении в качестве столбцов матрицы В
можно взять любые базисные столбцы матрицы А. Тогда столб-
цы матрицы С состоят из коэффициентов линейных комбинаций,
с помощью которых выражаются все столбцы матрицы А через
базисные.
5 61 СИСТЕМЫ ЛИНЕЙНЫХ АЛГЕБРАИЧЕСКИХ УРАВНЕНИЙ
6.44. Матрица А+ размера т X п называется псевдообратной
или обобщенной обратной для матрицы А размера п X т, если
выполняются условия
АА+А=А, А+ = UA* = A*V,
где U, V — некоторые матрицы.
6.45. Для любой матрицы А пе может существовать двух раз-
личных псевдообратных матриц.
6.46. Если матрица А размера пХт есть матрица полного
ранга, то матрица А+ имеет вид
+ ((Д*Л)-1Л*, п^пг,
6.47. Если матрица А представлена своим скелетным разложе-
нием 6.42, то матрица А+ имеет вид j
а + = с+в+=с*(сс*)-1(в*в)-1в*.
6.48. , Матрица, псевдообратная для нулевой, также является
нулевой.
6.49. Матрицы А, А+, А* связаны между собой соотношениями
(Л*)+=(Л+)*, (Д+)+ = Д
(ЛЛ+)* = 4Л+, ЫЛ+)2 = Л4+,
(Л+Л)* = Л+Л, (Л+Л)г=Л+4,
А+АА+^А+.
6.50. (Уравнения Пенроуза.) Псевдообратная матрица единст-
венным образом определяется уравнениями
АА+А=А, А+АА+=А+,
(А+А)* = А+А, (АА+)* = АА+.
6.51. Для псевдообратной матрицы Л+ и сопряженной матри-
цы А* совпадают ядро и образ.
6.52. Всегда имеют место соотношения
РПтлг/ = АА+у, рптд» х = А+Ах.
6.53. Псевдорешения системы Ах = у, и только они, являют-
ся решениями системы Ах = АА+у.
6.54. Для нормального псевдорешения х„ любой системы ли-
нейных алгебраических уравнений Ах = у справедливо равен-
ство Во = Л+</.
6.55. Рассмотрим систему Ах = у и сопряженную систему
А*и = у. Нормальные решения х0, и0 этих систем связаны меж-
ду собой соотношением (х0, v) — (у, и0).
48
ОСНОВЫ ТЕОРИИ
[ГЛ. 1
Наряду с системой Ах = у в формулировках приведенных фактов не-
однократно встречалась и сопряженная система А*и = с, т. е. система с
матрицей А*. Это не является случайным, о чем свидетельствует утвержде-
ние 6.55.
Мы хотим обратить внимание на следующее обстоятельство. В практи-
ческих задачах довольно часто приходится решать системы с одной и той
же матрицей А, но с различными правыми частями у. При этом нередко
интерес представляют не сами решения, а некоторые линейные функцио-
налы от них. Известно, что линейный функционал может быть представлен
как скалярное произведение с фиксированным вектором. Поэтому вместо
того, чтобы каждый раз решать систему и затем вычислять линейный функ-
ционал, согласно 6.55 можно один раз решить сопряженную систему,
а каждый раз вычислять только линейный функционал. Принимая во вни-
мание, что решение системы является исключительно трудоемкой задачей,
нетрудно понять преимущество второго подхода.
Остановимся теперь на геометрической интерпретации системы линей-
ных алгебраических уравнении и ее решения. Выражения, которыми за-
даются отдельные уравнения системы, представляют в декартовых коорди-
натах на плоскости и в пространстве соответственно уравнения прямой
лилии и плоскости. Поэтому ‘решение системы можно трактовать как на-
хождение общих точек пересечения прямых и плоскостей. Заметим, что как
уравнение прямой на плоскости, так и уравнение плоскости в пространстве
описываются через скалярные произведения. Все эти факты имеют прямую
аналогию и в случае систем общего вида.
6.56. Пусть L — некоторое подпространство линейного про-
странства К и хе — некоторый вектор из К. Множество Н век-
торов х = Ха + у, где у — любой вектор из L, называется плоско-
стью в линейном пространстве. Вектор х0 называется вектором
сдвига, подпространство L — направляющим подпространством.
Размерностью плоскости называется размерность ее направляю-
щего подпространства.
6.57. Каждая плоскость однозначно определяет свое направ-
ляющее подпространство и неоднозначно—вектор сдвига.
6.58. Для каждой плоскости существует единственный' век-
тор сдвига, ортогональный направляющему подпространству.
6.59. Если пересечение плоскостей содержит вектор xv, то
оно представляет собой плоскость, образованную сдвигом пере-
сечения направляющих подпространств на вектор ха.
6.60. В линейном пространстве размерности пг любая плос-
кость размерности m — 1 называется гиперплоскостью.
6.61. В пространстве со скалярным произведением любая гп-.
перплоскость может быть задана уравнением (х, а) = у, где а —
ненулевой вектор, называемый нормальным, у — число.
6.62. Систему линейных алгебраических уравнений 6.1 мож-
но рассматривать как систему гиперплоскостей
U, а,) = у„ (х, а2) =у2, ..., (х, а„) =у„
в арифметическом пространстве, а решение системы — как пе-
ресечение этих гиперплоскостей.
6.63. Общее решение системы линейных алгебраических
уравнений представляет собой либо пустое множество, либо плос-
§ 6]
СИСТЕМЫ ЛИНЕЙНЫХ АЛГЕБРАИЧЕСКИХ УРАВНЕНИЙ
49
кость. Размерность этой плоскости равна разности между раз-
мерностью пространства и рангом линейной оболочки векторов
«о .. а„.
6.64. Расстояние между вектором v и гиперплоскостью Н, за-
данной уравнением (#, а) = у, равно
р(к, Н) = I(к, а) — у|/|в|.
6.65. Пусть система уравнений 6.1 задана системой гипер-
плоскостей 6.62, причем векторы at, ..., а„ нормированные. Тог-
да множество псевдорешений системы 6.1 совпадает с множест-
вом векторов пространства, для которых сумма квадратов рас-
стояний до всех гиперплоскостей 6.62 является минимальной.
6.66. Любой вектор / пространства может быть единствен-
ным образом представлен в виде суммы f = g + h, где g принад-
лежит гиперплоскости Н, a h ортогонален направляющему под-
пространству. Вектор g называется проекцией вектора j па
гиперплоскость Н и обозначается ргн/.
6.67. Если гиперплоскость Н задана уравнением (х, а) = у,
то имеет место равенство
, . (/, а) — у
prHf = /----— тг- а.
|а |
6.68. Если совместная система уравнений 6.1 задана систе-
мой гиперплоскостей 6.62, то проекция любого вектора /, не яв-
ляющегося решением, па любую из гиперплоскостей ближе к
любому решению, чем вектор /, в смысле расстояния 5.48.
В связи с геометрической интерпретацией системы липейпых алгебраи-
ческих уравнений полезным является введение понятия прямой липин и
исследование ее взаимного расположения с гиперплоскостью.
6.69. Плоскость размерности 1 называется прямой линией.
6.70. Любая прямая линия есть множество векторов вида
2 = zf, + tq, где t — числа, х0, q — заданные векторы. Вектор q
называется направляющим вектором прямой.
6.71. Пусть заданы прямая линия и гиперплоскость. Возмож-
ны три ситуации:
— прямая имеет одну общую точку с гиперплоскостью;
— прямая целиком принадлежит гиперплоскости;
— прямая не имеет общих точек с гиперплоскостью.
В первом случае говорят, что прямая пересекает гиперплос-
кость, во втором — принадлежит гиперплоскости, в третьем —
параллельна гиперплоскости.
В заключение отметим, что проведенные исследования систем линей-
ных алгебраических уравнений позволяют дать конструктивное решение
задачи проектирования вектора па подпространство.
6.72. Пусть заданы вектор Ь и подпространство L. Выберем
в подпространстве L любую систему векторов аь а2, .., ага, ли-
нейная оболочка которых совпадает с подпространством L.
• 4 в. В. Воеводин, Ю. А. Кузнецов
50
ОСНОВЫ ТЕОРИИ
[ГЛ. 1
Предположим, что векторы Ъ и а, заданы своими координатами
в каком-либо ортонормированием базисе. Обозначим через А
матрицу, столбцами которой являются векторы а(. Тогда ортого-
нальная проекция вектора Ъ на подпространство L задается
формулой
prL Ъ = АА+Ь.
Матрица А А+ называется матрицей ортогонального проектиро-
вания или проектором па подпространство L. .
6.73. Если векторы ац ..., ат в 6.72 образуют базис подпро-
странства L, то матрица А(А*А)~‘А* есть проектор на подпро-
странство L.
Нет необходимости подробно обсуждать проекторы, так как о них, по
существу, уже говорилось выше.
§ 7. Матрицы простой структуры
Выбор базисов в линейных пространствах однозначно определяет мат-
рицу линейного оператора. Это позволяет свести исследование различных
свойств оператора и операторных соотношений к исследованию аналогич-
ных матричных свойств. Очевидно, что это исследование осуществляется тем
эффективнее, чем проще вид матрицы оператора. В общем случае матрица
оператора зависит от базисов.
7.1. Пусть е,, ..., ет и ______, /т — два базиса одного и того
же пространства, причем
/1 = Рнв, + рг1ег + ... + pmiem,
h = Р126, + р22ё2 +...+ рт2ет,
Plm&l Ф" Pzm^2 Ф" ... Ф"
Матрицей преобразования координат при переходе от базиса,
с„ ..., em к базису ..., /га называется матрица
Р =
^11 Р12 • ' '
Р-21 ^22 ’ ' ' ^2ТП
Pml Pml • • • Pmm
7.2. Пусть в обозначениях 7.1 хе и xf означают вектор-столб-
цы, составленные из координат вектора х в соответствующих
базисах. Всегда выполняется равенство хе ~ Pxf.
7.3. Для того чтобы матрица. Р была матрицей некоторого
преобразования координат, необходимо и достаточно, чтобы она
была невырожденной.
7.4. Если Р есть матрица преобразования координат при пе-
реходе от базиса е,, ..., ет к базису /)t ..., fm, то Р~1 есть мат-
рица преобразования координат при переходе от базиса ...
.. ., к базису е,, . .., ет.
§ 7]
МАТРИЦЫ ПРОСТОЙ СТРУКТУРЫ
51
7.5. Пусть Р, R, S — матрицы преобразования координат при
переходе от базисов {еь ..ет), {/,, ../т), {е,, ..ет} соот-
ветственно к базисам {/ь ..fm), {rh ..., rm}, {r„ ..rm). Всегда
выполняется равенство = PR.
7.6. Два базиса одного вещественного пространства называ-
ются одноименными, если определитель их матрицы преобразо-
вания координат положительный.
7.7. Все базисы вещественного пространства можно разбить
па два класса одноименных базисов. Один из классов называется
левым, второй — правым.
7.8. Пусть линейный оператор действует из пространства X
в пространство У. Выберем в пространстве X базис в,, ..., ет,
в пространстве У — базис q^, ..., qn и обозначим через А матри-
цу оператора в этих базисах. Предположим, что в пространствах
X, У выбраны также другие базисы ..., fm и Л, ..., tn соот-
ветственно и R есть матрица оператора в новых базисах. Пусть
Р и Q — матрицы преобразования координат при переходе от
<?,, . -ет к ..., /„нот qt, ..., qn к ..., tn. Всегда выпол-
няется равенство R = Q~'AP.
Описанная связь матриц оператора укапывает направление поиска тех
базисов, в которых матрица оператора имеет простейший вид. Решение этой
задачи существенно зависит от того, совпадают или не совпадают прост-
ранства, задающие область определения и область значений оператор. Ес-
ли пространства, в которых действует оператор, различны, то простейший
вид матрицы оператора находится очень легко. Так же легко он находится
и в тех случаях, когда пространства совпадают, по по тем или ипым при-
чинам предоставляется возможность выбирать различные базисы для обра-
зов и прообразов оператора.
7.9. Две прямоугольные матрицы А и R одинаковых разме-
ров называются эквивалентными, если существуют такие две не-
вырожденные матрицы Р и Q, что R = Q~lAP.
7.10. Признак эквивалентности матриц есть отношение эк-
вивалентности.
7.11. Две матрицы эквивалентны тогда и только тогда, когда
они соответствуют одному и тому же линейному оператору в
подходящим образом выбранных базисах.
7.12. Для того чтобы две прямоугольные матрицы одинако-
вых размеров были эквивалентны, необходимо и достаточно, что-
бы они имели один и тот же ранг.
7.13. Все эквивалентные матрицы ранга г эквивалентны
матрице вида
1 О
0'1
. о о
. о о
0 0
о о
. 1 о
. о о
52
ОСНОВЫ ТЕОРИИ
[ГЛ. t
Столь простой вид матрицы оператора можно получить, в основном,
при раздельном выборе базисов для образов п прообразов. Если оператор
действует в одном пространстве, то раздельный выбор базисов допускается
довольно редко. Совпадение же базисов приводит к совпадению матриц Р
п Q в 7.8. В этом случае нахождение матрицы оператора простейшего вида
становится сложной и трудоемкой задачей.
7.14. Две квадратные матрицы А и В одинаковых размеров
называются подобными, если существует такая невырожденная
матрица Р, что В — Р~'АР.
7.15. Признак подобия матриц есть отношение эквива-
лентности.
7.16. Две матрицы подобны тогда и только тогда, когда они
в разных базисах соответствуют одному и тому же линейному
оператору, действующему в одном пространстве.
7.17. Подобные матрицы имеют одинаковые след и определи-
тель.
7.18. Если хотя бы одна из двух квадратных матриц А, В
одинакового размера певырождеиа, то матрицы АВ н ВА по-
добны.
Конечно, подобные матрицы всегда эквивалентны. По если для уста-
новления эквивалентности матриц достаточно проверить равенство их ран-
гов, то, при исследовании множества подобных матриц приходится привле-
кать значительно более топкий аппарат. Основным инструментом теперь
являются собственные векторы и собственные значения матрицы.
7.19. Число X называется собственным значением (собствен-
ным числом) матрицы А, если существует такой непулевой век-
тор х, что
Ах = Кх.
Л юбой вектор х ¥= 0, удовлетворяющий этому уравнению, назы-
вается собственным вектором матрицы А, соответствующим соб-
ственному значению X. Совокупность всех собственных значений
называется спектром матрицы,
7.20. Множество собственных векторов матрицы А, соответ-
ствующих одному и тому же собственному значению X, стано-
вится подпространством, если к нему добавить пулевой вектор,
Это подпространство называется собственным подпространством
матрицы А, соответствующим собственному значению К,
7.21. Для того чтобы ненулевой вектор х был собственным
векторо.м матрицы А, соответствующим собственному значению
X, необходимо и достаточно, чтобы он являлся решением одно-
родной системы линейных алгебраических уравнений (—А +
+ /,Е)х = 0 с матрицей —А + У.Е.
7.22. Для того чтобы число X было собственным значением
.матрицы Л, необходимо и достаточно, чтобы выполнялось равен-
ство det (—А + ХЕ) = 0,
§ 7j
МАТРИЦЫ ПРОСТОЙ СТРУКТУ
ао
7.23. Функция det(X£ —А) относительно параметра X есть
многочлен, степень которого равна порядку матрицы А:
det (Х£ - А) = V* - a.r-1 + а2Х"-г + ... + (-l)raam.
Этот многочлен называется характеристическим многочленом
матрицы А.
7.24. Коэффициент ar, 1 г < т, характеристического мпо-
ючлепа матрицы А равен сумме всех главных миноров поряд-
ка г этой матрицы.
7.25. Коэффициент щ равен trA, коэффициент ат равен
det А.
7.26. Корпи характеристического многочлена, и только они,
образуют спектр матрицы А.
Относительно последнего утверждения следует сделать небольшое за-
мечание. Если матрица А комплексная, то в общем случае комплексными
будут как коэффициенты характеристического многочлена, так и его кор-
пи. Если же матрица А вещественная, то характеристический многочлен
может не 'иметь ни одного вещественного корня. В этом случае говорят,
что матрица не имеет собственных значений, подразумевая под этим, что
она не имеет вещественных собственных значений. Такое положение
часто возникает тогда, когда матрица описывает оператор, действующий в
вещественном пространстве. Характерным примером является матрица по-
ворота па плоскости вокруг начала координат. Однако если рассматривать
элементы матрицы как комплексные числа, то она всегда будет иметь соб-
ственные значения, вообще говоря, комплексные.
7.27. Для любых квадратных матриц А и В матрицы АВ и
ВА имеют одинаковые характеристические многочлены.
7.28. Любая матрица порядка т имеет т собственных зна-
чений, в общем случае комплексных; при этом каждое собст-
венное значение считается столько раз, какова его кратность
как корня характеристического многочлена.
7.29. Кратность собственного значения как корня характе-
ристического многочлена называется алгебраической кратностью
собственного значения или просто его кратностью.
7.30. Максимальное число линейно независимых собственных
векторов, относящихся к данному собственному значению, назы-
вается геометрической кратностью собственного значения.
7.31. Геометрическая кратность собственного значения X
матрицы А порядка тп равна m~ rank (V?— А).
7.32. Геометрическая кратность любого собственного значе-
ния не превосходит его алгебраической кратности.
7.33. Для любой треугольной (нулевой, единичной, скаляр-
ной, диагональной) матрицы ее собственные значения совпада-
ют с диагональными элементами.
7.34. Для нулевой, единичной и скалярной матриц любой не-
нулевой вектор является собственным.
7.35. Для диагональной матрицы любой единичный вектор
является собственным.
v/vjXIVDXiI ГЕОРИИ
[ГЛ. t
> 7.36. Пусть At, ..., Am — собственные значения матрицы А.
Имеют место соотношения
т т
tr А = У1, Аь det Л = А;.
1 = 1 7—1
7.37. Все подобные матрицы имеют одни и те же собствен-
ные значения.
7.38. Для того чтобы матрица была невырожденной, необхо-
димо и достаточно, чтобы она не имела нулевого собственного
значения.
7.39. Ядро любой матрицы есть собственное подпространство,
соответствующее нулевому собственному значению.
7.40. Пусть Aq, А,а, . . ., Atg— некоторая совокупность попар-
но различных собственных значений. Для каждого из собственных
значений данной совокупности обязательно существует хотя бы
один собственный вектор, и вся система этих собственных век-
торов линейно независима.
7.41. Матрица А порядка т называется матрицей простой
структуры, если она имеет тп линейно независимых собственных
векторов. В противном случае матрица называется дефектной.
7.42. Матрица имеет простую структуру тогда и только тог-
да, когда она подобна диагональной матрице.
7.43. Матрица имеет простую структуру тогда и только тог-
да, когда для каждого ее собственного значения алгебраическая
и геометрическая кратности совпадают.
7.44. Если все собственные значения матрицы попарно раз-
личны, то опа имеет простую структуру.
7.45. Пусть матрица В имеет попарно различные собственные
значения. Любая матрица Аперестановочная с матрицей В,
имеет простую структуру.
7.46. Если матрица А имеет простую структуру, то простую
структуру будут иметь матрицы Л-1, Л', Л*, а также присоеди-
ненная матрица и все ассоциированные матрицы.
7.47. Для матрицы простой структуры образ есть линейная
оболочка собственных векторов, соответствующих ненулевым
собственным значениям.
7.48. Пересечение образа и ядра матрицы простой структуры
состоит только из нулевого вектора.
7.49. Сумма собственных подпространств любой матрицы яв-
ляется прямой суммой.
7.50. Для матрицы простой структуры, й только для нее, все
пространство может быть представлено как прямая сумма ее
собственных подпространств.
7.51. Пусть матрица Л невырожденная и ее собственные зна-
чения суть Ai, ..., Ат- Тогда собственные значения матрицы Л~‘
равны Af1, . . ., Ай1, а соответствующие собственные векторы
совпадают.
МАТРИЦЫ ПРОСТОЙ СТРУКТУРЫ
56
§ 71
7.52. Собственные значения (характеристические многочле-
ны) матриц А и А' совпадают.
7.53. Собственные значения (коэффициенты характеристиче-
ских многочленов) матриц А и А* комплексно сопряжены.
7.54. Геометрические (алгебраические) кратности соответст-
вующих собственных значений матриц А и А* совпадают.
Формулировки некоторых из следующих утверждений связаны с орто-
гональностью векторов. Ортогональность в них ионимается в смысле скаляр-
ного произведения вида 5.4 относительно естественного базиса.
7.55. Пусть х есть собственный вектор матрицы А, соответ-
ствующий собственному значению Л, у — собственный вектор
матрицы А*, соответствующий собственному значению ц. Если
Z щ то- векторы х и у ортогональны.
7.56. Пусть х есть собственный вектор матрицы А, соответ-
ствующий собственному значению Z. Существует такой собст-
венный вектор у матрицы Л*, соответствующий собственному
значению X, что (х, у) = 1.
7.57. Для любой системы Xi, ..., х, линейно независимых
собственных векторов матрицы А существует биортогональная
система ..., у, собственных векторов матрицы А*.
7.58. Пусть А — произвольная матрица простой структуры
порядка т. Всегда существуют биортогональные базисы Xi, ...
..., хт и ylf ..., ут в пространстве, состоящие из собственных
векторов матриц А и Л*, относящихся соответственно к соб-
ственным значениям ..., и Zi, ..., Xm-
7.59. Если при переходе к некоторому базису матрица Л пре-
образуется в подобною ей матрицу В, то при переходе к биорто-
гональному базису матрица Л* преобразуется в подобную ой
матрицу В*.
7.60. В биортогональных базисах утверждения 7.58 матрицы
Л и Л* имеют диагональный вид А и А соответственно.
7.61. В обозначениях 7.58 матрица G; = ранга 1 на-
зывается матрицей, соответствующей собственному значению
(сопутствующей).
7.62. Собтветствующие матрицы обладают следующими свой-
ствами:
" (0, i^k,
2Gl_£; GA-|Gii ,_.л
7.63. Для любой матрицы Л простой структуры имеет место
разложение
тп
А = 2 biGi.
1=1
М1М AHAjmiX
[ГЛ. 1
7.64. Пусть Л — любое число, не являющееся собственным
значением матрицы А простой структуры. Справедливо равен-
ство
т
i=l 1
7.65. В условиях и обозначениях 7.58 построим сопутствую-
щие матрицы G,, ..Gs. Предположим, что собственные значе-
ния Xi, ..., Xs, Xs+i, ..., Хт упорядочены таким образом, что
X,, 1 i s, соответствует Xi. Матрица
A — 2 XjG,
i=l
имэет собственные значения 0,______ О, Х,+1, ..., X™.
7.66. Собственные векторы xt, . .., х, матрицы А являются
собственными векторами матрицы 7.65 и соответствуют нулево-
му собственному значению.
7v67. Любой собственный вектор матрицы А, ортогональный
векторам ..., у,, является собственным вектором матрицы
7.65, и наоборот. Каждый из этих собственных векторов соот-
ветствует одному из собственных значений Х>+1, ..., Хт.
7.68. Пусть матрица А имеет простую структуру. Это озна-
чает, что существуют невырожденная матрица Р и диагональная
матрица Л такие, что Л = Р~'АР. В этом случае Столбцы матри-
цы Р(Р~1*) образуют полную систему собственных векторов
матрицы Л(Л*), диагональные элементы матрицы Л(Л) совпа-
дают с соответствующими собственными значениями.
Тот факт, что среди всех матриц выделяются матрицы простой струк-
туры, объясняется очевь просто. Эти, и только эти, матрицы в некотором
базисе имеют диагональяые матрицы. Такой базис может быть составлен
лишь из собствевных векторов матрицы. Действие любой матрицы простой
структуры всегда сводится к «растяжению» координат вектора в данном
базисе. Коэффициентами «растяжения» являются соответствующие собствен-
ные значения. Если бы все матрицы имели простую структуру, то вопрос
о выборе базиса, в котором матрица приводится к простейшему виду, был
бы полностью решен. Однако матрицами простой структуры tie исчерпы-
ваются все матрицы.
§ 8. Инвариантные подпространства
8.1. Подпространство L линейного пространства X называет-
ся инвариантным относительно квадратной матрицы А, если
для каждого вектора х из L его образ Ах также принадлежит L.
8.2. Нулевое подпространство и все пространство являются
инвариантными. Они называются тривиальными инвариантными
подпространствами.
§ 81 ИНВАРИАНТНЫЕ ПОДПРОСТРАНСТВА 57
'8.3. Любое собственное подпространство является инвариант-
ным.
8.4. Образ и ядро матрицы являются ее инвариантными под-
пространствами.
8.5. Если матрицы А и В перестановочны, то образ и ядро
матрицы В инвариантны относительно матрицы А.
8.6. Если матрица А невырожденная, то Л и А~1 имеют од-
ин и те же инвариантные подпространства.
8.7. Если матрица А вырожденная, то любое подпространст-
во, содержащее ее образ, является инвариантным.
8.8. Сумма и пересечение любого числа инвариантных под-
пространств являются инвариантными подпространствами.
8.9. В любом инвариантном подпространстве комплексной
матрицы содержится хотя бы один ее собственный вектор, соот-
ветствующий, в общем случае, комплексному собственному зна-
чению.
Инвариатпые подпространства широко используются при выборе бази-
сов, в которых матрица приобретает в каком-либо смысле более простой
вид. Вид этих матриц удобно описывать в терминах так называемых блоч-
ках или клеточных матриц. Пусть дана некоторая, вообще говоря, прямо-
угольная матрица А. Рассечем при помощи горизонтальных и вертикальных
линий эту матрицу на прямоугольные блоки:
Ап А12 • • •
4„„ . . . А„.
Л»1 Asa • • • ^si_
каждый из которых представляет собой матрицу размера X Про
матрицу А будем говорить, что она разбита на блоки (или клетки). Важно
подчеркнуть, что в блочном представлении матрицы все блоки в каждом
столбце (строке) имеют одинаковое число столбцов (строк). Наиболее часто
используется такое блочное разбиение, при котором диагональные блоки
оказываются квадратными. Действия над блочными матрицами производят-
ся по тем же формальным правилам, как и в случае численных матриц.
Определенную осторожность необходимо лишь соблюдать из-за некоммута-
тивности перемножения блоков.
Мы будем называть матрицу блочно диагональной, блочно треугольной
п т. п., если опа приобретает соответствующий вид при замене ее блоков
числами.
8.10. Если матрица имеет блочпо треугольный (блочло диа-
гональный) вид, то характеристический многочлен матрицы ра-
вен произведению характеристических многочленов всех диаго-
нальных блоков.
8.11. Если матрица имеет блочио треугольный (блочно диаго-
нальный) вид, то собственные значения матрицы совпадают с
множеством собственных значений всех диагональных блоков.
8.12. Представим пространство X размерности m в виде пря-
мой суммы своих подпространств L и М размерностей к и т—к.
Пусть базис et, .. ., ет в X выбран таким образом, что векторы
58
ОСНОВЫ ТЕОРИИ
(ГЛ. t
еь ..еь принадлежат L, а векторы efe+1, ..ет принадлежат 17.
При переходе к этому базису матрица А преобразуется в подоб-
ную ей матрицу В, которую представим в блочном виде;
Е = Г511 В1г 1,
521 В22 I
где 7?к, Вгг — квадратные блоки размеров к, т — к. Справедливы
следующие утверждения:
— блок В21 — нулевой тогда и только тогда, когда подпрост-
ранство L инвариантно относительно матрицы А;
— блок В и—нулевой тогда и только тогда, когда подпрост-
ранство М инвариантно относительно матрицы А.
8.13. Для того чтобы в базисе et, ..., ет матрица имела верх-
ний блочно треугольный вид с блоками па диагонали размеров
ki, ..., fcs, необходимо и достаточно, чтобы линейные оболочки
векторов е15 ..., ер образовывали инвариантные подпространства
Lp для всех р = kt +...+ kt, 1 < t s.
8.14. Для того чтобы в базисе et, ..., ет матрица имела блоч-
но диагональный вид с блоками на диагонали размеров к„ ..., ks,
необходимо и достаточно, чтобы линейные оболочки векторов
ег, е.+1, ..., ер образовывали инвариантные подпространства Lp
для всех г, р таких, что р = к, +...+ kt, г = р — kt + 1, 1 =£ t s.
8.15. В условиях 8.13 инвариантные подпространства LP удов-
летворяют соотношениям вложения
L, с L2 с ... с Ls = X.
8.16. В условиях 8.14 инвариантные подпространства LP
обеспечивают разложение пространства в прямую сумму:
L, + 7.2 + •. • +.Е, = X.
8.17. Если хотя бы для одного нетривиального инвариантного
подпространства L матрицы А не существует инвариантного под-
пространства М такого, что X — L 4- М, то матрица А не имеет
простой структуры.
8.18. Для любого X образ матрицы ХЕ — А является инвари-
антным подпространством матрицы А.
8.19. Любая комплексная матрица порядка т имеет инвари-
антное подпространство размерности т — 1.
8.20. Любая комплексная матрица порядка т имеет вложен-
ные друг в друга инвариантные подпространства Ьр размерности
р для всех 0 < р < т, т. е.
ЦсЦс с. ..<= Lm = X.
8.21. Пусть задана произвольная комплексная матрица А по-
рядка т. В соответствии с инвариантными подпространствами
8.20 выберем базис е(, ..., ет так, чтобы ер е Lp для всех р. Тог-
§ 8] ИНВАРИАНТНЫЕ ПОДПРОСТРАНСТВА 59
да в этом базисе матрица А будет иметь правую треугольную
форму.
8.22. Любая комплексная матрица подобна треугольной мат-
рице.
8.23. Если вещественная матрица А имеет комплексное соб-
ственное значение X, то она имеет два комплексно сопряженных
собственных вектора х, х, соответствующих собственным значе-
ниям А, А.
8.24. В условиях и обозначениях 8.23 множество векторов ви-
да ах + ах, где а — произвольное комплексное число, есть веще-
ственное инвариантное подпространство размерности 2 для мат-
рицы А.
8.25. Для любой вещественной матрицы А и любого комплекс-
ного X образ матрицы (ЛЕ — А)(Л,Е — А) является вещественным
инвариантным подпространством матрицы А.
8.26. Если вещественная матрица порядка т имеет веществен-
ное собственное значение, то она имеет вещественные инвариант-
ные подпространства размерностей 1 и т — 1.
8.27. Если вещественная матрица порядка т имеет комплекс-
ное значение, то она имеет вещественные инвариантные подпро-
странства размерностей 2 и иг — 2.
8.28. В любом вещественном инвариантном подпространстве
вещественной матрицы содержится либо одномерное, либо дву-
мерное вещественное инвариантное подпространство.
, 8.29. Любая вещественная матрица порядка иг имеет вложен-
ные друг в друга вещественные инвариантные подпространства
Lpi размерности щ:
£/0 с Lp^ с Лр2 с ... <= LPs = X;
при этом разность размерностей соседних подпространств равна 1
или 2.
8.30. Любая вещественная матрица вещественно подобна блоч-
но треугольной матрице с диагональными блоками первого и вто-
рого порядков. Блоки второго порядка соответствуют парам комп-
лексно сопряжевных собственных значений.
8.31. Если вещественная матрица не имеет комплексных соб-
ственных значений, то она вещественно подобна треугольной мат-
рице.
Дальнейшее упрощение вида, к которому можно привести произволь-
ную матрицу подобным преобразованием, связано со специальным выбором
инвариантных подпространств. Одним из важнейших способов построения
инвариантных подпространств матрицы является использование матричных
многочленов.
8.32. Пусть р — натуральное число. Тогда р-й степенью Ар
квадратной матрицы А называется р-кратное ее произведение.
60
ОСНОВЫ ТЕОРИИ
(ГЛ. t
Если — р есть натуральное число, то А* = (АПо определе-
нию А° = Е.
8.33. Пусть А — произвольная квадратная матрица и ф(Х) —
произвольный многочлен
ф(Х) = п0Х₽ + ... + Ор-Д + ар
с комплексными или вещественными коэффициентами. Матрица
вида
<р( А) = а0А ’ + ... + ар~ tA + арЕ
называется матричным многочленом или многочленом от мат-
рицы А.
8.34. Пад матричными многочленами от одной и той же мат-
рицы можно выполнять алгебраические операции, аналогичные
операциям над скалярными многочленами.
8.35. Любые два многочлена от одной матрицы перестано-
вочны.
8.36. Множество всех многочленов от одной матрицы есть ком-
мутативное кольцо.
8.37. Образ и ядро любого матричного многочлена ф(А) яв-
ляются инвариантными подпространствами матрицы А.
8.38. Пусть Xi, ..., — собственные значения матрицы А,
выписанные подряд с учетом кратности. С учетом кратности соб-
ственными значениями матрицы ф(А) при любом многочлене ф(Х)
являются числа ф(Х(), ..., ф(Хт).
8.39. Любой собственный вектор матрицы А, соответствующий
собственному значению X;, является собственным вектором мат-
рицы ф(А), соответствующим собственному значению ф(Х<).
8.40. Если собственное значение матрицы А является (пе яв-
ляется) корнем многочлена ф(Х), то все собственные векторы
матрицы А, соответствующие этому собственному значению, при-
надлежат ядру (образу) матрицы ф(А).
8.41. Предположим, что для некоторого многочлена ф(Х) про-
странство X может быть разложено в прямую сумму инвариант-
ных подпространств кегф(А) и йпф(Л). Пусть базис в X вы-
бран как объединение базиса кегф(А) и базиса imcp(A). Обозна-
чим через Р матрицу преобразования координат при переходе к
атому базису. Матрица В — Р~'АР будет блочпо диагональной;
В = Р11 °],
L 0 ^22 J
причем матрица ф(Вп) пулевая, а матрица ф(й22) невырожденная.
8.42. Пусть характеристический многочлен /(X) матрицы .4
разложен в произведение многочленов ф(Х) и 1р(Х), пе имеющих
общих корней. Имеют место равенства
кег ф(А) = im4ЧЛ), kerty(A) = im фС4).
S 81
ИНВАРИАНТНЫЕ ПОДПРОСТРАНСТВА
8.43. В обозначениях 8.42 для пространства X справедливо
разложение
X = кег ф(Л) 4- kerifi(/l).
8.44. Представим характеристический многочлен /(X) матри-
цы А порядка т в виде канонического разложении
/(X)=(X-X1)"4^-W'2 • • • (Л-МЧ
где X), ..., Хг — попарно различные собственные значения и
А, + ... + кТ — т. Обозначим’ ф, (X) = (X — Х;)/<(; тогда
X = кег ф1(Л) 4- кет ф,(/1) 4-... 4- кет фг(4).
8.45. Инвариантное подпространство кегфДЛ) называется кор-
невым подпространством матрицы А, соответствующим собствен-
ному значению. Векторы корневых подпространств называются
корневыми векторами.
8.46. Размерность корневого подпространства, соответствую-
щего некоторому собственному значению Х(, равна алгебраической
кратности этого собственного значения.
8.47. Корневые векторы, соответствующие попарно различным^
собственным значениям, линейно независимы.
8.48. Базис пространства X, составленный как последователь-
ное объединение базисов всех корневых подпространств ксгф,(Л)г
называется корневым базисом.
8.49. Обозначим через Р матрицу преобразования координат
при переходе к какому-нибудь корневому базису. Матрица
В ~ Р~'АР будет блочпо диагональной:
При этом выполняются следующие свойства:
— совокупность порядков диагональных блоков совпадает с
совокупностью чисел Aif ..., Ar;
— совокупность характеристических многочленов, диагональ-
ных блоков совпадает с совокупностью многочленов ф,(Х);
— если характеристический многочлен диагонального блока
Bj- равен ф.(Х), то матрица ф,(й?;) — нулевая.
8.50. Любая комплексная матрица подобна блочпо диагональ-
ной матрице с размерами диагональных блоков, совпадающими
с алгебраическими кратностями собственных значений.
8.51. Любая вещественная матрица вещественно подобна блоч-
но диагональной матрице. Размер диагонального блока, соответ-
ствующего вещественному собственному значению X, равен ал-
гебраической кратности X; если блок соответствует паре комп-
ОСНОВЫ ТЕОРИИ
1ГЛ. 1
62
лексно сопряженных собственных значений X, X, то его размер ра-
вен удвоенной алгебраической кратности X.
8.52. {Теорема Лели— Гамильтона.) Если /(X) есть характе-
ристический многочлен матрицы 4, то матрица f(A)— нулевая.
8.53. Если матрица А невырожденная, то 4-1 = ф(4) для не-
которого многочлена <р(Х).
8.54. Матрица А называется нильпотентной индекса р, если
•существует такое целое число £ 2, что Др = 0, по Лр-1 #= 0.
8.55. Нильпотентная матрица не имеет простую структуру.
8.56. Для того чтобы матрица не простой структуры была
нильпотентной, необходимо и достаточно, чтобы все ее собствен-
ные значения были нулевыми.
8.57. Ненулевая треугольная матрица с нулевыми диагональ-
ными элементами является нильпотентной.
Получение простейшего вида матрицы при подобном преобразовании
может осуществляться теперь лишь за счет специального построения бази-
сов каждого из корневых подпространств. Конечно, корневые базисы мож-
но выбрать таким образом, что каждый из диагональных блоков в матрице
•8.49 будет треугольным. Однако этот вид матрицы не является самым
простым.
8.58. Высотой корневого вектора х, соответствующего собст-
венному значению X матрицы А, называется наименьшее целое
неотрицательное число тп, для которого (ХЕ —4)'"х = 0.
8.59. Все корневые векторы, соответствующие одному собст-
венному значению, имеют высоты, не превосходящие алгебраи-
ческой кратности собственного значения.
8.60. Корневой вектор высоты 1 является собственным векто-
ром.
8.61. Высоты всех корневых векторов матрицы простой струк-
туры равны 1.
8.62. Еслп корневой вектор х, соответствующий собственному
значению X матрицы Л, имеет высоту к, то вектор (ХЕ — A)sz,
< к, будет корневым вектором высоты к — s, соответствующим
тому же собственному значению X.
8.63. Если корневой вектор х, соответствующий собственному
значению X матрицы /1, имеет высоту к, то система векторов
х, (ЬЕ-АУх......Ш-АГ-'х
является линейно независимой.
8.64. Линейная оболочка корневых векторов 8.63 называется
циклическим подпространством, порожденным вектором х.
8.65. Любое циклическое подпространство является инвари-
антным.
8.66. Корневое подпространство разложимо в прямую сумму
циклических подпространств.
8.67. Корневой базис, составленный как последовательное объ-
единение базисов 8.63 циклических подпространств, называется
корневым базисом Жордана.
§ 81
ИНВАРИАНТНЫЕ ПОДПРОСТРАНСТВА
63
8.68. Каноническим ящиком Жордана называется матрица
вида
Диагональные элементы этой матрицы равны X; элементы, распо-
ложенные рядом с диагональными справа, равны 1; все осталь-
ные элементы равны 0.
8.69. При переходе к корневому базису Жордана матрица при-
обретает так называемую каноническую форму Жордана. Это
есть блочно диагональная матрица, составленная из ящиков Жор-
дана.
8.70. С точностью до перестановки ящиков Жордана любая
матрица может быть приведена подобным преобразованием к ка-
нонической форме Жордана единственного вида.
8.71. Существует подобное преобразование, приводящее мат-
рицу к канонической форме Жордана с любым заданным поряд-
ком расположения ящиков Жордана па диагонали.
8.72. Матрицы А и А' подобны.
8.73. Если матрица А блочно диагональная, с блоками Alt, ...
..., А„ па диагонали, то говорят, что матрица А есть прямая
сумма матриц Л(1, ..., Лтг, и пишут А = Лн ®..,® Агг.
8.74. Процесс преобразования матрицы к блочно диагонально-
му виду называется разложением матрицы в прямую сумму мат-
риц меньшего размера.
Формулировки следующих утверждений связаны с ортогональностью
векторов. Снова ортогональность в них понимается в смысле скалярного
произведения вида 5.4 относительно естественного базиса.
8.75. Если некоторое подпространство инвариантно относитель-
но матрицы А, то его ортогональное дополнение инвариантно от-
носительно матрицы А*.
8.76. (Теорема Шура.) Для любой матрицы существует орто-
нормированный базис, в общем случае комплексный, при перехо-
де к которому матрица будет иметь правую треугольную форму.
8.77. Для любых перестановочных матриц А, В существует ор-
"опормированный базис, в общем случае комплексный, при пере-
ходе к которому обе матрицы будут иметь одноименные треуголь-
ные формы.
8.78. Корневое подпространство матрицы А, соответствующее
собственному значению ортогонально корневому подпростран-
ству матрицы А*, соответствующему собственному значению, не
равному X.
64
основу ТЕОРИИ
ГГЛ. t
8.79. Для любого мпогочлепа <р(Х) в обозначениях и условиях
7.63 имеет место разложение
т
<р(4) = 2 ф (М Gi-
i=I
§ 9. Х-матрицы
9.1. Квадратная матрица, элементами которой являются мно-
гочлены от X, называется '/.-матрицей и обозначается Д(Х).
9.2. Степенью Х-матрицы называется максимальная из степе-
ней многочленов, образующих элементы матрицы.
9.3. Х-матрица Д(Х) степени I может быть записана в виде
Д(Х) = х'д0 + х'-1д1 + ... + хл(_1 + д,,
где Ао ¥= 0.
9.4. Х-матрица Д(Х) называется регулярной, если det Ла #= 0.
9.5. Сумма Х-матриц есть Х-матрнца, степень которой не пре-
восходит максимальной из степеней слагаемых.
9.6. Произведение Х-матриц есть Х-матрица, степень которой
пе превосходит суммы степеней сомножителей и равна этой сум-
ме, если, например, один пз сомножителей есть регулярная Х-мат-
рица.
9.7. Произведение регулярных Х-матриц есть регулярная Х-мат-
рица, степень которой равна сумме степеней сомножителей.
9.8. Множество Х-матриц одного порядка, вообще говоря, есть
некоммутативное кольцо.
Рассматривая далее любые вопросы, касающиеся Х-матриц, мы будем
предполагать, что все Х-матрицы не только квадратные, по и имеют один и
тот же порядок. Тем пе менее отметим, что многие утверждения остаются
в силе и для прямоугольных матриц.
9.9. Пусть Д(Х) — произвольная Х-матрица, 5(Х) — регулярная
.Х-матрица. Тогда существуют единственные Х-матрицы (?(Х) и
7?(Х) такие, что
ЖХ) = <?(х)Жх) + Жх),
и при этом либо степень ЖХ) меньше степени ЖХ), либо ЖХ) =
^0. Здесь £(Х) называется правым частным. Д(Х) при делении
ла 5(Х), ЖХ) — правым остатком Д(Х) при делении па 5(Х).
9.10. Пусть Д(Х) — произвольная Х-матрпца, 5(Х) — регуляр-
ная Х-матрица. Тогда существуют единственные Х-матрицы
<ДХ) и ЖХ) такие, что
Д(Х) = ЖХ)(?(Х) +Л(Х),
и при этом либо степень ЖХ) меньше степени Z?(X), либо ЖХ)
®0. Здесь Q(k) называется левым частным Д(Х) при делении на
ЖХ), ЖХ) — левым остатком /1(Х) при делении па ЖХ),
§ 9]
^.-МАТРИЦЫ
65
9.1L Если остаток RCk) (В(Х)) равен нулю, то говорят, что
Х-матрица А(Х) делится справа (слева) „а Х-матрицу В(Х).
9.12. Правым значением А(В) Х-матрпцы А(Х) на числовой
матрице В называется матрица
А(В) = А0В' + А,В'~1 + ...•+[ А(.
Левым значением А(В) Х-матрицы А(Х) па В называется матрица
А (В) = В'А0 + В'~1А1 + . +А,.
9.13. Для любой числовой .матрицы В матрица У.Е — В есть ре-
гулярная матрица степени 1.
9.14. Правым и левым остатками Х-матрицы А(Х) при делении
па ХЕ — В являются матрицы А (В) и А (В) соответственно.
9.15. -Х-матрица А(Х) делится справа (слева) на ХЕ — В тогда’ п
только тогда, когда А (В) (А (В)) есть пулевая матрица.
9.16. Пусть А — квадратная- матрица порядка тп. Матрица
В(Х), присоединенная для-Х-матрицы ХЕ —А, есть Х-матрица сте-
пени тп — 1.
9.17. Если /(X) есть характеристический многочлен матрицы А,
то имеют место равенства
(ХЕ-А)В(Х) = В(Х)(ХЕ-А) = /(Х)Е.
9.18. Х-матрпца /(Х)Е делится справа и слева на Х-матрицу
ХЕ —А.
’9,-19. {Теорема Пели.— Гамильтона.) Если /(X) есть характери-
стический многочлен матрицы А, то матрица /(А) — нулевая.
9.20. Пусть заданы произвольная квадратная матрица А по-
рядка п и произвольный многочлен ф(Х). Либо существует много-
член ф(Х) степени, меньшей /г, для которого q?(A) = if(A), либо
ф(А) = 0.
9.21, . Скалярный многочлен •ф(Х) называется аннулирующим
многочленом для матрицы А, если
9.22. Характеристический многочлен является аннулирующим.
9.23. Многочлен называется приведенным, если коэффициент
при старшей степени переменной равен 1.
9.24. Приведенный аппулнрующий для матрицы А многочлен
наименьшей степени называется минимальным многочленом мат-
рицы А.
9.25, Любой аннулирующий многочлен матрицы А делится на
ее минимальный многочлен.
9.26. Для любой матрицы ее минимальный многочлен
единствен.
9.27. Подобные матрицы имеют один и тот же минимальный
многочлен.
5 В. В. Воеводин, 10. А. Кузнецов
66
основы теории
(ГЛ. t
9.28. Если все собственные значения матрицы различны, то ее
характеристический и минимальный многочлены совпадают.
9.29. Минимальный многочлен блочпо диагональной матрицы
равен наименьшему общему кратному минимальных многочленов
ее диагональных блоков.
9.30. Пусть А — квадратная матрица порядка т. Обозначим
через <Z„,_,(X) наибольший общий дёлптель всех миноров порядка
пг — 1 Л-матрицы 7.Е — А. Многочлен dm-AM является делителем
характеристического многочлена.
9.31. Минимальный многочлен матрицы А равен частному от
деления ее характеристического многочлена /(Л) на многочлен
9.32. Пусть задана матрица А. Скалярный многочлен 1р(Л) на-
зывается аннулирующим вектор х многочленом, если 1|з(Л)х = 0.
9.33. Приведенный аннулирующий вектор х многочлен' наи-
меньшей степени называется минимальным аннулирующим век-
тор х многочленом.
9.34. Степень минимального аннулирующего вектор х много-
члена равна размерности линейной оболочки векторов х, Ах,
Агх, ... ....
9.35. Для любого вектора х минимальный многочлен матрицы
А делится на минимальный аннулирующий вектор х многочлен.
9.36. Для любого делителя минимального многочлена матри-
цы А найдется вектор х, для которого этот делитель будет мини-
мальным аннулирующим вектор х многочленом.
9.37. Пусть А1, ..., Аг — попарно различные собственные зна-
чения матрицы A, st, ..., Sr — максимальные высоты соответству-
ющих им корневых векторов. Тогда минимальный многочлен мат-
рицы А имеет вид
причем Si < kt для всех i (см. 8.44).
9.38. Разложим вектор х по векторам корневого базиса, и
пусть Z,, ..., 1т — высоты соответствующих корневых векторов,
определяющих это разложение1. Тогда минимальный аннулирую-
щий вектор х многочлен имеет вид
(Л — (Л - М'2 . . . (Л - kr)'r,
причем Sj для всех Z.
Приведение матрицы А подобным преобразованием к тому или иному
простейшему виду, вообще говоря, связано с разложением минимального
многочлена матрицы А на множители. Однако эта же задача оказывается
тесно связанной с приведением Л-матрицы ЛЯ — А к некоторому простому
виду с помощью так называемых элементарных преобразований. При этом
многие факты для произвольных Л-матриц устанавливаются так же легко,
как и для матриц ЛЯ — А.
z-матриць'
67
. 9.39. Элементарными операциями над Л-матрицами называют-
ся следующие операции над ее строками и .столбцами:
— умножение любой z-ii строки (столбца) па ненулевое чис-
ло d,;
— прибавление к любой z-й строке (столбцу) любой другой /-й
строки (столбца), умноженной на произвольный многочлен. аДЛ);
— перестановка любых двух z-й и у-й строк (столбцов).
9.40. Реализация любой из описанных элементарных опера-
ций над строками (столбцами) Л-матрицы равносильна умноже-
нию Л-матрицы слева (справа) на некоторую матрицу S, также
называемую элементарной. Все элементарные Л-матрицы лишь
несколькими элементами su отличаются от единичной матрицы.
Для соответствующих операций 9.39 эти элементы таковы:
, з.т = of.- (зн = оц); Зп = а«(Л). («л = ац(Л));
8Н = Зц = 0, Sij = Sji = 1 (Sa = Sjj = 0, Эц = = 1).
9.4i. Определитель любой элементарной Л-матрицы не зави-
сит от Л и не равен нулю.
9.42. Л-матрица, определитель которой не зависит от Л и не
равен нулю, называется унимодулярной.
9.43. Унимодулярные Л-матрицы, и только они, могут быть
представлены в виде произведения конечного числа элементар-
ных Л-матриц.
9.44. Если Л-матрица,, ()(Л) является унимодулярной, то мат-
рица (У1 (Л) также будет унимодулярной Л-матрицей.
9.45. Две Л-матрицы называются эквивалентными, если одна
из них может быть получена из другой с помощью последова-
тельности элементарных операций.
9.46. Признак эквивалентности Л-матриц есть отношение эк-
вивалентности.
9.47. Л-матрицы 4 (Л) и В(Л) эквивалентны тогда и только
тогда, когда существуют такие унимодулярные Л-матрицы Р(Л) и
и <?(Л), что В(Л) = <?-1(Л)4(Л)В(Л).
9.48. Порядок наибольшего минора, не равного нулевому мно-
гочлену, называется рангом Л-матрицы.
9.49. Эквивалентные Л-матрицы имеют один и тот же ранг.
9.50. Пусть Л-матрица А (Л) имеет ранг г. Обозначим через
(1 ,(Л), j г, приведенный наибольший общий делитель всех мино-
ров /-го порядка матрицы 4 (Л). Будем считать, что ^0(Л) s 1. Тог-
да многочлен d/Л) делится на 4,-_,(Л) для всех j С г.
9.51. Эквивалентные Л-матрицы имеют одни и те же много-
члены d/Л) для всех j < г.
9.52. Инвариантными многочленами Л-матрицы 4(Л) ранга т
называются приведенные многочлены
d, (Л) d (Л) d (Л)
5*
68
ОСНОВЫ ТЕОРИИ
1ГЛ. 1
9.53. Степени инвариантных многочленов не убывают с ро-
стом их номеров.
9.54. Каждый из инвариантных многочленов делится на пре-
дыдущий инвариантный многочлен.
9.55. Для того чтобы Х-матрицы были эквивалентны, необхо-
димо и достаточно, чтобы они имели один и те же инвариантные
многочлены.
9.56. Любая Х-матрица Л(Х) ранга г эквивалентна диагональ-
ной матрице с элементами й(Х), ..., ?Г(Х), 0, ..., 0. Эта диаго-
нальная матрица называется канонической, формой Смита для
Л(Х).
9.57. Пусть Х-матрица Л(Х) эквивалентна диагональной мат-
рице с элементами еДХ), ..., ег(Х), 0, ..., 0, где многочлены е,
приведенные и каждый из многочленов е} делится на многочлен
e^j. Тогда е7(Х) = t/X) для всех у.
9.58. Для унимодулярных Х-матрнц, и только для них, кано-
ническая форма Смита совпадает с единичной матрицей.
9.59. Для любой матрицы А порядка m ранг Х-матрицы
ХЕ — А равен тп.
9.60. Для любой матрицы А порядка тп сумма степеней ин-
вариантных многочленов Х-матрицы Х£ — А равна тп.
9.61. Характеристический многочлен матрицы А порядка тп
равен произведению всех инвариантных многочленов Х-матрицы
ХЕ —А.
9.62. Минимальный многочлен матрицы А порядка тп совпа-
дает с инвариантным многочленом гт(Х) Х-матрицы ХЕ — А.
9.63. Матрицы А и В подобны тогда и только тогда, когда
Х-матрицы ХЕ — А и ХЕ — В эквивалентны.
9.64. Пусть J — канонический ящик Жордана порядка тп с
диагональными элементами р. Инвариантные многочлены Х-мат-
рицы ХЕ,—J равны 1, ..., 1, (X—р)"‘.
9.65. Пусть N(X) — диагональная Х-матрица с элементами
н,(Х), .... п,(Х), представляющими собой попарно взаимно про-
стые приведенные многочлены. Ийвариаптные многочлены этой
матрицы равны 1, ..., 1, Ц «i (X).
i=l ; .
9.66,. Рассмотрим произвольный скалярный многочлен
/(X) = X"' + а.Х"'-' + ... + a„,_,X + ап
и построим по его коэффициентам квадратную матрицу
в1 • • • am — 1 ат
1 0 ... 0 0
Р = 0 1 ' . . . 0 0 •
О 0 ... 1 о
Эта матрица называется матрицей Фробениуса.
§ 9]
7.-МЛТРИЦЫ
69
9.67. Если F есть матрица Фробениуса для многочлена /(X),
то она обладает следующими свойствами:
— характеристический многочлен матрицы F равен /(X);
— минимальный многочлен матрицы F равен /(X);
— инвариантные многочлены Х-матрицы ХЕ — F равны 1, ...
1, /(X);
— если Х< есть корень многочлена /(X), то независимо от крат-
ности ему соответствует только'один собственный вектор, и его
координаты равны 1, Xj, Xf, . . ., Х™~ .
9.68. Пусть Х-матрица ХЕ — А имеет инвариантные многочле-
ны ir(X), ..im(X) ненулевой степени. Тогда матрица А подобна
блочно диагональной матрице с блоками FT, ..Е„„ где F:, — мат-
рица Фробениуса для многочлена i/X) при г т. Эта блочно
диагональная матрица называется канонической формой Фробе-
ниуса для матрицы А. " ’ т
. 9.69. Пусть Xi, Хг, ..Хг — попарно различные собственные
значения матрицы А. Представим инвариантные многочлены
Х-матрицы ХЕ —Л в виде их канонических разложений:
?i (X) = (X - Xt)““ (X - Х2)а^ . . . (X - Хг)“1г,
?4 (X) = (X — Xjf21 (X — Х2)°^ . . . (X —Хг)“2г,
im (X) = (X — Xjf(X — Х.,)’™2 . . . (X — Xr)“mr.
Имеют место соотношения
О CCjs СС2з . ... Ctms А 5, CCjs = kg
для всех 1 =5 s г (см. 8.44).
9.70. Любой множитель (X — Xs)a,e, входящий в разложения
9.69 при ais > 0, называется элементарным делителем матрицы
А. Элементарный делитель, для которого а>, = 1, называется ли-
нейным; в противном случае он называется нелинейным.
9.71. Пусть J — канонический ящик Жордана порядка тп с
диагональными элементами р. Совокупность элементарных де-
лителей этой матрицы состоит из одного многочлена (X —ц)’",
равного ее характеристическому многочлену.
9.72. Канонический ящик Жордана порядка m с диагональ-
ными элементами р подобен матрице Фробениуса для многочле-
на (Х-р)т.
9.73. Матрицы А и В подобны тогда и только тогда, когда
они имеют одни и те же элементарные делители;
9.74. Пусть е^Х), еР(Х) элементарные делители матри-
цы А. Тогда матрица А подобна блочно диагональной матрице
с диагональными блоками Е(, ...., Fp, где F,— матрица Фробени-
уса для многочлена е,(Х) при 1 s р.
70
ОСНОВЫ ТЕОРИИ
(ГЛ. 1
9.75. Обозначим через Д ящик Жордана с характеристиче-
ским многочленом е„(Х). Матрица А подобна блочно диагональ-
ной матрице с диагональными блоками 7г, ..., 7Р. Эта блочно диа-
гональная матрица называется канонической формой Жордана
(см. 8.68-8.71). .
9.7.6 . Матрица А имеет простую структуру тогда и только
тогда, когда все ее элементарные делители линейные.
9.77. Матрица А имеет простую структуру тогда и только
тогда, когда ее минимальный многочлен имеет лишь простые
корни.
9.78. Пусть <р(Х) — минимальный многочлен матрицы А,
f(X)—любой многочлен. Матрица /(Л) будет невырожденной
в том и только в том случае, когда <р(Х) и /(X) взаимно просты.
§ 10. Нормальные матрицы
10.1. Матрица А называется нормальной, если она переста-
новочна со своей сопряженной матрицей А*, т. е. АА* = А*А.
10.2. Блочно треугольная нормальная матрица является блоч-
но диагональной.
10.3. Диагональная матрица. является нормальной,
10Л. Пусть А — произвольная матрица, а, — равные по
модулю комплексные числа. Тогда матрица аА + [М* будет нор-
мальной.
10.5. Пусть А — нормальная матрица. Для любого многочле-
на <р(Х) матрица <р(4) будет нормальной.
Мы уже неоднократно отмечали ортогональность различных векторов,
связанных с матрицами А и А*. Эта ортогональность особенно характерна
для нормальных матриц. Опять будем понимать ее в смысле скалярного
произведения вида 5.4 относительно естественного базиса, если не- сделано
какой-либо специальной оговорки. Начиная изучение нормальных матриц,
полезно вспомнить утверждения 8.76 и 5.75.
10.6. Для того чтобы матрица была нормальной, необходимо
и достаточно, чтобы опа имела базисную систему ортонормиро-
ванных собственных векторов. , •
10.7. Если матрица А нормальная, то матрицы А и А* име-
ют одинаковые системы собственных векторов.
10.8. Если матрица А нормальная, то собственные значения-
матриц А м А*, соответствующие общему собственному вектору,
комплексно сопряжены.
10.9. Если матрица А нормальная, то в ортонормированием
базисе из ее собственных векторов матрицы А и Я* одновремен-
но принимают диагональный вид А и А соответственно.
10.10. Нормальная матрица всегда имеет простую структуру.
10.11. Пусть матрица А—нормальная и х,, ..., хт — ее орто-
нормированные собственные векторы, соответствующие собствен-
ным значениям ..., Х„. Построим сопутствующие матрицы
§ 101
НОРМАЛЬНЫЕ МАТРИЦЫ
71
Gi =₽= ZjJ* (см. 7.61) для всех i. Имеют место разложения
л* =
i l i—1
10.12. Если матрица А нормальная, то в обозначениях 10.11
при 1 s т будет нормальной матрица (см. 7.65)
А -г- 2 АдСц
ii
10.13. Матрица А является нормальной тогда и только тогда,
когда для любого инвариантного подпространства L ортогональ-
ное дополнение М также инвариантное.
10.14. Любое подпространство, ‘ инвариантное относительно
нормальной матрицу А, инвариантно относительно А*.
10.15. Для любой нормальной матрицы А в унитарном про-
странстве X имеют место разложения
X = ker А ® im А = ker А ® (кег 4*)--.
10.16. Перестановочные нормальные матрицы имеют общую
базисную систему ортоиормированпых собственных векторов.
10.17. Если А — нормальная матрица порядка т с собствен-
ными значениями Xi, ..., Х™, то существуют такие многочлены
р(Х), q(X), что
4* = р(А), А =*<z(4*);
при этом р(Х() =Х(, 9(Xi)=Xf для всех г.
10.18. Если существует хотя бы один из многочленов р(Х),
<ДХ), для которого выполняется соответствующее равенство 10.17,
то матрица А — нормальная.
10.19. Комплексная матрица U называется унитарной, если
сопряженная матрица U* совпадает с обратной U~l, т. е.
UU* = U*U = E.
10.20. Унитарная матрица является нормальной.
10.21. Среди нормальных матриц унитарная матрица выделя-
ется тем и только тем, что все ее собственные значения по моду-
лю равны 1. 1
10.22. Матрица U является унитарной в том и только в том
случае, когда выполняется хотя бы одно (следовательно, все) из
следующих условйй:
— столбцы матрицы 17, рассматриваемые как векторы уни-
тарного арифметического пространства, образуют ортонормиро-
ванную систему;
— строки матрицы U, рассматриваемые как векторы унитар-
ного арифметического пространства, образуют ортонормированч
иую систему;
72
ОСНОВЫ ТЕОРИИ
(ГЛ. t
— для любых двух векторов их скалярное 'Произведение рав-
но скалярному произведению их образов;
— для любых двух ортогональных векторов их образы орто-
гональны, и хотя бы для одного ненулевого вектора его длина
равна длине его образа;
— для любого вектора его длина равна длине его образа;
— для любых двух векторов какого-нибудь базиса их ска-
лярное произведение равно скалярному произведению пх
образов;
— образы векторов любого ортонормированного базиса обра-
зуют также ортонормированный базис;
— образы векторов хотя бы одного ортонормированного ба-
зиса образуют ортонормированный базис:
— матрица U является матрицей преобразования координат
при переходе от ортонормированного базиса к ортонормировап-
ному;
— матрица U* является матрицей преобразования координат
при переходе от ортонормированного базиса к ортонормиро-
ванному.
10.23. Любая матрица перестановок — унитарная.
10.24. Унитарные матрицы одного порядка образуют группу
по умножению.
10.25. Определитель унитарной матрицы по модулю равен 1.
10.26. Любой элемент унитарной матрицы равен по модулю
своему дополнительному минору.
10.27. Сумма квадратов модулей всех миноров порядка к, вы-
бранных из произвольных к строк (столбцов) унитарной матри-
цы, равна 1.
10.28. Пусть ведущий минор порядка к унитарной матрицы
порядка т по модулю равен 1. Тогда матрица является блочпо
диагональной с блоками порядков к и т — к.
10.29. Матрицы А и В называются унитарно подобными, если
существует такая унитарная матрица U, что В — U*AU.
10.30. Признак унитарного подобия на множестве квадрат-
ных матриц одного порядка есть отношение эквивалентности.
10.31. Любая комплексная матрица унитарно подобна тре-
угольной матрице (см. 8.76).
10.32. Правая (левая) треугольная матрица унитарно подоб-
на левой (правой) треугольной матрице.
10.33. При унитарно подобном преобразовании нормальная
матрица переходит в нормальную.
10.34. При унитарно подобном преобразовании уйитарная
матрица переходит в унитарную.
10.35. Комплексные нормальные матрицы, и только они, уни-
тарно подобны диагональным матрицам,
10.36. Вещественная унитарная матрица называется ортого-
нальной.
§ 101
НОРМАЛЬНЫЕ МАТРИЦЫ
73
Так как ортогональная матрица является унитарной, то почти все свой-
ства унитарной матрица переносятся на ортогональную матрицу. При этом
меняется лишь терминология: «унитарное пространство» заменяется на
«евклидово пространство», а слова «комплексный», «унитарный» и символ
А*— соответственно на слова «вещественный», «ортогональный» и символ
А'. Некоторое отличие в формулировках утверждений может появиться
только в тех случаях, когда по тем пли иным причинам необходимо исполь-
зовать лишь вещественные величины и преобразования.
10.37. Пусть U = P+iQ—комплексная унитарная матрица
порядка т с вещественными матрицами Р, Q. Вещественная
ГР - Q ’
блочная матрица D = I
нальной.
10.38. Пусть ’A=B + iC—комплексная нормальная матрица
порядка т с вещественными матрицами В, С. Вещественная
блочная матрица F = ^порядка 2т является нормальной.
10.39. Любая вещественная матрица ортогонально подобна
блочно треугольной матрице с диагональными блоками первого
и второго порядков.
10.40. Вещественные нормальные матрицы ортогонально по-
добны блочно диагональным матрицам с диагональными блоками
первого и второго порядков.
10.41. Комплексная матрица Н называется эрмитовой или
самосопряженной, если она совпадает со своей сопряженной мат-
рицей Я*.
10.42. Эрмитова матрица является нормальной.
10.43. Среди нормальных матриц эрмитова матрица выделя-
ется тем и только тем; что все ее собственные значения — ве-
щественные.
10.44. Матрица И является эрмитовой в том и только в том
случае, когда выполняется хотя бы одно (следовательно, все) из
следующих условий:
— элементы hi3 матрицы Н удовлетворяют равенствам /г0=йя
для-всех z, j (диагональные элементы вещественные!);
— для любых комплексных векторов х, у справедливо равен-
ство (Ях, у) = (х, Ну);
— для любого комплексного вектора х скалярное произведе-
ние (Ях, х) есть вещественное число;
— матрица Я унитарно подобна вещественной диагональной
матрице. ;
10.45. Определитель эрмитовой матрицы есть, вещественное
число. .
10.46. Произведение эрмитовых матриц есть эрмитова матрица
тогда.и только тогда, когда эти матрицы перестановочны..
10.47. Матрица,. обратная к .невырожденной эрмитовой мат-»
рпце, есть эрмитова матрица.
pj порядка 2т является ортого-
74
ОСНОВЫ ТЕОРИИ
[ГЛ. t
10.48. При унитарно подобном преобразовании эрмитова мат-
рица переходит в эрмитову. ' ’
10.49. Произвольную квадратную матрицу А всегда можно
представить в виде суммы, называемой эрмитовым разложением:
А=Н1 + Ш2,
где матрицы II,, Н2 эрмитовы. Эти матрицы называются эрмито-
выми компонентами матрицы А. Они определяются однозначно,
причем
^ = 4^ + 4*), Я2 = 4-(4-4*)..
ч
10.50. Если матрица А нормальная, то собственные значения
матрицы И, (Я2) из разложения 10.49 являются вещественными
(мнимыми) частями собственных значений матрицы А.
10.51. Матрица А является нормальной тогда и только тогда,
когда ее эрмитовы компоненты перестановочны.
10.52. Комплексная матрица S называется косоэрмитовой или
кососамосопряженной, если она совпадает с матрицей —S*.
10.53. Косоэрмитова матрица является нормальной.
10.54. Среди нормальных матриц косоэрмитова матрица вы-
деляется тем и только тем, что все ее собственные значения —
чисто мнимые.
10.55. Матрица S является косоэрмитовой тогда и только тог-
да, когда матрица iS эрмитова.
10.56. Вещественная эрмитова (косоэрмитова) матрица назы-
вается симметричной (кососимметричной).
Снова есть очень много общего между этими вещественными матрица-
ми и соответствующими комплексными матрицами. Конечно, здесь также
могут появиться некоторые отличия в формулировках утверждений, если
необходимо использовать лишь вещественные величины и преобразования.
10.57. Элементы симметричной (кососимметричной) матрицы
А удовлетворяют соотношениям а,, = aj{ (af!~ — alt) для всех I, j.
В частности, все диагональные элементы кососимметричной мат-
рицы равны нулю.
10.58. Симметричная матрица ортогонально подобна вещест-
венной диагональной матрице.
10.59. Кососимметричная матрица ортогонально подобна ве-
щественной блочно диагональной матрице с блоками первого и
второго порядков. Все блоки первого порядка — нулевые, все бло-
ки второго порядка — кососимметричные.
10.60. Определитель кососимметричной матрицы нечетного
порядка равен нулю.
10.61. Кососимметричные матрицы II, и только они, обладают
тем свойством, что для любого вещественного вектора х скаляр-
ное произведение (Нх, х) равно пулю.
§ 11 j : МУЛЬТИПЛИКАТИВНЫЕ ПРЕДСТАВЛЕНИЯ МАТРИЦ 75
10.62. Вещественную квадратную матрицу А всегда можно
представить в виде суммы
: А -В + С,
где матрица В — симметричная, С — кососимметричная. Это раз-
ложение единственно, причем
Я = ±(Л + Л'), С = -^-(А — А'),
Компонента В называется симметричной составляющей матри-
цы А, компонента С — кососимметричной составляющей.
10.63. Для любой матрицы А и разложения 10.49 справедливо
равенство
(4х, х) = (Htx, х) + i(Hzx, х).
10.64. Для любой вещественной матрицы Л, любого вещест-
венного вектора х и разложения 10.62 справедливо равенство
(Ах, х) = (Вх, х).
10.65. Пусть А — произвольная прямоугольная комплексная
матрица, Q, R — унитарные матрицы. Имеет место равенство
((2Л7?)+=7?*Л+(?*.
§ 11. Мультипликативные представления Матриц
НА. Если прямоугольная матрица А представлена в клеточ-
ном виде:
где В — квадратная невырожденная матрица порядка г, то ранг
матрицы А равен г в том и Только в том случае, когда Т = RB~lQ.
11.2. Если А — прямоугольная матрица ранга г, то существу-
ют такие матрицы перестановок Р, Н, что у матрицы РАН от-
личны от нуля ведущие миноры всех порядков от 1 до г,
11.3. Если матрица А имеет вид 11.1, то (см. 6.44)
л+ = [ВВ* + ее*]-1 в [в*в + В*й]-1 [в*, в*],
11.4. Еслп ранг прямоугольной матрицы А равен числу строк
(столбцов), то существует такая матрица перестановок Р(/7), что
у матрицы РА (АН) отличны от нуля ведущие миноры всех воз-
можных порядков.
11.5. Любую квадратную матрицу А порядка 'тп, у которой
отличны от нуля ведущие мцноры всех порядков от 1 до m — 1,
можно представить в виде произведения левой треугольной мат-
76
ОСНОВЫ ТЕОРИИ
[ГЛ. t
рицы L на правую треугольную матрицу U. Если
А = LU =
Z21 Z22
то (см. 4.18)
/1 2 ... к — 1 k'
11 2 ... к - 1 s
A(i 2 ... k-i
J J 71U 2 ... к— 1
/5,i = llih —.it 2
И 2 к
11 2 •
11 2 ... k)
где s = к + 1, ..., m, к = 1, 2, ...m — 1.
11.6. Разложение 11.5 единственно, если зафиксировать диа-
гональные элементы матрицы L или матрицы U.
11.7. Разложение 11.5 с диагональными элементами матрицы
L, равными 1, называется LU-разложением матрицы А.
11.8. Если имеет место разложение 11.5, то для всех к спра-
ведливо равенство , .
^(; 2=п^н.
i=I
11.9. Если матрица А имеет положительные ведущие мино-
ры, то ее /.(/-разложение существует и матрица U имеет поло-
жительные диагональные элементы.
11.10. Если матрица А эрмитова и имеет положительные ве-
дущие миноры, то существует разложение A =LL*,_ где L — ле-
вая треугольная матрица.
11.11. Разложение 11.10 единственно, если зафиксировать ар-
гументы диагональных элементов матрицы L.
11.12. Если для некоторого / (г) элементы матрицы А удов-
летворяют условиям
at. = 0, i = 1, 2, ..., р < /, j = 1, 2, ..., г < г,
то будут равны пулю и элементы матрицы U (А) с соответст-
вующими номерами.,
Во многих прикладных задачах приходится иметь дело с разреженными.
матрицами, т. е. матрицами, имеющими много пулевых элементов. Утверж-
дение 11.12 позволяет описать целый класс разреженных матриц, треуголь-
ные сомножители которых сохраняют специфику. разреженности исходной
§ И]
мультипликативные представления матриц
7
матрицы. Пусть матрица А удовлетворяет условиям 11.5 и имеет вид
где все ее ненулевые элементы находятся в заштрихованной области. Гра-
ница эТей области моЖет быть произвольной. Требуется лишь, чтобы лю-
бая вертикальная (горизонтальная) прямая линия имела с правой (левой)
частью границы односвязпое множество общих точек. Как следует из 11.12,
треугольные сомножители L и 17 будут иметь аналогичный вид, а именно:
Все ненулевые элементы матриц L и U находятся в заштрихованных обла-
стях, границы которых такие же, как у матрицы А.
11.13. Если для матрицы В из 11.1
В = LU, то справедливо разложение
имеет место разложение
ГВ Гл О Г и L~lQ
1.Я Г] — Е _ О О
11.14. Пусть у матрицы А порядка т отличны от нуля ве-
дущие миноры порядков кл < к2 <....< ks = т. Тогда существу-
ет разложение А = LU, где L (£7)—левая (правая) блочпо тре-
угольная матрица с невырожденными диагональными блоками
размеров к2 — к„ ..., ks — к,-х. Это разложение называется
блочным LU-разложением.
11.1 5. Блочное //(/-разложение единственно, если зафиксиро-
вать диагональные блоки матрицы L или матрицы U.
11.16. Пусть у эрмитовой матрицы А порядка т отличны
от нудя ведущие миноры порядков kt < к2 < ... < к, = т. Тогда
существует разложение А = LDL*, где L (О) — левая блочно
треугольная (блочно диагональная) матрица с невырожденными
диагональными блоками размеров к,, к2 — kt, ..ks — ks_t.
11.17. Все диагональные блоки матрицы D разложения 11.16
являются эрмитовыми матрицами.
11.18. Все ведущие миноры порядков кЛ, к2, ..., к3 матриц
А и D разложения 11.16. имеют одинаковые знаки.
78
ОСНОВЫ ТЕОРИИ
[ГЛ. t
11.19. Разложение 11.16 единственно, если зафиксировать D
как эрмитову матрицу указанного в Ц.16 строения со знаками
ведущих миноров, удовлетворяющими условиям 11.18.
11.20. Если А — невырожденная эрмитова матрица, то су-
ществует такая' матрица перестановок Н, что у эрмитовой мат-
рицы НАН' каждый нулевой ведущий минор имеет ненулевые
соседние ведущие миноры.
11.21. Если для матрицы НА1Г из 11.20 выполнить разло-
жение 11.16, то диагональные блоки матрицы D будут первого
и второго порядков.
11.22. Любую квадратную матрицу А можно представить в
виде произведения А = QR, где Q — унитарная матрица, R —
правая треугольная.
11.23. Разложение 11.22 называется QR-разложением матри-
цы А.
11.24. Для матрицы R из 11.22 имеет место равенство А*А =
= й*й.
11.25. Пусть матрица А—невырожденная порядка т. Тогда
для элементов гй5 матрицы R справедливы формулы
• 1 Гтт —
4 1 д ... m
Hl 2 ... nt/l
12 ••• т — 1
1 2 • т — 1
1/2
ei<Fm
r/;s — fhk
’412
к — 1 АЛ
1 — 1 -J
где s = &+l, ..., т, А: =1,2, ..., т — 1, <рь ..., <рт — произволь-
ные вещественные числа.
11.26. (^-разложение невырожденной матрицы единственно,
если зафиксировать аргументы диагональных элементов матри-
цы R.
11.27. Любую квадратную матрицу А можно представить в
виде произведения A = HU, где Н—эрмитова матрица с неот-
рицательными ведущими минорами, U — унитарная матрица.
11.28. Разложение 11.27 называется полярным разложением
матрицы А.
11.29. В полярном разложении A=HU матрицы А эрмитова
матрица Н определяется единственным образом.
11.30. Невырожденная матрица имеет единственное полярное
разложение.
11.31. Каково бы ни было полярное разложение A=HU мат-
рицы А, унитарная матрица U переводит ортонормированный ба-
зис из собственных векторов матрицы А*А в ортонормированный
базис из собственных векторов матрицы Л Л*.
§11] МУЛЬТИПЛИКАТИВНЫЕ ПРЕДСТАВЛЕНИЯ МАТРИЦ ' 79
11.32. Для любого полярного разложения A=HU унитарная
матрица U переводит imA* в im А, а кег А — в кег А*.
11.33. Матрица А является нормальной тогда и только тогда,
когда в ее полярном разложении А = HU матрицы Н и U пере-
становочны.
11.34. Если матрица А нормальная, то собственные значения
матрицы Н (аргументы собственных значений матрицы U) по-
лярного разложения А = HU являются модулями собственных
значений (аргуЛптами ненулевых собственных .значений)
матрицы А.
11.35. (Формулы Кели.) Между произвольными эрмитовыми
матрицами Н и унитарными матрицами (7, не имеющими собст-
венных значений, равных —1, существует взаимно однозначное
соответствие, определяемое формулами
U = (Е + Щ)(Е - Ш)~1, II = ЦЕ - UHE + С/)-1.
11.36. Для вещественной матрицы существует вещественное
полярное разложение.
11.37. Какова бы ни была прямоугольная матрица А, матри-
цы А* А и А А* эрмитовы и имеют неотрицательные ведущие ми-
норы.
11.38. Ненулевые собственные значения матриц А*А и АА*
всегда совпадают.
11.39. Арифметические значения квадратных корней из об-
щих собственных значений матриц А* А и А А* называются син-
гулярными (главными) числами матрицы А.
Всюду в дальнейшем будем обозначать ненулевые сингулярные числа
матрицы А через рь .... р, и предполагать, что они занумерованы в поряд-
ке убывания, т. е. pi рг > р< > 0. Сингулярные числа pi+i, ...
будем считать нулевыми.
11.40. Сингулярные числа матрицы не меняются от ее умно-
жения слева и справа на любые унитарные матрицы.
11.41. Квадратная матрица является невырожденной тогда и
только тогда, когда все ее сингулярные числа отличны от нуля.
11.42. Модуль определителя матрицы равен произведению
всех сингулярных чисел.
11.43. Квадратцая матрица является нормальной тогда и
толыщ, тогда,' когда все ее собственные значения равны по мо-
дулю сингулярным числам.
11.44. Пусть А — прямоугольная матрица размера т X п.
Обозначим через х,, ..., хп ортонормированные собственные век-
торы матрицы А*А. Тогда:
— система векторов Ах,, ..., Ахп является ортогональной;
— ненулевой вектор Ахк является собственным вектором
матрицы А А* и соответствует собственному значению рю
— для всех к выполняется равенство I АхЦ = р4.
80
ОСНОВЫ ТЕОРИИ
[ГЛ. I
РЛ, k^.t,
0, k>t.
11.45. Пусть А—прямоугольная матрица размера тХп.
Всегда существуют ортопормпрованные системы векторов д:,, ...
..., и i/i, ..ут такие, что
л |РЛ. *<<• А,
I 0 к > t,
11.46. Ортопормпрованные системы xt, ..хп и у,, ..., ут из
11.45 называются сингулярными базисами мат^щы А.
11.47. Какова бы ни была прямоугольная матрица А размера
тХп7 всегда существует разложение А = С7АУ, где U, У—г уни-
тарные матрицы, А — прямоугольная диагональная матрица раз-
мера т X п с невозрастающими неотрицательными элементами
на диагонали.
11.48. Разложение 11.47 называется сингулярным разложе-
нием матрицы А.
11.49. Если задано сингулярное разложение А = UAV матри-
цы А, то:
— диагональные элементы матрицы А является сингуляр-
ными числами матрицы А;
— столбцы матрицы U образуют ортопормированный базис
из собственных векторов матрицы АА*;
— столбцы матрицы V* образуют ортопормированный базис
из собственных векторов матрицы А*А;
— столбцы матриц У*, U образуют в совокупности сингу-
лярные базисы матрицы А.
11.50. Для вещественной матрицы существует вещественное
сингулярное разложение.
11.51. Пусть А и В — прямоугольные матрицы размеров тХ
Хп и pXq соответственно. Кронекеровым или тензорным про-
изведением АХ В матриц А и В называется матрица С размера
тр X nq следующего блочного строения:
рИВ Й12В • °|пВ
С = а2!В ‘ ' "2’lB
amiB атчв • • • flmJ1BJ
11.52. Следующие соотношения справедливы при любом чис-
ле а и любых матрицах, для которых соответствующие операции
имеют смысл:
(аА) х В = А х (а,В) = а (А х В),
(А + В)хС = А\С +ВхС,
Ахф + С)=АхВ + АХС,
Ах(ВхС) = (АхВ)х С,
(AB)x(CD) = (Ах С) (BxD),
§ 1'11
МУЛЬТИПЛИКАТИВНЫЕ ПРЕДСТАВЛЕНИЯ МАТРИЦ
81
(Ах В)* .= А* хВ*,
(АхВ)+ = А+хВ+.
11.53. Для квадратных матриц А, В порядков т, п справед-
ливы соотношения
tr (Ах В) — (tr А) - (tr В),
det (Ах В) ~ (det Л)" (det В)т,
(АхВ)~1 = А-1хВ-1.
11.54. Матрицу А X В перестановками строк и столбцов мож-
но привести к матрице В X А. Если матрицы А, В квадратные,
то строки и столбцы переставляются одинаково.
11.55. Кронекерово произведение квадратных матриц А, В
любых порядков является диагональной (треугольной того же
наименования, нормальной, эрмитовой, унитарной) матрицей, ес-
ли матрицы А, В диагональные (треугольные одного наименова-
ния, нормальные, эрмитовы, унитарные).
11.56. Если матрицы А, В порядков т, п подобны соответ-
ственно матрицам С, D, то:
— матрица А X В подобна матрице С X О;
— матрица А X Еп + Ет X В подобна матрице С X Еп + Ет X D.
11.57. Если матрицы Л, В порядков т, п имеют простую
структуру, то имеют простую структуру матрицы Л X В и АХ
ХЕп + ЕтХВ.
11.58. Пусть А и х — собственное значение и собственный век-
тор матрицы Л порядка т; р и у — собственное значение и соб-
ственный вектор матрицы В порядка п. Тогда:
— кронекерово произведение хХ у является собственным
вектором матрицы Л X В и соответствует собственному значе-
нию Ар;
— кронекерово произведение хХу является собственным век-
тором матрицы Л X Еп + Ет X В и соответствует собственному зна-
чению А + р.
11.59. Все тп собственных значений п соответствующие им
собственные векторы матриц АХ В и АХЕп + ЕтХВ имеют вид,
указанный в 11.58.
11.60. Пусть для матриц Л, В определены: ££7-разложения,
(AR-разложения, полярные разложения, сингулярные разложения,
скелетные разложения, т. е.
Л = £,.£7,,
Л = <2^,,
Л =#,£/„
В = L2U,, А = E7.A.V,, В = £72А2Е2,
В = Q2B2, A=C D, B=F G.
В =
6 В. В’. Воеводин, Ю. А. Кузнецов
WiHUHbl ТЕОРИИ
[ГЛ. 1
Тогда соответствующие разложения для матрицы АХ В имеют
вид
(4XB) = (L1XL2)(U1XC72),
(АХ В) = (Q,XQ2)(R,XB2),
(АХВ) = (Н, X Hz)(Ut X Uz),
(4 ХВ) = (17, X UZ)(A, XA2)(V, X V2), ’
'AXB) = (CXF)(DXG).
§ 12. Билинейные формы
12.1. Пусть задано комплексное (вещественное) линейное про-
странство. Числовая функция <р(х, у) называется билинейной фор-
мой в этом пространстве, если для любых векторов х, у, z и любо-
го комплексного (вещественного) числа а она принимает комп-
лексное (вещественное) значение, и при этом выполняются соот-
ношения
ср(х 4-z, у)=ф(х, у)+ф(г, у), <р(а.х, у) = а<р(х, у),
ф(х, у + z) = q>(x, у) + (р(х, z), q>(x, ay)=atp(x, у).
Мы уже встречались ранее, с функцией такого вида. Сравнивая 5.1 и
12.1, легко заметить, что скалярное произведение в евклидовом простран-
стве является билинейной формой. Однако не каждая билинейная форма
даже в вещественном пространстве будет скалярным произведением, так
как могут оказаться невыполненными важные свойства симметричности
скалярного произведения и его положительной определенности. Вспоминая,
какую важную роль играло скалярное произведение при изучении евкли-
довых пространств и действующих в них линейных операторов, нетрудно
понять и важность изучения билинейных форм, которые можно рассмат-
ривать как скалярные произведения с расширенными свойствами.
Многие свойства билинейных форм в комплексных и вещественных
пространствах совпадают, хотя в ряде случаев имеются, и очень существен-
ные, различия. В тех случаях, когда свойства билинейных форм совпадают,
мы не будем указывать тип пространств.
12.2. С билинейной формой можно выполнять формальные ал-
гебраические преобразования, т. е.
Г 8 \ Г 3
= 5 2а1₽;ф(^г> Ю)-
i=l 7=4 / 1=1 j=I
12.3. Для любой билинейной формы выполняются соотноше-
ния ф(0, у) = (р(х, 0) = О,
12.4. Билинейная форма называется нулевой, если она прини-
мает нулевое значение для всех пар векторов.
12.5. Множество всех билинейных форм, заданных над одним
и тем же линейным пространством, есть линейное пространство.
12.6. Билинейная форма ф(х, у) называется симметричной,
если для любых векторов х, у выполняется равенство ф(х, у) =
= ф(г/, х). .
БИЛИНЕЙНЫЕ ФОРМЫ
83
§ 12)
12.7. Билинейная форма ср(х, у) называется кососимметрич-
ной, если для любых векторов х, у выполняется равенство
<р(х, у) = —ср(г/, х).
12.8. Множества симметричных и кососимметричных билиней-
ных форм образуют подпространства в линейном пространстве
всех билинейных форм.
12.9. Любая билинейная форма однозначно разложима в сум-
му симметричной'и кососимметричной билинейных форм, а имен-
но:
ср {х, у) = у {<р (х, у) + ф (у, х)} + у {ср (х, у) — (р (У, г)}.
Первые два слагаемых в правой части дают симметричную били-
нейную форму, последние два — кососимметричную.
12.10. Для любой билинейной формы имеет место тождество
ср(х, у) + ф(у, х) = ф(х + у, х + у) — ф(х, х) — ф(у, у).
12.11. Кососимметричные билинейные формы, и, только они,
принимают нулевые значения при всех совпадающих аргументах.
12.12. Симметричная билинейная форма однозначно определя-
ется своими значениями при совпадающих аргументах.
12.13. Для несимметричной билинейной формы ее симметрич-
ная часть однозначно определяется значениями формы при совпа-
дающих аргументах.
12.14. Квадратичной формой в линейном пространстве К на-
зывается числовая функция ф(х, х) от одного векторного аргу-
мента хе К, которая получается из билинейной формы ф(х, у)
заменой вектора у на вектор х.
Вообще говоря, нельзя однозначно восстановить по квадратичной фор-
ме породившую ее билинейную форму. Но, как вытекает нз 12.10, сущест-
вует, и притом только одна, симметричная билинейная форма, нз которой
может быть получена исходная квадратичная форма. Эта билинейная фор-
ма называется полярной по отношению к заданной квадратичной форме.
Множество всех билинейных форм, порождающих одну н ту же квадратич-
ную форму, может быть получено путем сложения полярной билинейной
формы н произвольной кососимметричной формы. Поэтому при использо-
вании билинейных форм для изучения свойств квадратичных форм доста-
точно ограничиться рассмотрением симметричных билинейных форм. Не-
возможность восстановления билинейной формы по квадратичной объясня-
ется тем. что согласно 12.7 квадратичная форма не дает никакой информа-
ции о кососимметричной части любой билинейной формы.
12.15. Вектор z называется изотропным. для квадратичной
формы ф(х, х), если ф(z, z) = 0.
Как вытекает из свойств линейности билинейных форм по каждому
аргументу, <р (0, 0) = 0 для любой билинейной формы. Однако в общем слу-
чае могут существовать и ненулевые векторы, иа которых квадратичная
форма принимает нулевое значение. Понятие изотропности связано только
с квадратичной формой. Поэтому векторы, изотропные для одной квадра-
6*
«4
ОСНОВЫ ТЕОРИИ
[ГЛ. 1
тичной формы, могут быть не изотропными для другой квадратичной фор-
мы, и наоборот. Множество изотропных векторов, вообще говоря, образует
некоторую поверхность второго порядка в линейном пространстве, но в ряде
важных случаев оказывается линейным подпространствам.
12.16. Для квадратичной формы, порожденной кососимметрич-
ной билинейной формой, все векторы пространства являются
изотропными.
12.17. Любая квадратичная форма в комплексном простран-
стве размерности больше 1 всегда имеет ненулевые изотропные
векторы.
12.18. Для квадратичной формы в комплексном пространстве
множество изотропных векторов является подпространством в том
и только в том случае, когда эта форма порождена кососиммет-
ричной билинейной формой.
12.19. Квадратичная форма называется вещественной, если
для любых векторов пространства она принимает вещественные
значения.
12.20. Квадратичная форма в комплексном пространстве яв-
ляется вещественной тогда и только тогда, когда эта форма по-
рождена кососимметричной билинейной формой.
12.21. Вещественная квадратичная форма называется положи-
тельно {отрицательно, неположительно, неотрицательно) опреде-
ленной, если <p(z, х) > 0 (<0, СО, 5^0) для всех х =# 0.
Как правило, только положительно и отрицательно определенные квад-
ратичные формы называются знакопостоянными. Но иногда знакопостоян-
ными называются также неотрицательные и неположительные квадратичные
формы. Во избежание появления недоразумений в нужных случаях поло-
жительно и отрицательно определенные квадратичные формы мы будем
называть строго знакопостоянными, а неположительно и неотрицательно оп-
ределенные — нестрого знакопостоянными.
12.22. Вещественная квадратичная форма является строго
знакопостоянной тогда и только тогда, когда она не имеет нену-
левых изотропных векторов.
12.23. Вещественная квадратичная форма является нестрого
знакопостоянной тогда й только тогда, когда множество ее изо-
тропных векторов есть нетривиальное линейное пространство.
Сравнение свойств скалярного произведения 5.2 и соотношений 12.1 по-
казывает, что в комплексном пространстве скалярное произведение, строго
говоря, не является билинейной формой. В комплексном пространстве со
скалярным произведением тесно связаны эрмитовы билинейные формы.
12.24. Пусть задано комплексное (вещественное) линейное
пространство. Числовая функция <f(x, у) называется эрмитовой
билинейной формой в этом пространстве, если для любых векто-
ров х, у, z и комплексного (вещественного) числа а она. прини-
мает комплексное (вещественное) значение, и при этом выполни-
БИЛИНЕЙНЫЕ ФОРМЫ
§ 12]
готся соотношения
ф(г + з, у) = (f(x, y)+q(z, у), q>(ax, у) = aq>(x, у),
<p(z, у + z) = ф(я, у) + <jp(z, z), <р(г, ay) = atp(x, у).,
Здесь черта означает комплексное сопряжение.
12.25. Эрмитова билинейная форма в вещественном простран-
стве является обыкновенной билинейной формой.
12.26. Если эрмитова билинейная форма в комплексном про-
странстве является обыкновенной билинейной формой, то эта
форма — нулевая.
12.27. С эрмитовой билинейной формой можно выполнять фор-
мальные алгебраические преобразования, т. е.
Ф 2 2 1=52 octPjT (xi> Vi)-
\г=1 J / i=lj=l
12.28. Эрмитова билинейная форма называется эрмитовой сим-
метричной (эрмитовой кососимметричной), если для любых век-
торов X, у
Ф(х, у) = ф(у, х) (ф(£, у) = — ф(у, х)).
12.29. Если ф(я, у) — эрмитова симметричная (кососимметрич-
ная) билинейная форма, то йр(я, у) будет эрмитовой кососиммет-
ричной (симметричной) билинейной формой.
' 12.30. Любая эрмитова билинейная форма однозначно разло-
жима ' в сумму эрмитовой симметричной и эрмитовой кососим-
метричной билинейных форм. Именно:
ф(г, у) = 4^ ^’ + (₽(г/’ + 4 tof*’ —
Первые два слагаемых в правой части дают эрмитову симметрич-
ную билинейную форму, последние два — эрмитову кососиммет-
ричную.
12.31. Для любой эрмитовой билинейной формы имеет место
тождество
ф к, у) = 4 {ф Iх + У'х + у)— ф (х ~ У’х ~ у') +
+ гф (х + iy, х 4- гу) — йр (х — iy, х — iy)}.
12.32. Любая эрмитова билинейная форма однозначно опре-
деляется своими значениями при совпадающих аргументах.
12.33. Среди эрмитовых билинейных форм нулевая форма,
и только она, принимает нулевые значения при всех совпадаю-
щих аргументах.
12.34. Эрмитовой квадратичной формой в комплексном про-
странстве называется числовая функция ф(г, х) от одного век-
86
ОСНОВЫ ТЕОРИИ
[ГЛ. i
торного аргумента х, которая получается из эрмитовой билиней-
ной формы у) заменой вектора у на вектор х.
В отличие от квадратичных форм, по эрмитовой квадратичной формо
однозначно восстанавливается порождающая ее эрмитова билинейная фор-
ма. Это восстановление осуществляется согласно 12.31, и соответствующая
билинейная форма также называется полярной по отношению к исходной
квадратичной форме. Возможность однозначного восстановления объясняет-
ся тесной связью между эрмитовыми симметричными и эрмитовыми косо-
симметричными билинейными формами.
Несмотря на имеющиеся’ различия в свойствах билинейных и эрмито-
вых билинейных форм, для обоих типов форм многие понятия вводятся
одинаково. В частности, аналогично вводятся вещественные и знакоопре-
деленные квадратичные формы, изотропные векторы и т. п.
12.35. Среди эрмитовых билинейных форм симметричные (ко-
сосимметричные) формы, и только они, порождают вещественные
(чисто мнимые) эрмитовы квадратичные формы.
12.36. Никакая эрмитова несимметричная билинейная форма
не может порождать вещественную эрмитову квадратичную
форму.
12.37. Вещественная эрмитова квадратичная форма является
строго знакопостоянной тогда и только тогда, когда она не имеет
ненулевых изотропных векторов.
12.38. Вещественна^ эрмитова квадратичная форма является
нестрого знакопостоянной тогда й только тогда, когда множества
ее изотропных векторов есть нетривиальное линейное про-
странство.
12.39. Для того чтобы эрмитова квадратичная форма не имела
ненулевых изотропных векторов, достаточно, чтобы ее веществен-
ная или мнимая часть была строго знакопостоянной.
12.40. Симметричные эрмитовы билинейные формы, порожда-
ющие положительно определенные квадратичные формы, и толь-
ко они, задают скалярное произведение как § вещественном, так
и в комплексном пространстве.
Если в линейном пространстве задан какой-либо базис, то билинейная
н эрмитова билинейная формы являются функциями координат векторов.
По существу, вид этих функций полностью определяется формулами 12.2,
12.27. Особенно просто билинейные формы записываются в том случае, ког-
да при заданном базисе в линейном пространстве согласно 5.4 введено ска-
лярное произведение.
12.41. Пусть et, ..., еп п ..., qn — два базиса пространства
и для векторов х, у заданы разложения
п ‘ п
х = 2 li«i, л = 2
2-1 j=l
Тогда имеет место представление
п п
ф (X, у) = 2 2 ф(е»,
БМ.'ШН чл/гтш
§ 12]
для билинейной формы и представление
фк Jf) = 2 2 Ф(««, Яз)
• i=l ;=!
для эрмцтовой билинейной формы,
12-42. Матрица Ф„7 с элементами <p0 = q>(ef, </;) называется
матрицей билинейной (эрмитовой билинейной) формы ф(х, у)
в выбранной паре базисов.
12.43. Если хе, yq— вектор-столбцы арифметического простран-
ства, составленные из координат векторов х, у в разложениях
12.41, то (р(х,у) = ХеФедУд ДЛЯ биЛИНвЙНОЙ форМЫ И ф (х, у) =>
— ХеФечуч для эрмитовой билинейной формы.
12.44. В евклидовом и унитарном пространствах любая били-
нейная (эрмитова билинейная) форма имеет вид
' ' ф(х, у) = (Фх, у) (ф(х, у) = (Фх, у)).
Здесь Ф — матрица формы в паре совпадающих естественных
базисов.
Заметим, что матрица билинейной формы однозначно определяется упо-
рядоченной парой базисов. Поэтому при перемене базисов местами матрица
формы Меняется.
12.45. Между линейными пространствами билинейных и эр-
митовых билинейных форм в комплексном (вещественном) «-мер-
ном пространстве и линейным пространством квадратных матрип
порядка п с комплексными (вещественными) элементами суще-
ствуют изоморфные соответствия.
12.46. В изоморфизме 12.45 симметричной и кососимметричной
(эрмитовой, симметричной и эрмитовой кососимметричной) били-
нейной форме соответствуют симметричная и кососимметричная
(эрмитова и косоэрмитова) матрица.
Итак, если в пространстве введено скалярное произведение, то изучение
билинейных и эрмитовых билинейных форм означает изучение функций
вида (Ах, у), (Вх, у), и ничего другого. Поэтому все рассмотренные свойст-
ва форм сразу же переносятся на их матрицы, и наоборот.
12.47. Матрица А называется положительно определенной и
обозначается символом А > 0, если (Ах, х) > 0 для всех векторов
х 0. Аналогично вводятся отрицательно, неотрицательно и не-
положительно определенные матрицы. Неотрицательно определен-
ная матрица пазывается также положительно полуопределенной.
12.48. Если матрица положительно определенная, то:
- т; вце главные миноры положительные;
— все коэффициенты характеристического многочлена отлич-
ны от нуля и имеют чередующиеся знаки;
— все собственные значения имеют положительные веществен-
ные части.
88
ОСНОВЫ ТЕОРИИ
[Гл. 1
12.49. Для того чтобы комплексная матрица была определен-
ной в каком-либо смысле 12.47, необходимо, и достатои-но, чтобы
опа была эрмитовой и определенной в том же смысле.
12.50. Для того чтобы вещественная матрица была определен-
ной в каком-либо смысле 12.47, необходимо и достаточно, чтобы
ее симметричная составляющая в разложении 10.62 была опре-
деленной в том же смысле.
12.51. {Критерий Сильвестра.) Для того чтобы эрмитова мат-
рица была положительно определенной, необходимо и достаточно,
чтобы все ведущие миноры этой матрицы были положительными.
12.52. Для того чтобы эрмитова матрица была отрицательно-
определенной, необходимо и достаточно, чтобы все ведущие ми-
норы нечетного порядка были отрицательными, четного — поло-
жительными.
12.53. {Критерий Якоби.) Для того чтобы эрмитова матрица
была положительно определенной, необходимо п достаточно, что-
бы все коэффициенты характеристического многочлена были от-
личны от нуля и имели чередующиеся знаки.
12.54. Для того чтобы эрмитова матрица была отрицательна
определенной, необходимо и достаточно, чтобы все коэффициенты
ее характеристического многочлена были положительны.
12.55. Для того чтобы эрмитова матрица А удовлетворяла ус-
ловию А > 0 О, <, =^), необходимо и достаточно, чтобы ее соб-
ственные значения Z, удовлетворяли условию X, > 0 (5s, <, =g)
при всех i.
Заметим, что критерии знакоопределенности 12.51—12.55 в целом спра-
ведливы только для эрмитовых матриц. Для вещественных несимметрич-
ных матриц достаточность уже не обязательно будет иметь место. Поэтому,
например, вещественная несимметричная матрица с положительными соб-
ственными значениями может не быть положительно определенной.
12.56. Неравенство А'->В или А— В>0 О, <, =S) для мат-
риц А и В означает, что {Ах, х) > {Вх, х) (5*, <, <) для всех
х 0. ‘
12.57. Для любой матрицы А существуют числа а, завися-
щие только от А и такие, что
аЕ Л sj $Е.
12.58. Если А>0 (Э’О), то число а в неравенствах 12.57 мо-
жет быть выбрано положительным (неотрицательным).
12.59. Если Л>0 (<0), то матрица А — невырожденная н
Л-‘>0 (<0).
12.60. Пусть А, В — положительно определенные матрицы.
Существуют положительные числа б, зависящий только от Л,
В и такие, что
8В < А < -<В.
5 121
билинейные формы
а»
12.61. Если Л>0 (^, <, ^), то для любой невырожденной
матрицы В имеем В*АВ>0 (^, <, =С).
12.62. Если Л >0 (>, <, <), то для любой матрицы В име-
ем В*АВ>0 О, с, ^).
12.63. Если А, В> 0 О, <, <), то для любых неотрицатель-
ных чисел а, Р, не равных нулю одновременно, имеем аА + [35 >
>0(3=, <, ^).
12.64. Если Л>0 О, <,«£), то такому же условию удов-
летворяет матрица любого главного минора матрицы А.
12.65. Если А, В > 0, то А X В > 0.
12.66. Для любой эрмитовой положительно (неотрицательно)
определенной матрицы А существует, и притом единственная,
эрмитова положительно (неотрицательно) определенная матрица
S такая, что 52 —Л. Матрица S называется (арифметическим)
квадратным корнем из матрицы Л и обозначается Л‘/2,
12.67. Собственные векторы матриц Л и Л1/2 совпадают, а соб-
ственные значения матрицы А равны квадратам собственных
значений матрицы Л1/2.
12.68. Пусть Л, В — эрмитовы положительно определенные
матрицы. Тогда для любых вещественных чисел a, [3 неравенства
аЛ > р5 и а5-1 > рЛ-1 эквивалентны.
12.69. Пусть Л, В — эрмитовы матрицы, причем 5—положи-
тельно определенная. Тогда матрица АВ имеет простую структу-
ру и все ее собственные значения вещественные.
12.70. В условиях 12.69 собственные значения матрицы АВ
положительны (Неотрицательны) тогда и только тогда, когда мат-
рица Л положительно (неотрицательно) определенная.
12.71. Пусть A=S + iK—эрмитова положительно определен-
ная матрица порядка тп с вещественными матрицами S, К. Ве-
щественная блочная матрица
порядка 2m является симметричной и положительно опреде-
ленной.
При переходе, от одной пары базисов к другой матрица билинейной фор-
мы меняется. Характер этого изменения полностью определяется видом,
формы 12.44 и соотношением 7.2, описывающим связь координат векторов
в разных базисах.
12.72. Пусть Р — матрица преобразования координат при пе-
реходе от базиса е,, ..., еп к базису /„ a Q — матрица пре-
образования координат при переходе от <?(, ..., qn к 7,, ..., tn.
Тогда для матриц билинейной (эрмитовой билинейной) формы
<p(z, у) выполняются соотношения
Фу^Р'Фе^. (Ф/(=Р'ФС^).
so
ОСНОВЫ ТЕОРИИ
[ГЛ. г
12.73. Множество матриц- одной и топ же формы (я\ у) в-
различных парах базисов есть множество эквивалентных матриц,
12.74. Для любой билинейной (эрмитовой билинейной) формы
всегда существует такая пара базисов, в которых матрица формы
является диагональной, с элементами 0 и 1 на диагонали.
12.75. Ранг матрицы билинейной формы пе зависит от выбран-
ных базисов. Он называется рангом билинейной формы.
12.76. Разность между размерностью пространства и рангом
билинейной формы называется дефектом билинейной формы.
12.77. Билинейная форма называется невырожденной, если ее-
дефект равен 0.
Раздельный выбор базисов для каждой переменной билинейной формы
применяется довольно редко. Значительно чаще используется общий базис.
12.78. Пусть Р — матрица преобразования координат при пе-
реходе от базиса е„ ..., еп к базису Д, ..., Тогда для матриц
билинейной (эрмитовой билинейной) формы <р(х, у) выполняются:
соотношения
Фя=Р'ФееР . (Ф„=Р'Фе[Р).
12.79. Матрицы, связанные соотношением 12.78, называются
конгруэнтными (.эрмитово конгруэнтными).
12.80. Отношение конгруэнтности есть отношение эквивалент-
ности.
12.81. Правая (левая) треугольная матрица ранга г с первыми
г ненулевыми диагональными элементами называется правой
(.левой) трапециевидной матрицей.
12.82. Трапециевидная матрица с диагональными элементами,
равными 1 или ’0, называется канонической.
12.83. В правой (левой) трапециевидной матрице ранга г все
строки (столбцы), начиная сг + 1-й (г + 1-го), являются нулевыми.
12.84. Любая некососимметричная матрица конгруэнтна пра-
вой трапециевидной матрице.
12.85. Любая кососимметричная матрица конгруэнтна блочно
диагональной матрице с блоками 2-го и 1-го порядков. При этом
все блоки 2-го порядка являются невырожденными кососиммет-
ричными матрицами, блоки 1-го порядка — пулевые.
12.86. Любая матрица эрмитово конгруэнтна правой трапецие-
видной матрице.
12.87. Симметричная матрица конгруэнтна диагональной мат-
рице.
12.88. Эрмитова матрица эрмитово конгруэнтна вещественной
диагональной матрице.
В общем случае ие всегда можно сказать заранее, какой вид будет
иметь матрица конгруэнтного преобразования при переходе к трапециевид-
ной матрице. Однако при некоторых дополнительных ограничениях, накла-
дываемых на исходную матрицу, на этот вопрос Можно дать вполне опре-
деленный ответ. При этом. широко используются различные мультиплика-
тивные разложения матрицы.
§13]- БИЛИНЕЙНО Е'ГРимнипии т __________
12.89. Для того чтобы некососимметричная (произвольная)
матрица А могла быть приведена к правой трапециевидной с по-
мощью конгруэнтного (эрмитово конгруэнтного) преобразования
с правой треугольной матрицей, необходимо и достаточно, чтобы
число первых ненулевых ведущих миноров матрицы А равнялось
ее рангу.
12.90. Для того чтобы кососимметричная матрица А ранга г.
могла быть приведена к правой трапециевидной с помощью кон-
груэнтного преобразования с правой треугольной матрицей, не-
обходимо и достаточно, чтобы число первых ненулевых ведущих
миноров четного порядка матрицы А равнялось г/2.
12.91. Любая нормальная матрица приводятся к диагональной
эрмитово конгруэнтным преобразованием с унитарной матрицей.
12.92. (.Закон инерции квадратичных форм.) Если веществен-
ная симметричная (эрмитова) матрица приводится вещественным
конгруэнтным (эрмитово конгруэнтным) преобразованием к диа-
гональному виду, то число положительных, отрицательных и ну-
левых элементов на диагонали не зависит от способа приведения.
•12.93. Число положительных (отрицательных) элементов па
диагонали в утверждении 12.92 называется положительным (от-
рицательным) индексом инерции. Разность между положитель-
ным и отрицательным индексами называется сигнатурой. - •
12.94. Если матрица А имеет вид 11.1, то ее индексы инерции
совпадают с индексами инерции матрицы В из 11.1.
12.95. Пусть для эрмитовой матрицы А существует Е(7-разло-
и;ение. Тогда число нулевых, положительных и отрицательных
диагональных элементов матрицы U совпадает с числом нулевых,
положительных и отрицательных собственных значений мат-
рицы А.
§ 13. Билинейно метрические пространства
Изучение евклидовых и унитарных пространств сводилось, к исследо-
ванию дополнительных свойств как самих пространств, так и матриц по
отношению к билинейным формам, определяющим скалярные произведе-
ния. Как уже отмечалось, далеко не всегда возникает необходимость вве-
дения именно скалярного произведения. Для решения многих задач доста-
точно задать в пространстве билинейную или эрмитову билинейную фор-
му, причем не обязательно симметричную и положительно определенную.
13.1. Линейное пространство называется билинейно метриче-
ским (эрмитовым билинейно метрическим), если в нем задана би-
линейная (эрмитова билинейная) форма.
Многие определения и факты будут одинаковыми как для билинейных,
так и для эрмитовых билинейных пространств. Поэтому всюду, где это не
вызывает недоразумений, слово «эрмитово» в данном параграфе мы будем
опускать и 'будем проводить соответствующие выкладки только для били-
нейных пространств, подразумевая, что для эрмитовых пространств они
.проводятся аналогично. Желая подчеркнуть общность между билинейными
92
ОСНОВЫ ТЕОРИИ
[ГЛ. 1
формами и скалярными произведениями, мы будем оба вида форм называть
также скалярным произведением и обозначать соответствующим символом.
13.2. Если для заданной системы векторов xt, ..., хт и векто-
ра х имеет место разложение
х = o^z, + ... + атхт,
то коэффициенты этого разложения удовлетворяют системе ли-
нейных алгебраических уравнений
а,{х„ Xt) + a2(z2, Xt) + ... + am(xm, x,) — {x, x,),
ajz,, z2) + a2(z2, zs) + ... + a„,(zm, x2) = (z, z2),
ajz,, xm) + a2(z2, !„) + ... + am{xn, xm) = (z, z,n).
13.3. Матрица G, являющаяся транспонированной матрицей
системы 13.2, имеет вид
(х1’ х1) (хгхг) ... (.г,.хи)
(г2’2'1) (Х2'Х2) ••• (Я2’М
(Si’^1) (Лп>*г) ••• (rm’M
и называется матрицей Грама системы векторов х„ х2, ..., хт.
Ее определитель G(xt, хт) называется определитем Грама.
13.4. Если векторы х,, .,хт образуют базис пространства, то
матрица Грама для них является матрицей основной билинейной
формы (х, у) в этом базисе.
13.5. Матрицы Грама для различных базисов конгруэнтны.
13.6. Ранг матриц Грама является инвариантом билинейно
метрического пространства и называется его рангом.
13.7. Разность между размерностью п рангом пространства
называется дефектом пространства.
13.8. Билинейно метрическое пространство называется вырож-
денным {невырожденным), если его дефект отличен от нуля (ра-
вен нулю).
13.9. Для невырожденного пространства система 13.2, где
х„ ..., хт — базис, всегда имеет, и притом единственное, решение.
13.10. Если для двух векторов х, у билинейно метрического-
пространства выполняется равенство {х, у) = 0, то вектор у назы-
вается1 ортогональным справа к вектору х, а вектор х — ортого-
нальным слева к вектору у.
13.11. Если (z, у) = (у, z)=0, то векторы х, у называются
ортогональными.
13.12. Для того чтобы вектор пространства был ортогонален:
в каком-либо смысле ко всем векторам линейного подпростран-
ства, необходимо и достаточно, чтобы этот вектор был ортогона-
лен в том же смысле к векторам какого-нибудь его базиса.
§13] БИЛИНЕЙНО МЕТРИЧ1ЛЖИь nruv.n
13.13. Множество векторов F билинейно метрического про-
странства ортогонально справа, слева или просто ортогонально
множеству векторов G того же пространства, если аналогичное
отношение ортогональности выполняется для каждой пары век-
торов х, у, где х е F, у s G.
13.14. Множество векторов пространства, ортогональных
справа (слева) каждому из векторов множества F, называется
ортогональным дополнением F справа {слева} и обозначается
F^F}.
•13.15. Ортогональное дополнение есть подпространство.
13.16. Для любого множества F имеют место включения F^
13.17. Если скалярное произведение задано симметричной или
кососимметричной билинейной формой, то для любого множества.
F выполняется равенство F^—^F.
13.18. Если матрица Грама системы векторов х,, ..., хп вы-
рожденная, то существуют такие векторы и, v, являющиеся не-
тривиальными линейными комбинациями векторов zn ..., xmr
что и ортогонален справа, а v — слева ко всем векторам линей-
ной оболочки векторов zb ..., xm.
13.19. Если матрица Грама для линейно независимой систе-
мы векторов вырожденная, то квадратичная форма (z, х} имеет
ненулевой изотропный вектор, принадлежащий линейной оболоч-
ке заданной системы и ортогональный справа (слева) ко всем
векторам этой оболочки.
13.20. Для любой линейно зависимой системы векторов опре-
делитель Грама равен нулю.
13.21. Если квадратичная форма (z, х) не имеет ненулевых
изотропных векторов, то определитель Грама не равен нулю тогда
и только тогда, когда его система векторов линейно независима.
13.22. Если квадратичная форма (х, х} строго знакопостоян-
ная, то определитель Грама равен нулю тогда и только тогда,
когда система векторов линейно зависима.
13.23. Если билинейная форма {х, у) симметричная, а квадра-
тичная форма (z, х) строго знакопостоянная, то для любых двух
векторов х, у выполняется перавенство Коши — Бупяковского
|(z, р)|2< {х, х}{у, у), причем равенство достигается тогда и толь-
ко тогда, когда векторы х, у линейно зависимы.
13.24. Определитель Грама не изменяется при перемене места-
ми любых двух векторов в системе xt, ..., х„,.
13.25. Определитель Грама не изменяется от прибавления
к любому вектору системы Zi, ..., zm любой линейной комбинации
остальных векторов.
13.26. Если..какой-либо вектор системы z4, ..., xm умножить
на число а, то определитель Грама умножается на а2, если били-
нейная форма (z, у) обыкновенная, и на 1аР, если форма (z, у)
эрмитова.
ТЕОРИИ
(ГЛ. 1
13.27. Если каждый из векторов xt, ..., хт ортогонален слева
{справа) ко всем предшествующим векторам, то для определи-
теля Грама справедливо равенство
т
• • • I *^тп) = I Г Я|).
(=1
13.28. В евклидовом и унитарном пространствах определитель
Трама для любой линейно независимой системы векторов явля-
ется положительным.
13.29. В евклидовом и унитарном пространствах определитель
Трама системы векторов равен квадрату модуля определителя
матрицы, столбцы которой составлены из координат этих векто-
ров в любом ортонормированием базисе.
13.30. Для любой системы векторов х,, ,.хт евклидова или
унитарного пространства справедливы неравенства
ГА
O^G(X,......хт)<Ц(хьха,
i=l
причем равенство слева достигается тогда и только тогда, когда
система векторов линейно зависима, а равенство справа — тогда
л только тогда, когда система векторов либо ортогональна, либо
содержит нулевой вектор.
13.31. Для любой системы векторов ..., хт евклидова или
унитарного пространства справедливо неравенство
G(xt, ..., Xi, xt+l, ..., хт) G(xi, ..., xt)G(x1+l, ..., xm),
причем равенство достигается тогда и только тогда, когда либо
множества векторов я,, ..., х, и х,+ ), ..., хт ортогональны, Либо
одно из этих множеств представляет собой линейно зависимую
систему.
13.32. Для любой матрицы А в евклидовом или унитарном
пространстве отношение
fc(4) =
G(Art, ...,Лхт)
G<S1.....*m)
не зависит от векторов я,, ..., хт, если они образуют базис, и рав-
но произведению квадратов модулей собственных значений мат-
рицы А.
13.33. Для любой линейно независимой системы векторов
л:), ..., Хт евклидова или унитарного пространства и любого век-
тора з выполняется неравенство
С(хг ...,.гт,г) G(xr.......*m_r z)
G(T1....М "" G(*l’
Любое линейное подпространство можно рассматривать как билинейно
метрическое пространство относительно того же скалярного произведения.
БИЛИНЕЙНО МЕТРИЧЕСКИЕ ПРОСТРАНСТВА
95-
S13J
При этом на подпространства переносится вся введенная ранее термино-
логия.
13.34. Для того чтобы в пространстве были невырожденными
все его подпространства, необходимо и достаточно, чтобы квадра-
тичная форма (х, х) не имела ненулевых изотропных векторов.
13.35. Подпространства ХК. и Кх билинейно метрического про-
странства К называются соответственно левым и правым нуле-
выми подпространствами в К.
13.36. Имеют место соотношения Х(ХХ) = (ХК)Х = К.
13.37. Для любого множества векторов F всегда справедливы
включения Кх s F\ ХК s XF.
13.38. Для любых систем векторов нз ХК или Кх матрицы
Грама являются нулевыми.
13.39. Размерности левого и правого нулевых подпространств
совпадают и равны дефекту билинейной формы (х, у).
13.40. Для того чтобы пространство было невырожденным, не-
обходимо и достаточно, чтобы правое и левое нулевые подпро-
странства состояли только из нулевого вектора.
13.41. Пусть L — подпространство в К. Для того чтобы суще-
ствовали разложения
a’=z,+£j- = £+j-£,
необходимо и достаточно, чтобы подпространство L было невы-
рожденным.
13.42. Если невырожденное подпространство L имеет размер-
ность пг, то размерность подпространств Lх и х£ равна п — mr
где п — размерность всего пространства.
13.43. Если невырожденное подпространство L имеет макси-
мально возможную размерность, то L-L = K-L, ±L = -LK.
13.44. Пусть L—невырожденное'подпространство максималь-
ной размерности. Разложения 13.41 будут ортогональными тогда
и только тогда, когда левое и правое нулевые подпространства
совпадают.
13.45. Если L — невырожденное подпространство максималь-
ной размерности, то подпространства XL и £А состоят только ид
изотропных векторов.
13.46. Пусть векторы х,, ..., х™ образуют базис невырожден-
ного подпространства £ и х — произвольный вектор. Тогда вектор
2 ОС,Х, “Г ... “Г
где коэффициенты а,, ..., ат удовлетворяют системе линейных
алгебраических уравнений
а/х,, xj + a2(.x2, Xi) + ... + am(xm, x,) = (x, x,),
аДх,, x2) + a2(x2, x2) + ... + Om(xm, x2) = (x, x2),
CCj(Xj, Xm) 4* <x2(x2, Xml 4* ... "t* 0C.m(x,n, Xm) (Xy xTn),
96
ОСНОВЫ ТЕОРИИ
[ГЛ. 1>
есть проекция вектора х на подпространство L параллельно под-
пространству LL.
13.47. Если коэффициенты at, .ат удовлетворяют системе
<5 матрицей, транспонированной по отношению к матрице систе-
мы 13.46, и с правой частью 13.46, то вектор z из 13.46 есть
проекция вектора х на подпространство L параллельно подпро-
странству L\
13.48. Для эрмитова билинейно метрического пространства
утверждение 13.47 остается в силе, если в системе заменить ко-
эффициенты а,, ..., ат на ..., ат и (х, х,), ..., (х, хт) па
<х,, х), ..., (хт, х).
В билинейно метрических пространствах базисы неравноправны. Среди
них имеются такие, для которых системы 13.46—13.48 решаются и иссле-
дуются особенно просто. Так будет, например, в случае, когда значитель-
ная часть матрицы Грама состоит из нулевых элементов. Соответственно
тому, какой вид имеют матрицы Грама, мы будем рассматривать различные
классы базисов в билинейно метрических пространствах. Класс базисов оп-
ределяется, коцрчно, простейшим видом матриц, задающих основную фор-
му (х, у). Напомним, что все эти матрицы конгруэнтны.
13.49. Базис называется ортогональным, если его матрица
Грама диагональная.
13.50. Среди билинейно метрических пространств имеют орто-
тональные базисы те и только те пространства, в которых били-
нейная форма (х, у) симметричная.
13.51. Среди эрмитовых билинейно метрических пространств
имеют ортогональные базисы пространства с эрмитовой симмет-
ричной и эрмитовой кососимметричной формой (х, у), а также
с формой (х, у), имеющей знакопостоянную' Вещественную или
мнимую часть квадратичной формы (х, х).
Отметим сразу одно принципиальное различие между обыкновенными
п эрмитовыми билинейно метрическими пространствами с ортогональными
базисами. В обыкновенном билинейно метрическом пространстве наличие
ортогонального базиса влечет за собой симметрию скалярного произведе-
ния (х, у), а это, в свою очередь, обеспечивает существование ортогональ-
ного базиса в любом подпространстве. В, эрмитовом билинейно метрическом
пространстве в общем случае из существования ортогонального базиса в
•самом пространстве не вытекает автоматически существование Ортогональ-
ного базиса в любом его подпространстве. Однако если скалярное произве-
дение задано эрмитовой симметричной или эрмитовой кососимметричной
билинейной формой, то существование ортогонального базиса в любом под-
пространстве снова имеет место.
13.52. Если в пространстве существует ортогональный базис,
то правое и левое нулевые подпространства совпадают.
13.53. В любом ортогональном базисе изотропные векторы,
п только они, образуют базис общего нулевого подпространства.
Ортогональные базисы. существуют не во всяком билинейно метриче-
ском и эрмитовом билинейно метрическом пространстве. Это обстоятельст-
но заставляет искать другие классы базисов, более удобные с точки зре-
§ 13]
БИЛИНЕЙНО МЕТРИЧЕСКИЕ ПРОСТРАНСТВА
97
пия заданного в пространстве скалярного произведения. Решение подска-
зывается каноническим видом матрицы билинейной формы.
13.54. Базис называется псевдоортогоналъным, если его мат-
рица Грама правая трапециевидная.
13.55. Псевдоортогональный базис существует в любом эрми-
товом билинейно метрическом пространстве, а также в любом
обыкновенном билинейно метрическом пространстве, кроме про-
странств с кососимметричной билинейной формой (х, у).
13.56. Для того чтобы базис был псевдоортогональным, необ-
ходимо и достаточно, чтобы каждый из его неизотропных векто-
ров был ортогонален слева ко всем предшествующим векторам
базиса, а каждый из его изотропных векторов был ортогонален
слева ко всем векторам базиса.
13.57. Изотропные векторы псевдоортогопалыюго базиса обра-
зуют базис левого нулевого подпространства.
13.58. Существуют пространства, в которых имеются как ор-
тогональный, так и псевдоортогональный базис, пе являющийся
ортогональным.
13.59. Система векторов, образующих псевдоортогональный
базис в своей линейной оболочке, называется псевдоортогоналъной.
Псевдоортогояальный базис является достаточно общим тппом базиса,
так как существует почти во всех пространствах. Как мы уже отмечали,
он не существует только в обыкновенных билинейно метрических простран-
ствах с кососимметричной формой (х, у). Вообще говоря, можно ввести тип
базиса, покрывающий все рассмотренные типы базисов и существующий
во всяком пространстве со скалярным произведением. Однако его введенио
дает мало новых фактов, и мы не будем на нем останавливаться.
13.60. Пусть в паре базисов матрица билинейной формы явля-
ется диагональной с элементами 1 или 0 на диагонали. Первый
(второй) из этих базисов называется левым (правым) двойствен-
ным для второго (первого) базцса.
13.61. Пусть в паре базисов матрица билинейной формы (х, у)
является канонической правой (левой) трапециевидной с элемен-
тами 1 или 0 на диагонали. Первый (второй) из этих базисов
называется левым (правым) псевдодвойственным для второго
(первого) базиса.
13.62. В любом невырожденном пространстве каждый базис
имеет правый и левый двойственные базисы, и притом един-
ственные.
13.63. В любом невырожденном пространстве каждый базис
имеет левый и правый псевдодвойственные базисы.
13.64. В невырожденном пространстве матрица преобразова-
ния координат при переходе от одного базиса, псевдодвойствеи-
ного к заданному, к любому другому псевдодвойствепному базису
того же наименования является левой треугольной.
13.65. Пусть А — некоторая квадратная матрица в евклидо-
вом или унитарном пространстве. Системы векторов, ортогопаль-
7 в. В. Воеводин, 10. А. Кузнецов
98
ОСНОВЫ ТЕОРИИ
- [ГЛ t
like (псевдоортогональные, двойственные, псевдодвойствеппые)
относительно формы (Ах, у), называются А-ортогоналъными.
(А-псевдоортогональными, А-двойственными, А-псевдодвойствен-
ными).
13.66. Л-ортогональные (Л-псевдоортогональпые) системы век-
торов называются также системами, сопряженными (псевдосо-
пряженными) относительно матрицы Л.
§ 14. Векторные и матричные нормы
Одним из основных понятий математического анализа является поня-
тие предела. Основапо оно на том, что для точек числовой оси определено
понятие «близости» или, точнее, расстояния между точками.
Сравнение на «близость» можно ввести и в множествах совсем иной
природы. Мы уже определили в § 5 расстояние между векторами линей-
ных пространств со скалярным произведением. При этом было обнаружено,
что оно обладает теми же свойствами 5.49, что и расстояние между точка-
ми числовой оси. Мы рассмотрим теперь другой, более общий способ вве-
дения расстояния между векторами и распространим его также на матри-
цы. Однако вначале целесообразно привести некоторые общие определе-
ния и факты, касающиеся измерений в различных множествах.
14.1. Множество называется метрическим пространством, ес-
ли каждой паре его элементов поставлено в соответствие неот-
рицательное вещественное число, называемое расстоянием, при-
чем выполнены следующие аксиомы:
р(х, у) =р(р, х),
р(х, у) > 0, если х=£ у, р(х, у) = 0, если х = у,
р(х, у) С р(х, z) + p(z, у)
для любых элементов х, у, z. Эти аксиомы называются аксиома-
ми метрики, причем первая из них называется аксиомой симмет-
рии, третья — аксиомой треугольника (неравенством треуголь-
ника').
14.2. Элемент ха метрического Пространства X называется пре-
делом последовательности {х(} элементов Xi, ..., х,, ... из X,
если последовательность расстояний р(х0, хА, ..., р(х0, х<), ...
сходится к нулю. Последовательность {х,} называется сходящейся
в X или просто сходящейся. Для указания сходимости последо-
вательности используется символика
xi х0 или lim Xi = х0.
>оо
14.3. В зависимости от введенной метрики одна п та же
последовательность может быть и сходящейся, и несходящейся.
14.4. Если последовательность сходится, то сходится (и имеёт
тот же предел) любая ее подпоследовательность.
14.5. Последовательность не может иметь более одного пре-
дела.
§ 14]
ВЕКТОРНЫЕ Й МАТРИЧНЫЕ НОРМЫ
99
14.6. Шаром S(a, г) в метрическом пространстве X называется
множество элементов ~х е X, удовлетворяющих условию р(а, х) <
< г. Элемент а называется центром шара, число г — радиусом
шара.
14.7. Любой шар с центром в а называется окрестностью эле-
мента а.
14.8. Множество элементов называется ограниченным, если
оно целиком принадлежит некоторому шару.
14.9. Элемент ха является пределом последовательности {zn}
тогда и только тогда, когда любая окрестность элемента ха со-
держит все элементы рассматриваемой последовательности, на-
чиная с некоторого номера.
14.10. Элемент х называется предельной точкой множества
М, если любая окрестность элемента х содержит хотя бы один
элемент множества М, не совпадающий с х.
14.11. Множество, полученное присоединением к М всех его
предельных точек, называется замыканием множества М и обо-
значается М. _
14.12. Множество М называется замкнутым, если М = М.
14.13. Замкнутым шаром S(a, г) называется множество эле-
ментов х, удовлетворяющих условию р(а, х) < г.
14.14. Последовательность {хп} элементов метрического про-
странства называется фундаментальной или сходящейся в себе,
если для любого числа е > 0 найдется такое N, что p(zn, xm) < в
мри п, тп> N.
14.15. Если последовательность — сходящаяся, то она — фун-
даментальная.
14.16. Любая фундаментальная последовательность ограни-
чена.
14.17. Метрическое пространство называется полным, если
любая фундаментальная последовательность в нем является схо-
дящейся.
14.18. Пусть дана некоторая последовательность шаров. Эти
шары называются вложенными друг в друга, если каждый по-
следующий шар содержится внутри предыдущего.
14.19. Пусть в полном метрическом простанстве X задана по-
следовательность {S(an, гп)} замкнутых шаров, вложенных друг
в друга. Если последовательность радиусов стремится к нулю,
чо существует единственный элемент из X, принадлежащий всем
этим шарам.
При исследовании метрического пространства основное внимание со-
средоточивается лишь на одном свойстве множества — наличии В нем рас-
стояния. При исследовании линейного пространства изучаются лишь опе-
рации в множестве. Теперь мы рассмотрим линейные пространства с мет-
рикой.
Очевидно, что если понятие расстояния никак не связано с операция-
ми над элементами, то нельзя построить содержательной теории, факты ко-
торой соединяли бы вместе алгебраические и метрические понятия. Поэте-
100
ОСНОВЫ ТЕОРИИ
(ГЛ t
му мы будем накладывать на метрику, введенную в линейном пространст-
ве, дополнительные условия.
В действительности мы уже встречались с метрическими линейными
пространствами. Таковы, например, евклидово и унитарное пространства
с метрикой 5.48. Однако необходимость в такой метрике возникает далека
не всегда. Введение скалярного произведения означает, по существу, вве-
дение не только расстояния между элементами, но и углов между ними.
Чаще же всего в линейном пространстве требуется дать приемлемое опре-
деление лишь расстояния. Важнейшими линейными пространствами такога
рода являются так называемые нормированные пространства.
Мы снова не акцентируем внимание на арифметических пространствах,
так как соответствующие иллюстрации почти очевидны. Единственное, что
существенно,— это предположение о конечномерности линейного простран-
ства.
14.20. Вещественное или комплексное линейное пространства
К называется нормированным пространством, если каждому век-
тору х^К поставлено в соответствие вещественное число Пх11,.
называемое нормой вектора х, причем выполнены следующие-
аксиомы:
11x11 > 0, если х =/= 0, НОИ = 0,
llAxll = lAlHxll,
Их + pH sS llxll + Uy II
для любых векторов х; у и любого числа А. Вторая аксиома
называется аксиомой абсолютной однородности нормы, третья
аксиома — аксиомой треугольника {неравенством треугольника).
14.21. Нормированное пространство становится метрическим,
если положить р(х, у) = Нх—yll. При этом метрика будет обла-
дать двумя дополнительными к 7.1 свойствами:
р(х -ь z, у + z) = р(х, у), р(Ах, ?.у) = |АIр(х, у)
для любых векторов х, у и любого числа А.
14.22. Если в метрическом линейном пространстве К какая-
либо метрика обладает дополнительными свойствами 14.21, то К
можно рассматривать как нормированное пространство, если
определить норму равенством 11х11 = р(х, 0) для всех х^К.
14.23. Любое линейное пространство со скалярным произве-
дением становится нормированным, если под нормой вектора
понимать его длину.
14.24. Если в пространстве со скалярным произведением за-
дан положительно определенный оператор L, то функция
Нх11ь = (Lx, х),/2
является нормой. Норма этого типа называется энергетической.
нормой, порожденной оператором L, если оператор L самосопря-
женный.
14.25. Пусть в линейном пространстве векторы заданы своими
координатами относительно некоторого базиса. Если х = (cii, ...
§ 14]
ВЕКТОРНЫЕ И МАТРИЧНЫЕ НОРМЫ
101
.а„), то функция
/ П \ 1/р
kllp= 2 |«d₽)
\fc=l /
при любом р > 1 является нормой. Норма этого типа называется
нормой Гелъдера с показателем р.
. 14.26. Наиболее распространенными среди гельдеровых норм
являются следующие:
п / п \ 1/2
= 2 l«h|, 1И|2= ( 2|«hl2) ,UU= max |afi|.
h=l \ h=1 /
Вторая из этих норм часто называется евклидовой нормой и обо-
значается Их11£.
14.27. Вектор, норма которого равна единице, называется
нормированным.
14.28. Любой ненулевой вектор х можно нормировать, умно-
жив его на число Л = Hadi-1.
14.29. Для любых векторов х, у, z, и выполняются нера-
венства
I Их» — П у II I Их — у И, I Их — yll — Hz — till I sS Их — zll + Пу — ull.
14.30. Для любых чисел Л. и векторов х. выполняется нера-
венство
п
2 ^iTi
< 2 iMlhl.
i=l
14.31. Если в метрике 14.21 для последовательностей векторов
{х;}, {yj и чисел {Л;} справедливы предельные соотношения
Xi->- X, yf->- у, Л;Л,
то имеют место предельные соотношения
Их.П -* 11x11, х. + у. х + у, KiXi -* Кх.
14.32. Сходимость последовательности векторов в метрике
14.21 называется сходимостью по норме, ограниченность множе-
ства векторов — ограниченностью по норме, и т. д.
14.33. Пусть последовательность векторов х; = • • •, а»>)
и вектор х = (а(, ..., ап) заданы своими координатами в некото-
ром базисе. Если для всех / выполняются предельные соотноше-
ния то говорят, что последовательность векторов xt
сходится покоординатно к вектору х.
14.34. Если х,- х покоординатно в каком-нибудь одном ба-
зисе, то сходимость имеет место-и в любом другом базисе.
14.35. Если в нормированном пространстве последователь-
ность векторов ограничена по норме, то ограничены и числовые
102
ОСНОВЫ. ТЕОРИИ
(ГЛ. 1
последовательности всех координат в разложении векторов по
любому базису.
14.36. В нормированном пространстве из сходимости по нор-
ме вытекает координатная сходимость, и наоборот.
Координатная сходимость эффективно используется в теоретических
исследованиях; в практических же приложениях удобнее пользоваться схо-
димостью по норме. Это объясняется, в основном, тем, что при исследова-
нии линейных пространств большой размерности трудно иметь дело с боль-
шим числом координатных последовательностей. К тому же не всегда быва-
ет известен хотя бы один базис. Но даже если базис известен, его исполь-
вование чаще всего приводит к неоправданно громоздким вычислениям.
14.37. Из всякой ограниченной по норме последовательности
векторов нормированного пространства можно выбрать подпосле-
довательность, сходящуюся по норме в этом пространстве.
14.38. Любое нормированное пространство является полным.
14.39. Любое подпространство нормированного пространства
является замкнутым множеством.
14.40. Пусть К — нормированное пространство и L — его под-
пространство, пе совпадающее с К. Существует нормированный
вектор х & L такой, что Их — j/H > 1 для любого вектора у L.
14.41. Если в произвольном нормированном пространстве из
всякой ограниченной по норме последовательности векторов мож-
но выбрать сходящуюся последовательность, то пространство ко-
нечномерно.
14.42. В нормированном пространстве любые две нормы экви-
валентны. Это означает, что для любых норм ll-lli, 11-11п существу-
ют такие положительные числа а, р, пе зависящие от векторов
пространства, что
allx»! 11x11 п С pllxlli
для всех векторов х.
14.43. В замкнутом, ограниченном по какой-либо норме мно-
жестве векторов существуют векторы, па которых достигаются
как нижняя, так и верхняя грани значений любой нормы.
Множество матриц одинаковых размеров является линейным простран-
ством. Его можно сделать нормированным, если ввести норму любым из
описанных способов. При этом, конечно, нормированное пространство мат-
риц будет полным, и имеют место все вытекающие отсюда следствия. Од-
нако по отношению к матричным операциям эти метрические факты оказы-
ваются несколько обедненными, так как не отражают мультипликативных
свойств матриц. Вводя матричные нормы и проводя метрические исследо-
вания, обычно в той или иной форме принимают во внимание операции
умножении матриц, умножения матрицы на вектор и т. ц.
14.44. Пусть каждой матрице А поставлено в соответствие
вещественное число ИДИ. Это число называется нормой матрицы,
если выполнены следующие аксиомы:
IIАII > 0, если А ¥= 0, ПОП = О,
НАД Н = 1X1 ИЛ II,
ВЕКТОРНЫЕ И МАТРИЧНЫЕ НОРМЫ
103
НЛ+5Н + НЛП + П5П,
ПАСИ < НА ПИСИ
для любого числа Л и любых матриц А, В, С, для которых соот-
ветствующие операции имеют смысл.
14.45. Норма матрицы называется мультипликативной, если
она удовлетворяет всем четырем аксиомам 14.44.
14.46. Норма матрицы называется аддитивной или обобщен-
ной матричной нормой, если опа удовлетворяет первым трем ак-
сиомам 14.44.
14.47. Умножением на достаточно большую положительную
константу всякую аддитивную матричную норм# можно превра-
.тить в мультипликативную. Наименьшей из таких констант
является
q = шах || АС ||.
Последнее утверждение означает, что при изучении матричных норм
Можно ограничиться рассмотрением лишь одного вида норм, например муль-
типликативных. Поэтому в дальнейшем, если не сделано специальной ого-
ворки, под нормой матрицы будет пониматься, как правило, мультиплика-
тивная норма.
14.48. Пусть матрица А с элементами имеет размер п X пг.
Наиболее употребительными являются следующие нормы:
п
Ph = max 2 ]ан|;
i=i
т
]]4U= шах 2 |ау|;
1
М (4) = (ши)1/2 шах| ац |;
iJ
||4|12 = максимальному сингулярному числу матрицы;
(пт \ 1/2
2 21 аи\“) •
i=i ;=i /
Первые три нормы называются, соответственно 1-, <ю- и М-нормой. чет-
вертая норма называется спектральной, последнян—евклидовой. Однако
иногда всем этим нормам даются и другие названия. Например, евклидова
норма называется также сферической, спектральная — нижней гранью мат-
рицы, 1-норма — второй, оо-норма — первой п т. п.
14.49. Имеют место следующие соотношения эквивалентности:
(™Г’'2 М (4) < || A ll! < М (4),
(шпГ1/2 Я(4)< || 4 U < (^-)V2 М (4),
104
ОСНОВЫ ТЕОРИИ
(ГЛ. 1
М (А) й СМ1И СМ (А},
(nm)~V2M (А) й CI|A||es С м (4),
(min{m, п})-1/2|| А||вй ; IIА ||Е,
т-1/г||А||в< :il Ik < >1/2 И Не,
ТГ112 ||А||В^ ^MU Ст1/2М|к
иГ1/2 ||А||2< CMM ^«1/2 ML
и-1/2||<й sup C^Mli.
т-1||А||00 = CM lk = L и || А ||оо.
14.50. Для евклидовой нормы матрицы справедливы пред-
ставления
/ I \ 1/2
||A||2E = tr4A* = trA*A = £pi ,
\i=l /
где р(, ..., р(—ненулевые сингулярные числа матрицы А.
14.51. Евклидова и спектральная нормы не меняются при
умножении матрицы справа и слева на любые унитарные
матрицы.
14.52. Для евклидовой нормы произведения матриц имеют
место более точные оценки:
IMCIU плМ(Х, МСНв < 11411е11СП2.
14.53. Евклидова и спектральная нормы матрицы совпадают
;огда п только тогда, когда ранг матрицы равен 1.
14.54. Аддитивная или мультипликативная норма матрицы
называется согласованной с векторными нормами, если ПЛлгИ <
СПАНЫ для всех векторов х.
14.55. Всякая норма матриц согласована с какими-нибудь
нормами векторов.
14.56. Пусть заданы любые векторные нормы. Числовая
функция
МИ = suPnr^r = sup ИжИ
х#=0 IIх II и=1
является, по крайней мере, аддитивной матричной нормой и на-
зывается нормой матрицы, подчиненной заданным векторным
нормам.
14.57. Среди всех норм, согласованных с заданными вектор-
ными нормами, подчиненная норма является минимальной.
14.58. 1-, оо- и спектральная нормы из 14.48 являются под-
чиненными по отношению, соответственно, к 1-, и 2-нормам
векторов.
§ 15]
ФУНКЦИОНАЛЫ В ЕВКЛИДОВОМ HPOCTPAHU1 вв
1UO
14.59. Af-норма из 14.48 является согласованной по отношению
к 1-, °о- и 2-нормам векторов.
14.60. Евклидова норма из 14.48 согласована только с 2-нор-
мами векторов.
14.61. Для квадратных матриц и одинаковых норм в прост-
ранствах векторов образов и прообразов подчиненная норма
14.56 всегда будет Мультипликативной.
14.62. Для любой мультипликативной нормы ИАН > 1.
14.63. В условиях 14.56 всегда ПАП = 1.
§ 15. Функционалы в евклидовом пространстве
15.1. Функционалом в линейном пространстве называется
числовая функция, аргументы которой суть векторы пространства.
Функционалы очень широко используются в линейной алгебре. Так,
функционалами являются норма, скалярное произведение, объем системы
векторов, определитель Грама, билинейная и квадратичная формы и т. и.
Мы рассмотрим сейчас более подробно некоторые специальные функциона-
лы от одного векторного аргумента. При этом ограничимся изучением функ-
ционалов, в основном, в евклидовом пространстве. Наличие скалярного про-
изведения дает возможность задавать многие функционалы в простой фор-
ме, а вещественность функционалов и пространств позволяет упростить
исследования. Комплексные функционалы применяются значительно реже
вещественных, вещественные же функционалы в унитарном пространстве
довольно часто сводятся к вещественным функционалам в евклидовом про-
странстве.
15.2. Функционал f(x) называется линейным, если для любых
векторов х, у и любого числа а выполняются соотношения
/(z + у) = /(z) + f(y), f(ax) = af(x).
Функционал, не являющийся линейным, называется нелинейным.
15.3. В пространстве со скалярным произведением любой ли-
нейный функционал f(x) может быть представлен в виде скаляр-
ного произведения (х, j) для некоторого вектора /, однозначно
определяемого функционалом.
15.4. Среди нелинейных функционалов наиболее употреби-
тельными являются следующие:
(Ах, х) — 2(Ъ, х) + с (функционал ошибки)-,
(^4 х х)
—4— (отношение Релея);
(z, х)
(у! х')
—г- (обобщенное отношение Релея)-,
\ DXX )
(Ах—b, Ах—Ь) (функционал невязки).
Здесь А, В — квадратные матрицы, b — вектор, с — число.
15.5. Первые три функционала из 15.4 не изменятся, если
к матрицам А и В прибавить любые кососимметричные матрицы.
11 JI. 1
Последнее утверждение означает, что без ограничения общности можно
считать, что матрицы А и В в первых трех функционалах из 15.4 симмет-
ричные. Поэтому всюду в дальнейшем мы будем предполагать выполнен-
ным это условие, если не сделано какой-либо оговорки.
15.6. Производной функционала F(x) в точке х по направле-
нию у называется выражение
OF (х) _ F {х A-ty)—F (х) .
1-.0 ‘
если предел существует.
15.7. Для функционалов Е(х) из 15.4 в каждой точке х,
где эти функционалы определены, существует производная по
любому направлению у. Как функция от у, опа является линей-
ным функционалом, т. е.
SF . .
^7
Соответствующий вектор z называется градиентом функционала
F(x) в точке х и обозначается grad F(x).
15.8. Для того чтобы производная функционала в некоторой
точке по направлению у равнялась нулю, необходимо и доста-
точно, чтобы градиент в этой точке был ортогонален вектору у.
15.9. Для того чтобы градиент функционала в некоторой точке
равнялся нулю, необходимо и достаточно, чтобы он был ортого-
нален ко всем: векторам какого-нибудь базиса.
15.10. В окрестности точки х функционал F(x) растет (убы-
вает) быстрее всего в направлении gradF(.r) (— grad Fix)).
15.11. Имеют место следующие формулы:
grad (х, f) — f, grad (Ах, х) = 2Ах,
grad ((Ид:, х) — 2 (Ь, х) + с) = 2 (Ах — Ь),
gradl^L= 2 1Ах_ \
ь (х, х) (х, х) \ (х, х) j'
grad = -7п-—г (Ах 7^—т
ь (Вх, х) (Вх,х) \ (Вх, х) }'
grad (Ах — Ь, Ах — Ь) = '2А* (Ах — Ъ).
Один из эффективных способов изучения нелинейных функционалов
состоит в исследовании их поведения на прямых линиях в пространстве.
15.12. Если (Д2, 1)>0 (<0) для некоторого вектора I, то на
любой прямой с направляющим вектором I функционал ошибки
достигает минимума (максимума).
15.13. Если (Л/, 2)#=0, то множество экстремальных точек х
функционала ошибки на прямых линиях с направляющим век-
тором I есть гиперплоскость (Ах— Ъ, 2) = 0.
15.14. Для гиперплоскости (Ах — Ь, Г) = 0 .вектор. А1 является
нормальным.
8 15]
wy illtUJ'lVlAiXJliAi и
15.15. Прямая линия с направляющим вектором I пересекает
гиперплоскость (Лх — Ь, Г) — 0 в одной точке тогда и только
тогда, когда (4Z, Z) ¥= 0.
15.16. Если (Al, I) =0, то прямая с направляющим вектором I
принадлежит гиперплоскости (Ах — Ь, Z) = 0 в том и только в том
случае, когда функционал ошибки остается постоянным на этой
прямой.
15.17. Если (Al, I) = 0, то прямая с направляющим вектором
I параллельна гиперплоскости (Ах — b, I) — 0 в том и только в том
случае, когда функционал ошибки изменяется линейно на этой
прямой.
15.18. Множество точек, в которых градиепт функционала
ошибок 15.4 равен пулю, совпадает с множеством решений си- '
стемы Ах — Ь.
15.19. -Если матрица А является неотрицательно (неположи-
тельно) определенной, то множество точек х минимума (макси-
мума) функционала ошибок 15.4 совпадает с множеством реше-
ний системы Ах — Ь.
15.20. Функционал ошибок 15.4 имеет единственную точку
минимума (максимума) в том и только в том случае, когда мат-%
рица А положительно (отрицательно) определена.
15.21. Пусть Ц, ..., In — произвольный Д-ортогональный базпс
пространства. Число его векторов, на которых квадратичная фор-
ма (Л/, I) принимает положительное (отрицательное, нулевое)
значение, не зависит от выбора базиса и совпадает с числом
положительных (отрицательных, пулевых) собственных значений
матрицы А.
15.22. Предположим, что задан А -ортогональный базис Ц, ...
..., 1„, причем на векторах ..., 1Г квадратичная форма (Al, I)
пе равна нулю, на остальных — равна нулю. Рассмотрим гипер-
плоскости
(Ах — Ь, = 0, (Ах — Ь, 1г) = 0, ..., (Ах — b, 1Г) = 0.
Пересечение этих гиперплоскостей есть плоскость, размерность
которой равна размерности ядра матрицы А.
15.23. Пересечение гиперплоскостей 15.22 совпадает с мно-
жеством псевдорешений системы Ах = b тогда и только тогда,
когда векторы Ц, ..., 1Т принадлежат образу матрицы А.
15.24. Пусть в условиях и обозначениях 15.22 вектор х, при-
надлежит первым s гиперплоскостям, где 0 s < г. Проведем че-
рез х, прямую с направляющим вектором Zs+1 и па этой прямой
найдем экстремальную точку x,+i функционала ошибки 15.4.
Вектор x„+i принадлежит первым _s+ l гиперплоскостям 15.22.
15.25. При любом векторе х0 процесс 15.24 после г шагов
для з = 0, 1,..., г— 1 приводит к какому-нибудь вектору, при-
надлежащему пересечению гиперплоскостей 15.22. Число «сиу-
сков» и «подъемов» по функционалу ошибки не зависит от век-
тора х0 и совпадает соответственно с числом положительных и
отрицательных собственных значений матрицы А.
15.26. Перпендикуляр, опущенный из вектора, полученного
согласно 15.25, на линейную оболочку векторов Z,+ (, ..., /„ из
15.22, есть нормальное псевдорешение системы Ах = Ь, если вы-
полнено условие 15.23.
15.27. Для любого вектора х* справедливо тождество
(Ах, х) — 2(Ь, х) + с = (А(х — х*), х — х*) +
+ 2(Ах* — Ъ, х — х*) + (Ля*, я*) — 2(Ь, я*) + с.
15.28. Вектор я* называется центром симметрии функционала
F(x), если F(x* + у) = F(x* — у) для любого вектора у.
15.29. Решения системы Ах=Ъ, и только они, являются цент-
рами симметрии функционала ошибки 15.4.
15.30. Если (А1, /)=^0 для некоторого вектора I, то на любой
прямой с направляющим вектором I функционал ошибки есть
симметричная функция. Множество центров симметрии на таких
прямых линиях принадлежит гиперплоскости (Ах — Ь, Г)=0. Эта
гиперплоскость называется диаметральной гиперплоскостью, со-
пряженной вектору I относительно функционала ошибки 15.4.
15.31. Если матрица А невырожденная, то Л-ортогональный
базис называется также системой сопряженных диаметров функ-
ционала ошибки 15.4.
Если матрица А положительно определенная, то согласно 15.20, 15.27
минимизация отклонения вектора х от решения системы Ах = Ь равносиль-
на минимизации функционала ошибки. Собственно говоря, только данным
обстоятельством и объясняется название рассмотренного функционала как
функционала ошибки. Этот функционал в ряде случаев называется также
функционалом энергии.
15.32. Каковы бы ни были матрица Л и вектор х, минималь-
ное значение НЛх — Хх112 достигается на числе X, равном отноше-
нию Релея, т. е.
V.z/ Ms
для любого числа X.
Если вектор х и число % являются собственным вектором и собствен-
ным значением матрицы А, то выполняется равенство Ах— сх = 0. Если
вектор х и число X или одно из них не является таковым, то норма не-
вязки Ах— 7.x есть мера того, насколько вектор х и число 1 близки сов-
местно к собственному вектору и собственному значению матрицы Л. Ут-
верждение 15.32 говорит о том, что если вектор х считается «приближени-
ем» к собственному вектору, то отношение Релея оказывается лучшим «при-
ближением» к соответствующему собственному значению в смысле малости
евклидовой нормы невязки ||Лг — Xr||2, чем любые другие числа.
Многие свойства отношения Релея в значительной мере связаны с соб-
ственными векторами и собственными значениями матрицы. Далее в этом
параграфе мы будем считать, что собственные значения Xi, ..., Х„ симмет-
ричной матрицы А упорядочены по алгебраическому возрастанию. Именно:
X, Х2 ... Хп.
§ 151
ФУНКЦИОНАЛЫ В никли дивим линьи-дииюи
15.33. Градиент £ отношения Релея в точке х обладает следу-
ющими свойствами:
(£, х) = 0, (£,£) = (£, Дт).
15.34. Как функция векторов х отношение Релея есть Одно-
родная функция нулевой степени.
15.35. Градиент отношения Релея 15.4 обращается в нуль
па собственных векторах матрицы А. Значение отношения Ро-
лей в этих точках равно соответствующему собственному значе-
нию матрицы А.
15.36. На любой прямой линии, направляющий вектор кото-
рой не является собственным вектором матрицы А, отношение
Релея имеет два экстремума.
15.37. Для любого ненулевого вектора х справедливы нера-
венства
. (Л.г, г)
(2-Дг) Л"‘
15.38. Для минимального и максимального собственных
ченип имеют место следующие представления:
, . (Ах, х) . (Ах, х)
Л,, = min —-----4 кп = щах Д------Ч.
15.39. Для линейного подпространства L, натянутого па
ственнные векторы ^i1, ...,
полняются соотношения
, . (Ах, х)
V = mm 4------—,
11 Х^О (Х’Х)
зпа-
соб-
вы-
ift) матрицы А,
„ (Ат, х)
Kih = max ----------Ч
11 ХУ=0 *)
15.40. (Теорема Куранта — Фишера.) Для собственного
чения Хц симметричной матрицы А имеют место представления
. . (Ах, х) , .' (Лх.х)
Xk — max mm ,kk — min max .
bn_h+1 x^O Ltl x- <**>
x=Ln-h + l x=bfc
зпа-
Здесь Lh, Ln-h+i — произвольные подпространства размерностей
соответственно к и п — к + 1.
15.41. Если матрица В положительно определенная, то обоб-
щенное отношение Релея сводится к обычному отношению Ре-
лея, так как
(Ат, х) _ у)
(Вх,х) ~ (у, у) '
где у — В11гх.
15.42. Для любой матрицы А функционал невязки сводится
к функционалу ошибки, так как
(Ах — Ь, Ах — Ь) = (А*Ах, х) — 2(4*Ь, х) + (Ь, Ь).
[ГЛ. L
15.43. По отношению к функционалу ошибки общего вида
функционал невязки обладает следующими свойствами:
— система линейных алгебраических уравнений А*Ах = Л*Ь
всегда имеет решение;
— матрица А*А неотрицательно определенная;
— если векторы 1„ 1п образуют А*А-ортогональную си-
стему, то векторы А1„ ..А1п образуют ортогональную систему.
Все изложенные здесь факты без существенного изменения переносят-
ся на функционалы с комплексными эрмитовыми матрицами. Несколько
меняется лишь вид функционала ошибки. Теперь он выглядит так:
(Дг, z)—2Re(b, х) + с. Естественно, что в функционале невязки матрица
Д может быть произвольной.
§ 16. Возмущения и локализация
Различные объекты линейной алгебры, такие, как решение системы ли-
нейных алгебраических уравнений, собственные и сингулярные числа и век-
торы, определитель, функционалы и т. п., можно рассматривать как неко-’
торые функции от определяющих их матриц и векторов. При изменении
матриц и векторов изменяются и сами объекты. Теория возмущений ак-
центирует внимание на исследовании взаимосвязи этих изменений, или,
как их называют иначе, возмущений. Как правило, изучение больших воз-
мущений связывается с. локализацией объектов, малых возмущений —
с асимптотическими разложениями. Всюду в данном параграфе мы рас-
сматриваем только согласованные нормы матриц.
16.1. Если для квадратной матрицы II имеем II№ < 1 для ка-
кой-либо нормы, то матрица Е + Н — невырожденная, н при этом
00
(£ + ЯГ1 = Е + 2 (-
Л=1
16.2. В условиях 16.1 выполняются следующие неравенства:
||(Е + ЯГИСу-+
16.3. Пусть матрица А — невырожденная и Ill’ll < IIЛ_,II“, для
возмущения^”. Тогда матрица АА-&— невырожденная.
16.4. Для невырожденной матрицы Л выражение НЛ 11'1Л"'|11 на-
зывается числом обусловленности матрицы Л и обозначается
cond Л. '
16.5. Всегда cond Л > 1.
16.6. Для любой матрицы Л и любого числа а выполняется
равенство cond Л = cond (аЛ).
16.7. Для спектральной нормы равенство cond Л = 1 имеет ме-
сто тогда и только тогда, когда А = all, где U — унитарная
матрица, а — ненулевое число.
16.8. Для спектральной и евклидовой норм число обусловлен-
ности не меняется от умножения матрицы слева и справа на лю-
бые унитарные матрицы.
16.9. Для 1-, 2-, *-норм и евклидовой нормы число обуслов-
ленности пе меняется при перестановке строк и столбцов.
16.10. Для спектральной нормы число обусловленности любой
нормальной матрицы равно отношению максимального модуля
собственных значений к их минимальному модулю.
16.11. Для спектральной нормы число обусловленности любой
матрицы равно отношению максимального сингулярного числа к
минимальному.
16.12. Имеют место неравенства
max ( с-, соп у # ] cond (АВ) cond A cond В.
I cond В ’ cond A J ' 7
16.13. Пусть А — положительно определенная матрица, В —
любая ее главная подматрица. Тогда для спектральной нормы
cond В cond А.
16.14. Если матрица А невырожденная, а матрица А+В вы-
рожденная, то cond А > 1141111511'*.
16.15. Для любых невырожденных матриц А, В справедливо
неравенство
|| в-* — л~Ч
II в-1 II
. , . 5 —А I
cond А - „
II4 [|
16.16. Пусть дана последовательность матриц Ak фиксирован-
ного порядка' причем HAJI = 1. -Тогда условия cond4fl-»-«’ и
det. 4Ь —0 при к-+ °° эквивалентны.
16.17. Существуют последовательности -матриц Ak возрастаю-
щего порядка, для которых IL4JI = 1 и cond4b-<-°° при к
но det Ak = 1 для всех к.
16.18. Пусть в условиях и обозначениях 16.3
хи и II м-1 ||(Л + ^)-1-Л~Ч
IIЛГ
Имеет место неравенство
» .-1 cond Л бЛ
- 1 — cond Л-бЛ
16.19. Предположим, что решаются системы линейных алге-
браических уравнений Ах = Ъ и (4 + S~)x = Ъ + е. Обозначим
л _ Р —Л с, _
IWI ’ РГ
В условиях и обозначениях 16.3, 16.18 имеет место неравенство
с С Oil d Л /ЛА J1 \
-----д л ЯЛ + 65).
1 — cond Л-бЛ ' . ’
Неравенства 16.18, 16.19 дают количественные оценки возмущения об-
ратной матрицы и решения системы линейных алгебраических уравнений
ir.'l. I
при возмущении матрицы и правой части. Из них вытекает, что в окрест-
ности любой невырожденной матрицы обратная матрица и решение систе-
мы являются непрерывными функциями входных данных. Непрерывность
решения по правой части имеет место всюду. При этом величина возму-
щения как обратной матрицы, так и решения системы существенно зави-
сит от числа обусловленности матрицы.
16.20. Спектральным радиусом р(Л) квадратной матрицы А
[взывается максимальный из модулей ее собственных значений.
16.21. Для нормальной матрицы А порядка п с элементами ati
i i««
/ .. I Ат I
:р(Л) =max-L—J-
111
16.22. Для любой согласованной нормы и любой матрицы А
I det AIi,n р(Л) min {ПЛ II, 11^4 *11}.
16.23. По крайней мере одно собственное значение матрицы А
находится в круге IZl С ldetdl,/n.
16.24. Для любой матрицы А порядка п справедливы неравен-
ства
2 |M|2<MU2E,
i=l
2 [Re 2 11тХ4[2<|[С112Е,
i=l . i=l
где 5 = 0,5(Л+Л*), С = 0,5(Л—Л*), причем равенства дости-
гаются тогда и только тогда, когда матрцца Л нормальная.
16.25. Рассмотрим нормальную матрицу Л, нормированный
вектор v, lli>H2 = 1, и пусть Av — p,v = i), 11ц112 = е, для некоторого
числа ц. Предположим, что одно из собственных значений, на-
пример Хи изолировано и близко к ц, т. е. существует такая кон-
станта а, что IX, —pl5sa>0 для i=2, ..., п. Если — норми-
рованный собственный вектор, соответствующий Xt, то найдется
такое вещественное число 6, что
а2
16.26. Если в условиях и обозначениях 16.25 число р, есть
отношение Релея, вычисленное для вектора v, то
г2 ( е2 V1
Общий принцип построения областей, локализующих собственные зна-
чения, основан на следующей идее. Пусть А — произвольная матрица и
В(А)—некоторое арифметическое условие, выполнение которого достаточ-
но для невырожденности матрицы 4. Если X является собственным значе-
нием, то матрица А — 7.Е — вырожденная. Поэтому для тдго, чтобы X было
собственным значением матрицы 4, необходимо невыполнение условия
В (А — ХЕ). Это и определяет некоторую область, в которой должны нахо-
диться все собственные значения.
«16)
ВОЗМУЩЕНИЯ И окллизлция
115
16.27. Для того чтобы матрица А была невырожденной, до-
статочно выполнения неравенств
I «н | > 51 «« I
j¥=i
для всех г. Матрица, элементы которой удовлетворяют этим нера-
венствам, называется матрицей с доминирующей диагональю.
16.28. Эрмитова матрица с положительной доминирующей диа-
гональю является положительно определенной.
16.29. Любое собственное значение матрицы А лежит по край-
ней мере в одном из кругов
1^ — 21 «ц I
для всех i. Эти круги называются кругами Гершгорииа.
16.30. Если s кругов Гершгорииа образуют область G, изоли-
рованную от остальных кругов, то в G находится ровно s соб-
ственных значений матрицы А.
16.31. Если какой-либо круг Гершгорииа изолирован, то он
содержит точно одно собственное значение.
16.32. Если при некотором i для всех к =/= г выполняются нера-
венства
I ahh aii | > 5 I akj | "Г 2 I aij |,
то круг Гершгорииа
1 к ац[ I
содержит точно одно собственное значение.
16.33. Пусть у матрицы А элементы главной диагонали и ко-
эффициенты характеристического- многочлена — вещественные.
Если круги Гершгорииа попарно не пересекаются, то все собст-
венные значения матрицы А — вещественные.
16.34. Если Л — собственное значение матрицы А и дефект
матрицы А — 7.Е равен т, то Л лежит по крайней мере в т кру-
гах Гершгорииа.
16.35. Пусть А = В + С, где В—диагональная матрица с эле-
ментами bt, .... bn, С — матрица с элементами сы. Если порядок
матриц равен п и для некоторого / имеем
р '
min | | = pj > 0, max]cw] = e<-^,
h,l
то существует собственное значение X матрицы А в круге
|Л — bj — ctj\ С 2n(n — l)e2/pj.
16.36. Пусть для элементов матрицы А известны оценки
1а0| < Ьц и ц есть максимальное собственное значение матрицы
8 в. В. Воеводин, Ю. А. Кузнецов
114
МЬ ивы IbUPllM.
1ГЛ. t
В с элементами Ъ„. Тогда любое собственное значение матрицы Л
лежит по крайней мере в одном из кругов
|Л — a,J С р — btt
для всех i.
16.37. Любое собственное значение матрицы А лежит по край-
ней мере в одном из кругов
|Х — ЯнК
для всех i при 0 =5 а =5 1.
16.38. Матрица, которая перестановкой одноименных строк и
столбцов не может быть приведена к блочпо треугольному виду,
называется неразложимой.
16.39. Пусть для неразложимой матрицы А выполняются нера-
венства
[ ан [ > 2 | ац I
З^г
для всех г, причем хотя бы для одного i имеет место строгое не-
равенство. Тогда матрица А — невырожденная.
16.40. Все собственные значения неразложимой матрицы ле-
жат внутри объединения кругов Гершгорина, за исключением то-
го случая, когда собственное значение является общей граничной
точкой всех кругов,
16.41. Для того чтобы матрица А была невырожденной, до-
статочно выполнения неравенств
I flji | [ Ojj | 2 I' ®ik I 2 | I
для всех i ¥= j.
16.42. Любое собственное значение матрицы А лежит по край-
ней мере в одной нз областей
| A, j | A, Hjj | 2 I | 2 I I
для всех i¥=/. Эти области называются овалами Кассини.
16.43. Любое собственное значение матрицы А лежит по край-
ней мере в одном из овалов
21 aik | 2 [ А (211 aiti I 2 I
для всех i j при 0 C a 1.
Мы рассмотрели различные способы локализации собственных значе-
ний матрицы А. Естественно, что аналогично можно локализовать и соб-
ственные значения транспонированной матрицы А'. Во многих случаях со-
вместное рассмотрение обеих матриц позволяет получить лучшие оценки.
Локализация, вообще говоря, позволяет одинаковым образом исследо--
вать как большие, так и малые возмущения. Однако, как показывают ут-
[ ai,i [ | азз |
§ 1G]
В 3 УЩ НИЯ И. J ОКА 11ЫАЦИН
терждения 16.26, 16.35, в случае малых возмущений можно ожидать полу-
чения более точных оценок. Поэтому мы приведем сейчас некоторые ре-
зультаты, касающиеся асимптотически малых возмущений. По существу,
они связаны с разложениями в ряды по малым возмущениям и выделением
главных членов этих разложений. Асимптотически верные соотношения бу-
дем отмечать символами и т. п., возмущенные объекты — символом
Л вверху.
16.44. Если X; — простое собственное значение матрицы А, х,-,
у,— соответствующие собственные векторы матриц А и А*, то
величина
V*i 11 У* I
1 1(Ч-^)|
называется коэффициентом перекоса матрицы А, соответствую-
щим собственному значению X,-.
16.45. В вещественном случае коэффициент перекоса щ равен:
обратной величине косинуса угла между и j/f.
16.46. Всегда с< > 1, причем равенство достигается тогда it
только тогда, когда вектор xt ортогонален корневому базису, со-
ответствующему собственным значениям, не равным Хк
16.47. Пусть матрица А имеет только простые собственные
значения. Все коэффициенты перекоса равны единице тогда и
только тогда, когда матрица А нормальная.
16.48. Обозначим через X матрицу, составленную из собствен-
ных векторов матрицы А. Число обусловленности матрицы X, вы-
раженное в спектральной норме, пе меньше любого из коэффи-
циентов перекоса.
16.49. Матрицу X из 16.48 за счет умножения собственных
векторов па подходящие множители всегда можно выбрать такой,
что ее число обусловленности, выраженное в евклидовой норме,
равно сумме всех коэффициентов перекоса.
16.50. Пусть матрица А имеет только простые собственные
значения и матрица А = Л + А близка к ней. Предположим, что
собственные векторы матриц А и А* нормированы по 2-норме.
С точностью до членов второго порядка имеют место следующие
соотношения:
I хг хг |г А 11г 2 I Л. — /. 1 '
iAi । * Н
При исследовании влияния малого возмущения удобно’ предваритель-
но привести задачу к некоторому простейшему виду с помощью специаль-
ных преобразований. Такими простейшими задачами почти всегда оказы-
1 Г.'-'l’lin
[ГЛ. t
ваются задачи с диагональными матрицами и лишь иногда с двухдиаго-
нальными. В большинстве случаев подобные преобразования можно счи-
тать унитарными. Тогда спектральная д евклидова нормы возмущений ис-
ходной задачи и приведенной будут одинаковыми. Мы не будем специаль-
но останавливаться на способах сведения задач к простейшему виду в силу
их очевидности, но рассмотрим асимптотическое влияние малых возмуще-
ний в некоторых задачах с простыми матрицами.
16.51. Пусть даны матрицы А, В, С размеров соответственно
п X п, тХт, пХ т. Матричное уравнение AZ — ZB — С относи-
тельно матрицы Z размера п'Хт имеет единственное решение
тогда п только тогда, когда матрицы А и В пе имеют общих соб-
ственных значений.
16.52. Пусть А—блочно диагональная матрица с блоками
А,, ..., А, и А + Й — возмущенная матрица. Обозначим
где диагональные блоки матриц А и Q имеют одинаковые разме-
ры. Предположим, что попарно блоки матрицы А не имеют об-
щих собственных значений. Тогда матрица А + Й асимптотически
подобна блочно диагональной матрице
где блоки А и А имеют одинаковые размеры и с точностью до
членов второго порядка А* — А* + для всех к.
16.53. Пусть в условиях и обозначениях 16.52 выполняется со-
отношение
А= (£ + //)-*(А + Й)(£ + Я).
Представим матрицу II в блочном виде, аналогично Й. Тогда для
ее блоков Ihh с точностью до' членов второго порядка выполняют-
ся соотношения
В ~ 0, IhhAk AfHib = Й/j,
для всех к и I к.
16.54. В условиях и обозначениях 16.52 с точностью до чле-
нов третьего порядка
Aft = Aft + Q;ift + S &HiHih
i=i
для всех к.
16.55. Пусть матрица Л—диагональная, с элементами kt, ...
..., Х„. Обозначим через собственные значения матрицы А+Й,
через т]„ — элементы матриц Й, Н. Тогда с точностью до чле-
нов второго порядка
(0,. Xi= к,, ’
— ki), к'г X,;.
16.56. В условиях и обозначениях 16.52, 16.55
i=l k=l
Для нормальной матрицы асимптотическое неравенство переходит
в асимптотическое равенство.
16.57. Если Х,Р — простое собственное значение матрицы Л, то
с точностью до членов третьего порядка
1 1 4. г, 4. У __%Лр_
Лр = Лр Горр-Г- •
i^p ' Р
При этом формулы 16.55 при j — р, i=/= р дают асимптотические
выражения для координат нормированного собственного вектора
матрицы Л+Й, соответствующего Х,Р.
16.58. Если собственное значение Х,Р соответствует жордаповой
клетке порядка s матрицы Л, а все элементы матрицы й — вели-
чины порядка со, то асимптотически может достигаться равенст-
во Х.Р = Х,Р +
16.59. Пусть даны матрицы А, В, С, D размеров соответствен-
но п X п, тХт, пХт, тХп. Система матричных уравнений
AU—VB = C, UB*-A*V = D
относительно матриц U, V размеров п X т имеет единственное
решение тогда и только тогда, когда матрицы А и В пе имеют
общих сингулярных чисел.
16.60. Пусть Р—блочно диагональная матрица с блоками
Р(, ..., Рг и Р + Й— возмущенная матрица. Обозначим Р п Й
аналогично 16.52. Предположим, что попарно блоки матрицы Р
не имеют общих сингулярных чисел. Тогда существуют унитар-
ные матрицы Е + Н и Е+ Т такие, что матрица
Р = (£ + 7’)*(Р + Й)(£ + //)
рп. Обозначим через pj сингулярные числа
асимптотически является блочно диагональной с блоками
Pi, ..,, Рг, размеры которых совпадают с размерами блоков
Pi, ..Рг, ис точностью до членов второго порядка P^Pk + QUt
для всех к.
16.61. Если матрицы Н и Т разбить на блоки ff,, и Тц ана-
логично Q, то с точностью до членов второго порядка
Hhh = Thh = PhHhl — ТЫРI = — HklP* — PkPkl =
для всех к и I к.
16.62. Пусть матрица Р — диагональная, с неотрицательными
элементами р«,
матрицы P + Q, через ®fJ, -qi3, — элементы матриц £!, Н, Т. Тог-
да с точностью до членов второго порядка
р, Pi = Pj,
о, Pi = Pj,
Pi=#P;- ,
f’j - Pi *
16.63. В условиях и.обозначениях 16.60, 16.62
ъ =
Tt г
2 | Pi — Pi |2 = 2 || 111-
i=l _ А=1
§ 17. Матрицы типа теплицевых
Во многих приложениях нередко приходится решать задачи линейной
алгебры с матрицами, все элементы которых хотя и отличны, в основном,
от нуля, но определяются небольшим числом независимых параметров. Та-
кие матрицы имеют существенные особенности в своем строении, использо-
вание которых дает возможность строить эффективные численные методы.
В этом параграфе будут рассмотрены так называемые теплицевы мат-
рицы и некоторые похожие на них матрицы. Будем считать, что элементы
матриц принадлежат некоторому кольцу Q с единицей /.
От кольца будем требовать выполнение следующего условия: из един-
ственности решений уравнений Ах = у и z'A = у' для матрицы А и век-
тора у с элементами из Й должно вытекать существование решений систе-
мы при любой правой части и, следовательно, обратимость матрицы А.
Дальнейшие свойства кольца конкретизируются по мере необходимости.
17.1. Матрица А„ порядка п + 1, элементы ац которой зависят
только от разности индексов i — j, называется теплицевой. Такая
матрица и ее элементы обозначаются следующим образом;
• Гао а-ь..а-п ]
= “1 “о -. а-п+1 .
§ 17]
МАТРИЦЫ ТИПА ТЕПЛИЦЕВЫХ
1 9
17.2. Множество теплицевых матриц одного порядка с элемен-
тами из одного кольца Q замкнуто относительно операций сло-
жения матриц, а также левого и правого умножения па скаляр-
ные множители из Q.
Произведение теплицевых матриц уже не является теплицевой матри-
цей. Однако матрица, обратная к теплицевой, выражается через сумму
произведений теплицевых матриц специального вида. Это представление
обратной матрицы не однозначно и зависит от различных дополнительных
условий, накладываемых на теплицеву матрицу.
17.3. Пусть А„ — теплицева матрица. Рассмотрим величины
сс(, Ii, 6, е Q, удовлетворяющие уравнениям
Ап («о- • • •» <*п) (фо, • • • » фп) »
...,Р„)' = (Л................../)',
(То» • • •»Т«) ^п = (7, .. ., I),
(б0. ..., Ап = (фо, ..., "фп)»
где фо = фо = 0, ф( = а, +... + а.-,
матрицы
ф« = a- j + ... + а_;, и теплицевы
Qi =
Если уравнения, определяющие а., р,-, б;,
матрица Ап — невырожденная и ^п1 имеет вид
разрешимы,
то
An1 = Qu [ра0Т + «Т + ₽61
- 17.4. Если А„ — невырожденная теплицева матрица с элемен-
тами из кольца Q, то матрица Ап — также невырожденная теп-
лицева.
[ГЛ. t
17.5. Пусть Ап — теплицева матрица и величины а,-, 6, удов-
летворяют уравнениям
•^п (а0> • • ч ап) = (Ч’п» • • • > ^о) >
(«о, ..., 6п) -^п — (фп, • • -, фо).
Если уравнения, определяющие а,-, 6„ разрешимы, то мат-
рица Ап — невырожденная и Лй1 имеет вид
Представления 17.3, 17.5 для Ап1 легко преобразуются к виду, содер-
жащему суммы двух произведений треугольных теплицевых матриц, при-
чем в 17.3 левые и правые сомножители являются соответственно правыми
и левыми треугольными матрицами, а в 17.5 — левыми и правыми. Эти пред-
ставления матрицы, обратной к теплицевой, являются самыми общими. Они
полностью определяются через решения некоторых систем с матрицами А
и А' при специальном выборе правых частей, при одном лишь предполо-
жении о разрешимости этих систем. Если же на матрицу А наложить до-
полнительные ограничения, то для представления А~* в качестве решений
таких систем можно взять некоторые строки и столбцы Лй1.
17.6. Пусть Ап — теплицева матрица и величины Xt, yit zt,
удовлетворяют уравнениям
An (r0, ..., Хп)' = (7,o,..., 0)',
An(y0, ...,yn)' = (0, ...,0,7)',
(z0, ..., zn) An = (7, 0.0)',
(n’o, .. ,,wn) An = (0, .. .,0,1).
Если эти уравнения разрешимы и существуют элементы Уп \
то матрица Ап — невырожденная и Ап* имеет вид
=
§ 17)
МАТРИЦЫ ТИПА ТЕПЛИЦЕВЫХ
121
. Заметим, что х,-, yi, zi, w{ — элементы соответственно первого и послед-
него столбцов, а также первой и последней строк матрицы Л^1. Аналогич-
ные представления можно получить с привлечением элементов второго и
предпоследнего столбцов, .а также второй и предпоследней строк матрицы
Л”1- Необходимость исследования других представлений связана только с
тем, что не всегда для невырожденной матрицы Ап существуют элементы
а:^1, у ft1. Однако мы не будем останавливаться на этих представлениях
обратной матрицы. Все они в конечном счете аналогичны представлениям
17.3, 17.5, 17.6.
17.7. Элементы х0, уп и ведущий минор порядка п обратимой
матрицы Ап обратимы или пе обратимы все одновременно.
17.8. Если невырожденная теплицева матрица является тре-
угольной, то обратная к ней матрица теплицева.
17.9. Теплицева матрица Сп называется циркулянтной или
циркулянтом, если при всех i#=0 для ее элементов выполняются
соотношения c_j = с„_,+1.
Если цпркулянтная матрица — невырожденная, то. обратная
к ней матрица — цпркулянтная.
17.10. Матрица А называется ленточной, если ее элементы at)
удовлетворяют соотношениям
ац = 0,
для некоторых неотрицательных чисел I, т. В случае т = 0 матри-
ца называется левой ленточпой, в случае I = 0 — правой ленточ-
ной; величина I + т + 1 называется шириной ленты. Если
= 1, матрица называется трехдцагоналъной.
17.11. Пусть А„ — невырожденная ленточная теплицева матри-
ца. При условии п > I + т матрица Лп1будет теплицевой тогда и
только тогда, когда Ап— треугольная.
17.12. Матрицы Ап и А^1, отличающиеся от треугольных, яв-
ляются одновременно теплицевыми тогда и только тогда, когда
для некоторого <р ¥= 0 при всех i > 0 для элементов Qi-j и
этих матриц выполняются соотношения
—г (-D
fl—i — ф^п—i+ъ О.} — ф^п— г+1*
ОСНОВЫ ТЕОРИИ
[ГЛ. t
Для практических вычислений особое значение имеют случаи, когда
Q — поле комплексных чисел или кольцо числовых матриц. В первом слу-
чае формулы упрощаются за счет того, что между параметрами соответ-
ствующих описаний существует простая зависимость,' порожденная свой-
ством персимметричности рассматриваемых матриц.
17.13. Матрица А называется персимметричной, если она сим-
метрична относительно второй диагонали.
17.14. Матрица А персимметрична тогда и только тогда, ког-
да А' =РАР, где Р есть матрица перестановок вида
... О I
... I О
...00
17.15. Теплицева матрица является персимметричной для лю-
бого кольца й.
17.16. Если элементы невырожденной теплицевой матрицы
принадлежат полю комплексных чисел, то обратная матрица яв-
ляется персимметричной. В этом случае для элементов х„ zit
wt из 17.6 для всех i выполняются соотношения х, = wn~t, у, =
I_= Z„—V.
В случае произвольного кольца Q свойство персимметричности не обя-
вательно переносится на обратную матрицу. К сокращению параметров,
описывающих обратную матрицу, приводят и другие дополнительные свой-
ства теплицевой матрицы, например симметричность.
17.17. Если Й есть поле комплексных чисел, то в условиях и
обозначениях 17.6 матрица /In1 имеет следующий вид:
Таким образом, если элементы невырожденной теплицевой матрицы
являются комплексными числами, то элементы обратной матрицы в случае
х0 0 полностью определяются ее первым и последним столбцом.
§ 171
МАТРИЦЫ ТИПА ТЕПЛИЦЕВЫХ
123
17.18. Если Q есть поле комплескных чисел, то:
— множество треугольных теплицевых матриц одного наиме-
нования есть коммутативное кольцо;
— множество невырожденных треугольных теплицевых мат-
риц есть коммутативная группа;ч
— множество циркулянтных матриц есть коммутативное
кольцо;
— множество невырожденщх циркулянтных матриц есть ком-
мутативная группа по умножению;
— между .параметрами а(, 7., _ утверждения 17.3 для
всех i существует следующая зависимость:
== Pn—i, 1 —i [^п —
Дополнительные свойства, которые приобретают различные виды теи-
лицевых матриц в поле комплексных чисел, очень важны. Поэтому всюду
в дальнейшем, если не сделано особой оговорки, мы будем считать выпол-
ненным это условие.
17.19. Пусть е„ = exp {2ni/n} (г — мнимая единица). Матрица
Fn порядка п с элементами
/л/ = -1)(/-1), l^Al,
называется матрицей дискретного преобразования Фурье.
17.20. Матрица дискретного преобразования Фурье, умножен-
ная на скалярный множитель n-i/2, является комплексной сим-
метричной унитарной матрицей.
17.21. Вектор у = Fnx(x = F„y) называется прямым (обрат-
ным) дискретным преобразованием Фурье вектора х (у).
17.22. Имеет место соотношение F„y = Fny, где черта озна-
чает комплексное сопряжение.
17.23. Пусть у(к), х(1) — периодические функции целочислен-
ных переменных к, I. Функция у(к) называется дискретным, пре-
образованием Фурье функции х(1), если эти функции имеют об-
щий период п и (у(0), ..., у(п — 1)) = (х(0), ..., х(п — l))Fn.
В этом случае будем писать y(k) = [Fnx](k) или у(к) =
= [F„x(l)](k).
17.24; Функция у(к):
— является четной;
— является нечетной;
— принимает вещественные значения;
— принимает чисто мнимые значения
тогда и только тогда, когда функция х(Г):
— является четной;
— является нечетной;
— xU)=x{—I) = х(п— I);
— х(1) =—х(—Г) =—х(п—Г).
124
ОСНОВЫ ТЕОРИИ
[ГЛ. t
17.25. Функция ^(7с) принимает:
— вещественные (чисто мнимые) значения и является четной
(нечетной)
— чисто мнимые (вещественные) значения и является четной
(печетпой)
тогда и только тогда, когда функция х{1) принимает:
— вещественные значения и является четной (печетпой);
— чисто мппмые значения и является четной (печетпой).
17.26. Имеют место соотношения
если I пе
[Fnx (I + m)| (к) = tnhmy (к),
(ептл- (/))] (к) = у(к + т).
17.27. Пусть задана последовательность z(/), Про-
должим ее периодически и предположим, что х(Л(1) —такие функ-
ции с периодом п, что х°ЧГ) = z(j + 2), 0 I п. Тогда
knZ(j+1) (2)] (к) = e;ft([F„?3) (2)] (к) + z(j + п)—z(/)).
17.28. Обозначим через хт(Г) и ум(к) такие функции с перио-
дом пт, что
х,М = х(Ит\ г/,„(2) = у(1/т),
если 2 делится па т, и
х,„(1) = ут(1) = О,.
делится па т. Тогда
[Fnmim(2)l(fc) = y(fc), [F„mx(l)]{k) = ту„.Ш.
Если п ~ 76, где я, 7, б — целые, то имеют место соот-
17.29.
ношения
= б 1 2 У(Н JT).
j—О
Если у(к) — 0 при ч < к < п — 1, то
т-i
х{1) = 2 z(/6)G(2- /6),
О
где G(/) = 1, если / кратно п, и (?(/)= 6 *(1 — e^Xl —е3/) в дру-
гих случаях.
Прямое умножение матрицы Fn преобразования Фурье на вектор
требует выполнения п2 операций комплексного умножения и п2 операций
комплексного сложения. Однако громадная практическая значимость пре-
образования Фурье и специальный вид его матрицы стимулировали много-
численные исследования, направленные на создание более быстрых
алгоритмов. В конечном счете различные варианты этих алгоритмов связаны
МАТРИЦ I ТИ 1Л шышцсюшл
§ 171
с различными представлениями матрицы преобразоваипя Фурье. Мы рассмот-
рим здесь два вида представления. Одна из основных идей связана со свой-
ством 17.29.
17.30. Пусть введены следующие обозначения:
F-, — матрица дискретного преобразования Фурье порядка у;
Еу — единичная матрица порядка у;
И7? — диагональная матрица = diag(sy6°, . .., 1)0, .. .
„о-(б-1) (V-l)(6-l)\.
• * • 1 k-pd j • • • ? h
Pl—матрица перестановок порядка уб, в которой единицы
находятся в тех позициях (к, I), где выполняются соотношения
Z=r1f + r0+l, k = r06 + rt + l, 0<г,<б, O=Sro<y.
Тогда, если п=7б, то
Fy6 = Pl (Е6 X FT) Wl(F6 х Еу).
17.31. Пусть п=уб и требуется выполнить дискретное преоб-
разование Фурье у = Fnx порядка п. Запишем координаты векто-
ра х по столбцам прямоугольной матрицы размера у X б подряд
сверху вниз и слева направо; координаты вектора у запишем
аналогично по столбцам матрицы размера б X f. Тогда преобразо-
вание вектора х в вектор у сводится к следующим операциям:
— вычисление преобразований Фурье порядка б вектор-строк
матрицы, содержащей х\
— умножение элементов полученной матрицы с индексами I,
j на так называемые поворачивающие множители е-п-1*?
— вычисление преобразований Фурье порядка 7 вектор-столб-
цов повой матрицы;
— транспонирование матрицы.
17.32. Пусть п = ni ... пр. Обозначим
3~~1 Р
ч = П «к Рз = п«п
1=1 ?=з+1
Если верхний индекс меньше пижпего, то будем считать произ-
ведения равными 1. Тогда в обозначениях 17.30
Pn-P{EapXW^\EapxFnpXE^.. .(^Х^Д^ХЕп,Х#₽1)=
= (^X^Xtfpjt^X^) ... (%Х^рХ£Рр) (£архИ^)Р\
где
Р = [Eai X РПу) • • • (£«;> ХЛ»р).
17.33. Если п = 2’, то умножение матрицы F„ преобразования
Фурье па вектор может быть выполнено за (l/2)nlog2n операций
комплексного умножения и п log2 п операций комплексного сло-
жения.
ОС I ВЫ ТЕОРИИ
1ГЛ. I
17.34. Если п = 4s, то умножение матрицы Fn преобразования
•Фурье на вектор может быть выполнено за (3/8)nlog2n операций
комплексного умножения и nlog2n операций комплексного сло-
жения.
Утверждения 17.29 — 17.34 связаны со случаем составного п и зависят
ют вида сомножителей. Однако существует способ сведения преобразования
•Фурье любого порядка к преобразованию Фурье, порядок которого равен,
например, степени двойки.
17.35. Пусть с=(с0, ..Cn-iY — первый столбец циркулянт-
ной матрицы Cn-i. Имеет место разложение
Сп-1 = п diag (Fnc) Fn,
где diag (Fnc) означает диагональную матрицу, элементы которой
совпадают с элементами вектора Fnc.
17.36. Умножение вектора на циркулянтпую матрицу сводится
к трехкратному выполнению преобразования Фурье и двукратно-
му умножению на диагональную матрицу.
17.37..Для матрицы преобразования Фурье любого порядка
имеет место разложение Fn-= GnNnGn, где Nn — теплицева матри-
ца вида
„-(П-1)2 -(п-2)2
I— Г2П t2n
g-О'
'2/1
Gn — диагональная матрица: Gn = diag (е^п, •. ., е(2" х> J.
17.38 . Любая теплицева матрица Лп_, вида 17.1 может быть
представлена в виде произведения
dn-i = [^п 0],
где Ст — циркуляптпая матрица порядка т > 2п — 1, первый
столбец которой имеет элементы
Но, Hi, . • ., 0, . . ., 0, Ct—n + 1, • •., Я—j.
17.39 . В обозначениях 17.38 матрица Лп_, есть матрица веду-
щего минора порядка п матрицы Ст.
17.40 . Число т в 17.38 всегда можно выбрать равным степе-
ни двойки и удовлетворяющим неравенствам 2п =£ т 4п.
17.41 . Умножение вектора па теплццеву матрицу любого по-
рядка п на основе представлений 17.35, 17.38 может быть выпол-
нено за 6н log2 п операций комплексного умножения и 12n log2 п
операций комплексного сложения.
17.42 . Преобразование Фурье любого порядка п па основе
представлений 17.37, 17.38, 17.35 может быть выполнено за
S 17]
МАТРИЦЫ ТИПА ТЕПЛИЦЕВЫХ
127
6nlog2n операций комплексного умножения и 12nlog2n опера-
ций комплексного сложения.
В различных задачах приходится иметь дело с блочными матрицами,
устроенными но типу теплицевых. Блоки этих матриц, в свою очередь, мо-
гут быть разбиты па более мелкие блоки и также устроены по типу тепли-
цевых, и т. д. При некоторых условиях на такие многоуровневые разбиения
задачи с подобными матрицами могут решаться весьма эффективно. Снова
будем считать, что элементы матриц принадлежат произвольному кольцу
Q с единицей.
17.43 . Пусть квадратная матрица А разбита па щ X щ квад-
ратных блоков • Предположим, что уже определено разбие-
ние матрицы А па блоки jh_v к > 1, и пусть снова
каждый па этих блоков разбит на ntXni, квадратных блокок
Тогда к-м уровнем разбиения матрицы А называ-
ется множество блоков а число пк называется поряд-
ком к-го уровня.
17.44 . Будем говорить, что матрица А имеет р уровнен, если
Api;...;ip+1jp+i представляют собой элементы из й и np+i = К
17.45 . Пусть зафиксированы элементы /’’ей,
q = 1, ..., Q, i, j — 1, ..., п, и рассматриваются равенства
2а!Г< = т(”.
ij
Говорят, что блочная матрица А — имеет блочный тип.
Г, если равенства выполняются при 2а = Лй.
Рассмотрим важные для нас примеры. Пусть А — {А<;}, Л,,- е О,— теп-
лицева матрица порядка п. Тогда равенства 17.45 имеют вид Ai + k j+I—
— Лц = 0, г. j = 1, ..., п — 1. Тип этой матрицы обозначим Тп. Если мат-
рица Л является циркулянтной, то к выписанным равенствам добавляются
и такие: Л,-, — Л<_|, „=0, 1 = 2, 3, .... п. Тип этой матрицы обозначим
С„. Можно было бы ввести обозначения для типов матриц, являющихся
симметричными, треугольными, трехдиагональпымп, разреженнымп, с ка-
кой-либо определенной структурой нулевых элементов и т. д. Мы будем
использовать в основном лишь обозначения Dn, Т„, Сп, Gn соответственна
для типов диагональной, теплицевой, циркулянтной и общего вида матрицы
блочного порядка п. Кроме того, полезным оказывается введение блочной
матрицы типа Ф,п, у которой все блоки являются скалярными матрицами
с ем-1)(г~1> в блоке Ф|,(, где ет = ехр {2лг/иг{ (i — мнимая единица).
17.46 . Матрица А имеет композиционный тип оц ... аР, если
опа является р-уровневой п блоки к-то уровня удовлетворяют при
1 s'. к sj р соотношениям 17.45, определяющим тип aft.
17.47 . Операция композиции типов ассоциативна.
17.48 . Пусть заданы типы а„ i = 1, 2, ..., р, и их композиции
Г, = OCi . . . CCftCCft-i-i .. . ОСр, Г2 — <Х1 .. . dft+iOlft . . . ОРр.
Существует такая матрица перестановок Р, определяемая лишь,
порядками типов а,-, что для любой матрицы А типа Г, матрица
128
ОСНОВЫ ТЕОРИИ
[ГЛ. I
В = РАР' имеет тип Г2 и для любой матрицы В типа Г2 матрица
А = Р'ВР имеет тип Г,.
17.49 . Всякая многоуровневая матрица, содержащая разбиения
типов D, Т, С и G в любом числе и любом порядке, путем пере-
становки строк и столбцов может быть преобразована в подобную
ей матрицу типа D ... DT ... ТС ... CG ... G, 'где все разбиения
одинакового типа стоят подряд.
17.50 . Всегда выполняются равенства
^"i ... Dnp = Dnx_ tnp, Gni ... Gllp = G„1-t.„p,
t. e. всегда все уровни типа D или G можно объединить в один
уровень, причем блочный порядок объединенного уровня равен
произведению блочных порядков отдельных уровней.
Заметим, что если матрица А имеет тип ОГ, то это означает, что она
является блочно диагональной с блоками типа Г на диагонали. В этом слу-
чае решение всех основных задач линейной алгебры с матрицей типа ОГ
сводится к решению нескольких аналогичных задач с матрицей типа Г.
Число таких задач совпадает с блочным порядком матрицы О. Поэтому
в композиции типов, вообще говоря, можно опускать все типы вида О.
Объединение уровнен типа G в конце композиции типов можно трактовать
как переход к другому кольцу Q.
17.51 . Пусть кольцо Q содержит пе менее п различных эле-
ментов. Путем перестановок соответствующих строк и столбцов
уровни типов Спх, ..., СПр объединяются в один уровень типа С„,
где п = п1... пр, тогда и только тогда, когда числа щ, ..., пт по-
парно взаимно простые.
Далее будем опять считать, что Q есть поле комплексных чисел или
Кольцо числовых матриц. Рассмотрим матрицу типа Сп, • • • СпрГ. Основой
решения задач с такими матрицами служит следующее утверждение.
17.52 . Пусть А — матрица типа СтГ„, где Г„ означает тип
матрицы порядка п, заданный соотношениями 17.45 при f(” = 0.
Тогда матрица В = ФтЛФm имеет тип РтГ„.
17.53 . Для всякой матрицы А типа Сп, .. .'СГ1рГматрица
В = U*AU имеет тип ВП1...прГ, где U является произведением
унитарных матриц тппов Фп,, Д^Ф,^, ... ,Dni Пр_хФПр.
В заключение укажем еще один тип матрицы, тесно связанный с теп-
лицевыми матрицами.
17.54 . Матрица II„, элементы которой зависят только от
суммы индексов i + j, называется ганкелевой.
17.55 . Гапкелева матрица является симметричной.
17.56 . Если Нп — гапкелева матрица, то Ап = РпНп = НпРп —
теплпцева матрица, еелп Рп — матрица перестановок 17.14.
Иногда приходится рассматривать матрицы, представленные суммой
парных ироизведений теплицевых матриц. Отметим некоторые свойства
таких представлений, при этом матрицы будем считать вещественными или
комплексными.
§ 18|
МАТРИЦЫ G НЕОТРИЦАТЕЛЬНЫМИ ЭЛЕМЕНТАМИ
129
17.57 . Наименьшее число слагаемых во всевозможных пред-
ставлениях матрицы суммой парных произведений теплицевых
левых и правых (правых и левых) треугольных матриц называет-
ся ее левым (правым) теплицевым рангом.
17.58 . Левый (правый) теплицев ранг квадратной матрицы по-
рядка п с элементами а0 совпадает с обычным рангом матрицы
такого же порядка, которая строится по исходной матрице сле-
дующим образом: первые (последние) строка и столбец берутся
без изменений, а при всех i, j > 1 (i,j< и) соответствующий эле-
мейт заменяется разностью ач — а(_ь (a{j — ai+1, j+1).
17.59 . Матрица выражается суммой парных произведений теп-
лицевых левых и правых (правых и левых) треугольных матриц
S.7\ тогда и только тогда, когда матрица, построенная в 17.58 при
рассмотрении левого (правого) теплицева ранга, разлагается в
сумму матриц «<{,-, где s(—первый (последний) столбец матрицы
S,, a ti — первая (последняя) строка матрицы Tt.
17.60 . Для любой матрицы левый и правый теплицевы ранги
пе превосходят ее порядка и отличаются между собой не более
чем на 2.
17.61 . Левый и правый теплицевы ранги, вычисленные для
произвольной теплицевой матрицы, всегда равны и не превосхо-
дят 2.
17.62 . Для всякой невырожденной матрицы левый (правый)
теплицев ранг равен правому (левому) теплицеву рангу обратной
матрицы.
17.63 . В невырожденной матрице левые Теплицевы ранги мат-
риц любых ненулевых ведущих миноров не превосходят левого
теплицевого ранга исходной матрицы.
§ 18. Матрицы с неотрицательными элементами
18.1. Вещественную квадратную матрицу А будем называть
неотрицательной (положительной), если все ее элементы неотри-
цательны (положительны). Для неотрицательных матриц исполь-
зуется обозначение Я>0, которое не нужно путать с обозначе-
нием А > 0 для положительно полуопределенных матриц.
При изучении свойств неотрицательных матриц большую роль играют
понятия разложимости и неразложимости, вместо которых часто исполь-
зуются соответственно термины приводимая и неприводимая матрицы.
Интересная и удобная на практике характеризация неразложимых матриц
дается с помощью ее направленного графа.
18.2. Пусть Pt, ..., Рп — различные точки двумерной плоско-
сти и А — матрица порядка п. Для каждого ненулевого элемента
аь матрицы А соединим точку Pt с точкой Pj направленной ли-
— >
нией PfP). Получающаяся в результате фигура называется на-
правленные (ориентированным) графом матрицы А.
9 В. В. Воеводин, Ю. А. Кузнецов
130
ОСНОВЫ ТЕОРИИ
(ГЛ. I
18.3. Направленный граф матрицы А сильно связен, если для
любых двух точек Pi и Р, существует связывающий их ориентиро-
ванный путь PiPi i ..-,PiiPj- Целая величина Z + 1 называется
длиной этого путп.
18.4. Матрица А неразложима тогда и только тогда, когда
ее направленный граф сильно связен,
18.5. Матрица А, все элементы которой отличны от нуля,,
неразложима.
18.6. Если А >• 0 — неразложимая квадратная матрица поряд-
ка п, то (Е + А)”'1— положительная матриц^.
18.7. Вещественный вектор х называется неотрицательным
(положительным), если все его координаты неотрицательны (по-
ложительны). Аналогично матрицам, для неотрицательного век-
тора х используется обозначение х^О.
18.8. (Теорема Перрона — Фробениуса.) Пусть А 0 — нераз-
ложимая матрица. Тогда:
— А имеет положительное собственное число, равное ее спект-
ральному радиусу р(А);
— р(А) соответствует положительный собственный вектор;
— р(А) возрастает при возрастании любого из элементов А;
— р(А) имеет кратность 1.
18.9. Если квадратная матрица А = («,-,)> 0 порядка п нераз-
ложима, то либо
п
р(А) = 2 ац
для всех i = 1, ..п, либо
п п
inin 2 «и<рИ)< max 2 а.ц.
кип j=i
18.10. Пусть А -> 0—неразложимая квадратная матрица по-
рядка п и К — множество векторов размерности п с положитель-
ными координатами. Тогда для любого вектора d=(dt, ..dn) <=
е К выполняются неравенства
If п
min "7“ < Р И) С ~Т~
аг i
более того,
n п
sup min -j— 2 Uijdj = p (A) = inf max z, agd^
deK l-Ci-cn “i j=l de К )<i<n “t j=1
Равенства достигаются, когда d — собственный вектор А, соответ-
ствующий р(А).
§ 18]
МАТРИЦЫ С НЕОТРИЦАТЕЛЬНЫМИ ЭЛЕМЕНТАМИ
131
18.-11 . Если 4 0 — неразложимая квадратная матрица, то
pi.4 + В) > р(4)
для любой ненулевой матрицы В >> 0 того же порядка.
18.12. Если 4г>0— неразложимая матрица, то для любой не-
иулев.ой матрицы 0 справедливо соотношение
р(4 + tB) —► + оо.
18.13. Пусть неразложимая квадратная матрица 4s> 0 имеет
к собственных чисел, равных по модулю р(4). Тогда, если fc> 1,
то матрица А называется циклической индекса к. В противном
случае (к = 1) матрица А называется примитивной. Циклическая
индекса к матрица называется также импримитивной матрицей,
а соответствующее число к — ее индексом импримитивности.
18.14. Если 4>0— неразложимая циклическая индекса к
матрица, то существует такая матрица перестановок Р, что
й12 • •. й1([
... А.,к
где Ац — блоки размеров щ X щ (щ + п, + ... + пк == н), причем
имеется только к ненулевых блоков: .4,2, 423, ..., Ak-iik, Ак1, т. е.
РАР =
18.15. Если .4>0—неразложимая циклическая индекса к
матрица, то множество ее собственных чисел инвариантно отно-
сительно вращения комплексной плоскости на углы 2тс1/к, I =
= 1, 2, ..., к, т. е. для любого собственного числа л матрицы А
величины Хе'2я1/'', 1=1, ..., к— 1, также являются собственными
числами .4; в частности, ее собственными числами являются ве-
личины р (4) ег2л1,к, I = 0, ..., к — 1.
18.16. Если 4js>0— неразложимая' циклическая индекса к
матрица, то существуют такое целое положительное число 1
и такие величины о, = 1, о2, . • ., ог, удовлетворяющие неравен-
ствай'Idr'l Icir-J *£ ... Oi, что
det (tE - 4) = til'kr aiPh (4)).
i=l
18.17. (Критерий цикличности.) Пусть G — направленный граф
неразложимой матрицы 4^0, S — множество всех замкнутых
S*
132
ОСНОВЫ ТЕОРИИ
(ГЛ. t
путей PiPiv ..., PifPi этого графа и к — наибольший общий дели-
тель соответствующих величин I + 1, являющихся длинами замк-
нутых путей. Тогда, если к > 1, то матрица А является цикличе-
ской индекса к; если же к = 1, то А — примитивная матрица.
18.18. Если все элементы матрицы Л>- О положительны, то
А — примитивная матрица.
18.19. Если матрица Л >0 неразложима и хотя бы один ее
диагональный элемент положителен, то Л — примитивная мат-
рица.
18.20. Если Л 0 — неразложимая примитивная матрица, то
матрица А' неразложима и примитивна для любого s > 1, причем,
начиная с некоторого значения s, все элементы матрицы Л’ по-
ложительны.
18.21. Квадратная матрица Л 0 примитивна тогда и только
тогда, когда некоторая ее степень является положительной мат-
рицей. t
18.22. Если Л >- 0 — неразложимая циклическая индекса к
матрица, приведенная к виду 18.14, то матрица В = Ak является
блочно диагональной матрицей вида
В = В\ ® В2 ® ... ® ВК
с квадратными матрицами
В{ = Л,- ... Л^-j hAft1... Л(_4 j.
Эти матрицы неразложимы, примитивны, и множества их нену-
левых собственных чисел (вплоть до кратностей) совпадают;
в частности, их спектральные радиусы равны р*(Л).
18.23. Для любой разложимой матрицы Л существует такая
матрица перестановок Р, что
РАР’
А12 ••• А1а
Агг Л25
о ••• Л».
где А ц — матрицы размеров nt X п>, п, + ... 4-щ = n, a Ai{ — либо
неразложимые матрицы, либо пулевые матриц!»! порядка едини-
ца. Построенное представление называется нормальной формой
разложимой матрицы Л.
18.24. Пусть Л>-0 — некоторая квадратная матрица. Тогда:
— Л имеет неотрицательное собственное число, равное ее
спектральному радиусу р(Л), причем р(Л)=0 только в том слу-
чае, если ее нормальная форма является строго верхней треуголь-
ной матрицей;
— р(Л) соответствует неотрицательный собственный вектор;
— р(Л) не убывает при возрастании любого из элементов
матрицы Л.
§ 18]
МАТРИЦЫ G НЕОТРИЦАТЕЛЬНЫМИ ЭЛЕМЕНТАМИ
133
18.25. Пусть А и В — квадратные матрицы с неотрицательны-
ми элементами, причем матрица А + В неразложима. Тогда
р(Л) < р(Л + В).
18.26. Пусть А = (в,,) — произвольная квадратная матрица по-
рядка п. Тогда матрица В порядка п с элементами btj— |aj на-
зывается модулем матрицы А и обозначается В = |Л I.
18.27. Для любой квадратной матрицы А выполняется нера-
венство
р(Л) < p(UI).
18.28. Матрица В2>0 называется стохастической, если сумма
элементов каждой ее строки равна единице.
18.29. Матрица переходных вероятностей однородной цепи
Маркова с конечным числом состояний является стохастической
матрицей.
18.30. Любая матрица перестановок, в том числе единичная,
является стохастической матрицей.
18.31. Матрица В>0 тогда и только тогда является стоха-
стической, когда она имеет единицу своим собственным числом
и ему соответствует собственный вектор, все координаты кото-
рого равны единице. Это собственное число является спектраль-
ным радиусом стохастической матрицы.
18.32. Матрица .4->0, имеющая положительное собственное
число, которому соответствует положительный собственный век-
тор, всегда подобна некоторой стохастической матрице, умно-
женной на это собственное число. Точнее говоря, если Az = kz,
где X = ReX>0, z = (z1, ..., zn)— положительный вектор и Z =
= diag {z,, ..., z„), то матрица у- Z-1AZ является стохастической.
18.33. Собственному числу 1 стохастической матрицы соответ-
ствуют элементарные делители только первой степени.
18.34. Матрица называется двоякостохастической, если
сумма элементов каждой ее строки и сумма элементов каждого
ее столбца равны единице.
18.35. Любая матрица перестановок является двоякостохасти-
ческой матрицей.
18.36. Симметричная стохастическая матрица является двояко-
стохастической.
18.37. Множество всех двоякостохастических матриц порядка
п представляет собой в л-мерном вещественном пространстве вы-
пуклый многогранник с матрицами перестановок в качестве его
вершин.
18.38. Если двоякостохастическая матрица В порядка п нераз-
ложима, то индекс ее цикличности является делителем п.
18.39. Если 0 — вещественная симметричная положитель-
но полуопределенная матрица, то существует вещественная диа-
134
ОСНОВЫ ТЕОРИИ
(ГЛ. 1
тональная матрица D такая, что DBD является двоякостохастиче-
ской матрицей.
18.40. Квадратная матрица А называется осцилляционной,
если Я>0и существует такое целое s > 0, что А” является впол-
не положительной матрицей (см. 4.63).
18.41. Трехдиагональная матрица
А =
является осцилляциопной в том и только в том случае, если все
числа а,- п с, и все ее главные миноры — положительные.
18.42. Осцилляционная матрица А порядка п всегда имеет п
различных положительных собственных чисел Z,-, т. е.
0 X, < ).2 <-
18.43. Наибольшему характеристическому собственному числу
Лп = р(Л) осцилляционной матрицы А соответствует собственный
вектор, все координаты которого — только положительные (или
только отрицательные) числа, а у каждого собственного вектора,
соответствующего собственному числу X, ($>1) в ряду коорди-
нат, упорядоченных по возрастанию индексов, имеется точно
s — 1 перемен знака.
§19 . Матрицы специального вида
19.1. Трехдиагональная вещественная матрица
порядка п называется якобиевой, если а,с,_, >0 для г = 2, ..., п.
19.2. Любая якобиева матрица является неразложимой.
19.3. Для любой якобиевой матрицы А и диагональной невы-
рожденной матрицы D матрица DAD~l является якобиевой.
19.4. Для любой якобиевой матрицы А существует такая ди-
агональная невырожденная матрица D = diag(dt, ..., d„), что
матрица DAD~l — симметричная. В частности, для якобиевой
матрицы А из 19.1 необходимо и достаточно, чтобы элементы dt
® 19]
МАТРИЦЫ СПЕЦИАЛЬНОГО ВИДА
135
матрицы D были связаны равенствами
= i = 2,
ai
при произвольном di¥= 0.
19.5. Все собственные числа якобиевой матрицы вещественны
и она обладает полной 2)2-ортонормированной системой собствен-
ных векторов, где D — диагональная матрица из 19.4.
19.6. Для любой якобиевой матрицы А существуют такая
диагональная невырожденная матрица D и такое вещественное
число а, что матрица DAD'' 4- аЕ является осцилляционной мат-
рицей. В обозначениях 19.1 диагональные элементы dt такой мат-
рицы D вычисляются по формулам
di = sign (at) di-г i =
при произвольном di =£ 0, а в качестве величины а может быть
взято любое число, удовлетворяющее неравенству
а> max (|а{| + |М + | |),
где 01 = сп = 0.
19.7. Все собственные числа якобиевой матрицы А различны,
т. е. Ai < А2 <.. .< А.п, и если все элементы о,- положительны
(отрицательны), то для любого к 1 число перемен знака в ряду
коррдинат собственного вектора и'1 матрицы Л, соответствующего
собственному числу Тэ, (нулевые значения координат собствен-
ного вектора не учитываются), в точности равно п — к (равно
А-^-1). .
19.8. Произведение якобиевой матрицы и диагональной мат-
рицы с положительными диагональными элементами является
якобиевой матрицей.
19.9. Пусть А и В — некоторые квадратные матрицы. Тогда
задала нахождения чисел к и ненулевых векторов и (вообще го-
воря, комплексных), являющихся решениями уравнения
Аи = кВи,
называется обобщенной проблемой собственных значений. Иско-
мые числа к называются собственными числами обобщенной про-
блемы, а ненулевые векторы и — собственными векторами, соот-
ветствующими этим собственным числам к.
19.10. Если матрица В невырожденная, то обобщенная про-
блема собственных значений 19.9 эквивалентна стандартной про-
блеме собственных значений
Ли = ки,
где Д —В~^А.
136
ОСНОВЫ ТЕОРИИ
(ГЛ. 1
19.11. Если'матрица В симметричная и положительно опреде-
ленная, то обобщенная проблема собственных значений 19.9 экви-
валентна стандартной проблеме собственных значений
Av = ‘kv,
где А = В~1/2АВ-'/г, v = В1,ги.
19.12. Если В — симметричная и положительно определенная
матрица, А — симметричная матрица, то все собственные числа
обобщенной проблемы собственных значений 19.9 вещественны
и она обладает полной 5-ортонормированной системой собствен-
ных векторов.
19.13. Если матрица В удовлетворяет условиям 19.11, а А —
симметричная и положительно определенная (полуопределенная)
матрица, то все собственные числа обобщенной проблемы соб-
ственных значений 19.9 положительны (неотрицательны).
19.14. Пусть А—симметричная якобиева матрица, В — диаго-
нальная матрица с положительными диагональными элементами.
Тогда все собственные числа обобщенной проблемы собственных
значений Aii — KBu вещественны и различны, и им соответствует
полная 5-ортонормированная система собственных векторов.
Дальнейший материал настоящего параграфа будет связан с симмет-
ричными положительно определенными и полуопределенными матрицами
специального вида, с которыми очень часто приходится иметь дело на прак-
тике. Выпишем эти матрицы:
а также введем в рассмотрение следующие матрицы:
Bt = htE, В2 = A2diag (1/2, 1.....1, 1/2),
В3 = h3diag (1/2, 1, ..., 1), Bt = htE,
О
4 1
1 2
§ 19]
МАТРИЦЫ СПЕЦИАЛЬНОГО ВИДА
137
1"
О
4 1
1 2
где ht = Х/(п + 1), Л2 = Х/(и —1), h3 = Л4 = Х/п (п — порядок всех вы-
писанных матриц).
Перечисленные матрицы возникают, например, в связи с решением раз-
ностным методом (матрицы Аа и Ва, а = 1, 2, 3, 4) или методом конечных
элементов со стандартными кусочно линейными базисными функциями
(матрицы Аа и Ва, а = 1, 2, 3, 4) одномерной задачи Штурма — Лиувилля
—d^vjdx2 = ца, 0 < х < X,
при граничных условиях следующего типа:
v (0) = v (X) = 0 (условия Дирихле, а = 1);
dal dal
di lx=0 = Гх |x=x = 0 (условия Неймана, а = 2);
du I
= v (X) = 0 (смешанные условия, а = 3);
dvI dvI
v (0) = v (X), j-x (периодические условия, а = 4).
При этом величина ha, а = 1, 2, 3, 4 является шагом равномерной сетки,
а величина п — размерностью алгебраической задачи для конкретных гра-
ничных условий.
Для удобства интерпретации некоторых излагаемых далее фактов нуж-
но заметить, что собственные числа ц* (pi ц2 ..., -> оь при к —оо)
и соответствующие им ортонормированные (в смысле нормы пространства
Л2(0, X) собственные функции сформулированной задачи Штурма — Лиу-
вилли при перечисленных граничных условиях, а = 1, 2, 3, 4, легко вы-
писываются в явном виде:
, ((к — 1)л\® 1 1/2 (к— 1) ла:
2)ил = \—х—)' Уг = ут рл=И xcos—х—для*>1;
, = l/Е cos
X j У X X
( j(к — 1) л,«
1------j , к — нечетное;
к — четное;
к = 1;
кпх ,
—, к — четное;
X
я-, к —нечетное, к>1.
138
ОСНОВЫ ТЕОРИИ
(ГЛ. 1
19.15. Матрицы А3, Ва, Ва, а=1, 2, 3, 4,—симметричные
и положительно определенные.
19.16. Матрицы А2 и Л4 симметричные и положительно по-
луопределенные.
19.17. Все собственные числа обобщенных проблем собствен-
ных значений
Ааи = кВаи, Ааи = ХВаи
для а = 1, 3 положительны.
19.18. Все собственные числа обобщенных проблем собствен-
ных значений
Ааи = %Ваи, Ааи = КВаи
для а = 2, 4 неотрицательны.
19.19. Все собственные числа обобщенных проблем собствен-
ных значений Ааи = ХВаи, а = 1, 2, 3, различны.
19.20. Обобщенные проблемы собственных значений 19.17
(19.18) обладают полными 5а-ортонормировапиыми (соответствен-
но 5а-ортонормированными) системами собственных векторов.
19.21. Собственные числа < Х2 < ... < обобщенных про-
блем собственных значений
Лаи =/.Ваи
и компоненты соответствующих им 5а-ортонормированных соб-
ственных векторов для а = 1, 2, 3 вычисляются по формулам
(к =1, ..., п):
. . 4 . , кл 4 . knh
а = 1. = — sin2 2(„ + 1) = sin2
1/”2" . кл.] .
“м = V xsin Т+Т’ 7 = 1> ••••«;
„ , 4 . , (к — 1) л
а — 2: sin 2 _ 1)?
1//Х, 7с =1;
= 1 / 2 (к — 1) л (j — 1) 7 . .
I/ -Tr cos ----—/с>1, ] =
г Л fl - 1
4
а = 3: = — sin2
k3
(2к — 1) л
4п
(fc — 1/2) л (/ - 1)
п
/ = 1, . . ., П.
19.22. Собственные числа' < Х4 < ... < обобщен-
ной проблемы собственных значений
Л4н’==ХЙ41г
S 19]
МАТРИЦЫ СПЕЦИАЛЬНОГО ВИДА
139
и компоненты соответствующих им 2?4-ортопормироваппых соб-
ственных векторов вычисляются по формулам:
4 . , (fc — 1) л , 1
—— sin3-—--—, к—нечетное,
1 4
k 4 кл. j
—- sin- -л-, к — четное;
>П
4
Л/Ух, к = 1;
У -^sin-^-, к—четное,
’ А п
Uh ; = { ,__
1 / 2 (к — 1) л/ , , .
I/ -гг cos ------, к — нечетное, к > 1;
УХ п
(— 1)’/ У X, к — четное, к = п;
j = 1, ..., п.
19.23. Трехдиагональпая матрица
сп-1
ап 0
с положительными элементами а,, с<-1, 1 = 2, ..., п, является неот-
рицательной якобиевой циклической индекса 2 матрицей и, сле-
довательно, если v — собственное число С, то величина — v также
является собственным числом С.
19.24. Собственные числа v4 матриц Са = 2Е — Аа вы-
числяются по формулам (к = 1, 2, ..., п):
г» А-Л «
V/. = 2 cos ——г, а = 1;
К /г -р 1
О 1) Л Q
Vb = 2 cos -----i—, а = 2;
“ п — 1
о (А,— 1/2) л Q
V/.. = 2 cos -—, а = 3-
К п 1
19.25. Матрица С4 = 2Е — htB^1Af является неотрицатель-
ной неразложимой циклической индекса 2 матрицей, собствен-
ные числа V* которой вычисляются по формулам:
г» (& 1) Я т
2 cos -------—, к — нечетное;
п
Vft= 9 к
2 cos—, к — четное;
п
т. е., если v является собственным числом матрицы С4> то вели-
чина —V также является ее собственным числом.
140
ОСНОВЫ ТЕОРИИ
ггл. 1
19.26. Справедливы равенства
Ba = Bal E--±E?Aay
а = 1,2,3, 4.
19.27 . Собственные числа обобщенных проблем собственных
значений
Ааи = кВаи
вычисляются по формулам
// \
Xh = Xfe/ I 1--------------g- Xk I, к = 1, ..., n,
а соответствующие им Ва-ортонормированные собственные векто-
ры вычисляются по формулам:
:---Ь—\~'Uh'
(•-X)
где X* и щ — соответствующие собственные числа и Ва-ортонор-
мированные собственные векторы обобщенных проблем собствен-
ных значений Ааи = ЬВаи из 19.20, 19.21, а= 1, 2, 3, 4.
19.28 . Пусть |Да>— собственные числа, — uj,a> (х) —соот-
ветствующие им собственные функции одномерных задач Штур-
ма'— Лиувилля, а = 1, 2, 3, 4. Тогда для всех значений а = 1, 2,
3, 4 и 1, для которых |Да> #= 0, выполняются неравенства
4а) <
причем для любого фиксированного к выполняются соотношения
Им X* = |4а) — 0, lim = |4а) + 0,
п->оо П->оо
где и — собственные числа обобщенных проблем соб-
ственных значений
Ааи<а> = к(а>Ваи<а>, AaZ<a> =к(а)Ваим.
Кроме того, для всех к > 1 компоненты Ва-ортонормированных
собственных векторов и*1 вычисляются по формулам
= v(h} (hj), и$ = 42) (k2 (j — 1)),
Xj = 43)(k3u — i)), 4j = 44)(M), / =
§ 20]
НЕРАВЕНСТВА И ОЦЕНКИ
141
19.29 . Для любой симметричной трехдиагональной матрицы
(bt, b„ — некоторые вещественные числа)
главные миноры которой отличны
жение
от нуля,. справедливо разло-
А = LDLT,
где
О
1
D = diag {1/Pj, ..., l/М, L =
0 -Pn-1 1
и величины вычисляются по формулам
i = 1,
Pi = (1/(61 - Pi-j), i = 2, ...,n.
19.30. Для матрицы Л, имеем Pi = i/ii 1/(i + 1), i= 1, ..., n.
19.31. Для матрицы A3 имеем Pi = h3 \ i= 1, ..., n.
19.32. Элементы a^ матриц A^1, a = 1,3, вычисляются no
формулам:
r(n — f —|— 1)
(n -|- 1)
(„ — 7 4-1)
iK, j<
ih^
-(?) _ ((« — i 4- l)/i3, 7 < i,
° - l(« — 7 + 1) h3, j i,
n '+ 1
i,j = 1, ..., n.
§ 20. Неравенства и оценки
20.1. Положительные числа р, q называются сопряженными,
если р~' + <?-1 = 1.
20.2. (Неравенство Гельдера.) Для любых неотрицательных
чисел х3, ..., хк и у3, ..., ук ,
n / п \ Цр / n \l/q
с I 2 4 I 2 yl) ,
i=l \ i=l / \i=l )
причем равенство имеет место тогда и только тогда, когда векто-
ры с координатами х,, ..., хп и .., ул коллинеарны.
20.3. (Неравенство Коши — Буняковского.) При p = q = 2 не-
равенство Гельдера называется неравенством Коши — Буняков-
ского.
142
ОСНОВЫ ТЕОРИИ
[ГЛ. 1
20.4. (Неравенство Минковского.) Для любой матрицы А раз-
мера m X п с неотрицательными элементами а,, и любого числа
1
причем равенство имеет место тогда и только тогда, когда ранг
матрицы А не превышает 1 или р = 1.
20.5. Для любых неотрицательных чисел х,, ..., х» и ..., уп
(п \1/Т1 / п \1 п / п \ 1/п
П (*i + У г) > II И + Пу« .
1 = 1 . / \i=l / \i=l /
причем равенство имеет место тогда и только тогда, когда векто-
ры с координатами лц, ..., i„ и Ji, ..., уп коллинеарны.
20.6. (Тождество Лагранжа.) Для любых чисел а,, ..., ап и
..., bn
— ( 2 o,ib, j = У 2 (aibj — Hjbi)-.
\ i—1 / \ г—1 / \ i—1 / j—1 i<j
20.7. Пусть Ai A2 sJ ... sS A„ — собственные значения эрмито-
вой матрицы -А. Тогда для любой ортонормированной системы
векторов Xi, ..., xh
ft ft ft
2 2 •£<) У An— i+i •
1=1 2=1 • г--1
20.8. Пусть At С А2 ... С А„ — собственные значения неотри-
цательной эрмитовой матрицы А. Тогда для любой ортонормиро-
ванной системы векторов х15 ..., хк
h h (i v> Y
П 1 J (AXj, Xj) I ~r An— i + l ) •
1=1 . 1=1 \ il /
20.9. (Теорема Виландта, — Гофмана.) Пусть А, В, С — нор-
мальные матрицы порядка и, причем С — А + В. Обозначим через
А*, р(, их собственные значения, занумерованные в порядке
неубывания модулей. Тогда
2|ъ-*{12< iiPii2.
i=i i=i
20.10. Пусть А, В, С — эрмитовы матрицы порядка и, причем
С = А + В. Обозначим через А,, £<, 71 их собственные значения,
занумерованные в порядке неубывания. Тогда для любого набо-
§ 20]
НЕРАВЕНСТВА И ОЦЕНКИ
1ЧО
ра т натуральных чисел 1 =£ it < ... < im < п
т т т
Xjft + X Рп-й+1-
Й=1 й=1 н Й=1
При т = п достигается равенство.
20.11. В обозначениях 20.10 для любого т, 1 =£ т п,
7т An "1” 1m Т” [^ти
7m>AI+[}m, 7m А,,, + Pf.
20.12. Если матрицы А, В, С эрмитовы, С = А+В и В > 0,
то при нумерации в порядке неубывания каждое собственное зна-
чение матрицы С больше соответствующего собственного значе-
ния матрицы А.
20.13. Пусть А, В, С — квадратные матрицы порядка п, при-
чем С = А + В. Обозначим через pi, щ, v, пх сингулярные числа,
занумерованные в порядке неубывания. Тогда для любого набо-
ра т натуральных чисел 1 С г, < ... < im п
т т т
2 viit 2 рг/г "Е 2 Цп-fe+i-
Й=1 Й=1 Й=1
20.14. В обозначениях 20.13 для любого т, 1 т С п,
vm рт Н~ рп,
Vffl рт |ДП.
V) Р»1
т Р» Цт,
20.15. В условиях п обозначениях 20.13
тп тп
2 | vih — Pife \ 5 рп-й+1.
7.---1 k=l
20.16. Пусть А, В, С—квадратные матрицы порядка п, при-
чем С = АВ. Обозначим через р„ ц(, т, их сингулярные числа, за-
нумерованные в порядке неубывания. Тогда для любого набора
т натуральных чисел 1it <... < im С п
т т т
JL1 Пй П рг£ И р-п— л+11
й—1 Й=1
т т т
-LI 11 рп—й + 1 11 Hifc-
й=1 й=1 й=1
20.17. В обозначениях 20.16 при любом т, 1 =£ т п,
Tj?) Рпрт»,
Tin Р1Цт,
Тщ РтпЦп,
Тщ РтЦ1*
23.18. Пусть А, В — эрмитовы положительно определенные
матрицы порядка п и С = АВ. Обозначим через Ai, &t их соб-
ственные значения, занумерованные в порядке неубывания. Тог-
144
ОСНОВЫ ТЕОРИИ
[ГЛ. 1
да для любого набора т натуральных чисел 1 С i, <... < im < п
П sC П П Pn-h+b
h=l h=l в h=l
тп т т
И ®ih Д Pih и Xn-h+1-
h=l в h=l Bh=l
20.19. В обозначениях 20.18 при любом т, 1 т п,
бт С
т,
бт ХтРп,
бт
20.20. (Неравенства Г. Вейля.) Пусть собственные значения
матрицы А порядка п занумерованы так, что IX, I 1А,21 < • •.
... С 1Х„|, и р, С р2 < ... < рп — ее сингулярные числа. Тогда при
любом т С п и при о > 0
20.21. Рассмотрим две неубывающие последовательности по п
неотрицательных чисел:
а, =С а2 < ... С а„, р, С р2 С ... С р„.
Говорят, что последовательность р,, ..., р„ мажорируется после-
довательностью а„ ..., ап, если
тп тп
2 Pn—h+1 2 an-h+l
h=l h=l
при 1 m < п, причем при m = п выполняется равенство. Еслп
через аир обозначить векторы с соответствующими координата-
ми, то в этом случае пишут Р < а.
20.22. Последовательность р мажорируется последователь-
ностью d тогда и только тогда, когда существует двоякостохасти-
ческая матрица А такая, что р = Ха. .
20.23. Пусть <p(t) — непрерывная выпуклая монотонно возра-
стающая функция. Если для последовательностей 20.21 нестрогие
неравенства имеют место при всех гп, включая т = п, то
2 ф (Ph) < 2 Ф (cih).
h=l h=l
>
20.24. Если последовательность р мажорируется последова-
тельностью а, то требование монотонности <р(£) в 20.23 является
излишним.
§ 201
НЕРАВЕНСТВА И ОЦЕНКИ
145
20.25. Пусть А — эрмитова матрица порядка п, представлен-
ная в блочном виде:
А
Н В»1
В U J’
где Н — эрмитова матрица порядка т. Обозначим через Х1 =5
< Х2 С ... Хп собственные значения Л, через 0( 62 8т —
собственные значения матрицы Н и будем для удобства считать,
что 0( = —оо для i < 0 и 0i=4-«> для i > т. Для всех j имеют
место неравенства
Ху С 0, С X
п—т+л
0m —n+У Ху 0у.
20.26. Пусть А — эрмитова
ном виде:
матрица, представленная
в блоч-
А =
-н
С
.0
С*
V
Z
0*'
Z*
W
Н:
ту^т,
V: к%к,
пХп.
А:
Наряду с обозначениями 20.25, обозначим через gy = р,(X) соб-
ственные значения эрмитовой матрицы
м <*) - Г]-
Если для некоторой матрицы X, такой, что матрица V — X невы-
рожденная, известны собственные значения, то:
— каждый интервал [ц„ pJ+J, / = 1, т, содержит соб-
ственное значение X/ матрицы Л;
— между интервалами и числами X/ можно установить вза-
имно однозначное соответствие;
— во внешности каждого открытого интервала (р>, щ+т), i =
= 1, ..., к, имеется собственное значение Xz;
— между интервалами и числами X/ можно установить взаим-
но однозначное соответствие.
20.27. Пусть — произвольное число, удовлетворяющее нера-
венствам 0, < £ < 9,+1. Рассмотрим матрицу
Xt = tE + C(H -^ЕУ-'С*.
Каждый из интервалов [gy(Xt), £J и [£, (Х:)] содержит по
крайней мере одно собственное значение матрицы А. Кроме того,
существует матрица А, собственными значениями которой явля-
ются только концевые точки этих интервалов, помимо собствен-
ных значений, лежащих вне обоих интервалов.
20.28. Пусть матрица А вида 20.26 такова, что отрезок
содержит то же число собственных значений X матрицы А, что и
10 В. В. Воеводин, Ю. А. Кузнецов
-146
ОСНОВЫ ТЕОРИИ
[гл. 1
собственных зпачепий 0 матрицы Н, т. е. для индексов л, к, I
Хп *** ОС Хп + 1 Хп.).; ОС Хп4-/4-|,
0v *** ОС 0V+1 0v+; *** ОС 0v+;+iJ
тогда v л и для 1 j < I
Pv+j (Ха") Хл+J Pv+fe+j (Ха')-
20.29. Пусть НСНЕ настолько мала, что в обозначениях 20.28
выполняется неравенство а' + ll<7ilE 09+1. Тогда для 1 j I
Рз+fe+i (Ха') ®e+j + И С ||2/(0g+j — а ).
ГЛАВА 2
ЧИСЛЕННЫЕ МЕТОДЫ
§ 21. Математические особенности машинной арифметики
Общий эффект от решения задачи и даже возможность ее решения во
многом определяются тем, как в действительности выполняются операции
над числами. Это. в свою очередь, зависит от принятой системы записи
чисел, или, как говорят, системы счисления.
21.1. Пусть заданы целое число р > 1 и целые числа а0, а„ ...
..ар-i. Если любое число х может быть представлено в впде
ряда
х = ±(.bnpn -I- Ьп^рп ' + ... + b0 + b-ip~l + b_2p~z + ...),
где каждый из коэффициентов bi может принимать одно из зна-
чений а0, «1, .. •, ар-i, то запись вида
х = ±bnbn_,. ..bo, b_ib_2...
называется позиционной системой счисления.
Название этих систем связано с тем, что роль, которую играет каждый
коэффициент в записи 21.1, зависит от занимаемой им позиции. Отсчет по-
зиции определяется положением запятой или. что то же самое, положением
коэффициента Ьо- Число р в 21.1 называется основанием системы счисле-
ния, числа а0, а,.«p-i — базисными, правая часть записи числа х —
р-ичной дробью, коэффициенты — разрядами. Дробь называется бесконеч-
ной. если в ее записи содержится бесконечно много ненулевых разрядов,
п конечной — в противном случае. Если для разрядов в записи 21.1 исполь-
зуется единая нумерация, то они нумеруются справа налево и им припи-
сываются номера, соответствующие степеням р ряда 21.1.
Обычно в записи 21.1 опускаются все первые и последние нулевые раз-
ряды. Опускается и запятая, если разряды после пее являются нулевыми.
21.2. Если базисные числа образуют совокупность ak—k, то
любое вещественное число может быть представлено в виде р-ич-
ной дроби.
21.3. Если р — нечетное и базисные числа образуют совокуп-
ность ак = (1 + 2k — р)/2, то любое вещественное число может
быть представлено в виде р-ичной дроби.
21.4. Позиционные системы 21.3 называются сокращенными.
21.5. В сокращенной позиционной системе базисные числа
симметричны относительно нуля.
10*
148
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
21.6. В сокращенной позиционной системе знак числа совпа-
дает со знаком старшего разряда.
Арифметические операции над числами, заданными в любой позицион-
ной системе-счисления, производятся по таким же правилам, что и в деся-
тичной системе. Это объясняется тем, что все операции основаны на пра-
вилах выполнения действий над соответствующими полиномами. Позицион-
ные системы счисления широко применяются для представления чисел в
современной вычислительной технике. Наиболее часто используется прос-
тейшая из них — двоичная система счисления. Среди сокращенных систем
более употребительна троичная система.
21.7. Округлением числа до s разрядов в заданной системе
счисления называется операция замены этого числа таким чис-
лом, все разряды которого в той же системе счисления, начиная
с s — 1-го, являются нулевыми. Разность между округленным и
округляемым числами называется ошибкой округления.
Заметим, что в данном определении ничего не говорится ни о способе
выполнения операции округления, ни о том, насколько округленное число
близко к округляемому. Это не случайно. В практике конструирования ЭВМ
операции округления реализуются различными способами. Единственное,
что их объединяет,— это малость ошибки округления по крайней мере для
большинства чисел.
21.8. Каков бы ни был способ округления чисел х до s-раз-
рядных чисел ха, всегда найдутся такие числа х, что |х, — х| >
5* 0,5р’ в любой системе с базисными числами lczftl =5 р.
21.9. Усечением числа х до s разрядов называется такое его
округление до s разрядов, при котором сохраняются все разряды
слева до s-ro включительно.
21.10. Если х, есть усечение числа х до s разрядов; то
|х, — х\ р’ в любой системе с базисными числами ah = k,
и |х, — х| < 0,5р’ в любой сокращенней системе.
Хотя усечение чисел не является в общем случае лучшим способом
округления, тем не менее именно с ним тесно связаны все другие спосо-
бы. В самом деле, как бы пи выполнялась операция округления, ее резуль-
татом будет число, все разряды которого, начиная с s — 1-го, являются ну-
левыми. Следовательно, операцию округления всегда можно практиковать
как отбрасывание всех разрядов, начиная с s — 1-го, и последующее добав-
ление или вычитание некоторого числа, кратного рв. Для того чтобы ошиб-
ка округления была малой, необходимо, чтобы было малым и это число.
21.11. Округление до s разрядов называется правильным, если
для любого числа х и округленного числа х, имеем |xs —
< 0,5р’.
21.12. В любой сокращенной системе счисления усечение чи-
сел обеспечивает правильное округление.
21.13. В любой р-ичной системе счисления с базисными чис-
лами а„ = к возможна реализация правильного округления.
21.14. В условиях 21.13 правильное округление обеспечивает
минимальную величину модуля ошибки округления среди всех
способов округления.
<§ 21)
ОСОБЕННОСТИ МАШИННОЙ АРИФМЕТИКИ
149
Правильное округление есть не что иное, как обычное школьное пра-
вило округления чисел, перенесенное на другие позиционные системы счис-
ления. Конечно, оно несколько сложнее, чем усечение чисел, так как при-
ходится анализировать отбрасываемую часть числа и дополнительно при-
бавлять или вычитать единицу последнего оставляемого разряда. Однако
усечение чисел обладает серьезными недостатками. Они связаны не столько
с большей величиной ошибки округления, сколько с тем фактом, что ошиб-
ка округления всегда имеет один и тот же знак, противоположный знаку
округляемого числа. Это явление нежелательно, так как приводит во мно-
гих случаях к быстрому накоплению ошибок в вычислительных процессах.
Правильное округление таких недостатков не имеет. Всюду в дальнейшем
в этой книге, где придется иметь дело с ошибками округления, будем пред-
полагать, без дополнительного пояснения, что округление является пра-
вильным.
21.15. При любом целом р > 1 любое ненулевое число х мож-
но представить в виде х = арь, где b — целое число и 1/р =5 Ы <
< 1. Число а называется мантиссой числа х, число b — его по-
рядком.
21.16. Представление числа х в виде записи 21.1 называется
представлением с фиксированной запятой, если фиксирована по-
лиция нулевого разряда.
21.17. Представление числа х в виде 21.15, где мантисса пред-
ставлена с фиксированной запятой, называется представлением
с плавающей запятой.
В любой вычислительной машине на представление каждого числа от-
водится одно и то же количество базисных элементов, моделирующих чис-
ловой разряд р-ичной системы счисления. Пусть число таких элементов рав-
но т. Этими элементами можно распорядиться по-разному. Можно, напри-.
мер, воспользоваться представлением с фиксированной запятой и отвести
г элементов на разряды слева от запятой и т — г элементов на разряды
справа от запятой. Но можно воспользоваться представлением с плавающей
запятой и отвести г элементов на порядок и т — г элементов на мантиссу.
Естественно спросить, какой из этих вариантов лучше? Ответ на этот во-
прос не однозначен.
Если числа, с которыми приходится иметь дело, имеют приблизитель-
но одинаковые порядки, то нет необходимости использовать представле-
ние с плавающей запятой с большим диапазоном изменения порядка.
В этом случае гораздо выгоднее использовать представление с фиксирован-
ной запятой, так как можно обеспечить большую точность. Если же числа
могут иметь очень большой разброс своих величин, то представление с фик-
сированной запятой невыгодно, так как малые числа будут представлены
с очень малой точностью. В целом для представления с фиксированной за-
пятой характерна высокая абсолютная точность, с плавающей запятой —
высокая относительная точность.
Для фиксированной и плавающей запятой разряды нумеруются не-
сколько иначе, чем указано ранее. Именно, для фиксированной запятой
разряды слева от запятой нумеруются подряд справа налево, начиная с ну-
левого, справа от запятой — подряд слева направо, пачнпая с первого. Для
плавающей запятой нумеруются только разряды мантиссы. Если говорят,
что число представлено с t разрядами, то, как правило, имеют в виду либо
t разрядов справа от запятой, либо t разрядов мантиссы.
21.18. Через fi(x) обозначается конечная дробь, которая по-
лучается после округления числа х с фиксированной запятой до
/-го разряда справа от запятой.
150
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 3
21.19. Через fl(x) обозначается конечная дробь, которая полу-
чается после округления мантиссы числа х с плавающей запятой
до i-ro разряда.
Для фиксированной запятой округление до t-ro разряда обеспечивает
равномерную малость абсолютной ошибки для всех чисел. Для плавающей
запятой положение несколько сложнее. Если числа могут быть представле-
ны в ЭВМ, то для них округление мантиссы до t-ro разряда обеспечивает
равномерную малость относительной ошибки. Если же числа настолько
малы, что их порядок не может быть изображен с помощью отведенного
числа разрядов, то такие числа представляются в ЭВМ нулем. В этом слу-
чае относительная ошибка будет по модулю равна единице. Минимальное
положительное число ы, которое может быть представлено с плавающей
запятой, иногда называется машинным нулем.
Для современных ЭВМ величина р~‘ обычно находится в пределах
10-'° — 10-20, величина ы — в пределах 10~18—10-40. Вообще говоря. р~* и
и не связаны между собой. Однако на всех ЭВМ, за исключением ЭВМ с
переменной длиной мантиссы, выполняется соотношение w < р~1'51. Не-
смотря на «малость» ю, вычисления со столь малыми числами приходится
проводить значительно чаще, чем может показаться на первый взгляд.
На ЭВМ, работающей с фиксированной запятой, обычно допускаются
числа, не превосходящие по модулю единицы, на ЭВМ с плавающей запя-
той,— не превосходящие со-1. Если в процессе вычислений появляются чис-
ла, выходящие за эти границы, то в большинстве случаев вычислительный
процесс останавливается. Это явление принято называть переполнением.
Конечно, его надо учитывать при реализации алгоритмов на ЭВМ.
Отмеченные особенности представления чисел не могут быть устране-
ны какими-либо техническими средствами. Можно сконструировать ЭВМ
со сколь угодно малым числом со. Но все равно оно будет отлично от нуля,.
Можно построить ЭВМ, у которой операция округления будет реализована
самым лучшим способом. Но все равно ошибки округления останутся. Нель-
зя, по существу, избежать и переполнения.
Чтобы не заниматься излишними деталями, связанными с особенностя-
ми представления чисел на конкретных ЭВМ, мы предположим выполне-
ние двух основных гипотез, касающихся операции округления. Отклонения
от этих гипотез в большинстве случаев приводят лишь к небольшому из-
менению числовых коэффициентов в итоговых оценках.
21.20. (Гипотеза.) Если числа округляются до t разрядов,
то выполняются следующие соотношения:
fi (х) = х + v, | v | у р~*,
fl (х) = х (1 + е), | е | у p-f+1, если | х | со, е = — 1,
если | х | < со, со <
21.21. (Гипотеза.) Выполнение любой отдельной арифмети-
ческой операции (+, —, X, :, Т) эквивалентно точному выполне-
нию этой операции и последующему округлению согласно 21.20.
Операции с нулевым аргументом выполняются точно.
Символы fi и fl используются не только для указания способов пред-
ставления и округления чисел, но и для указания режимов вычисления
сложных выражений.
§ 21]
ОСОБЕННОСТИ МАШИННОЙ АРИФМЕТИКИ
151
21.22. Если под символом fi или fl стоит сложное выражение,
то это означает следующее: выражение каким-либо способом пред-
ставляется в виде последовательности алгебраических операций,
и каждая операция выполняется согласно 21.21.
При реализации некоторых алгоритмов возникает необходимость вы-
полнять отдельные промежуточные вычисления с существенно большей
точностью, чем допускается принятой системой представления чисел. На
большинстве современных ЭВМ такие вычисления организуются следую-
щим образом. Во-первых, имеется техническая возможность получать ре-
зультаты выполнения основных арифметических операций над (-разрядны-
ми числами не с t разрядами, а с 2t разрядами. При этом ошибка округле-
ния обычно искажает лишь последние из этих разрядов. Во-вторых/ имеет-
ся возможность программного доступа как к старшим t разрядам резуль-
тата, так и к младшим его t разрядам. Используя эту возможность, можно
программным путем осуществлять любые вычисления со сколь угодно
большой точностью.
21.23. Пусть требуется вычислить некоторое сложное выра-
жение, аргументами которого являются ^-разрядные числа. Ре-
жим вычислений, при котором все промежуточные вычисления
осуществляются с 2t разрядами и лишь результат округляется до
t разрядов, называется режимом накопления. Он обозначается
соответственно символом fi2 или fl2.
Какими бы малыми ни были ошибки округления, возникающие при
выполнении арифметических операций, их появление существенно меняет
математические свойства самих операций. Точные операции умножения и
сложения, например, являются коммутативными, ассоциативными и связа-
ны между собой законом дистрибутивности. Эти операции на ЭВМ, вообще
говоря, не являются таковыми.
21.24. При любом способе округления на ЭВМ с плавающей
запятой операции сложения и умножения не являются ассоциа-
тивными и не связаны между собой законом дистрибутив-
ности.
21.25. Коммутативность операций сложения и умножения мо-
жет быть достигнута в том случае, если ошибка округления од-
нозначно определяется результатом точного выполнения опе-
раций.
21.26. Операция сложения на ЭВМ с фиксированной запятой
коммутативна, по не связана с операцией умножения законом
дистрибутивности.
С точки зрения точного выполнения операций расстановка скобок обыч-
но не бывает однозначной. Но при реализации в условиях ошибок округле-
ния различные расстановки скобок в одном и том же арифметическом вы-
ражении будут приводить к различным результатам. Поэтому всякая зада-
ча при постановке на ЭВМ определяет в действительности целую совокуп-
ность вычислительных алгоритмов, отличающихся друг от друга порядком
выполнения операций. Несмотря на математическую эквивалентность всех
этих модификаций в точном смысле, различие в вычислительном эффекте
может быть огромным, в особенности с точки зрения численной устойчи-
вости.
Какой бы ни была эта совокупность «приближенно эквивалентных» ал-
горитмов, среди них находится алгоритм, обеспечивающий наибольшую точ-
152
численные методы
[гл. г
ность. Найти его или близкий к нему — трудная задача, особенно в слож-
ных вычислениях. Тем не менее о принципиальной возможности оптимиза-
ции алгоритмов в отношении точности по порядку выполнения операций
забывать не следует.
За исключением редких случаев, ошибка округления появляется в каж-
дой арифметической операции. При реализации на ЭВМ сложного вычис-
лительного алгоритма на его окончательный результат будет оказывать,
влияние очень большое число ошибок округления результатов промежуточ-
ных вычислений. Общий эффект влияния ошибок обычно описывается од-
ним из следующих двух способов.
Обозначим через А входные данные задачи, через В = <р(А) —резуль-
тат их обработки по некоторому точному алгоритму <р. При реализации на
ЭВМ алгоритм ф будет заменен другим, «близким» алгоритмом <р(, в силу
неизбежных отличий машинной арифметики от точной. Следовательно,
вместо В будет получен результат Bt = <р((4).
21.27. Исследование отклонения приближенно вычисленного
решения Bt от точного решения В называется прямым анализом
ошибок.
Во многих задачах реально вычисленное решение Bt можно рассмат-
ривать как результат обработки некоторых возмущенных входных данных
At по точному алгоритму ф, т. е. Bt = ф(А(). В этом случае ошибку вычис-
ленного решения характеризует также отклонение At от А.
21.28. Если точное решение В есть результат реализации не-
которого алгоритма над входными данными Л, а приближенно'
вычисленное решение Bt можно рассматривать как результат
реализации того же точного алгоритма над входными данны-
ми At, то отклонение А, от А называется эквивалентным возму-
щением.
21.29. Исследование эквивалентного возмущения называется
обратным анализом ошибок.
Заметим, что эквивалентное возмущение, вообще говоря, определяется
не единственным образом. Поэтому в обратном анализе ошибок исключи-
тельно важным и самым трудным моментом является доказательство су-
ществования эквивалентного возмущения, соответствующего той или иной
оценке. Конечно, при этом необходимо стремиться к тому, чтобы устано-
вить по возможности существование наименьшего эквивалентного возму-
щения.
Оценивая в дальнейшем эффект влияния ошибок округления, мы бу-
дем указывать лишь главные члены оценок по малости величины р~‘. Для
главных членов соотношений снова будем использовать символы =,
и т. д. Всюду предполагаем, что при осуществлении вычислений выполня-
ются гипотезы 21.20, 21.21.
§ 22. Элементарные матрицы и преобразования
22.1. Вещественные матрицы, отличающиеся от единичной
Матрицы четырьмя элементами, расположенными на пересечении
строк и столбцов с номерами г, /, и имеющие вид
§ 22)
ЭЛЕМЕНТАРНЫЕ МАТРИЦЫ И ПРЕОВРАЗО АНИН
1ЭЗ
i 7 _
: о
. /
с ...— $ ... i
\
+ s ... + с • • • 7
где с2 + s2 = 1, называются матрицами вращения (простого по-
ворота, Гивенса).
22.2. Матрицы вращения с элементами с, с (с, —с) на диаго-
нали называются правыми (левыми) матрицами вращения.
22.3. При любых с, s, где с2 + s2 = 1, матрицы вращения яв-
ляются ортогональными.
22.4. При умножении векторВ на матрицу вращения ме-
няются только г-я и /-я координаты вектора.
Как правые, так и левые матрицы вращения с одинаковым успехом
могут быть использованы в самых различных вычислительных процессах.
Различие между ними проявляется лишь при компактном хранении инфор-
мации о выполненном преобразовании. Как правило, если не сделано спе-
циальной оговорки, в дальнейшем под матрицами вращения будут пони-
маться правые матрицы вращения. Прежде чем приступать к исследова-
нию последовательностей матриц вращения общего вида, изучим подробнее
вещественное преобразование второго порядка.
22.5. При любых с и s, не равных нулю одновременно, веще-
ственная матрица
становится ортогональной после деления на множитель т =
= (с2 + S2)112.
22.6. Каков бы ни был вектор b с координатами х, у, суще-
ствует ортогональная матрица Т, для которой вторая координата
вектора ТЬ равна нулю, например:
22.7. В условиях 22.6 первая координата вектора ТЬ равна
(О, а = О,
Z = i(a? + р2)’/2, а =#=0.
104
ЧИСЛЕННЫЕ МЕТОДЫ
(гл. г
Из условия с2 4- s2 = 1 следует, что величины с и s можно рассматри-
вать как cos а и sin а для некоторого угла а. В этом случае матрицу Т
можно трактовать как матрицу преобразования, заключающегося в пово-
роте плоскости вокруг начала координат на угол а. Название матрицы
объясняется именно этим фактом. Как вытекает из 22.6, всегда можно по-
добрать такой поворот, при котором любой заданный вектор перейдет в
вектор, коллинеарный координатному.
22.8. Пусть Т — реально заданная пли реально вычисленная
по некоторому вектору Ъ согласно 22.6 матрица вращения. Возь-
мем любой вещественный вектор а. Если т и На11Е много больше
машинного пуля, то при умножении матрицы Т па вектор а вы-
полняются соотношения
il(Ta)=Ta + f, lf[\E<V2rp-t+1\[a\\E,
fi(?a)sT(e + 6), ||е||£< /2<‘+1hk
22.9. Для матрицы Т, реально вычисленной согласно 22.6,
матрица ТТ' является скалярной, и при этом выполняются сле-
дующие оценки:
II тт' - я ||2 < 4 р"'+1т \\т - Т ||2 < 4 p-t+\
т = ( с2 + s2)1'2 = 1 + V, | v 1 < /Г'+\
22.10. Пусть по вектору Ъ реально вычисляется матрица Т
(согласно 22.6) и согласно 22.7 вычисляется единственная нену-
левая координата вектора ТЪ\ тогда
П(П) = Т(Ь + е), ||е||Е^^р-'+’||Ь||Е.
Приведенные оценки говорят о том, что реально вычисленная матрица
вращения Т с высокой степенью точности не только вообще близка к ка-
кой-то ортогональной матрице, но даже близка к ортогональной матрице,
получаемой при точных вычислениях. При этом оказываются малыми и
эквивалентные возмущения преобразуемых векторов.
Если ||б11я по своей величине соизмерима с машинным нулем, то мат-
рица Т уже может не быть близкой к ортогональной матрице Т, получаю-
щейся при точных вычислениях. Однако вычисления всегда можно органи-
зовать так, что Т будет близка к некоторой ортогональной матрице. Собст-
венно говоря, только это мы и будем использовать в дальнейшем.
В связи со сказанным мы хотим еще раз подчеркнуть одно исключи-
тельно важное обстоятельство. Приведенные оценки имеют место только
в том случае, когда при выполнении каждой операции обеспечивается от-
носительная погрешность результата не более 0,5 в соответствии с
21.24, 21.25. Для достижения этих оценок формулы 22.6, 22.7 прихбдится
преобразовывать. Необходимость подобных преобразований связана, напри-
мер, с возможностью появления очень малых чисел ж, у. В этом случае
нужно быть особенно осторожным при вычислении величины (х2 + у2)1/2.
Если х, у находятся вблизи машинного нуля, то эта величина может ока-
заться равной нулю или иметь очень малую относительную точность. Тогда
реально вычисленная матрица Т может оказаться далекой от любой ор-
5 22]
ЭЛЕМЕНТАРНЫЕ МАТРИЦЫ И ПРЕОБРАЗОВАНИЯ
155
тогональноп матрицы. Такие ситуации часто встречаются в практических
вычислениях.
Конечно, было бы наиболее правильно точно описывать ту последова-
тельность операций, для которой имеют место приводимые оценки. Но это,
но существу, означает, что нужно приводить программы алгоритмов на од-
ном из алгоритмических машинно-независимых языков. Такая задача не
ставится в данной книге. Приводя эти и все последующие оценки, мы хо-
тим в первую очередь показать, какого эффекта в отношении точности мож-
но добиться при правильной реализации алгоритмов.
22.il. Пусть n-мерный вектор z умножается на последова-
тельность из N матриц вращения T’jpp • • , Предположим,
нто —реально заданные или реально вычислен-
ные матрицы вращения с соответствующими матрицами второго
порядка, удовлетворяющими 22.9. Тогда для любой последова-
тельности пар индексов iji, ..In]'n имеют место соотношения
fl . T^z) (TiNjN ... rilh) (z + &),
И||Е< V2Np-t+1\\z\\E.
22.12. Последовательность матриц вращения называется силь-
но связанной, если любые две соседние матрицы имеют хотя бы
один общий индекс.
22.13. Оценка эквивалентного возмущения 22.11 для произ-
вольных векторов z достигается на множестве сильно связанных
последовательностей матриц вращения.
22.14. Последовательность матриц вращения называется не-
связанной, если все индексы матриц различны.
22.15. Для того чтобы последовательность __,TiNjN
была несвязанной, необходимо, чтобы N ие превосходило п/2.
22.16. Результат выполнения несвязанной последовательности
преобразований с матрицами вращения, включая всю совокуп-
ность ошибок округления, не зависит от порядка выполнения
самих преобразований.
22.17. В условиях и обозначениях 22.11 при любой несвязан-
ной последовательности матриц вращения для эквивалентного
возмущения <8 справедлива оценка
И ||к< /2р-'+> ||Е.
22.18. Оценка эквивалентного возмущения 22.17 для произ-
вольных векторов z достигается на множестве несвязанных по-
следовательностей матриц вращения.
22.19. Если последовательность матриц вращения можно раз-
бить на А групп так, что внутри каждой группы матрицы вра-
щения не имеют одинаковых индексов, то в условиях и обозна-
чениях 22.11 справедлива оцепка
l№< /2^-f+1||z||E.
156
ЧИСЛЕННЫЕ МЕТОДЫ
(гл. г
Выполнение Любой последовательности из W преобразований враще-
ния можно трактовать как выполнение W несвязанных последовательностей,,
каждая из которых содержит лишь одно преобразование. При этом для
суммарного эквивалентного возмущения S справедливы как неравенство-
22.11, так и неравенство 22.19. В данном случае обе оценки, конечно, сов-
падают.
В общем случае выполнение преобразований вращения можно сводить
к несвязанным последовательностям не единственным способом, что видно
на примере самой несвязанной последовательности. Чтобы на основе фор-
мулы 22.19 получить наилучшую оценку эквивалентного возмущения, не-
обходимо определить минимальное число несвязанных последовательно-
стей, к которым сводится исходная последовательность.
22.20. Две последовательности матриц вращения называются
эквивалентными, если одну последовательность можно получить
из другой с помощью перестановок соседних матриц, не имею-
щих общих индексов.
22.21. Признак эквивалентности последовательностей матриц;
вращения есть отношение эквивалентности. '
22.22. Результат выполнения эквивалентных преобразований
вращения будет одним и тем же, включая всю совокупность
ошибок округления.
22.23. Минимальное число несвязанных групп, на которые
распадается последовательность матриц вращения при экви-
валентном преобразовании, называется индексом эквивалент-
ности.
22.24. Рассмотрим две последовательности матриц вращения,
индексы которых описываются одной и той же совокупностью
пар:
1,2;
1, 3; 2, 3;
1, 4; 2, 4; 3, 4; -
1, 5; 2, 5; 3, 5; 4, 5;
1, т + 1; 2, т+1; 3, т+1; ...; т, ш+1;
1, п — 1; 2, п — 1; 3, п — 1; ...; т, п — 1;
1, и; 2, п; 3, п; ...; т, п,
где т < п. Для первой последовательности совокупность пар ин-
дексов упорядочивается по строкам, для второй — по столбцам,,
причем сами строки и столбцы упорядочиваются сверху вниз и
слева направо. Обе последовательности называются цикличе-
скими.
22.25. Циклические последовательности состоят из 0,5 • т(2п —
— т — 1) матриц вращения.
22.26. Каждая из циклических последовательностей эквива-
лентна последовательности, индексы которой задаются строками
§ 22]
ЭЛЕМЕНТАРНЫЕ МАТРИЦЫ И ПРЕОБ АЗОВАНин
таблицы
1, 2;
1, 3;
1, 4; 2, 3;
1, 5; 2, 4;
1, 6; 2, 5; 3, 4;
1, п\ 2, п — 1; 3, п — 2; ..т, п — т+ 1;
2, п; 3, п — 1; ..т, п — т + 2;
3, п; ..тп, п — тп + З;
т, п.
' 22.27. Циклические последовательности эквивалентны между
собой, и их индекс эквивалентности равен т + п — 2.
22.28. В условиях и обозначениях 22.11 при обеих цикличе-
ских последовательностях для эквивалентного возмущения S
справедлива оценка J S ||Е^ 1^2 (т + п — 2) р~<+1|| z ||Е.
22.29. Пусть R есть точное произведение реально вычис-
ленных матриц вращения, соответствующих любой из цикличе-
ских последовательностей. Существует такая ортогональная мат-
рица R, что
(7П + п-2) Vnp~t+\
22.30. В условиях и обозначениях 22.11, 22.28 при т = п— I
имеет место оценка || S ||Е < }^2 (2л — 3) р 1+11| z ||Е.
Полученные оценки говорят о том, что общий эффект влияния ошибок
округления зависит не только от числа выполненных преобразований вра-
щения, но и от того, в какой последовательности осуществляются преоб-
разования. В некоторых задачах мы сможем в известной мере выбирать
эту последовательность й, следовательно, строить лучшие по точности ме-
тоды.
22.31. Для любого га-мерного вектора z существуют такие по-
следовательности матриц вращения ..., N^n 1,
что их произведение U переводит вектор z в вектор, коллинеар-
ный вектору е = (1, 0, ..., 0)', т. е. f/z = ae для некоторого
числа а.
22.32. Пусть ji, /2, ..., 7*п—1 — любая перестановка из чисел
2, 3, ..., п. Возьмем любые целые положительные числа it, i2, —
..in~i, не превосходящие п и такие, что для всех 1 Л n — t
число /* не входит в совокупность чисел г,. i2, ..., г*. Рассмотрим
последовательность векторов zh = Ti^z^-i, z0 = z, и подберем
согласно 22.6, 22.7 параметры матриц 7\kjk так, чтобы при
всех к в векторе z* обращалась в нуль Д-я координата. Тогда
матрицы Тikjk удовлетворяют условию 22.31.
158
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
22.33. Если j\=fc+l, i„ = 1, то последовательность будет
сильно связанной и для эквивалентного возмущения <S из 22.11
справедлива оценка
1№С /2(и- 1) p~/+11 z||E.
22.34. Построим последовательность матриц вращения из
22.32 с наименьшим индексом эквивалентности. Для этого возь-
мем индексы Д, равные 2, 4, 6, ..., затем 3, 7, И, ..., далее
-5, 13, 21, ... и т. д.; индексы ц — соответственно равные 1, 3,
5, ..., затем 1, 5, 9, ..., далее 1, 9, 17, ... и т. д. Число несвя-
занных групп в этой последовательности будет не более log2 (2п),
поэтому
/21og2(2n)p-1+1||Z||E.
22.35. Предположим, что при каждом умножении на матрицу
вращения исключается наименьшая по модулю координата век-
тора. Пусть вторая преобразуемая координата является наимень-
шей по модулю из оставшихся ненулевых координат. В этом
случае
и ||Е < 2 /2(n-l) p-t+1 h |)Е.
22.36. Пусть при каждом умножении на матрицу вращения
исключается наибольшая по модулю координата. Тогда снова
имеет место оценка 22.33.
22.37. Пусть iv — произвольный вещественный вектор еди-
ничной длины, т. е. HwilE = 1. Вещественная матрица U = E —
— 2iviv' называется матрицей отражения (матрицей Хаусхолдера).
Название этой матрицы объясняется следующим обстоятельством. Если
в трехмерном пространстве рассмотреть зеркальную плоскость с нормаль-
ным вектором iv, проходящую через начало координат, то преобразование
зеркального отражения от такой плоскости задается именно матрицей от-
ражения- Аналогичное свойство сохраняется и в «мерном пространстве.
Некоторые свойства матрицы отражения и преобразования с такой мат-
рицей удобно описывать через скалярное произведение, заданное как сум-
ма попарных произведений координат. Всюду, где встречается скалярное
произведение при использовании матриц отражения, имеется в виду имен-
но это скалярное произведение.
22.38. Матрица отражения является симметричной и ортого-
нальной.
22.39. Одно собственное значение матрицы отражения равно
— 1, остальные равны +1.
22.40. Для любых матриц отражения U и вектора z выпол-
няются 'соотношения
Uz = (Е — 2iviv')z = z — 2(z, w)iv.
22.41. Вектор z, коллинеарный вектору io, переводится мат-
рицей отражения в вектор —z.
ЭЛЕМЕНТАРНЫЕ МАТРИЦЫ И И ЕОБРлзивлмип
§ 22]
22.42. Вектор z, ортогональный вектору w, оставляется мат-
рицей отражения без изменения.
22.43. Пусть заданы любые ненулевые векторы q, s. Суще-
ствует единственный, с точностью до множителя ±1, вектор иг
единичной длины такой, что определяемая им матрица отраже-
ния переводит вектор q в вектор as для некоторого числа а.
22.44. В качестве вектора w из 22.43 можно взять любой пз
векторов, определяемых соотношениями
iv=-^-(q — as), р2 = 2 (q, q — as), a = ± |] q ||Е/Ц s ||E.
22.45. Большая точность и большее значение р в 22.44 обес-
печиваются в том случае, когда знак а выбирается противопо-
ложным знаку скалярного произведения (?, s).
22.46. Пусть s = (l, 0, ..., 0)'. Для повышения устойчивости
реальные вычисления, соответствующие 22.44, выполняются по
следующей схеме. Предположим, что llgllE=/=0. Обозначим через
Ui, ..., и„ координаты вектора и определим координаты
щ, ..., vn вектора v:
Если щ =0, то будем считать, что Hi/lnJ есть любое из чисел
±1. Теперь матрицу отражения можно представить в виде
U =Е— -vv',
Y
где у= 1+ luj. Если И?ИЛ = О, то берем v = e, у = 0,5.
22.47. Для любых матрицы отражения U вида 22.46 и векто-
ра z выполняются соотношения
/ 1 \ •}
Uz = IE-----vv' I z = z---(z, v) v.
\ Y / Y v '
22.48. Пусть у, v — реально вычисленные параметры матри-
цы отражения из 22.46, причем вычисляется в режиме на-
копления. Тогда реально вычисленная матрица U удовлетворяет
соотношению
\UU' -H<4p-Z+1.
22.49. Пусть W есть точное произведение N реально вычислен-
ных матриц отражения. Существует такая ортогональная матри-
ца W, что
||Ф ^2Np~t+1.
Обращаем внимание на то, что в 22.48, 22.49 ничего не говорится о бли-
зости реально вычисленных матриц к матрицам, полученным при точных
вычислениях. Такой близости может не быть. Однако подчеркнем еще раз;
160
ЧИСЛЕННЫЕ МЕТОДЫ
(ГЛ. 2
что в дальнейшем используется лишь близость этих матриц к некоторым
ортогональным матрицам и малость эквивалентных возмущений при преоб-
разованиях с реально вычисленными матрицами.
22.50. Пусть выполняется преобразование 22.47 с матрицей
С, определяемой реально вычисленными параметрами 7, v, при-
чем скалярное произведение (z, v) вычисляется в режиме на-
копления. Имеют место соотношения
fl (Uz) = U(z + р), || р ||Е < 2,5-P~t+11| z||.
22.51. Пусть параметры матрицы U вычисляются согласно
22.46 и образ as вектора q задается реально вычисленным век-
тором as. Если llgllE вычисляется в режиме накопления, то име-
ют место соотношения
aS=U(q + 3), II Pk< 2,5- /2р-‘+1 ||д||Е.
22.52. Пусть с помощью преобразования отражения меняют-
ся только последние г координат вектора z. Такое преобразова-
ние может быть задано матрицей вида
ГЕ- 0
тде клетка в пижнем правом углу имеет порядок г. Матрицу U
1
можно представить в виде матрицы отражения U = Е-------------~vv,
где последние г координат вектора v совпадают с координатами
вектора у, а остальные его координаты нулевые.
Мы рассмотрели вещественные матрицы вращения и отражения. Без
особого изменения они переносятся на комплексный случай, при этом в
приведенных оценках ошибок округления в 2—3 раза увеличиваются чис-
ловые множители. Свойства устойчивости вычислений с этими матрицами
объясняются довольно просто. Евклидова норма и 2-норма инвариантны к
унитарным преобразованиям, поэтому не может происходить существенно-
го увеличения в целом элементов преобразуемых векторов и матриц. Это
очень важно, так как на каждом шаге ошибки округления в основном про-
порциональны величинам элементов.
Неунитарные преобразования не обладают естественной устойчивостью,
однако ийогда вычисления можно организовать так, что в некоторой огра-
ниченной форме устойчивость все же будет иметь место. Вопросами гло-
бальной устойчивости этих преобразований мы будем заниматься только
при изучении конкретных методов. Сейчас же ограничимся описанием не-
которых свойств двух основных типов элементарных неунитарных матриц.
Снова будем изучать лишь вещественные матрицы.
22.53. Элементарными неунитарными матрицами называются
матрицы вида V = E + ab', где а, b — векторы размерности п.
22.54. Вещественная элементарная матрица Е + ab' является
унитарной тогда и только тогда, когда либо один из векторов
§ 22]
ЭЛЕМЕНТАРНЫЕ МАТРИЦЫ И ПРЕОБРАЗОВАНИЯ
161
а, b является нулевым, либо эти векторы коллинеарны и ab' =
= — 2ww' для некоторого вектора w единичной длины.
22.55. Для того чтобы «элементарная неунитарная матрица
была невырожденной, необходимо и достаточно, чтобы (а, Ь) =А
=/= — 1, при этом
(Е + »Ь'Г - Е —Л’.
22.56. Для любого вектора s имеем Vs = s + (s, Ъ)а.
Среди матриц 22.53 наиболее часто используются те, в которых либо
вектор а, либо вектор 6 является координатным. Второй из векторов опре-
деляется условиями задачи.
22.57. Матрицы 22.53, в которых в качестве вектора b взят
координатный вектор ег, а первые г координат вектора а нуле-
вые, называются матрицами типа NT.
22.58. Матрицы типа NT отличаются от единичных лишь под-
диагональными элементами в г-м столбце, т. е.
-1 СГ
22.59. Для матриц типа Nr матрица Nг 1 имеет вид
Г1 О’
22.60. Произведение матриц 7VtN2. ..Nr имеет вид
_ЛП1 ”п2 ПпЗ'1"
1
nnt
1
11 В. В. Воеводин, 10. А. Кузнецов
162
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
т. е. ненулевые поддиагональные элементы расположены лишь
в первых г столбцах и они совпадают с поддиагональными эле-
ментами матриц Nt, N2, ..., Nr.
22.61. Для матриц типа Nr при к < п выполняются соотно-
шения
.. Nh = Nt + N2 + ... + Nk - (к- 1) E,
NtlN^1 ...N^ = [k + i)E-Nt-N^~ Nh.
22.62. Пусть задан вектор z размерности n и находится по-
следовательность векторов
zh ~ NhZk-i,. z0 = z, к= 1, 2, ..., r<n.
Предположим, что в реальных вычислениях получаются векторы
zh = fl {NkZk-д =
где Nk означает реально заданную пли реальпо вычисленную
матрицу, p.k_f — вектор ошибок, возникающий из-за неточного
вычисления произведения Nhzk-i- Не ограничивая общности,
можно считать, что первые к координат векторов zk-t, zk совпа-
дают и, следовательно, первые к координат вектора ошибок
являются пулевыми. Тогда
zT = NrNT_t. • • • Nr (z 4- ц), ц = 2
к=1
Эквивалентное возмущение процесса 22.62 пе зависит явно от матриц
Nk. Поэтому опасность неустойчивости может возникнуть лишь в том слу-
чае, если велики сами векторы ошибок Цл-’ь Мы уже отмечали, что ошибки,
сделанные иа отдельных шагах, в целом пропорциональны величинам ко-
ординат векторов. Поэтому и важно, чтобы эти координаты были по воз-
можности меньше. Такую задачу часто выполняет подходящий выбор мат-
риц перестановок.
22.63. Пусть в процессе 22.62 вместо матриц Nh стоят про-
изведения N Pkk't гДе к'^к, есть матрица перестановок
столбцов с номерами к и к'. Тогда
Ц — 2 Рц' • • • Pkk’li-k-l'
22.64. Матрицы 22.53, в которых в качестве вектора а взят
координатный вектор ег, а первые г координат вектора b пуле-
вые, называются матрицами типа Мг.
§ 22]
ЭЛЕМЕНТАРНЫЕ МАТРИЦЫ И ПРЕОБРАЗОВАНИЯ
163
22.65. Матрицы типа Мт отличаются от единичных лили, эле-
ментами в r-й строке, находящимися левее диагонали, т. е.
-1 о
о
о
22.66. Для матриц типа Мг матрица Мг 1 имеет вид
М71
- 1 О
о ’ •
~тП ... 1
22.67. Произведение матриц МгМ3.. ,МТ имеет вид
т21 1
о
т. е. ненулевые внедиагональные элементы расположены лишь
в первых г строках и они совпадают с внедиагональными эле-
ментами матриц М2, М3, ..., Мт.
' 22.68. Пусть задан вектор z размерности п, и пусть нахо-
дится последовательность векторов
zs == ,, z, — z, к — 2, 3, ..., г п.
Предположим, что в реальных вычислениях получаются векторы
Zh = f] UtfkZk-t') = MkZk-l +
где Мк означает реально заданную или реально вычисленную
матрицу, Vi,-! — вектор ошибок, возникающих из-за неточного
вычисления произведения Mkzk-t. Не ограничивая общности,
можно считать, что векторы zft_t и 1к различаются только /с-ми
координатами и, следовательно, только к-я координата вектора
11*
104
ЧШлЦГШЦЫГ, 1YID1U4D1
11 <1.
ошибок Vft-i является непулевой. Тогда
Zr = MrMr-r . . . М2 (z + V), V = 2 V/i-j.
Л=2
Несмотря па то, что процессы 22.62 и 22.68 внешне очень похожи, про-
цесс 22.68 представляет большой интерес с точки зрения устойчивости, так
как строение векторов значительно проще, чем p,ft_t.
Это дает основание надеяться, что в вычислительных алгоритмах,' ис-.
пользующих преобразования с матрицами типа можно достичь высокой
точности.
Заметим, что простой вид суммарного эквивалентного возмущения в
22.62, 22.68 связан только с указанным выше порядком выполнения элемен-
тарных преобразований. Если хотя бы одно преобразование с матрицей,
имеющей больший номер, выполняется раньше преобразования, имеющего
мепыпий помер, то суммарное эквивалентное возмущение будет уже зави-
сеть от матриц преобразования.
Элементарные неунитарные матрицы можно использовать в задачах
преобразования векторов так же, как и матрицы вращения и .отражения.
22.69 . Пусть задан вектор s с координатами ..., s„ и s, =/= О
для некоторого т. Существует единственная матрица NT такая,
что у вектора Nrs последние т — 1 координат нулевые, а осталь-
ные координаты совпадают с соответствующими координатами
вектора s. При этом поддиагональпые элементы га,;, матрицы NT
равны — Si/sr для всех i > г.
Матрицы типа Мт также можно использовать для исключения каких-
либо элемейтов векторрв, но значительно чаще они применяются для дру-
гих целей.
§ 23. Ортогонализация
Одним из важнейших понятий, связанных с линейным пространством,
является понятие ортогональности. Мы уже неоднократно убеждались в
том, какую важную роль играют ортогональные и псевдоортогональные
системы векторов и особенно базисные системы такого типа. До сих пор
большинство наших рассуждений-было связано с доказательством существо-
вания подобных систем, ро не с процессами их построения. Ввиду важно-
сти ортогональных, псевдоортогональных и других аналогичных систем для
конструирования самых различных вычислительных алгоритмов рассмот-
рим сейчас общий процесс построения этих систем, называемый процессом
ортогонализации.
23.1. Пусть в линейном пространстве задано скалярное про-
изведение (х, у) с помотЦью невырожденной эрмитовой билиней-
ной формы.
Пусть для' базиса е1т ..., е„ существует базис /t, ..., обла-
дающий следующими свойствами:
— для любого fc^'l линейные оболочки Lt векторов ...
..., е*.и А, ..., А совпадают;
— базис А, ..., /„ псевдоортогопальпый. , .
Тогда этот базис — единственный, с точностью до нормиров-,
ки векторов.
§ 23)
ОРТОГОНАЛИЗАЦИЯ
105
23.2. Предположим, что (е,, е,) ¥= 0, и положим f, = et. Пусть
уже построена система псевдоортогональных векторов /t, ../ft,
причем линейные оболочки этих векторов и векторов et, ..eh
совпадают. Будем искать вектор fk+i в виде
k
fa + l = ek+i + 2 ai,h + lfi t
i=1
где ai.ft+i, ..., — неизрестные коэффициенты. Условия ор-
тогональности вектора Д+( слева к векторам /(, ..., fh дают для
определения ..., следующую систему уравнений;
al,h + l (/1,/1) = —/1).
«1,л+1 (/1? /г) + а2,й+1 (/г> /2) ' = — (tk+irf?),
al,k+l (fl, fk) + a2,k + l (/2, A) + • • • + Ctk,k+1 (fk, fk) = - (Cfe + I, /л).
Матрица этой системы—треугольная. Если (/.-, /3¥=0 для 1
«£ г «£ п, то после п шагов будет построена система векторов
/1, ..., /„, удовлетворяющая обоим свойствам 23.1.
23.3. Процесс ортогонализации 23.2 осуществим на всех ша-
гах тогда и только тогда, когда матрица билинейной формы
(х, у) в базисе ef, ..., еп или, что то же самое, матрица Грама
этой системы имеет ненулевые ведущие миноры.
23.4. Если процесс ортогонализации 23.2 применить к линей-
но зависимой системе et, ..., е„, то fh = 0 для некоторого к =£ п.
23.5. Процесс ортогонализации 23.2 позволяет получить раз-
ложения векторов по векторам /», ..., Д+1. Если согласно
23.2
(ь \
— 2ai.A+l/i ) + fk + 1,
i=l /
то вектор в скобках принадлежит линейной оболочке Lh векто-
ров е„ ..., eh, вектор fh+l принадлежит ±Lh. Поэтому решение
систем 23.2 дает разложение каждого вектора eft+t на проекцию
и левый перпендикуляр по отношению к подпространству Ьк.
23.6. Если скалярное произведение (х, у) задано симметрич-
ной формой, то система 23.2 становится системой с диагональной
матрицей и
,/()/(/„/,)
для всех i. Построенный базис /t, ..., /„.будет не только псевдо-
ортогональным, но и ортогональным.
23.7. В евклидовом и унитарном пространствах процесс ор-
тогонализации 23.2, 23.6 называется ортогонализацией Грама —
Шмидта.
23.8. При реализации процесса ортогонализации Грама —
Шмидта для всех к выполняется неравенство H/ftllE =£ HehllE, при-
166
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
чем равенство достигается тогда и только тогда, когда вектор е>._
ортогонален векторам е„ ..ek-t.
Во многих задачах нет необходимости сохранять связь нового базиса
/j, ../„ с исходным базисом ei, еп, так как требуется построить лишь
какой-нибудь псевдоортогональный базис в пространстве. В этом случае при
каждом появлении равенства (А, /,) = 0 нужно заменить вектор et другим
и снова вычислить вектор повторяя эту процедуру до тех пор, пока не
выполнится условие (/,, /,) =#= 0. При этом векторы А, ..., fi-t не изменя-
ются. Необходимый для замены вектор е, обязательно найдется.
Процессы, аналогичные описанным, позволяют строить не только орто-
гональные и псевдоортогональные базисы, но и базисы, псевдодвойствен-
ные для заданного. Независимо от их конкретного содержания все они на-
зываются процессами ортогонализации.
23.9. Пусть е,, ..., еп — заданный базис, и пусть нужно по-
строить какой-нибудь псевдодвойственный для него базис, напри-
мер левый. Возьмем еще один базис qt, ..., qn. Предположим,
что (qt, е^^О, и положим t{ = qt. Допустим, что уже построе-
на система векторов tt, ..., th так, что их линейная оболочка
совпадает с линейной оболочкой векторов gt, ..., qh и выполня-
ются условия (А, е,) =^= 0 для 1 i < к и (А, еу)= О для j < I.
Будем искать вектор А+1 в виде
h
Ai+1 — + l + 2S Pi,h + lAi
i=l
где • • •, P*, w — неизвестные коэффициенты. Условия орто-
гональности вектора tk+l слева к векторам et, ..., ek дают для
определения Р,.^, ..., следующую систему уравнений с
треугольной матрицей:
Р I ,!<+ г (И» ei)
Рьл+i е‘>) + Рз.л+i (А, ег)
= — (?h+l, е1)'
= — (<7s+i> е2),
Pi,h + i Gi, ek) + Pa.h + i A) + • • • + Pft,A+i (tk, e/<) — — (Чк+ъ ек)-
Бели при всех к будет выполнено неравенство (th, eh) ¥= 0, то ба-
зис А, ..., t„ с точностью до нормировки будет левым псевдо-
двойственным для базиса е,, ..., е„.
23.10. Для того чтобы процесс 23.9 был осуществим при
всех к, необходимо и достаточно, чтобы матрица билинейной
формы {х, у) в базисах qt, ..., qn и et, ..., е„ имела ненулевые
ведущие миноры.
23.11. В процессе 23.9 система векторов А, ..., tn пе изме-
нится, если к каждому вектору е„ (?3) прибавить линейную ком-
бинацию векторов et, ..., es~t (щ, ..., gs_j).
23.12. Предположим, что после выполнения процесса 23.9
аналогичный процесс проводится над векторами et, е2, ..., еп с
целью получить из них базце pt, ..р„, правый псевдодвоп-
ственный для базиса А, • •., tn. С точностью до нормировки ба-
ОРТОГОНАЛИЗАЦИЯ
167
§ 23]
зис pi, pn (ti, tn) будет правым (левым) двойственным
для базиса tt, ..., tn (pt, ..., pn).
Процессы 23.9, 23.12 можно выполнять не только последовательно, но и
параллельно, строя новые последовательности векторов /,• одновременно.
Такое объединение процессов приводит к эффективному методу биортого-
нализации построения двойственных базисов.
23.13. Пусть заданы базисы et, ..., еп и д,, ..., qn. Предпо-
ложим, что из этих базисов строится пара двойственных базисов
р,, рп и tf, ..., t„. Будем искать векторы pk+l, th+l в следую-
щем виде:
к ' к
Pk + l = eh+i + 2j Yi.lt + lPi 1 t/i + 1 = qk + l + 2 +
i—l ' i=l
Условия (t„ p;) = 0 для позволяют определить неизвестные
коэффициенты:
= — (fi, ek+l)/(ti, pt), = — (qh+l, pt)/(tt,pt).
С точностью до нормировки базис р,, ..., pn (tt, ..., tn) будет
правым (левым) двойственным базисом для базиса tt, ..., tn
(pt, ..., pn).
23.14. Во всех описанных процессах ортогонализации матри-
ца преобразования координат при переходе от старого базиса к
новому является треугольной.
23.15. Если в евклидовом или унитарном пространствах эр-
митова билинейная форма задается с помощью скалярного про-
изведения вида {Ах, у), то с помощью описанных процессов
можно строить Л-ортогональные, Л-псевдоортогональные, Л-двой-
ственные и Л-псевдодвойственные системы векторов.
Согласно формулам, определяющим изменение векторов в процессе ор-
тогонализации, в общем случае нельзя надеяться на более простой вид
матрицы преобразования координат, чем треугольный. Однако если исход-
ный базис выбрать согласованным с билинейной формой, порождающей
скалярное произведение, то можно получить более простые представления
для этой матрицы.
23.16. Пусть Л — квадратная матрица, х — вектор. Последо-
вательность векторов х, Ах, ..., Акх, ... называется степенной
последовательностью, порожденной вектором х.
23.17. Приведенный многочлен ф(Х) минимальной степени,
для которого выполняется равенство ф(Л)д: = О, называется ми-
нимальным аннулирующим вектор х многочленом.
23.18. Минимальный аннулирующий вектор х многочлен
единствен.
23.19. Минимальный аннулирующий вектор х многочлен яв-
ляется делителем характеристического многочлена.
23.20. Степень минимального аннулирующего вектор х мно-
гочлена равна максимальному числу первых векторов степенной
последовательности, образующих линейно независимую систему.
168
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
23.21. Степень минимального аннулирующего вектор х мно-
гочлена равна сумме максимальных высот корневых векторов
матрицы А, присутствующих в разложении вектора х по корне-
вому базису и соответствующих попарно различным собствен-
ным значениям.
23.22. Пусть в унитарном пространстве скалярное произве-
дение введено согласно 5.4 через естественный базис и задана
невырожденная билинейная форма {Сх, у). Предположим, что
матрица А удовлетворяет условию
(СЛС-')* = аЕ + М
для некоторых чисел а, [к. Пусть векторы е. = А'~'х линейно не-
зависимы для 1 г к и векторы /t, ..., 'Д получены из векто-
., еК с помощью процесса псевдоортогонализаций по от-
{Сх, у). Тогда имеют место следующие соот-
ров et,
ношению к форме
ношения:
А
/г
= г,
= Afi — «1А,
где
Д+1 = Afi — aifi — Pi-l/i-l,
1,
ЯД)
(СА’А)’ *’-г (<Д-гА-1)’ > ’
Д^) (CAfv fi) - (САЦ. f ._x) (Cf^, Ц)
«i --------------------------------------’
а-
23.23. Если A = А* п C = E, то для коэффициентов из 23.22
имеем
(ЛАД) {Afy Л-i) (/p лЛ-х) (A-A)
1 ~ {fi - fi) ’ Pi-1 ~ {fi-1 - A-l) {fi-V A-l) {fi-r A-i) •
23.24. В условиях и обозначениях 23.22 в базисе Д, ..., Д
матрица А имеет трехдиагональный вид:
О
₽2
аз ₽з
1 ап-1 Рп-1
1 ап
23.25. В условиях 23.23 существует такая диагональная мат-
рица D, что для матрицы А, из 23.24 матрица D~'A<D будет ве-
щественной симметричной трехдиагональной.
§ -bj
РТОГ НАЛИ АЦИЯ
169
23.26. Пусть А — произвольная матрица и заданы два век-
тора х, у в унитарном пространстве. Предположим, что системы
векторов вг = А'~'х, = C4*)i_,y линейно независимы и двой-
ственные системы векторов pt, ..ph, tt, ..., tk получены из них
с помощью процесса биортогонализации 23.13. Тогда имеют ме-
сто соотношения
Pi = х,
р2 = Арг — ад,
ti = У,
t2 = A*tv —
Pi+i = APi — ViPi — *i+i = i>l,
где
1 (Р,’М’ Pi-1 U’i-rW
23.27. В условиях и обозначениях 23,26 в базисе pt, ...,
(At, ..., tn) матрица А (Л*) имеет трехдиагопальпый вид.
Заметим, что в общем случае в процессах ортогонализации для построе-
ния каждого последующего вектора необходимо привлекать все ранее пост-
роенные векторы. В процессах 23.22, 23.26 ситуация- существенно проще,
так как нужно привлекать лишь два последних вектора из строящихся сис-
тем. Однако при этом приходится на каждом шаге процесса выполнять одну
или две операции умножения матрицы на вектор. К- процессам этого типа
мы будем обращаться неоднократно.. / :
Процессы ортогонализации очень чувствительны к ошибкам округле-
ния. Мы исследуем подробно, их влияние в процессе 23.2 для случая 23.6.
23.28. Пусть ft, a,. k+t — реально вычисленные -Величины про-
цесса ортогонализации 23.2, 23.6. Если для к + 1-го шага выпол-
няется неравенство '
то вектор fh+i = eh+ч + имеет относительную ошибку
2—1
больше единицы.
23.29. Пусть на всех шагах процесса выполняются нера-
венства
h ~
2ai,fc+l/i II Cfe+i Не
i-1 Е
и правые части равенств, определяющих векторы Д+i, вычисли-,
ются в режиме накопления. Тогда, независимо от точности вы- s.
числения коэффициентов а,, ли, линейные оболочки реально вы-
численных векторов ft, f2, ..., fh для всех' к совпадают с лйней-
1/U
1V11L 1 V ДГ>1
11J1. л
ними оболочками векторов е,, е2 + е2, ..eft+eft, где lleJIE <
=S p~‘+,lleftllE.
В любом процессе ортогонализации для построенных систем векторов
должны иметь место как совпадение линейных оболочек соответствующих
подсистем, так и ортогональность векторов. Утверждение 23.29 означает,
что независимо от того, насколько реально вычисленные векторы ортого-
нальны, линейные оболочки этих векторов при небольших ограничениях на
вычислительный процесс совпадают с линейными оболочками слабо возму-
щенных исходных векторов. Эти возмущения настолько малы, что их оцен-
ки «олько в два раза превосходят оценки ошибок округления векторов при
их'вводе в память ЭВМ. Поэтому в отношении выполнения первого условия
23.1 процессы ортогонализации ведут себя исключительно устойчиво. Заме-
тим, что в данном случае оценки эквивалентных возмущений eft не зависят
ни от размерности векторов, ни от числа выполняемых над ними арифме-
тических операций.
23.30. Пусть выполнено к шагов процесса ортогонализации
23.2, 23.6 и реально вычисленные векторы f2, ..., fh незна-
чительно отличаются от точно вычисленных векторов /,, /2, ...
..., /ft. Предположим, что
= (1 + Т„)(Л, Л) = туН/ЛИ/,^
для I, j ^к и все числа т«, Ту являются малыми порядка т.
Пусть, далее, точно вычисляются коэффициенты *+1 согласно
23.6 по реально вычисленным векторам и по этим коэффици-
ентам и векто,рам точно вычисляется вектор Если анало-
гично Ту определить T*+t.j, j С/с, тов этом случае
2(еЛ+1’Л)т / „ |(2 у(еЛ + 1’Л) I . ПЛг2Ч
-jj-F-jj—Цвл+ik — 2— + О (т2).
i=i II Мя L\ i=i II Л Не J J
23.31. Пусть линейное пространство — вещественное. Обозна-
чим через {eft+t, Lk} угол между вектором екЬ1 и линейной обо-
лочкой Lh векторов е„ ..., ек или, что то же самое, векторов
/„ ..fk. Справедливо равенство
Л- z г ft , л \Ч.\—1
rtn-2т \ V и. и2 V (енгА-) |
ctg {e,t+1, Lh} = ——"л— ||е/,+1||Е — 2—I •
i=l ll'illE \ ll'illE /
Формула для тл+1, s из 23.30 показывает, как неортогональность векто-
ров U, реально вычисленных на первых к шагах процесса ортогонализации,
влияет на неортогональность к ним вектора fk+i в том-случае, ковда-.-все
вычисления па к + 1-м шаге осуществляются точно. Ясно, что в реаль-
ных условиях тй+1, j будет, как правило, не меньше. Если ctg2 {eft+1, Lk}
является большим, то будут большими по модулю и некоторые коэффици-
енты при Tij в формуле для тл+у j. Следовательно, даже при точном выполне-
нии операций на к -J- 1-м шаге процесса величины ошибок Тл+1, j могут
стать значительными по сравнению с ошибками т,,-, полученными на пре-
дыдущих шагах;
Если мы проследим распространение ошибок на несколько последую-
щих шагов, то положение окажется еще более серьезным. Для того чтобы
'нарушилась ‘ортогональность системы векторов /t, f2, ..., fn, Совсем не обя-
§ 241 ОСНОВНЫЕ РАЗЛОЖЕНИЯ МАТРИЦЫ НА МНОЖИТЕЛИ 171
зателыто, чтобы для какого-нибудь к был большим ctg2 {ej,+,, £ft}. Доста-
точно, чтобы большим было произведение ctg2 {ел+1, Lh} для разных к.
В реальных задачах, как правило, имеет место именно эта ситуация. По-
этому в отношении второго условия 23.1 можно утверждать, что формаль-
ное выполнение процессов ортогонализации согласно описанным схемам в
большинстве случаев должно приводить к значительному нарушению орто-
гональности строящихся систем векторов. Этот вывод полностью подтверж-
дается на практике.
Для устранения указанной неортогональности используются различные
приемы, основанные на следующей идее. Пусть на каком-то шаге вектор
fh + t не ортогонален векторам /t, f2, ..., fh, но все же более ортогонален,
чем исходный вектор ел+1. Тогда берем вектор fk+t в качестве и сно-
ва проводим процесс его ортогонализации к векторам, построенным ранее.
После нескольких таких итераций почти всегда можно достичь нужной
степени ортогональности и сохранения линейной оболочки соответственно
условиям 23.1.
23.32. Пусть /t, ..., /* — линейно независимая система векто-
ров. Рассмотрим последовательность векторов
k
f(s>__/s-l)' , yi (S-1)T f(0)
fk+1 — J/i+1 П- /н+1 = ек+],
i=l
где коэффициенты a^+i определяются в соответствии с 23.6,
исходя из /V+i0 вместо eft+t. Обозначим через Гк матрицу Грама
для системы, полученной после нормировки векторов /t, ..., fh.
Если НЕ — Eftll q < 1, то последовательность векторов $+1 схо-
дится при s —> °° к некоторому вектору /ft+t, причём:
— скорость сходимости не меньше, чем скорость сходимости
геометрической прогрессии со знаменателем д;
— вектор fh+l ортогонален векторам ft, ..., /„;
— линейные оболочки векторов ft, ..., fk, eft+t и ft, ..., fh, fh+l
совпадают.
23.33. Итерационные процессы типа 23.32 называются про-
цессами переортогонализации.
На первых шагах процесса ортогонализации реально вычисленные век-
торы /1, /"г, ..., ft близки к ортогональным, и мы находимся в условиях при-
менимости процесса переортогонализации. Если переортогонализацию делать
па каждом шаге, то для достижения максимально возможной ортогональ-
ности векторов приходится делать 1—2 итерации. При этом оценки экви-
валентных возмущений из 23.29 увеличиваются не более чем в два раза.
При реализации процесса переортогонализации необходимо иметь до-
ступ ко всем построенным ранее векторам ортогональной системы. Если
переортогонализацию применять к процессам 23.22, 23,26, то эти процессы
потеряют главное свое достоинство — необходимость доступа лишь к двум
последним векторам. . ...
§ 24. Основные разложения матрицы на множители
Элементарные унитарные и неунитарные преобразования широко ис-
пользуются для получения самых различных разложений матрицы на мно-
жители. Среди этих разложений наиболее важными являются разложения
на два треугольных множителя и на треугольный и унитарный множители.
172
численные методы
[ГЛ. 2
Снова для простоты будем рассматривать вещественные матрицы и пре-
образования. Теоретические основы этих разложений даны в § И.
24.1. Пусть А — произвольная квадратная или прямоугольная
матрица. При ее умножении слева (справа) на любую последова-
тельность матриц типа Nr (транспонированных матриц типа Nr)
все ведущие миноры не изменяются.
24.2. Пусть матрица А ранга г имеет ненулевые ведущие мп- .
норы до r-го порядка включительно. Рассмотрим последователь-
ность матриц = NhAh~i, Аа = А, для Предположим,
что каждая из матриц N„ строится согласно 22.69 по fc-му столб-,
цу матрицы Ah_t. Все шаги этого процесса могут быть реализова-
ны, и матрица Аг будет правой трапециевидной матрицей. Опи-
санный процесс называется методом Гаусса разложения матрицы
на множители.
Вообще говоря, название «метод Гаусса» является собирательным для
большой группы алгоритмов, связанных с решением систем линейных
алгебраических уравнений, вычислением определителей, разложением мат-
рицы на множители и т. д. Процесс 24.2 — это то общее, что в той или иной
мере присутствует в каждом из таких алгоритмов. Аналогичная ситуация
имеет место и в отношении других методов.
24.3. Процесс 24.2 дает следующее разложение матрицы А
на множители:
Л = (ЛГГ1 ... Лг-хМг.
Здесь матрица, стоящая в скобках, есть левая треугольная матри-
ца с единичными диагональными элементами, структура которой
полностью определяется утверждениями 22.59, 22.60; матрица
Аг — правая трапециевидная ранга г.
24.4. Для любой квадратной матрицы А порядка п, у которой
отличны от нуля ведущие миноры всех порядков от 1 до п — 1,
процесс 24.2 позволяет получить ее //(/-разложение (см, 11.5).
При этом в соответствии с 24.3
L = AY1 ... TV^, U = An_i.
24.5. Пусть 7V], ..., Nn-i и ..., X>-t — реально вычислен-
ные матрицы в процессе 24.2 при условиях 24.4. Предположим,
что
(tv;1 + м.
Обозначим через Цу элементы матрицы эквивалентного возмуще-
ния М, через — элементы матрицы Ah. Если
а = max ah, ah = max | |,
' 0<h<n-l . i>ft
•
§ 241
ОСНОВНЫЕ РАЗЛОЖЕНИЯ МАТРИЦЫ НА МНОЖИТЕЛИ
173
то имеют место оценки
.(0, I = 1,
[1,5-(у — 1)р“‘+1а, /<г.
24.6. В условиях и обозначениях 24.5 выполняется неравенство
||М||ц<^-п2р"‘+1а-
Оценки 24.5, 24.6 получены без каких-либо предположений относительно
величины ведущих миноров матрицы А, кроме, конечно, предположения об
осуществимости процесса. Они подтвердили высказанное ранее мнение
о том, что существенным источником неустойчивости в процессах с пеуни-
тарными преобразованиями может быть лишь значительный рост элемен-
тов промежуточных матриц Ак.
Если не менять принципиально общую схему вычислений, то един-
ственной возможностью в какой-то мере регулировать рост элементов яв-
ляется использование перестановок при реализации процесса 24.2. ,
24.7. Пусть А — произвольная прямоугольная матрица ранга
г. Рассмотрим последовательность матриц Ah = Nk
А0=А, для 1 < к < г, где Pltih, Bhjk—матрицы перестановок,
причем ц, Д 5s к. Предположим, что при всех к матрицы пере--
становок таковы, что в позициях (/с, к) матриц РщАь-гР i,jk
находятся ненулевые элементы и каждая из матриц Nk строится
согласно 22.69 по fc-му столбцу матрицы Лн^а-г-^д. После
г шагов этого процесса матрица Аг будет правой трапециевидной.
Описанный процесс называется методом Гаусса с перестановками
для разложения матрицы па множители или методом Гаусса с
выбором ведущего элемента.
Заметим, что в позиции (к, к) матрицы ^kik^h-iPkjk стоит тот же
элемент, который находится в позиции (Ц, jk) матрицы Дк-ь Поэтому для
осуществимости процесса 24.7 необходимо брать такие перестановки РЛ1,
индексы (ik, jh) которых соответствуют поз.иции ненулевого элемен-
та матрицы Да-i.
24.8. Процесс 24.7 дает следующее разложение матрицы А па
множители:
Д = (PhJVг1 .. • PrirNгх)(ArRrjr • - - -fruj)*
Матрицы, стоящие в скобках 24.8, уже не являются треугольными. По-
этому может показаться, что анализ ошибок для процесса 24.2 пе перено-
сится па процесс 24.7. Одпако в действительности между обоими процесса-
ми имеется очень тесная связь. •
174
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
24.9. Матрицы
= Prir . .. P*ibNbliPMk • P,ir
являются матрицами типа /V, и отличаются от матриц лишь
перестановкой поддиагон альпых элементов в к— 1-м столбце.
24.10. Равенство 24.8 эквивалентно равенству
где
Л = (Рг1г...РН1)Л(Я1;1...^г).
Сравнивая 24.3, 24.10, можно заключить, что процесс 24.7 определяет
разложение на треугольные множители матрицы А, которая получается из
матрицы А путем перестановок ее строк и столбцов. Так как перестановки
не вносят никаких дополнительных ошибок, то оценки 24.5, 24.6 для про-
цесса 24.2 без изменения переносятся на матрицу А и процесс 24.7. Теперь
рост элементов матриц Дл полностью определяется стратегией выбора пере-
становок или ведущих элементов.
24.11. Элементы матриц Ак в позициях (ift, д) процесса 24.7
называются ведущими элементами метода Гаусса.
24.12. Существуют три наиболее распространенные стратегии
выбора ведущих элементов:
— в качестве ведущего элемента /с-го шага выбирается мак-
.. ~(Л-1)
сималытыи по модулю элемент aматрицы Ak-t при условиях
к, ) = к; если имеется несколько максимальных по модулю
элементов, то ведущим берется любой из них; эта стратегия на-
зывается выбором ведущего элемента по столбцу;
— в качестве ведущего элемента fc-го шага выбирается мак-
симальный по модулю элемент «ц матрицы Ak при условиях
i = k, к; если имеется несколько максимальных по модулю
элементов, то ведущим берется любой из них; эта стратегия на-
зывается выбором ведущего элемента по строке;
— в качестве ведущего элемента /с-го шага выбирается мак-
• -~(й—1) 7
симальныи по модулю элемент a.j матрицы Л|,_( при услови-
ях г > /с, ]^к; если имеется несколько максимальных по модулю
элементов, то ведущим берется любой' из них; ^та стратегия
называется выбором ведущего элемента по всей матрице.
24.13. Применение стратегий выбора ведущих элементов по
столбцу и по всей матрице обеспечивает выполнение неравенств
I I <=1 Для элементов матриц Л\.
24.14. Существуют матрицы, для которых применение страте-
гии выбора ведущего элемента по столбцу в обозначениях 24.5
приводит к выполнению соотношений аА = 2йа(, при всех к.
24.15. Какова бы ни была матрица А, применение стратегии
выбора ведущего элемента по всей матрице в обозначениях 24.5
§ 241 '
ОСНОВНЫЕ РАЗЛОЖЕНИЯ МАТРИЦЫ НА МНОЖИТЕЛИ
175
приводит к выполнению соотношений сц</(/с)а0 при всех к, где
' /(/с) </с,/2(2'3,/24,/3.../с,/('1_,,),/2.
Рост элементов, указанный в 24.14, достигается на матрицах очень спе-
циального вида. В практических вычислениях он окавывается, как правило,
пе-очень большим. Оценка роста 24.15, по-видимому, сильно завышена, так
как до сих пор не найдено ни одной матрицы, для которой /(Л) > к. В ря-
де случаев можно гарантировать отсутствие роста элементов.
24.16. Если матрица имеет доминирующую диагональ и пе
осуществляется выбор ведущих элементов, то при получении тре-
угольного разложения не происходит рост элементов.
Мы уже неоднократно подчеркивали, что применение режима накопле-
ния при реализации операций позволяет снизить общий уровень ошибок.
В рассмотренных вариантах метода Гаусса, по существу, нет возможности
для применения такого режима, так как нет больших групп явно выписан-
ных операций. Однако это связано лишь с выбором вычислительной схемы
для получения разложения матрицы на треугольные множители.
24.17. Предположим, что для матрицы А порядка п с элемен-
тами (ц, существует LCZ-разложение. Обозначим через Z(j, и.ц эле-
менты матриц L, U. Для всех г, j имеют место равенства
Дц = ZjpWpj.
Р=1
24.18. Если ведущие миноры матрицы А отличны от нуля, то
уравнения 24.17 рекуррентно разрешимы относительно элемептов
матриц L, U, при этом
Mii = aiii
а-.
uij = а1}, 1ц = ' У = 2, 3, ..., п,
11
i-1
zrj। ац ZipUpi, — 2,3, ..., zi,
Р--1
• з—i
; 1 а-. — У, Z. и .
л ур Рг
11 „ 7 7 Р:= 1
= •'И = i
г = 2,3,...,га, j = г + 1, i + 2, ..., п.
Приведенные формулы для определения треугольных сомножите-
лей L, U называются компактной схемой метода Гаусса для раз-
ложения матрицы на множители.
24.19. Пусть все элементы LCZ-разложения в компактной схе-
ме вычисляются в режиме накопления. Обозначим через Е, V
реально вычисленные матрицы в процессе 24.18 и предположим^
что EtJ = A-srM. Тогда для элементов ц,, эквивалентного возму-
1 I и
-ixxudi£j£iiiDi£j ты иды
[ГЛ. 2
щепия М имеют место оценки
'О,
) Hv К
i = 1,
7>i,
7 < i-
24.20. Если матрица А имеет разреженный вид 11.12, то та-
кой же вид имеет и матрица эквивалентного возмущения М в
24.19
24.21. Если матрица А является трехдиагональпой, то форму-
лы 24.18 приобретают вид
Uji — Яц, ^12 — ^12’ ^21 — ^21^111
uii = aii l»,i—1,2» ~ li+l,i ~ +
i = 2,3, . . ,,n.
Компактная схема более приспособлена к применению режима накоп-
ления, особенно скалярного произведения. Поэтому ее использование дает
возможность снизить уровень влияния ошибок округления. Однако в ней
несколько сложнее выполнять перестановки. Наиболее эффективно компакт-
ная схема применяется для получения треугольного разложения симмет-
ричных положительно определенных матриц.
24.22. Для любой симметричной положительно определенной
матрицы А существует разложение А = LL', где L — левая тре-
угольная матрица с положительными диагональными элементами.
24.23. В условиях и обозначениях 24.22 справедливы соотно-
шения
11L lb = 11A ||?, 1А < |] L ||Е < п1/41| А И1?.
24.24. В условиях и обозначениях 24.21 компактная схема
для определения элементов Z4 матрицы L имеет вид
1ц — ®1г 1 1}1 —
(I-1 \ 1/2
®ii 2 %гр I ' г
Р=1 /
7 > 1,
i > 1,
7 > i-
Вычисления по этой схеме называются методом квадратного кор-
ня (.метод Холецкого) для разложения матрицы па множители.
24.25. Пусть все элементы матрицы L разложения А = LL’
вычисляются в режиме накопления согласно 24.24. Обозначим
через Е реально вычисленную матрицу и предположим, что
ЕЕ' = А + М. Тогда для элементов p,(j эквивалентного возмуще-
пия М имеют место оценки
24.26. В условиях и обозначениях 24.24 выполняется нера-
венство ||Е<р-<+1||Л||Е.
Обратим внимание на исключительную малость эквивалентного возму-
щения в методе квадратного корня. Согласно 24.26 его оценка лишь вдвое
больше оценки возмущения, вносимого при вводе матрицы в память ЭВМ.
Подобная малость эквивалентного возмущения объясняется отсутствием ро-
ста элементов, что является характерной чертой для симметричных положи-
тельно определенных матриц. Если матрица симметричная, но не положи-
тельно определенная, то для нее существует аналог метода квадратного кор-
пя, основанный на разложении 11.16. Однако в этом случае уже нельзя
гарантировать существование оценок типа 24.26 для эквивалентного возму-
щения.
24.27. Пусть А — произвольная прямоугольная матрица раз-
мера m X п. Умножим ее слева на циклическую по столбцам
(см. 22.24) последовательность матриц вращения. Пусть в соот-
ветствии с 22.31, 22.33 каждая из матриц вращения выбирается
нз условия обращепия в нуль после умножения на нее пбддиаго-
палыгого элемента, индексы которого совпадают с индексами
матрицы вращения. Все шаги этого процесса могут быть реали-
зованы, и после их выполнения исходная матрица А будет пре-
образована в правую треугольную матрицу Ак. Описанный про-
цесс называется методом вращений (.методом Гивенса) для раз-
ложения матрицы па множители.
24.28. Процесс 24.27 определяет соотношение где
Rh = (... T23Tlm ... Т13Т12) есть произведение всех участвующих
в процессе матриц вращения.
24.29. Пусть Тц, AN — реально вычисленные матрицы, —
точное произведение реально вычисленных матриц Тц. Если =
= Rn(A + М), то для эквивалентного возмущения М выполняют-
ся неравенства
' ~ V2{2m-3)p-t+1\\A\\E,
/2(т + ге-2)/?'<+1||Л||е, m > п.
Несмотря на то, что процесс 24.27 связывается с разложением матрицы
А на множители, утверждения 24.28, 24.29 представлены в несколько иной
форме. С точки зрения точных вычислений равенство A n = RnA эквива-
лентно равенству А = RNAN, которое и означает разложение матрицы А
па ортогональный множитель HN и треугольный множитель Л«. Однако
если мы от равенства Лд = К^ДЛ+М) перейдем К равенству Л-1-.V =
= 7?^Лдт, то с учетом 22.29 оценка для N будет больше, чем оценка для
12 в. В. Воеводин, Ю. А. Кузнецов
1/0
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
М. Как правило, в таком переходе нет особой необходимости, так как для
большинства практических целей необходимо не разложение на множите-
ли, а именно представления вида 24.28. В методе Гаусса мы делали этот
переход только по той причине, что он осуществляется точно и без изме-
нения эквивалентных возмущений.
24.30. Пусть А — произвольная прямоугольная матрица раз-
мера т X п. Умножим ее слева на последовательность матриц от-
ражения Ut, ..., Un-i вида 22.52. Пусть каждая из матриц отра-
жения Uh выбирается из условия обращения в пуль поддиаго-
иальпых элементов к-го столбца. Все шаги этого процесса могут
быть реализованы, и после их выполнения исходная матрица А
будет преобразована в правую треугольную матрицу АК. Описан-
ный процесс называется методом отражений (.методом Хаусхол-
дера) для разложения матрицы на множители.
24.31. Процесс 24.30 определяет соотношение An = QnA, где
Qn = (Un-t ... Ut) есть произведение всех участвующих в про-
цессе матриц отражения.
24.32. Пусть Uk, An — реально вычисленные матрицы, Qn —
точное произведение реально вычисленных матриц tjh, причем
вычисление скалярных произведений всюду осуществляется в
режиме накопления. Если AN = Qn(A + М), то для эквивалентно-
го возмущения М выполняется неравенство
I! м и < 2’~У + 5 np-t+1И к
24.33. Пусть А — произвольная прямоугольная матрица раз-
мера m X п. Переставим ее строки таким образом, чтобы на ме-
сте первой строки находилась строка наибольшей длины. Умно-
жим далее справа эту матрицу на последовательность матриц
вращения Т21, Т31, ..., Тп1, исключая при этом внедиагональные
элементы первой строки. Переставим теперь строки матрицы,
кроме первой, так, чтобы на месте второй строки находилась
строка, имеющая наибольшую длину, без учета элементов пер-
вого столбца. Умножим справа матрицу на последовательность
матриц Т32, Ti2, ..., Тп2, исключая внедиагональные элементы
второй строки, и т. д. Все шаги этого процесса могут быть реа-
лизованы, й после их выполнения исходная матрица А будет
преобразована в левую трапециевидную матрицу АК. Описанный
процесс называется нормализованным методом вращения для раз-
ложения матрицы на множители.
24.34. Процесс 24.33 определяет соотношение An = РтАТК,
где Рт есть матрица перестановок, a Tn = (T2iT3i... TniT32...)
есть произведение всех участвующих в процессе матриц вра-
щения.
§ 241
ОСНОВНЫЕ РАЗЛОЖЕНИЯ МАТРИЦЫ НА МНОЖИТЕЛИ
179
24.35. Пусть Тц, An — реально вычисленные матрицы, Tn —
точное произведение реально вычисленных матриц 7\. Если Ая =
= Рт{А + МУТ*, то для эквивалентного возмущения М выполня-
ются неравенства
We
/2(2п-3)/Г‘+1И1е,
V2 (m + п — 2)p-i+1|| Л'| е, п>т.
, 24.36. Обозначим через а\;' элементы матрицы An процесса
24.33. Для всех 1 < к < п справедливы соотношения
I W |2>
I „<*> I2 4- I n(7V) I2
I Щ + l.fc | + I аА+1,Л+1 |
>и>1! +1 «&.!’ + ... + |«гт>
>|«ат +1«гм‘ + i«sr
Матрица, удовлетворяющая этим соотношениям, называется
левой нормализованной трапециевидной матрицей.
24.37 . Процесс, аналогичный 24.33, но с использованием мат-
риц отражения, называется нормализованным методом отраже-
ний для разложения матрицы на множители.
24.38 . Пусть А — произвольная квадратная или прямоуголь-
ная матрица размера m X п. Будем рассматривать ее столбцы
слева направо как векторы и подвергнем их процессу ортогона-
лизации Грама — Шмидта. Это означает, что строится последо-
вательность матриц Sr = Sr~tRr, ,S0 = A, где матрицы Rr являют-
ся транспонированными матрицами типа Мг, внедиагональные
элементы которых составлены из коэффициентов линейных ком-
бинаций ортогонализуемых векторов. Если ранг матрицы А сов-
падает с числом ее столбцов, то все шаги этого процесса могут
быть реализованы, и матрица S„ будет иметь ортогональные век-
тор-столбцы. Описанный процесс называется методом ортогонали-
зации для разложения матрицы на множители.
24.39 . Процесс 24.38 дает следующее разложение матрицы А
на множители:
A = Sn{R^ ... RW
Здесь матрица, стоящая в скобках, есть левая треугольная с еди-
ничными диагональными элементами, структура которой с точ-
ностью до транспонирования полностью определяется утвержде-
ниями 22.66, 22.67, матрица Sn имеет ортогональные вектор-столб-
ны.
12*
180
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
24.40 . Пусть Л2, ..., Лп и St, ..Sn — реально вычисленные
матрицы в процессе 24.38. Предположим, что
Sn^^n1 - • • ^22) = А + М.
Тогда для эквивалентного возмущения М выполняется неравен-
ство ||ЛГ||Е <р~i+1 II 4||е.
24.41 . Методы вращений, отражений и ортогонализации позво-
ляют получить (?Я-разложение любой матрицы, при этом эквива-
лентное возмущение увеличивается не более чем в 2—3 раза по
сравнению с оценками, приведенными выше для этих методов.
С формальной точки зрения последнее утверждение почти очевидно, и
требуется сделать совсем немного дополнительных вычислений, чтобы по-
лучить именно (ZR-разложение и дать для него оценку эквивалентного воз-
мущения.
Разложение матрицы на множители является основой построения боль-
шинства численных методов линейной алгебры. Чем эффективнее осуществ-
ляется разложение, тем лучшими характеристиками обычно обладает и со-
ответствующий метод. Нельзя дать однозначный ответ на вопрос «Какое из
разложений лучше?», так как разные задачи предъявляют к разложениям
различные требования. Тем не менее по некоторым характеристикам пе
только можно, но и нужно проводить сравнение. Для описанных разложе-
ний такие характеристики приведены в табл. 24.1. Предполагается, что все
Таблица 24.1
Сравнительная характеристика разложений
Способ получения сомножителей Режим вычислений Число операций Точность Дополнитель- ная память
Метод Гаусса fl (2/3) цз ап 0
Компактная схема fl2 (2/3) цз ₽ 0
Метод квадратного кор- ня fl2 (1/3) и3 1,0 0
Метод вращений fl 2п3 2.9 п 0
Метод отражений fl2 (4/3) п3 2,9-п 2п
Нормализованный метод отражений fl2 (4/3) п3 2,9 -п Зп
Метод ортогонализации fl2 2п3 1,0 0,5-п2
Нормализованный метод вращений fl. 2п3 2,9- п. п
матрицы квадратные и имеют один и тот же порядок, равный п. Данные
для процесса ортогонализации указаны при отсутствии дополнительной пе-
реортогонализации.
Общее время, затрачиваемое на получение разложения, йо существу,
определяется числом арифметических операций, которые необходимо' при
этом выполнить. В графе «Число операций» табл. 24.1 приведены главные
члены числа арифметических операций для всех разложений. В случае ис-
пользования преобразований вращения одну треть от общего чцсла опера-
ций составляют операции сложения, две трети — операции умножения. Для
остальных разложений число операций сложения и умножения примерно
одинаково. Операции деления и извлечения квадратного корня главный
член не определяют. Самое медленное из рассмотренных разложений вы-
полняется в 6 раз дольше, чем самое быстрое.
§ 25] РЕШЕНИЕ СИСТЕМ С НЕВЫРОЖДЕННЫМИ МАТРИЦАМИ 181
Алгебраические задачи, особенно с матрицами большого порядка, тре-
буют для своего решения значительных ресурсов памяти ЭВМ. Один из пу-
тей экономии памяти — размещение информации о сомножителях на месте
исходной матрицы, в основном на местах получаемых нулевых элементов.
Не всегда бывает достаточно этого места, нередко требуется дополнитель-
ная память. В графе «Дополнительная намяты» табл. 24.1 приведены глав-
ные члены числа полных слов памяти ЭВМ, которые необходимо добавить
для размещения сомножителей. При этом предполагается, что вся память,
отведенная для исходной матрицы, также используется для хранения со-
множителей.
Со всех точек зрения невыгодно хранить ортогональный множитель
разложения как одну квадратную матрицу. Поэтому его всегда запоминают
в факторизованном виде — через параметры определяющих его матриц вра-
щения или отражения. Хранение параметров матриц отражения не вызы-
вает особых вопросов. Относительно же параметров матриц вращения стоит
сказать несколько слов. Можно хранить оба параметра с, s. Однако это
приводит к большому объему дополнительно требуемой памяти. Принимая
во внимание соотношение с2 + s2 = 1, любую матрицу вращения можно
задавать несколькими способами и одним параметром. В целях обеспечения
высокой точности используют, например, представления с и s через тангенс
половинного угла с указанием того, является ли соответствующая матрица
вращения правой или левой. Первоначальный вид матрицы вращения вос-
станавливается при каждом случае ее использования: Обычно такое вос-
становление не приводит к изменению главного члена общего числа вы-
полняемых операций. Именно эта ситуация отражена в табл. 24.1.
Точность является одной из важнейших, а чаще всего решающих ха-
рактеристик любого численного метода, в том числе и разложения матрицы
на множители. Для любого из рассмотренных разложений матрицы А эк-
вивалентное возмущение М удовлетворяет неравенству ЦЛ/llz
/(п)р_<+1ПА|1в, где функция /(п) зависит только от п и от способа полу-
чения разложения. В графе «Точность» табл. 24.1 приведены главные члены
функции /(п). Если имеется рост элементов, то он определяется парамет-
рами a, (J.
Оценки точности, приведенные в табл. 24.1, гарантируются лишь в том
случае, когда разложения во всех деталях осуществляются по рассмотрен-
ным выше вычислительным схемам. Любое изменение вычислительной схе-
мы должно обосновываться соответствующим анализом ошибок, так как
иначе возможна катастрофическая потеря точности. Символ fl в графе
«Режим вычислений» табл. 24.1 означает, что для достижения соответствую-
щей точности можно ограничиться вычислениями с одинарной точностью.
Символ fl2 означает, что необходимо использование операций накопления.
Выводы относительно точности касаются только величин эквивалент-
ных возмущений, а не выполненных условий, определяющих вид множите-
лей. Напомним, что (/^-разложение матрицы в основном единственно. По-
этому в теоретическом плане ортогональный множитель в методе ортогона-
лизации с точностью до нормировок должен совпадать с ортогональными
множителями в методах вращений й отражений. На практике между ними
нет ничего общего. В методе ортогонализации меньше эквивалентное воз-
мущение, но плохо выполняются условия ортогональности. В методах вра-
щений и отражений эквивалентное возмущение больше, но условия орто-
гональности выполняются с высокой точностью.
§ 25. Решение систем с невырожденными матрицами
Решение систем линейных алгебраических уравнений Ах = Ь общего
вида, основанное на разложении матрицы на множители, сводится к после-
довательному решению одной или нескольких систем с матрицами специ-
ального вида. Поэтому, прежде чем переходить к изучению общих систем,
рассмотрим некоторые специальные системы Gu = I.
182
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
25.1. Пусть матрица системы Gu = l — треугольная, например
правая, и сама система имеет вид
gllHl + gl2«2 + • • • + g,nUn = lt,
g22U2 + . . . + g2nUn = l2,
* gnn^n In-
Для нахождения решения этой системы поступаем следующим
образом. Определяем ип = IJgnn- Предположим, что уже вычис-
лены ип, un-i, ..., Ui+t из последних п — i уравнений. Из i-го
уравнения находим
&i,i + l“i +1 ^i,nun-
Ut — .
ёп
Таким образом последовательно определяем все координаты
ип, ..., и, вектора и. Этот способ решения систем линейных алге-
браических уравнений с невырожденной треугольной матрицей
называется обратной подстановкой.
Иногда обратной подстановкой называется описанный способ решения
системы только с правой треугольной матрицей. Аналогичный способ реше-
ния системы с левой треугольной матрицей в этом случае называется пря-
мой подстановкой.
25.2. Пусть й — реально вычисленное решение системы Gu = I
с невырожденной треугольной матрицей. Предположим, что при
определении каждой из координат вектора й используется ре-
жим накопления. Тогда вектор й есть точное решение возмущен-
ной системы (G + Д)м = I + v, причем возмущения Д, v обладают
следующими свойствами:
— эквивалентное возмущение Д есть диагональная матрица
с элементами 6(i, удовлетворяющими неравенствам |6«|
^0,5-lgiilp-i+1;
— координаты вектора эквивалентного возмущения v удов-
летворяют неравенствам ] | 2: | ga | со, где со — машинный
нуль;
— выполняется равенство Ду = 0.
Решение систем линейных алгебраических уравнений с треугольной
матрицей редко бывает самостоятельной задачей. Как правило, оно пред-
ставляет собой лишь вспомогательную задачу в общем процессе решения
систем. Поэтому очень важно обеспечить режим вычислений, при котором
процесс не может остановиться из-за возникновения какой-либо непредви-
денной ситуации, связанной с невозможностью выполнить ту или иную
операцию. В обратной подстановке остановка процесса может произойти, в
основном, из-за переполнения при делении на диагональный элемент. Для
устранения таких ситуаций эффективным является введение в решение
нормирующих множителей.
25.3. Пусть задана система 25.1 с треугольной матрицей; ста-
! вится задача найти вектор иа и число а, удовлетворяющие уело-
§ 25]
РЕШЕНИЕ СИСТЕМ С НЕВЫРОЖДЕННЫМИ МАТРИЦАМИ
183
виям HuJL = 1, |а| г? 1 и такие, что Gua = al. Если 1п и gnn не
обращаются в нуль одновременно, то находим
и(п) = ( U если | gnn 1 > 1 In b
и,п — 11, если | gnn | 1 i zn V>
(п) a = и, 1/Гпп/^п, если если | gnn | > 1 gnn j | 1 Gl |> ln\.
Если 1п = gnn = 0, то положим u(n) = = a(n) = 1, . Предположим, что
уже вычислены числа ui+l > • a(i+1) • • у '*'11 , 'J* . Вычисляем
у^а«+»Ц- 2 ^i+1)
s=i + l
Если "(i и gii не обращаются в нуль одновременно, то находим
Ti/gii, если |gii|>|Ti|, s = = i,
(i) _ «« , если ^н|>|у{|, 8, > i,
Us j1’ если 1#н 1=^1 Til, s = i,
I (gii/ъ) «зг+1), если 1 gu К1 Ti I, S > г;
если |gii|>|Ti|,
“ ~ l(gij/Yi)a(i+1), если | gu | < | Ti|.
Если fi = g« = 0, то считаем gu/fi = l. Вектор иа с координатами
и™, и число a = a(1) являются искомыми. Этот способ
решения систем с треугольной матрицей называется обратной
подстановкой с нормировкой.
25.4. Пусть u, а(1) — реально вычисленные величины процес-
са 25.3. Если при вычислении f,- используется режим накопления,
то имеет место равенство (G + Д)па = a(Z + v), где
№<np~‘+1R|E, \\v\\E<P~t+1\\l\\E.
Число а совпадает с a(1), если a(1) =/=0. Если a(1) =0, но все диаго-
нальные элементы матрицы G отличны от нуля, то а по модулю
меньше машинного нуля. Всегда llwall«, = 1.
25.5. После выполнения процесса 25.3 можно оценить снизу
чисяо обусловленности матрицы G, выраженное в оо-порме. Имен-
но:
cond4 > 114IIoo/CallZlL).
Процесс 25.3 имеет значительные преимущества перед процессом 25.1.
Он может применяться к любой системе с невырожденной или вырожден-
ной матрицей без предварительного анализа ситуации. Если после его вы-
полнения окажется, что a =/= 0, то это означает, что с точностью до множи-
теля а-! получено точное решение слабо возмущенной системы. Если же
Ц,'1. 2
a = 0, то это говорит о том, что в пределах заданной точности выполнения
операций даже при использовании режима накопления в решении системы
нельзя гарантировать ни одного верного знака из-за чрезвычайно плохой
обусловленности матрицы системы. В дальнейшем мы увидим, что полез-
ная информация в векторе За содержится и в том случае, когда a = 0. Ко--
печно, процесс 25.3 логически несколько сложнее процесса 25.1, по этот
фактор имеет какое-то значение только для ручного счета.
25.6. Пусть матрица системы Gu = I имеет ненулевые ортого-
нальные строки. Для нахождения решения такой системы можно
разделить каждую координату вектора I па квадрат евклидовой
нормы соответствующей строки матрицы G, а затем умножить по-
лученный вектор на матрицу G'.
25.7. Пусть й — реально вычисленное решение системы Gu = I
согласно 25.6. Если при вычислении скалярных произведении
используется режим накопления, то и является точным реше-
нием возмущенной системы Gu=l + v, где ||vJE<( Уп + 0,5) X
XP~t+1 Не-
значительная часть наиболее известных численных методов решения
систем линейных алгебраических уравнений Ах = Ь основана на разложе-
нии матрицы А па множители. В зависимости от того, как связаны сомно-
жители с матрицей А, различают две схемы построения методов.
25.8. Пусть матрица А разложена на множители, например:
А=ВС. Тогда решение системы Ах = Ь сводится к решению
двух систем: By = b, Сх — у.
25.9. Пусть найдены матрицы L, S, G, для которых выполня-
ется соотношение LAS = G. Тогда решение системы Ах = b сво-
дится к решению системы Gu = I с правой частью I = Lb и вы-
числению вектора х = Su.
Все рассмотренные ранее разложения матрицы на множители имеют
вид либо 25.8, либо 25.9. Первый вид имеют треугольные разложения, полу-
чаемые по компактной схеме и по методу квадратных корней. Разложения,
осуществляемые по методу Гаусса и по методу ортогонализации, могут
быть отнесены к обеим схемам. Все разложения, использующие преобразо-
вания вращения и отражения, представлены по второй схеме; Характерной
особенностью второй схемы является то, что матрицы L и S задаются, как
правило, в факторизованном виде, причем именно через те элементарные
матрицы и матрицы перестановок, которые получаются в процессе нахож-
дения представления 25.9.
Численные методы решения систем линейных алгебраических уравне-
ний можно строить на основе любых исследованных разложений, решая
вспомогательные системы с треугольной или.ортогональной матрицей од-
ним из описанных выше способов. Эти методы в отношении скорости и
объема требуемой памяти ЭВМ обладают такими же характеристиками, что
и соответствующие разложения матрицы. Главный член числа арифметиче-
ских операций остается без изменения, так как при наличии разложений
25.8, 25.9 для решения вспомогательных систем с треугольной или ортого-
нальной матрицей и на перестановку координат векторов нужно выполнить
па порядок меньше вычислительной работы, чем для получения самих раз-
ложений. При этом, по существу, не требуется никакой дополнительной
памяти ЭВМ по сравнению с топ, которая уже была использована при раз-
§ 25]
РЕШЕНИЕ СИСТЕМ С НЕВЫРОЖДЕННЫМИ МАТРИЦАМИ
185
ложепии матрицы. Поэтому выбор вида разложения матрицы для построе-
ния численного метода решения систем линейных алгебраических уравне-
ний, обладающего нужными характеристиками скорости и объема памяти
ЭВМ, можно осуществлять, используя табл. 24.1. Опишем некоторые из та-
ких методов.
25.10. (Метод Гаусса.} Метод основан на разложении 25.9.
Матрица G — правая треугольная, матрица L представлена как
произведение матриц типа Л>. Если используется стратегия вы-
бора ведущего элемента, связанная с изменением порядка про-
смотра столбцов, то матрица S будет матрицей перестановок. При
изменении порядка просмотра строк матрица L будет представ-
лена как произведение матриц типа N, и матриц перестановок.
Матрица S будет единичной, если ведущий элемент не выбира-
ется.
25.11. (Компактная схема метода Гаусса.} Метод основан па
разложении 25.8. Матрица В — левая треугольная, матрица С —
правая треугольная.
25.12. (Метод квадратного корня.} Метод основан на разложе-
нии 25.8 для положительно определенной матрицы А. Матрица
С — правая треугольная, В = С.
25.13. (Метод отражений.} Метод основан на разложении 25.9.
Матрица G — правая треугольная, матрица L представлена как
произведение матриц отражения, матрица S — единичная.
25.14. (Нормализованный метод отражений.} Метод основан
на разложении 25.9. Матрица G — нормализованная левая тре-
угольная, матрица S представлена как произведение матриц от-
ражения, матрица L является матрицей перестановок.
25.15. (Метод вращений.} Метод основан на разложении 25.9.
Матрица G — правая треугольная, матрица L представлена как
произведение матриц вращения, матрица S — единичная.
25.16. (Нормализованный метод вращений.} Метод основан па
разложении 25.9. Матрица G — нормализованная левая треуголь-
ная, матрица S представлена как произведение матриц враще-
ния, матрица L является матрицей перестановок.
% 25.17. (Метод ортогонализации.} Метод основан на разложе-
нии 25.9. Матрица G имеет ортогональные строки, матрица L
представлена как произведение матриц типа Мт, матрица S —
единичная.
Все рассмотренные методы особенно удобны для решения систем ли-
нейных алгебраических уравнений с многими правыми частями и одной и
той же матрицей. В этом случае соответствующие разложения 25.8, 25.9 на-
ходятся лишь один раз. Многократно приходится решать только простые
системы с треугольными и ортогональными матрицами и умножать векто-
ры на последовательности элементарных матриц. Важно отметить, что если
разложение матрицы на множители требует выполнения порядка п3 опера-
ций, то решение системы, основанное на этом разложении, дополнительно
требует выполнения только порядка п2. операций на каждую новую правую
часть.
186
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
25.18. Пусть для эквивалентного возмущения М при разложе-
нии матрицы на множители имеет место оценка ||Л1||я<
^1(п}Р 1+1М11я- Предположим, что системы с треугольной и
ортогональной матрицами решаются в соответствии с 25.2, 25.4
или 25.6, а умножение вектора на последовательность элементар-
ных матриц осуществляется так же, как при получении разложе-
ния. Тогда реально вычисленное по любому из методов 25.10—
25.16 решение х системы Ах = b является точным решением воз-
мущенной системы (А + ff'fx = b + е. При этом
IIS ||к < Ф (n) p-<+1 fl А к, || е ||Е < ф (») P'i+1 IIЪ к,
где <р (п) + тр (п) < 2/ (и), если только в пределах таких возмуще-
ний матрица системы остается невырожденной.
25.19. В условиях и обозначениях 25.18 выполняется неравен-
ство
|| я — я ||к/М|е с 2cond / (n) p~i+1.
25.20. В условиях и обозначениях 25.18 выполняется нера-
венство
|| Лх - Не < 2f(n) p"i+V М * к
Согласно 25.19 точность любого метода полностью определяется точ-
ностью разложения матрицы на множители. Но, как видно из табл. 24.1, в
этом отношении различные разложения отличаются друг от друга пе так
уж сильно.
25.21. Если при правильной реализации какой-либо из мето-
дов не обеспечивает нужной точности решения системы линей-
ных алгебраических уравнений, то нет никаких оснований наде-
яться на то, что другой метод будет давать для этой же системы
существенно лучшие результаты.
Если при правильной реализации не удается получить в решении сис-
темы ни одного верного знака хотя бы одним из рассмотренных методов,
то такую систему скорее всего следует рассматривать как неустойчивую,
а не пытаться получить подходящее решение каким-нибудь другим анало-
гичным методом. Если же в решении, имеются верные знаки, то в некото-
рых случаях можно увеличить точность приближенного решения.
Все рассмотренные численные методы решения систем линейных алгеб-
раических уравнений обладают одним общим свойством. Именно, реально
вычисленное решение является точным для некоторой возмущенной зада-
чи. Выполненные исследования показывают, что эти возмущения весьма
малы и нередко соизмеримы с ошибками округления входных данных.
Если входные данные получены посредством каких-либо измерений или
предварительных расчетов, то обычно они уже содержат значительно боль-
шие ошибки. В этом случае всякая попытка улучшить приближенное реше-
ние без привлечения дополнительных сведений о точной задаче или ошиб-
ках входных данных окажется несостоятельной, ибо нет никакого критерия
предпочтения одного приближенного решения другому.
Положение существенно изменяется, если входные данные заданы точ-
но. Теперь среди всех приближенных решений, соответствующих опреде-
ленному уровню эквивалентных возмущений, можно выбрать то, которое
§ 25]
РЕШЕНИЕ СИСТЕМ С НЕВЫРОЖДЕННЫМИ МАТРИЦАМИ
187
наиболее близко к точному. Как правило, это будет правильно округленное
точное решение.
25.22. Пусть х — точное решение системы Ах = Ъ, xw — неко-
торое приближение к нему, полученное любым способом. Если
х = х(к) + то поправка Д(к) удовлетворяет системе .4A(h) = rh
с той же матрицей А и правой частью, совпадающей с невязкой
rh = Ъ — Ax(k).
25.23. Возьмем произвольный вектор х6 и построим последо-
вательность векторов = fl (x{h) + Д(Л>), где есть поправ-
ка, реально вычисленная в соответствии с 25.22. Будем считать,
что способ вычисления невязки и численный метод решения
системы ЛД<'1) = rh таковы, что
нд(«_ д<'‘>иЕ/||д(М11Е<е< 1.
В этом случае выполняется следующее предельное соотношение:
Р- II X- *W\\E
Jim------—=-----
k-KX> II X IIk
p-‘+l
^10’
где x есть точное решение системы Ах = Ъ. Описанный процесс
называется процессом уточнения решения.
Основная трудность в удовлетворении условия 0 < 1 связана с выбо-
ром соответствующего способа вычисления невязки. Если ж</1) близко к
точному решению, то невязка становится малой и прямое ее вычисление
с одинарной точностью будет приводить к большим относительным ошиб-
кам. Кроме того, абсолютная малость невязки может быть причиной значи-
тельных ошибок в поправке из-за нерегулярности поведения ошибок
округления вблизи машинного нуля.
25.24. Пусть процесс уточнения 25.22 осуществляется по сле-
дующему предписанию:
— вычисляется невязка в режиме накопления;
— невязка нормируется;
— решается система ЛД(М = rh одним из методов, удовлетво-
ряющих условию 25.18;
— вычисленная поправка умножается на обратную величину
нормирующего множителя невязки.
В этом случае процесс уточнения реализуется на всех этапах
и выполняется неравенство 9<(2/(п) + 3/2) cond Ap~t+1.
Таким образом, если входные данные системы с невырожденной матри-
цей заданы точно, то можно построить последовательность векторов
определяющую исключительно точное приближение к точному решению.
Процесс уточнения решения тем эффективнее, чем меньше 0. Обычно доста-
точно взять 2—3 приближения, чтобы получить вектор, который отличается
от точного решения так же, как отличается от него правильно округленное
точное решение. Но и построение большого числа векторов практически
не приводит к заметному увеличению общего времени решения системы.
Многократное решение систем ДД''1* = rh может быть осуществлено весьма
быстро, если разложение матрицы А на множителц, выполненное при ре-
МЬТиДЫ
(ГЛ. 2
шении первой системы, использовать при решении всех последующих сис-
тем с другими правыми частями.
С процессом уточнения решения связан один интересный факт. Напом-
ним, что уже первое приближение к решению является точным решением
возмущенной системы. При этом возмущения не только малы, но и не зави-
сят практически от обусловленности матрицы. Правильно округленное точ-
ное решение также является точным решением некоторой возмущенной
системы. И снова возмущения малы и не зависят от обусловленности мат-
рицы. Для наиболее точных методов решения систем эти возмущения соиз-
меримы по величине. Поэтому нет никакого основания ожидать существен-
ного уменьшения норм невязок при последовательном выполнении процесса
уточнения решения. Более того, на некоторых шагах нормы певязок могут
даже несколько увеличиться. Описанный процесс уточнения связан не с
уменьшением эквивалентных возмущений или невязок, а с уменьшением
влияния обусловленности матрицы исходной системы на погрешность в ре-
шении.
§ 26. Особенности решения неустойчивых систем
Формулы 16,19 показывают, что для матрицы, близкой к вырожденной,
возможны большие возмущения в решении системы линейных алгебраиче-
ских уравнений даже при малых возмущениях в матрице и правой части.
Если фиксированы уровень ошибок входных данных и точность вычисле-
ний, то всегда найдутся системы с настолько большими значениями чисел
обусловленности, что для них нельзя гарантировать в решении никакой
точности. Такие системы принято называть неустойчивыми или плохо обу-
словленными. Это понятие, в основном, отражает качественную сторону
задачи, связанную с нарушением непрерывности решения системы в ок-
рестности вырожденной матрицы или, в более общем случае, матрицы не-
полного ранга. Явление разрывности характерно не только для классиче-
ского решения системы линейных алгебраических уравнений, но и для лю-
бого его обобщения, например нормального псевдорешения.
26.1. Если матрица системы имеет полный ранг, то в некото-
рой окрестности изменения коэффициентов матрицы нормальное
псевдорешение непрерывно.
26.2. Какова бы ни была матрица системы, нормальное псев-
дорешение непрерывно по правой части всюду.
26.3. Если матрица системы не имеет полного ранга, то в лю-
бой окрестности изменения коэффициентов матрицы нормальное
псевдорешение разрывно.
26.4. Если входные данные системы с матрицей неполного
ранга заданы с ошибками, то никакое повышение. точности вы-
числений и никакие преобразования системы не могут обеспе-
чить гарантированной точности нормального псевдорешения без
привлечения дополнительной информации о точной задаче или
ошибках входных данных’.
Факт разрывности псевдорешения настолько важен, что заставляет счи-
тать исследование зависимости погрешности псевдорешения от возмущения
входных данных и ошибок округления неотъемлемой и обязательной частью
любого численного метода решения систем с матрицами неполного ранга.
Тем не менее такое исследование проводится не так уж часто. По-видимо-
му, немалую роль в этом играет тот гипноз легкости, с которой математика
точных вычислений предлагает «эффективные» методы решения систем
линейных алгебраических уравнений.
Согласно многочисленным рецептам можно решать любую систему, на-
пример, методом Гаусса с выбором главного элемента по всей матрице. Ес-
ли матрица имеет неполный ранг, то после выполнения определенного чис-
ла преобразований будет получена система с трапециевидной матрицей.
Решение системы с такой матрицей не вызывает особых трудностей. В про-
цессе преобразований легко устанавливается и факт совместности исход-
ной системы.
Подобные рецепты выглядят весьма привлекательно. Особенно инте-
ресными они кажутся для методов, основанных на унитарных преобразо-
ваниях, так как в случаях, когда используются модификации, приводящие
к левой нормализованной трапециевидной матрице, нормальное псевдоре-
шение находится особенно просто. Почти не возникает сомнений в том, что
требуется лишь незначительное изменение уже известных численных ме-
тодов и можно будет решать системы общего вида, по крайней мере сов-
местные системы. Кажется ясным и то, как нужно модифицировать методы.
В основе большинства модификаций лежит следующая идея. Ошибки
округления малы. Как правило, малы и ошибки входных данных. Будем ре-
шать систему каким-либо подходящим прямым методом. Если точная мат-
рица имеет неполный ранг, то в процессе реальных преобразований, по-ви-
димому, получится простая матрица, у которой все элементы последних
строк будут малы. Отбросим соответствующие уравнения и найдем реше-
ния полученной системы. Они будут служить достаточно хорошим прибли-
жением к решениям точной системы. Однако в действительности дело об-
стоит пе так просто. ,
26.5. Если матрица точной системы имеет неполный- ранг, то
малость возмущений входных данных и ошибок округления сов-
сем не обязательно приведет к появлению в процессе преобразо-
вания* системы каких-либо строк или столбцов, великом состоя-
щих из таких же малых элементов.
В этом заключается основная, но не единственная трудность построе-
ния численных методов решения систем с матрицами неполного ранга, ос-
нованных на эквивалентных преобразованиях исходной системы. Еще одна
трудность связана с обоснованием дальнейших преобразований тех систем,
матрицы которых имеют строки или столбцы с малыми элементами.
Необходимость использования дополнительной информации при реше-
нии .неустойчивых систем вызывает определенные трудности при конструи-
ровании соответствующих вычислительных алгоритмов. Эта информация
весьма разнородна по своей природе. Наиболее простая возможность учесть
ее для сколько-нибудь широкого класса задач состоит в параметризации
вычислительного алгоритма. В этом случае получение достоверного прибли-
жения к нужному решению исходной задачи будет заключаться в много-
кратном решении параметризованной задачи с целью подбора совокупно-
сти параметров согласно дополнительной информации.
Мы рассмотрим два вида параметризации — дискретную и. непрерыв-
ную. Всюду в этом параграфе будем считать, что сингулярные числа р;
матрицы А занумерованы в порядке невозрастания.
26.6. Пусть А = UA.V — сингулярное разложение произволь-
ной прямоугольной матрицы А, причем сингулярные числа р,-
расположены на диагонали матрицы А в порядке невозрастания.
Обозначим через Ah матрицу UAhV, где Лл — диагональная матри-
ца, первые к диагональных элементов которой ненулевые и сов-
падают с соответствующими диагональными элементами матрицы
-iriKAiirjXiXlbXH МЕТОДЫ
[ГЛ. 2
Л, а остальные равны нулю. Эти матрицы обладают следующими
свойствами:
— матрицы Ак имеют ранг, равный к;
— для любой матрипы А и любого числа к справедливы ра-
венства || а — лкц2 = pft+1, ||а — лл|(Е = (2 Pi)I/2;
— на множестве матриц В, ранг которых равен к, величина
ПЛ — _ВПЕ достигает минимума на матрице Ак;
— на множестве матриц 5, удовлетворяющих неравенству
ПЛ — ВНЕ 6, величина НА — ВНЕ достигает максимума на одной
из матриц Ак, причем /с таково, что ИЛ — АЛНВ б, но ПЛ — ЛЙ_1НЕ>
>6.
26.7. Пусть Л = U.W — сингулярное разложение матрицы Л
с упорядоченными сингулярными числами на диагонали Л. Под-
пространство, совпадающее с линейной оболочкой первых к
столбцов матрицы V* (U), называется главным правым (левым)
сингулярным подпространством матрицы Л.
26.8. Нормальное псевдорешение хк системы Акх = Ъ есть ор-
тогональная проекция нормального псевдорешения хй системы
Ах = 6 на главное правое сингулярное подпространство размер-
ности к для матрицы Л.
26.9. Пусть Ък есть ортогональная проекция правой части Ъ
системы Ах = 6 на главное левое сингулярное подпространство
для матрицы Л размерности к. Система Акх = Ък является сов-
местной, и ее нормальное решение есть хк.
26.10. В обозначениях 26.8, 26.9 выполняется равенство
НЛхл — Ы1Я = II & —
26.11. Для любой матрицы Л величина ИЛИ НЛ+П называется
числом обусловленности матрицы Л и обозначается сопсНЛ.
26.12. Рассмотрим систему Ах = Ь и возмущенную систему
(Л + <£)х =. Ъ + е. Пусть
=
ел =
II Не
II ^4 Не
II е II,
II HI,
Предположим, что система Ах = Ъ совместна, матрица Л имеет
ранг г и величины 6Л, 66 малы по сравнению с рг. Тогда спра-
ведлива оценка бхц > cond+Л (бА + 66).
26.13. Пусть в обозначениях 26.10—26.12 система Ах = Ъ
несовместна, матрица А имеет ранг г и величины 6Л, 66 малы
по сравнению с рг. Имеет место оценка
б^г)^ cond+А (6Л + 66) + cond+A (cond+A.6A + 66) г"Е .
II Me
Величина 116 — 6Г|| определяет меру несовместности системы Ах = 6.
Если система Ах = 6 совместна или почти совместна, т. е. ||6 — 6Г|| равна
нулю или почти равна нулю, то согласно 26.13 нормальное решение х0 точ-
ной системы можно определить с помощью проекции хг возмущенной сис-
§ 26]
ОСОБЕННОСТИ РЕШЕНИЯ НЕУСТОЙЧИВЫХ СИСТЕМ
191
темы с такой же точностью, как и для системы с невырожденной матрицей.
В общем случае точность нормального псевдорешения зависит от степени
согласования матрицы и правой части исходной системы.
В связи со сказанным обратим внимание на следующее обстоятельство.
Пусть входные данные системы заданы точно и сама система является сов-
местной. Предположим, что эта система с помощью некоторых эквивалент-
ных преобразований приводится к некоторой системе простого вида. За
счет влияния ошибок округления новая система в точном смысле будет
почти наверняка несовместной. Однако мера возникшей несовместности
будет соизмерима с величиной ошибок округления и, следовательно, в со-
ответствии с 26.13 не будет играть существенной роли.
Оценки 26.12, 26.13 получены для возмущений, достаточно малых по
сравнению с минимальным ненулевым сингулярным числом. Такое предпо-
ложение хотя и позволяет решать задачу и даже гарантировать оцепку точ-
ности, но, по существу, требует, кроме малости ошибок, знания ранга точ-,
ной матрицы. Совокупность условий, сформулированных в 26.12, 26.13,— это
и есть в конкретном частном случае та дополнительная информация об ис-
ходной системе, которая позволяет по возмущенной системе высказать ка-
кое-то суждение о решении точной системы. Эти условия можно ослабить
даже в случае систем самого общего вида.
26.14. Пусть входные данные системы Ах = Ъ заданы с абсо-
лютной ошибкой порядка е. Имеет место оценка
< а -----------+ Рл+1)
\ Pfe Pfc+1 )
в случае совместности точной системы» и оценка
_ре 1р +рЦ
\lPfe Ph+1) Ph J
в противном случае. Коэффициенты а, 0 зависят только от па-
раметров точной системы и способа измерения ошибок.
26.15. Для и любого набора чисел ^k, где 1 =
= fi fn 7"+i = 0, справедливы соотношения
min ---+ Th+i]^3(ne)2/3,
\ 'k+l /
min L _ve + Yh+1)< 4(ree)1/2.
l<h<n 'Vh *h+l) Vfc j
26.16. Пусть входные данные произвольной системы линей-
ных алгебраических уравнений с прямоугольной матрицей зада-
ны с точностью порядка е. Существует такое к, что проекция
хк возмущенной системы приближает нормальное псевдорешепие
Хо точной системы с точностью порядка е“. Если исходная систе-
ма совместна, то а 2/3, и а > 1/2 — в противном случае.
Заметим, что наличие малых сингулярных чисел матрицы не обязатель-
но свидетельствует о невозможности вычислить псевдорешение с достаточ-
но хорошей точностью. Если матрица имеет группу больших сингулярных
чисел, а остальные сингулярные числа соизмеримы с точностью входных
данных, то из 16.14 следует, что одна из проекций хк приближает нормаль-
ное псевдорешение с точностью порядка е как для совместной, так и для
несовместной системы. Этот факт имеет исключительное значение для обое-
192
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
нования большинства численных методов решения систем линейных алгеб-
раических уравнений с вырожденной матрицей.
Таким образом, в зависимости от свойств исходной системы ее нормаль-
ное псевдорешение можно определить по реально заданной системе с точ-
ностью порядка еа, где 1/2 а 1. Единственное, чего нам теперь пе хва-
тает,— это критерия выбора нужной проекции х*. Такой критерий может
быть разработан на основе привлечения дополнительной информации о за-
даче. Номер проекции определяет дискретную параметризацию вычисли-
тельного алгоритма, о которой говорилось выше. Непрерывная параметри-
зация устроена иначе.
26.17. Функционал Фа (х) = а х 4-1| Ах — Ь |]£, где а О, на-
зывается регуляризирующим функционалом системы Ах=Ъ.
26.18. При а>0 регуляризирующий функционал имеет един-
ственную точку минимума ха.
26.19. Точка минимума ха является решением системы линей-
ных алгебраических уравнений (А*А + аЕ)х^ = А*Ъ и называ-
ется регуляризованным решением системы Ах = Ь.
26.20. Матрица А*А+аЕ при а>0 является эрмитовой по-
ложительно определенной.
26.21. Для любой матрицыЛиа>0 справедливы неравенства
П(Л *А + aE)-M*ll2. Е 11А+112. е,
IKAM + аЕНАЧ.к «S ИЯН2, £/(2а)1/2.
26.22. Разность ха — х^ удовлетворяет уравнению
(А*А + аЕ)(А*Л + $ЕУха - х.) = (0 - а)А*Ъ.
26.23. Если Хо есть нормальное псевдорешениё системы Ах =
= Ь, то всегда выполняется -предельное соотношение
lim ха = х0.
, а->+о
26.24. Имеют место оценки
II ха ||е < || ,г0 ||е < || Це + 2ат]2, || хд — ха ||е < «V,
где ц и f — евклидовы нормы нормальных решений соответст-
венно уравнений (А*А)3/2х = А*Ь и (А*А)2х = А*Ь.
26.25. Для любых матрицы А, вектора Ь и а > 0 справедливо
неравенство
ДЛ=М + аЕ')А*у\\Е SS Ш/аУ2.
26.26. Пусть Ах = Ь — точная система, Ах = Ъ — возмущен-
ная. Предположим, что.М — Л112 еА, ИЬ —тогда
||Хо — xJe < ay + ~£~ ( М-г0 — ъНе + 2а2ц2)1/2 + (ед II хд ||в +£/,),
где параметры ц, ц определены в 26.24, а есть решение си-
темы (Л *4 + о.Е)ха — А*Ъ.
§ 27] ТАКТИКА РЕШЕНИЯ СИСТЕМ ОБЩЕГО ВИДА
193
Правая часть неравенства 26.26 пе содержит никакой информации, свя-
занной с возмущенной системой. Поэтому существует такое а, при котором
опа достигает своего минимума. Это значение а обеспечивает почти паилуч-
шее приближение ха к точному нормальному псевдорешеппю х0.
26.27. Пусть входные данные системы Ах = b заданы с абсо-
лютной ошибкой порядка е. Имеет место оценка
И-Го — ха11Е 6(а + е + е/а’/2)
в случае Ах0 — b = 0, т. е. совместности точной системы, и оцен-
ка
11-Го — -га11в т(а + е + е/а + е/а’/2)
в случае Ах0 — Ь Ф 0, т. е. несовместности точной системы. Ко-
эффициенты 6, т зависят только от параметров точной системы
н меры измерения ошибок.
26.28. Пусть входные данные произвольной системы линей-
ных алгебраических уравнений с прямоугольной матрицей зада-
ны с точностью порядка е. Существует такое а, что регуляризо-
ванное решение ха возмущенной системы приближает нормаль-
ное псевдорешение ха точной системы с точностью порядка е®.
Если исходная система совместна, то 6^ 2/3, и 0 > 1/2 — в про-
тивном случае.
Параметр а, обеспечивающий необходимое приближение ха, снова не
может быть найден лишь по возмущенной системе, и для его определения
опять необходимо привлекать дополнительную информацию о задаче.
В некоторых случаях в регулярпзирующем функционале бывает необ-
ходимо брать не евклидовы нормы вектора х п невязки Ах — Ь, а какие-ли-
бо другие нормы. В общем случае решение соответствующей задачи оказы-
вается очень сложным. Но если взять нормы вида II z ||д = (Dz, z) для эрми-
товых положительно определенных матриц D, то эта задача сводится к ис-
следованной.
26.29. Имеет место тождество
«II X lib + М* — ъ lls = а II У 111 + II s l/2AD~l/2y — S1/2b ||2£,
где у = Dl/2x, при любых эрмитовых положительно определенных
матрицах D, S.
26.30. Определение нормального псевдорешения с помощью
регуляризованных решений называется методом регуляризации.
§ 27. Тактика решения систем общего вида
Приступая к решению систем линейных алгебраических уравнений,
приходится отвечать на вопрос, какой численный метод взять за основу.
Сложность ситуации заключается в том, что однозначный выбор метода
удается осуществить довольно редко. Если матрица пе симметричная, по
имеет доминирующую диагональ, то нет никаких веских доводов против
применения компактной схемы пли метода Гаусса без выбора ведущих
элементов. В случае симметричной положительно определенной матрицы
вне всякой конкуренции находится метод квадратного корпя. А дальше
13 в. В. Воеводин, IO. А. Кузнецов
194
ЧИСЛЕННЫЕ МЕТОДЫ
[гл. г
желание эффективно ’решить систему вступает в противоречие с желанием
обеспечить регулярность вычислительного процесса. Если, например, извест-
но, что матрица системы не очень плохо обусловлена, то можно применить,
метод Гаусса с выбором ведущего элемента по столбцу. Однако при этом
есть риск, связанный с ростом элементов и потерев точности. Можно ис-
пользовать метод вращений, в котором такого риска нет, по он более тру-
доемкий, и т. д. Если же в процессе решения выясняется, что матрица сис-
темы очень плохо обусловлена, то вся работа, затраченная на выяснение-
этого факта, может оказаться бесполезной для дальнейшего анализа задачи.
Опираясь па изложенные методы и факты, мы можем теперь разрабо-
тать некоторую тактику действий по решению систем линейных алгебраи-
ческих уравнений общего вида. Применение этой тактики целесообразно в
тех случаях, когда имеющихся сведений о системе недостаточно для того,.,
чтобы сделать выбор численного метода .и гарантировать его устойчивость.
Мы пе будем накладывать сейчас какие-либо ограничения на исходную
систему. Она может быть как совместной, так и несовместной, как хорошо,,
так и плохо обусловленной." Ранг матрицы системы и ее размеры могут
быть произвольными. Вычислительный процесс будет устроен таким обра-
зом, что чем «лучше» исходная система, тем раньше оп прекратится, давая
приближенное решение. Оценка точности будет зависеть от свойств систе-
мы, обнаруживаемых по ходу процесса, и от некоторой информации, допол-
нительно привлекаемой по мере необходимости.
Описываемая совокупность действий легко реализуется па ЭВМ и, по-
видимому, является оптимальной как по объему вычислительной работы,
так и по использованию памяти ЭВМ. В целом процесс состоит из следую-
щих этапов:
— предварительное преобразование системы к простому виду с помощыо
унитарных преобразований;
— решение системы простого вида;
— оценка числа обусловленности и точности решения;
— уточнение решения;
— вычисление устойчивых проекций нормального псевдорешения;
— вычисление регуляризовапных решений;
— общий анализ задачи.
Конечно, не все этапы обязательно присутствуют при решении каждой
системы и не все этапы четко различаются друг от Друга.
27.1. Матрица G называется правой {левой) двухдиагоналъ-
ной, если для ее элементов gu выполняются соотношения
g,j = O, j < i, i<j —1 (j>i, />; + !).
Двухдиагональные матрицы обладают всеми свойствами треугольных
матриц. Дополнительно для квадратных двухдиагональных матриц отметим,
что теперь можно указать простые формулы для элементов обратной
матрицы.
27.2. Пусть, например, G — квадратная правая двухдиаго-
нальная матрица и g^1^— элементы G~‘; тогда
?-1 I
Sij = 11 ( ®fc,fc + l)/lj ahk-
fi—i /h=i
27.3. Пусть A — прямоугольная матрица размера т X п, т
5* п. Умножим ее слева на последовательность матриц враще-
ния Ti2, TiS, ..., Т1т, исключая при этом внедиагональные эле-
менты первого столбца. Умножим, далее, полученную матрицу
§ 271
ТАКТИКА РЕШЕНИЯ СИСТЕМ ОБЩЕГО ВИДА
195
справа на последовательность матриц вращения Т32, Ti2, ..., Т„2,
исключая внедиагональные элементы первой строки, лежащие
правее элемента в позиции (1.2). Будем умножать поочередно па
группы матриц вращения слева и справа и исключать элементы
в таком порядке:
(2.1), (3.1), (4.1), ..., (т.1),
(1.3), (1.4), ..., (l.n),
(3.2), (4.2), ..., (т.2),
(2.4), ..., (2т),
Все шаги этого процесса могут быть реализованы, и после их
выполнения исходная матрица А будет преобразована в правую
двухдиагональную матрицу G.
27.4 . Процесс 27.3 определяет соотношение G = LAS, где L и
S — произведения соответствующих матриц вращения, участвую-
щих в процессе.
27.5 . Пусть Тц, G — реально вычисленные матрицы и 27, S —
точные произведения соответствующих реально вычисленных
матриц Тц. Если G = НА + M)S, то для йквивалентпого возму-
щения М справедлива оценка
||ML<2,9- (m + n)p-t+1\\A\\E.
27.6 . Если А — прямоугольная матрица размера m X га, m <
< п, то, применяя процесс 27.3 к матрице А', можно преобра-
зовать матрицу А в левую двухдиагональную матрицу. При этом
оценка 27.5 снова имеет место.
27.7 . Пусть в зависимости от выполнения условия m > га пли
m < п матрица G. имеет блочный вид
G = j или G = [G 0],
где матрицы G, G квадратные и двухдиагональные; тогда
G+ = [G+ -0] или G+ = ^+].
27.8 . Если известно разложение 27.4, то нормальное псевдо-
решение системы Ах = b равно х0 = SG+Lb и может быть вы-
числено в соответствии с предписанием:
, I = Lb, u0 = G+l, x3 = Su0.
Итак, при наличии разложения 27.4 решение системы Ах = Ь с любой
правой частью Ь, в том числе определение ее нормального псевдорешенпя,
сводится к решению аналогичной задачи с квадратной двухдиагоналыюй
матрицей. Поэтому в дальнейшем мы будем заниматься в основном только
такими задачами. Не ограничивая общности, можно считать, что двухдпа-
гоиальпая матрица является правой.
13*
106
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
Решение систем с двух диагональными матрицами можно осуществлять,
многими способами. Однако, по-видимому, проще всего попытаться сначала
применить процесс 25.3 обратной подстановки с нормировкой. Этот процесс
практически не вносит сколько-нибудь заметного вклада в общие затраты,
по дает полезную дополнительную информацию.
27.9 . Пусть G — реально вычисленная матрица разложения
27.4, 1—реально вычисленный вектор из 27.8. Предположим,
что система Gu=l с двухдиагопалыюй матрицей G решается с
помощью обратной подстановки с нормировкой 25.3. Если ре-
ально вычисленный нормирующий множитель а равен нулю, та
в пределах возмущений 27.5 матрица А меняет ранг, и исходную
систему следует рассматривать как неустойчивую.
27.10 . Если в условиях 27.9 реально вычисленный нормирую-
щие! множитель а не равен пулю, то реально вычисленное нор-
мированное решение й удовлетворяет возмущенной системе
(G + Д)й = a(Z + е), где
1|а||е^р 1ФО /+1П11е-
Если а 0, то отсюда пе обязательно следует, что матрица исходной
системы является матрицей полного ранга в пределах допустимых возму-
щений. Этот факт в общем случае говорит только о том, что а_|и есть какое-
то решение слабо возмущенной системы. Возможность находить такие ре-
шения в какой-то мере оказывается полезной, и об этом мы будем говорить,
дальше. Для проверки матрицы на полноту ранга необходимо оценить чис-
ло обусловленности. Если а = 0, то эту оценку заведомо не надо делать.
27.11 . Если имеет место разложение 27.4, то для евклидовой и
спектральной норм выполняются равенства
Н411 = Ш11, 114+11 = IIG+H, cond+4 = cond+G.
Евклидова норма матрицы G вычисляется без особого труда. Для вычис-
ления евклидовой нормы матрицы G-1 можно воспользоваться формулами
27.2. Однако для оценки ||G_Ч|Е оказывается удобным применение процес-
са 25.3.
27.12 . Пусть задана произвольная невырожденная треуголь-
ная матрица R. Рассмотрим множество треугольных матриц, у
которых модули всех элементов совпадают с модулями соответ-
ствующих элементов матрицы R. Максимальное значение евкли-
довой нормы обратной матрицы па данном множестве достига-
ется на матрице R с положительными диагональными и отрица-
тельными внедиагональными элементами.
27.13 . Пусть заданы согласно 27.12 матрицы R и R порядка
п. Возьмем вектор d, все координаты которого равны единице, и
решим две системы:
Rz = d, Rv = d.
!•
Имеют место неравенства ,
1Ы1£/Уга Ml,.
§ 27]
ТАКТИКА РЕШЕНИЯ СИСТЕМ ОБЩЕГО ВИДА
197
27.14 . Если R— двухдиагональная матрица, то в обозначени-
ях 27.12 всегда Il7?-*IIE =
27.15 . Пусть R — двухдиагональная матрица порядка п с диа-
гональными элементами, представимыми в ЭВМ ненулевыми чис-
лами. Решим в соответствии с обозначениями 27.12, 27.13 си-,
стему Rv = d с помощью процесса 25.3 обратной подстановки с
нормировкой. Если a, v — реально вычисленные нормирующий
множитель и нормированное решение, причем a 1= 0, то
ЕЬ(1 гнЭц, +
а
Полученные оценки евклидовой нормы матрицы, обратной к двухдиа-
гональной, исключительно точны, так как правая часть отличается от левой
не более чем в п раз. Аналогичные оценки имеют место и в случае тре-
угольной матрицы. При выводе оценок 27.15 учитывается топкая структура
ошибок процесса, а не только мажорантные оценки норм эквивалентных
возмущений. Заметим, что для вычисления границ требуется выполнить по
более 9га операций. Используя оценки 27.15, легко получить хорошие оцен-
ки числа обусловленности матрицы. Теперь снова вернемся к решению ис-
ходной системы линейных алгебраических уравнений.
27.16 . Если для реально вычисленной матрицы G разложения
27.4 выполняется неравенство
2,93(m + ra)p-‘+1 WIGHIb < 1,
то в пределах ^-кратного возмущения 27.5 матрица А является
матрицей полного ранга.
27.17 . Пусть неравенство. 27.16 выполняется при ^ = 3. Пред-
положим, что в соответствии с 27.5—27.8 нормальное псевдоре-
шение системы Ах = Ь вычисляется в следующем порядке:
г = п(гь), w0 = fi(G+r), г0 = п (Sw0),
причем нормальное псевдорешение й0 находится с помощью об-
ратной подстановки. Тогда ошибка реально вычисленного нор-
мального псевдорешения х0 имеет оценки
5,8-(ш + re) cond+G, т = п,
9,8-(т + п) p~t+1 cond+ G, m<Zn,
9,8-(m + re) p~t+1 cond+ G + 4,9-(/re + re) p-t+1(cond+ G)2 +
Il 7" ii ~
+ 4,9-(m + re) p^t+1—^—— cond+G, m > re.
11
В последней оценке l' есть вектор, содержащий первые ге коор-
динат вектора ?, ?" есть вектор, содержащий последние т — п
198
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ 2
координат I. Число обусловленности матрицы G выражено в ев-
клидовой норме.
Если известно, что входные данные системы заданы точно, по оценки
27.17 не гарантируют нужный уровень погрешности, то нормальное пссв-
дорешение можно уточнить. Уточнение осуществляется аналогично тому,
как это было описано для систем с квадратными матрицами. На особенно-
стях итерационного процесса для систем с прямоугольными матрицами мы
останавливаться пе будем. Если входные данные системы заданы с ошибка-
ми, то оценками 27.17 можно воспользоваться для оценки полной погрешно-
сти нормального нсевдорешения. Для этого достаточно в оценках 27.17 к
каждому множителю, стоящему перед числом обусловленности или его
квадратом, добавить сумму относительных ошибок в матрице и правой
части, выраженных в евклидовой норме.
27.18. Если матрица исходной системы не является патологи-
чески плохо обусловленной, т. е. ее число обусловленности пе есть
величина порядка р1, то с помощью унитарного преобразования
к двухдиагопалыюму виду такую систему можно не только ре-
шить, ио и достоверно оценить погрешность ее решения, а в случае
необходимости и уточнить найденное решение. При этом досто-
верно устанавливается, что матрица системы в пределах допу-
стимых возмущений является матрицей полного ранга.
Вообще говоря, все эти задачи можно решить, ис прибегая к преобра-
зованию матрицы к двухдиагоналыюму виду, а воспользоваться, например,
обычным или нормализованным методом вращений или отражений. Хотя
при этом и потребуется выполнить примерно вдвое меньше вычислитель-
ной работы, трудно будет получить хорошие оценки числа обусловленности.
К тому же, если в процессе решения системы выяснится ее неустойчивость,
то в этом случае имеющееся разложение матрицы па множители оказыва-
ется почти бесполезным для дальнейшего анализа задачи. Разложение же
27.4 можно эффективно использовать и при решении неустойчивых систем.
Предположим, что каким-либо образом установлено, что матрица Л си-
стемы Ах = 6' является матрицей неполного ранга или очень близка к та-
кой матрице. Будем считать также, что известно разложение 27.4. Любое
суждение о решении системы теперь невозможно без привлечения допол-
нительной информации об исходной задаче. Простейшее предположение
может заключаться в априорном знании того, что система Ах = b совмест-
на, матрица Л имеет неполный ранг и ее минимальное пепулевое сингу-
лярное число велико по сравнению с р~*.
Снова для определения нормального псевдорешепия системы Ах = Ъ
нужно находить нормальное псевдорешение системы Gu = I с двухдиаго-
палыюй матрицей, и опять полезным оказывается процесс 25.3 обратной
подстановки с нормировкой. Не ограничивая общности, будем считать, что
диагональные элементы матрицы G отличны от пуля. В противном случае
сделаем их такими, добавив к яим величины порядка p~,+l. Это возмуще-
ние не приведет к потере информации, так как такие возмущения уже мо-
гут быть в этих элементах. Кроме того, предположим, что при реализации
процесса 25.3 всегда а =/= 0. Этого всегда можно добиться, если хранить а
пе как одно число, а как произведение псвулевых чисел.
27.19. Пусть матрица А совместной системы Ах=Ь имеет
неполный рапг и ее минимальное ненулевое сингулярное число
равно р. Предположим, что х есть решение слабо возмущенной
системы и нормы относительных возмущений в матрице и пра- ,
8 27]
ТАКТИКА РЕШЕНИЯ СИСТЕМ ОЙЩЕГО ВИДА
109
вой части суть величины порядка ё. В этом случае вектор х мо-
жет быть представлен в виде суммы х = х0 + z + z(e, р), где хс
есть нормальное решение исходной системы, вектор z принадле-
жит ядру матрицы А, а вектор z(e, р) имеет длину порядка е/р.
27.20. Пусть в условиях и обозначениях 27.19 известны два
решения xt, хг двух различных слабо возмущенных систем.
С точностью до вектора длиной порядка е/р вектор xt — х2 при-
надлежит ядру матрицы А.
27.21. Пусть размерность ядра матрицы А равна г. Предполо-
жим, что выполнены условия 27.19 и найдены такие решения
x(l, х,, ,.хг слабо возмущенных систем, что векторы z( =
= xt — х0, 1 г г, с точностью до векторов длиной порядка е/р
являются линейно независимыми. Тогда перпендикуляр, опущен-
ный из любого вектора х, на липейпую оболочку векторов zt, ...
..., zr, с точностью до вектора длиной порядка е/р совпадает с
нормальным решением х„ системы Ах = Ъ.
Последнее утверяедепие лежит в основе следующего способа опреде-
ления нормального псевдорешения при сформулированных ранее предпо-
ложениях относительно исходной системы. Пусть система приведена к двух-
диагопалыюму виду. Будем возмущать случайным образом элементы обеих
диагоналей и правой части на величины порядка р~’ и решать получаю-
щиеся системы с помощью процесса обратной подстановки с нормировкой.
Построим согласно 27.21 разности решений и ортопормируем эту последо-
вательность с помощью процесса ортогонализации Грама — Шмидта. Устой-
чивое появление малых векторов при ортогонализации говорит о том, что
построенные ортопормированпыс векторы образуют базис ядра. Перпенди-
куляр па ядро при наличии ортонормированного базиса определяется до-
вольно просто. ,
Описанный процесс реализуется очень быстро, так как приходится ре-
шать только двухдиагопальпые системы. Однако при этом требуется допол-
нительная память для хранения' разностей решений слабо возмущенных
систем. Можно обойтись хранением лишь 3—4 дополнительных векторов
и даже меньше. Действительно, пусть .г0 — некоторое решение слабо воз-
мущенной системы. Если получено другое решение х,-, то образуем раз-
ность Xi — хо, заменим хо перпендикуляром, опущенным из х0 на х,-—х0,
и повторим процесс. Вычисления прекращаются, как только вектор х0 ста-
билизируется с нужной точностью.
Процесс особенно эффективен, когда размерность ядра равна 1. В этом
случае два решения слабо возмущенных систем позволяют с высокой точ-
ностью определить собственный вектор матрицы А, соответствующий пуле-
вому собственному значению. Решения слабо возмущенных систем можно
получать п другими способами, например, решая одну и ту же систему
принципиально различными численными методами.
Если относительно исходной системы известно, что ее матрица имеет
«оторванную» группу малых сингулярных чисел, то мы опять находимся
в условиях применения описанных процессов. Теперь с е связывается вели-
чина малых сингулярных чисел, с величиной р — значение минимального
из остальных сингулярных чисел.. Конечно, вместо нормального псевдоре-
шепия можно определить только его проекцию на правое сингулярное про-
странство, соответствующее большим сингулярным числам.
Информация о существовании разделения сингулярных чисел матрицы
системы па большие и малые настолько важна, что, если опа отсутствует,
целесообразно попытаться выяснить, имеет ли место такая ситуация.
200
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2.
27.22. Пусть G — правая двухдиагональная матрица порядка
п. Построим последовательность двухдиагональных матриц Go =
= G, Gt, G2, ..где матрицы Gk с четными индексами к — пра-
вые, с нечетными — левые. Если к — четное, то
/<+1 — 21 2 32 • • • 1 п.п-1»
при нечетном к
Z7 ___ 'r(k) /тт(Ь) rp(k) /п
^k+l — 1 n—1,п • • • 2 23 2 12
в обоих случаях матрицы находятся из условия исключе-
ния элемента Gk в позиции (j, г). Для любой матрицы G последо-
вательность Gk сходится к диагональной матрице, составленной
из сингулярных чисел матрицы G.
27.23. Для процесса 27.22 исключения элементов в матрицах
Gk выполняются следующие свойства:
— если все элементы обеих диагоналей матрицы Ga отличны
от нуля, то будут отличны от нуля все элементы обеих диагона-
лей у каждой из матриц Gk„
— если среди элементов обеих диагоналей матрицы Go име-
ются нулевые, то матрица G2 будет квазидиагональной, клетки
которой либо диагональные, либо двухдиагональные с ненулевы-
ми элементами па обеих диагоналях; матрицы Gk имеют анало-
гичное с G2 строение при всех к 2.
Эти свойства позволяют без уменьшения общности считать, что все
элементы па обеих диагоналях матриц Gk являются Ненулевыми.
27.24. Пусть G — двухдиагональная матрица порядка п с не-
нулевыми элементами на обеих диагоналях. Обозначим диаго-
нальные элементы матрицы Gk через pi , . .., рп , внедиагональ-
ные — через 61°, .. ., Enlp Предположим, что сингулярные числа
р, матрицы G упорядочены в порядке невозрастания, т. е. pt >
5= р2 5=... 5= р„. Имеют место соотношения для всех i:
lim = Pi, р?> = Pi + О -М") + О (
7i-,oo \\ "i-1/ / \\ гЧ / /
lim 6^ = 0, е^ = о((^Г).
27.25. Реально вычисленная матрица G* унитарно эквива-
лентна матрице G+S’k, при этом
ll<ME<4~nh+5 fcp~'+1l|g||E- •
27.26. Матрицы Go, Glf ..., построенные согласно 27.22, удов-
летворяют соотношениям
Gfo-Gfo, Gj^G* — G2G*..........
МЕТОДЫ СОПРЯЖЕННЫХ НАПРАВЛЕНИЙ
201
§ 281
причем произведения матриц по обеим сторонам всех равенств
являются эрмитовыми трехдиагопальными положительно опре-
деленными матрицами.
Если пет информации о разделении сингулярных чисел матрицы А, то
проведем несколько шагов процесса 27.22 с матрицей G в качестве началь-
ной. Предположим, что матрица точной системы имеет «оторванную» груп-
пу пз г малых сингулярных чисел. Тогда после выполнения небольшого чис-
ла шагов последние г строк и столбцов матрицы Сг, становятся малыми.
Обнаружив этот факт, мы сможем определить как величину малых сингу-
лярных чисел, так и их число. После этого в соответствии с вышеизложен-
ными рекомендациями можно определить главную проекцию нормального
псевдорешения.
Если расщепление матрицы Gft па «большую» и «малую» не наступило
после 8—10 шагов, то, скорее всего, это говорит о том. что сингулярные чис-
ла матрицы не имеют достаточного разделения. В этом случае приходится
прибегать к построению регулярнзованных решений при различных зна-
чениях регулярпзпруюгцего параметра. Опять наличие разложения 27.4 по-
зволяет эффективно его использовать.
27.27. При наличии разложения 27.4 для всех а уравнения
(А*А + aE)x« = A*b, (G*G + аЕ)уа = G*Lb,
где ха — Sya, эквивалентны; при этом
= НуА, \\А.ха — &ПЕ = \\Gya — LbWK.
Заметим, что если при каждом значении параметра а для решения пер-
вого уравнения надо выполнить порядка я3 операций, то для решения урав-
нения с обратным преобразованием неизвестных — только порядка п2 опе-
раций. Если же нужно определить пе само решение ха, а его евклидову нор-
му п норму певязки, то обратное преобразование неизвестных пе нужно
делать. В этой ситуации один шаг по а для второго уравнения осуществля-
ется по порядку в п1 раз быстрее, чем один шаг по а для первого
уравнения.
, Прп малых значениях а оба уравнения будут плохо обусловленными.
Для решения второго уравнения целесообразно применять метод квадрат-
ных корней и обратную подстановку с нормировкой.
§ 28. Методы сопряженных направлений
Построение ортогональных, псевдоортогональных и т. п. систем векто-
ров. особенно на основе использования степенных последовательностей, да-
ст большие возможности для создания различных численных методов ре-
шения систем линейных алгебраических уравнений Ах = Ь.
Мы уже неоднократно касались различных аспектов этой задачи. Те-
перь опишем большую группу численных методов решения систем, кото-
рые получили общее название методов сопряженных направлений. Все они
основаны на ортогонализации степенных последовательностей. Будем пред-
полагать, что матрица системы невырожденная, а пространство унитарное.
28.1. Пусть задана невырожденная матрица А порядка п.
Возьмем любые невырожденные матрицы В, С и построим каким-
нибудь способом СДВ-исевдоортогональную систему векторов
«1, ..., т. е. для нее
(CAB s^ =# О, (CAB s^ sh) = 0, к < i,
202
ЧИСЛЕННЫЕ МЕТОДЫ
[гл г
при всех i. Пусть задан некоторый вектор ха. Для любого векто-
ра х существует единственное представление вида
п
X. = + В 2 OjSj,
3 -1
где я, — числовые коэффициенты.
28.2. Обозначим в соответствии с 28.1
i
Xi = х0 + Bj£ a^j.
Тогда для векторов xt и невязок г,- = Axt — Ъ системы Ах = Ъ име-
ют место следующие рекуррентные соотношения:
х.( = х,-: + a,Bs,, п = л_, + OjABsi.
28.3. В условиях и обозначениях 28.1, 28.2 справедливы ра-
венства {Crt, sj = 0, 1 «£ к < г.
28/1. Пусть система векторов х,, ..., s„ строится параллельно
с системой г0,'..., г„_, с помощью процесса ее СЛ0-псевдоорто-
гопализации. Положим Si = г0 п для всех i будем иметь
г
Si+1 = Г; + 2 +
В этом случае справедливы равенства (Сг,,- гк) = 0, к < i.
28.5. Если в условиях 28.4 г,) 0 для всех г, то последо-
вательность векторов Го, • • , rn—i является С-псевдоортогональиой.
28.6. В «-мерном пространстве С-псевдоортогопальная система
пе может содержать более п ненулевых векторов.
28.7. В условиях 28.1 — 28.5 па некотором шаге процесса вы-
числения векторов Xi одна нз невязок r„ i < п, станет нулевой и
будет получено точное решение системы Ах — Ъ.
28.8. Для коэффициентов а, справедливы формулы
(CABs., Г;_а) (CABSeSiy
В общем случае коэффициенты ,-+1 определяются как решение
некоторой системы линейных алгебраических уравнений с тре-
угольной матрицей. Эта система строится из условий СЛ2?-орто-
гопальности вектора s,+ , слева к векторам s1, ..., s,-.
28.9. В условиях и обозначениях 28.2—28.5 последовательно-
сти ..., s„ и Го, • • гп_, с точностью до нормировок векторов
являются результатами выполнения процессов соответственно
САВ- н С-псевдоортогонализации одной и той же степенной пос-
ледовательности Го, АВгй, (АВУгй, ...
28.10. Начальный вектор Хо,' обеспечивающий выполнение ус-
ловий (CABsi, 5,)=/= 0, (Сг„ г,)/=0 при всех i таких, что г( /= 0, на-
S 281
МЕТОДЫ СОПРЯЖЕННЫХ НАПРАВЛЕНИЙ
203
зывается подходящим. Подходящие начальные векторы, и только
они, дают возможность найти решение системы.
28.11. Для того чтобы любой вектор х0 был подходящим, не-
обходимо и достаточно, чтобы квадратичные формы (САВх, х) и
(Сх, х) не имели ненулевых изотропных векторов.
28.12. Для того чтобы любой вектор х0 был подходящим, до-
статочно, чтобы матрицы С АВ и С были строго зпакоопределеп-
пыми.
28.13. Для того чтобы вектор x0 был подходящим, необходи-
мо и достаточно, чтобы в матрицах Грама степенной последо-
вательности г0, ЛВг0, (ЛВ)2г0, ..., составленных по отношению
к билинейным формам (САВх, у) и (Сх, у), все ненулевые веду-
щие миноры были первыми, а пулевые — последними.
28.14. При невырожденных матрицах А, В, С для обеих мат-
риц Грама из 28.13 число ненулевых ведущих миноров одинаково
и на единицу меньше степени минимального аннулирующего век-
тор г0 многочлена для матрицы АВ.
28.15. Если вектор является подходящим и минимальный
аннулирующий вектор г0 многочлен для матрицы АВ имеет сте-
пень р, то решение системы будет найдено на р-м шаге, и ле
раньше.
Описанный процесс вполне пригоден для нахождения решения системы
линейных алгебраических уравнений Ах = Ь. В качестве начального векто-
ра х0 может быть взят почти любой вектор, причем утверждение 28.15
указывает принцип его выбора с целью получения решения за меньшее чис-
ло шагов. В этом процессе, по сущее гву. не накладывается никаких ограВИ-
чеиий па матрицу системы, кроме ее невырожденности. З'ём не менее обра-
тим внимание на следующее обстоятельство.
Если матрицы II. С никак пе связаны с матрицей А, то почти для всех
векторов хо все коэффициенты , + 1 из 28.4 будут отличны от пуля. Это
означает, что для реализации процесса необходимо хранить все векторы
si, ..., sn и иметь к ним оперативный доступ. Однако утверждение 23.22 по-
казывает, что, по-видимому, при некоторых соотношениях между матрица-
ми А, В. С можно надеяться на более простой вид рекуррентного соотно-
шения 28.4 для векторов Si + i.
28.16. Пусть матрицы А, В, С — невырожденные и удовлетво-
ряют уравнению
t
(САВС~1)* = а; (АВ)1
in
при некотором О 0. Тогда для коэффициентов ,+, из 28.4 вы-
полняются соотношения ,+ 1 =0 при k^i — t для любого подхо-
дящего начального вектора ха,
28.17. Пусть для всех подходящих начальных векторов Хо вы-
полняются соотношения ,+ i = 0 при — где О 0, и хотя
бы для одного начального приближения процесс 28.1—28.5 закап-
чивается точно па w-м шаге. Предположим, что матрицы Л, В, С
невырожденные и п > 2t + 3. Тогда матрицы А, В, С удовлетво-
ряют уравнению 28.16.
204
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
Если матрицы А, В, С связаны соотношением 28.16, то процесс 28.1—
28.5 становится проще в части вычисления векторов s,, sn. Наиболее
простым и содержательным он оказывается при t = 1.
28.18. Пусть решается система линейных алгебраических урав-
нений Ах = Ь. Предположим, что матрицы А, В, С невырожден-
ные порядка п и связаны между собой соотношением
(САВС-'У* = а0£ + а,ЛВ
для некоторых чисел а0, «ь Возьмем любой подходящий началь-
ный вектор х0 и будем осуществлять процесс по следующему
предписанию:
s, = г0 = Ах„ — b, s.+, = г, + biSj,
г, = Г;_, + diABSi, х( = Xi-, + ctiBsi,
где
(Cr._r Г.-,) _ (Cr._lt ________
(CABsv (CABs^) (CABs^) ’
K (CABr^) _ - (CritABSi)
Oi~ (CABSi,Si) ai (CABs., Siy
Тогда при некотором i n будем иметь = 0, и, следовательно,
x.i будет решением системы Ах = Ь. Вычислительные процессы
этого типа называются методами сопряженных направлений.
'28.19. Векторы из 28.18 связаны трехчленными'соотноше-
пиямп. Именно, в обозначениях 28.18
si + l = UiABSi + (1 + bi) Si — I > 1,
(Ь d • I « \ bid; 1 «
1H---——jn — ri-i, i>l.
28.20 . Векторы х, из 28.18 связаны между собой соотношением
Х,+1 = .r.-j + (О;+1(р,ВГ; + Xi — Xi-,),
где (Oi+,, Pi—соответствующим образом выбранные числа.
28.21 . Если в соотношении 28.18, связывающем матрицы А, В,
С, матрица АВ имеет хотя бы два различных собственных значе-
ния, то la,I = 1.
28.22 . Пусть матрица АВ имеет простую структуру. Если в
разложении вектора г0 по собственным векторам матрицы АВ не-
нулевые составляющие соответствуют тп попарно различным "соб-
ственным значениям, то невязка rm в методе сопряженных на-
правлений окажется равной пулю, а вектор хт будет решением
системы.'
28.23 , Матрица АВ при переходе к базису из векторов ...
,.sn или г0, ..., Гп-, становится трехдиагональной.
§ 28|
МЕТОДЫ СОПРЯЖЕННЫХ НАПРАВЛЕНИЙ
205
28.24 . Если матрицы С АВ и С эрмитовы, то
д1=(Сг,-, Pi-]).
28.25 . Если матрицы СЛВ и С эрмитовы и положительно оп-
ределенные, то я, < 0, Ь, > 0 для всех I.
Для последовательностей векторов, участвующих в реализации методов
сопряженных направлений, выполняются многочисленные условия ортого-
нальности в отношении билинейных форм (Сх. у) и (САВх. у). Эти условия
могут быть указаны видом матриц билинейных форм в различных базисах.
28.26 . Матрица А называется правой (левой) почти треуголь-
ной или матрицей Хессенберга, если для ее элементов а„ выпол-
няются соотношения
а:, = 0, г>/ + 1 (/> г+ 1).
28.27 . Матрица билинейной формы (САВх, у) является:
— правой треугольной в базисе st, ..., sn;
— правой почти треугольной в базисе г0, . • •, г„_,;
— правой треугольной в базисах ..., sn и г0, .. ., г„_,.
28.28 . Если матрица САВ эрмитова, то матрица билинейной
формы (САВх, у) является:
— диагональной в базисе .., sr,;
— трехдиагопальпой эрмитовой в базисе г0, ..., г„-,;
— диагональной в базисах . ., sn и г0, . . ., г„-,.
28.29 . Матрица билинейной формы (Сх, у) является:
— правой треугольной в базисе г0, ..., rn-t;
— правой треугольной в базисах г0, .. ., rn-i и st, ..., s„;
— правой треугольной в базисах ABst, ..ABs„ и .., s„;
— правой почти треугольной в базисах АВг0, ..АВг,., и
7 0, • • •? ^п— 1*
28.30 . Если матрица С эрмитова, то матрица билинейной фор-
мы (Сх, у) является:
— диагональной в базисе ги, ..., r„-i;
— диагональной в базисах г0, .. ., г„_] и . ., s„;
— правой двухдиагоиальпой в базисах ABst, ..., ABsn и
— трехдиагопальной в базисах АВгц, ..., ЛВг„_, и г0, ..., г„_,.
До сих пор построение и анализ методов сопряженных направлений
осувсествлялись только па основе идей, связанных с использованием после-
довательностей, ортогональных в специальной метрике. Однако, как отмеча-
лось в 15.18—15.26, имеется очень тесная связь между такими последова-
тельностями и процессом минимизации квадратичного функционала.
28.31 . Если матрица САВ эрмитова и положительно опреде-
ленная, то на каждом шаге метода сопряженных направлений ми-
нимизируется функционал ошибок
ф(х) = ((В~')*САх, х) - 2Re((5-*)*C6, х).
28.32 . В условиях 28.31 вектор из 28.18 при любом подхо-
дящем векторе х0 дает минимум функционала ф(х) среди всех
206
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
векторов вида х = х0 + Bs, где s принадлежит линейной оболочке
векторов Si, .... Si или, что то же самое, векторов г«, АВга, ...
..., (АВ)’-‘го.
28.33 . В условиях 28.31 функционал ^(х) достигает глобально-
го минимума на решении системы Ах = Ъ.
Несмотря на то, что уже исследованы многие свойства методов сопря-
женных направлений, не было ничего сказано о том, насколько содержа-
тельным является класс матриц А, В, С, связанных соотношением 28.18.
28.34 . Соотношению 28.18 удовлетворяют, например, невырож-
денные матрицы А, В, С с такими свойствами:
— матрицы А, В, С эрмитовы, при этом В = С\
— матрицы С АВ, С эрмитовы;
— матрица С перестановочна с матрицей АВ, матрица АВ
нормальная, и ее спектр лежит на прямой линии;
— матрицы 2(А + А*)-1, В и С совпадают;
— матрицы 2(А — А*)-1, В, С совпадают.
Существует очень много эквивалентных форм методов сопряженных на-
правлений. В основе построения любого из них лежит либо минимизация
функционала ошибок, либо ортогонализация степенной последовательно-
сти. Первый принцип характерен для методов, возникающих как средство
решения задач математической физики, второй — для методов решения об-
щих задач. В конкретных методах оба принципа нередко в значительной
мере смешиваются. Однако можно показать, что любой метод сопряженных
направлений, основаиный па минимизации функционала ошибок, в мате-
матическом отношении эквивалентен ортогонализации степенной последо-
вательности в подходящим образом выбранной метрике. В конечном счете
любой из вариантов метода сопряженных направлений эквивалентен 28.18.
Мы рассмотрим здесь только основные варианты.
28.35 . {Метод сопряженных градиентов.) В этом методе матри-
ца А эрмитова положительно определенная, В = С = Е, условие
28.18 выполняется при а0 = 0, а, = 1. Положительная определен-
ность матриц С АВ = А и С = Е гарантирует отсутствие вырожде-
ний в вычислительном процессе. На каждом шаге минимизирует-
ся функционал ошибок с матрицей А. Вычислительная схема ме-
тода имеет вид
s( = г0,
г( = + я(А$(,
s,+ 1 = fi + bjSi,
Xi = Xi-t + OiSi,
-V<°.
(Asi’ si)
(rv4) (’-p’-j) n
('i-r '•i-O
В методе сопряженных градиентов векторы rt образуют ортого-
нальную систему, s, — А-ортогональную.
28.36 . (Метод А А*-минимальных итераций.) В этом методе
матрица А — произвольная невырожденная, В = А*, С = Е, уело-
5 28]
МЕТОДЫ СОПРЯЖЕННЫХ НАПРАВЛЕНИЙ
207
вне 28.18 выполняется при ао = О, а, = 1. Положительная опреде-
ленность матриц САВ = АА* и С = Е гарантирует отсутствие вы-
рождений в вычислительном процессе. На каждом шаге метода
минимизируется функционал ошибок с матрицей Е, т. е. квадрат
евклидовой нормы самой ошибки. Вычислительная схема метода
имеет вид
н, = А*г0,
г, = г,—, + (iiAiii,
и^, = A*rt + b/Ui,
Xi = Xf_, + л,н(,
где
В методе АА*-мипимальных итераций векторы A*rf и Aut образу-
ют ортогональные системы.
28.37 . {Метод А*А-минималъных итераций.) В этом методе
матрица А — произвольная невырожденная, В = А*, С = АА*, ус-
ловие 28.18 выполняется при а0 = 0, а, = 1. Положительная опре-
деленность матриц САВ = {АА*)г п С = АА* гарантирует отсут-
ствие вырождений в вычислительном процессе. На каждом шаге
метода минимизируется функционал ошибок с матрицей А*А,
т. е. квадрат евклидовой нормы вектора невязки. Вычислительная
схема метода имеет вид
н1 = А*г0,
г, = fi-i + а, А и,-,
u,+i = А*г( + bjUj,
х, = Х,-] + од,
где
а.
(4*грЛ*г.)
(Аи,,Аи{) (Л*г._г4*г._1)^и-
В методе А*А-минимальиых итераций векторы А*г; и Aut образу-
ют ортогональные системы.
28.38 . {Метод эрмитова разложения.) В этом методе матрица
А — произвольная невырожденная. Представим ее согласно 10.62
в виде суммы А = + /V, где М = М*, N = — N*. В случае не-
вырожденности матрицы М или N положим соответственно В =
= С = М~' или B = C = N~'. Условие 28.18 выполняется при
ап = 2, at = — 1. Если матрица М или IN является положительно
определенной, процесс протекает без вырождения. Для В = С =
208
ЧИСЛЕННЫЕ МЕТОДЫ .
[гл. г
— М 1 вычислительная схема метода имеет вид
Ми, = г0,
г, = , + а,Аи,,
Mvt=ri, .
ut+i = Vi + bjUj,
х, = x-,_t + а,1ц,
где
_ _ AUil' h. = C'r Ли0
1 (4ь.,н,)’ ’ {Аиг11{у
Если В — С = N~l, то вычислительная схема и формулы для ко-
эффициентов я„ bt остаются такими же, кроме замены, конечно»
М на N. В случае вещественной матрицы А нельзя брать В = С =
= N~l, так как {Ст, г) = 0, и для данного набора матриц А, В, С
пе существует ни одного подходящего начального вектора. Одна-
ко можно взять B = C=iN~l и перейти к комплексным вы-
числениям.
28.39. (Метод неполного разложения.) В этом методе матри-
ца А эрмитова п положительно определенная. Представим ее в
виде А = М + N, где М = М*, N = N*. Если М невырожденная, то
положим В = С = Условие 28.18 выполняется при а0 = 0»
cti = 1. Если матрица М положительно определенная, процесс
протекает без вырождения. На каждом шаге метода минимизиру-
ется функционал ошибок с матрицей А. Вычислительная схема
метода остается такой же, как в случае метода эрмитова разло-
жения.
Как мы уже отмечали, методы сопряженных направлений позволяют
определять решение особенно быстро, если матрица АВ имеет простую
структуру и мало попарно различных собственных значений. На использо-
вании этой особенности построены различные приемы ускорения процесса
решения системы А.т = Ь, в основе которых лежит следующая идея.
Предположим, что матрицу А можно представить в виде суммы А =
— М + N, тр,е матрица М определяет «главную» часть матрицы А и при
этом возможно простое решепие системы с матрицей М. Теперь вместо си-
стемы Ах = Ь будем решать систему (Е + A'Jf-*)p = Ь, где Мх = у. Если
в каком-либо разумном смысле матрица М близка к матрице А, то боль-
шинство собственных значений матрицы N и, следовательно, матрицы NM~l
будут близки к нулю или равны нулю. Применение методов сопряженных
направлений к новому уравнению в данном случае приводит к быстрому
нахождению решения. Именно эта идея лежит в основе создания метода
неполного разложения, который во многих случаях оказывается более эф-
фективным, чем метод сопряженных градиентов в классическом варианте.
Все зависит от того, насколько удачно осуществлено разложение мат-
рицы А.
Методы сопряженных направлений являются не единственными мето-
дами решения системы линейных алгебраических уравнений Ах = 6, ос-
нованными на использовании билинейных форм. Огромные возможности
для создания методов дает построение систем векторов, двойственных или
псевдодвойствепных по отношению к некоторой билинейной форме, свя-
занной с матрицей системы.
§ 281
МЕТОДЫ СОПРЯЖЕННЫХ НАПРАВЛЕНИЙ
209
28.40. Пусть задана невырожденная матрица А порядка п.
Предположим, что для нее каким-либо способом построены
Л-псевдодвойствепные с точностью до нормировки системы векто-
ров Ui, ..., Ип и К], ..., vn, т. е.
(Аи{, к,) ¥= 0, (Au-i, vk) = 0, к < i,
при всех Пусть задан произвольный вектор х0. Для любого
вектора х существует единственное представление вида '
п 1
х = а:0 + У ajUj. '
3=1 I
28.41. Обозначим в соответствии с 28.40 <
i
Zi = ^0 + 2 ajuj-
3=1
Тогда для векторов х{ и невязок т\ = Л;г,— b системы Ах=Ь име-
ют место следующие рекуррентные соотношения:
x,i = Xi-t + aiUt, г,- = г,-! + atAui.
28.42. В условиях и обозначениях 28.40, 28.41 справедливы
равенства (r;, vk) = 0 при к sg i, причем для всех i
— — (O-i, Vi)/(Aui, v^.
28.43. В условиях 28.40 — 28.42 невязка тп ортогональна п ли-
нейно независимым векторам щ, ..., vn. Поэтому одна из невязок
r(, I п, станет нулевой и будет получено точное решение си-
стемы Ах = Ь. Вычислительные процессы типа 28.41 — 28.43 на-
зываются методами двойственных направлений.
Число различных двойственных методов бесконечно в полном смысле
этого слова, так как существует бесконечное число различных Л-псевдо-
двойственных нар систем векторов. Рассмотренные методы сопряженных
направлений, очевидно, входят в эту группу. Для методов двойственных на-
правлений не существует в общем случае какого-либо аналога утверждения
28.31 даже при положительно определенной матрице Л. Поведение оши-
бок ек = х — хк в этих методах характеризуется лишь слабыми, но все же
полезными следующими свойствами.
28.44. Пусть Рк — матрица проектирования на линейную обо-
лочку векторов И], ..., ик параллельно линейной оболочке векто-
ров ик+1, ..., ип. Тогда ек = (.Е — Рк)е0.
28.45. В методах двойственных направлений последователь-
ные ошибки связаны друг с другом соотношением ек = (Е — Sk)ek_it
где Sk= (Аик, vk)-l(ukvhA).
28.46. Матрицы Sk из 28.45 удовлетворяют равенствам
Si(E-Sk)(E-Sk_i)...(E-Sl) = 0, i<k.
14 в. В. Воеводин, Ю. А. Кузнецов
28.47. Матрицы проектирования Рк из 28.44 и матрицы S„ из
28.45 связаны между собой соотношением
Ph = (Е - S„HE - Sk_,)... (Е - 5,).
Интересные результаты, связанные с Л-нсевдодвойствеииыми система-
ми, можно получить, рассматривая матричную трактовку описанных
методов.
28.48. Обозначим через U (V)- матрицу, столбцами которой
являются векторы и,, ..ип (щ, ,.., ип). Тот факт, что эти век-
торы являются А-псевдодвойственпыми, т. е. удовлетворяют со-
отношениям 28.40, означает, что матрица С = V*A U является не-
вырожденной левой треугольной.
28.49. В соответствии с 28.48 любая пара А-псевдодвонствеп-
лых снстем векторов определяет разложение матрицы А на мно-
жители А = (1/_')*ЕЕ-1, среди которых матрица С — невырожден-
ная левая треугольная.
28.50. Если каким-либо способом получено разложение А =
= QCR матрицы А па невырожденные множители, причем матри-
ца С — левая треугольная, то это разложение определяет пару
А-псевдодвойствеипых систем векторов. В обозначениях 28.48
имеем U = R"\ V = (<2-1)*.
Большинство рассмотренных ранее численных методов решения систем
линейных алгебраических уравнений основано'на получении разложения
матрицы системы на множители, среди которых обязательно есть либо ле-
вый, либо правый треугольный множитель. Поэтому существует очень тес-
ная связь между разложением матрицы на множители, решением систем
прямыми методами и построением А- и /Г-нсевдодвойствениых систем век-
торов. Заметим, что zl'-псевдодвойствеипая система получается из Л-псевдо-
двонственпой системы, и наоборот, с помощью всего лишь перестановки
векторов в обратном порядке.
28.51. Прямые методы решения системы линейных алгебраи-
ческих уравнений Ах = Ь, основанные па разложении матрицы па-
мпожители, являются методами построения А-псендодвойствеп-
пых систем векторов, и наоборот. Несмотря иа разнообразие кон-
кретных форм самих методов, все они могут быть исследованы
с общих позиций на основе утверждения 28.44.
Основная трудность, связанная с практической реализацией описанных
методов, вызвана их значительной неустойчивостью к ошибкам округления
результатов промежуточных вычислений.
В общем случае явление неустойчивости в методах двойственных на-
правлений вЫражепо слабее, чем в методах- сопряженных направлений.
Объясняется это, в основном, тем, что двойственные системы векторов стро-
ятся почти независимо и, что более важно, строятся па основе использова-
ния всех предварительно построенных векторов, а не только последних из
них, как в методах сопряя«енпых направлений. Этот вывод вполне согласу-
ется с относительно хорошей устойчивостью всех прямых методов решения
систем, основанных па предварительном разложении матрицы па
множители.
Неустойчивость к ошибкам округления в методах сопряженных на-
правлений, как правило, оказывается достаточно большой, и вызвана она
т.емп же причинами, которые порождают неортогональность реально вычи-
S 29]
ДРУГИЕ МЕТОДЫ
21f
еденных векторов в процессе ортогонализации Грама — Шмидта. К сожале-
нию, в этих методах нельзя ориентироваться на использование переорто-
гоцализации всей системы векторов, так как это приведет к потере основ-
ных преимуществ методов сопряженных направлений, касающихся скоро-
сти и объема памяти.
Несмотря на неустойчивость, методы сопряженных направлений исклю-
чительно активно применяются при решении самых различных задач. Осо-
бенно часто они применяются при решении очень больших систем с силь-
но разреженными матрицами. Такие системы практически невозможно
решать прямыми методами, основанными на разложении матрицы на множи-
тели, так как при этом разрушается структура матрицы. Разрушение струк-
туры разреженной матрицы приводит, в свою очередь, к резкому увеличе-
нию объема вычислений п требуемой памяти. В методах сопряженных на-
правлений основной операцией является умножение матрицы па вектор.
При этом, конечно, могут быть эффективно учтены структуры всех исполь-
зуемых в процессе вычислений матриц.
Исследованию устойчивости н влияния ошибок округления в методах
сопряженных направлений уделяется очень много внимания. Тем не менее
в настоящее время нельзя утверждать, что решение данной проблемы су-
щественно продвинулось вперед. Однако придуманы различные приемы,
позволяющие в той или иной мере уменьшить и даже почти совсем исклю-
чить влияние ошибок округления в этих методах. Опишем один из таких
приемов.
28.52. Пусть решается система линейных алгебраических урав-
нений Ах = Ь одним из методов сопряженных направлений. Вы-
берем некоторое число 0<а«1 и предположим, что имеется
вектор Хо, который берется в качестве приближения к решении»
системы. Для получения лучшего приближения поступаем сле-
дующим образом:
— вычисляем невязку г0 = Ъ — Ах0 в режиме накопления;
— вычисляем нормированную невязку г0;
— для системы ЛА =г0 с помощью выбранного метода прово-
дим процесс до тех пор, пока норма невязки не станет меньше
allrell;
— вычисляем поправку к х0, умножая найденное приближе-
ние к решению системы ЛД = г„ на нормирующий множитель;
— прибавляем вычисленную поправку к х6;
— повторяем процесс до тех нор, пока не получится решение
с заданной точностью.
. Вообще говоря, число а нельзя брать не очень малым, так как придется
часто прибегать к использованию режима накоплеиия. Нельзя его брать и
очень малым, так как из-за влияния ошибок округления можно не достичь
нужного уровня уменьшения невязки. Из опытных расчетов известно, что
хорошие результаты дает число а в пределах р~‘/3 я р~'1/е. При этом
общее время решения системы почти не зависит от я, а само решение мож-
но найти с относительной ошибкой существенно меньшей, чем р~‘.
§ 29. Другие методы
Рассмотренными методами, конечно, не ограничивается все многообразие
приемов, связанных с разложением матрицы* на множители и с решением
систем линейных алгебраических уравнений. Желание эффективнее решить
14*
.uwibl-WJUl пьтиды
[гл. а
задачу приводит к необходимости более полно учитывать ее специфику,
что, в свою очередь, порождает новые модификации методов. Мы опишем
здесь кратко основные идеи построения некоторых других методов, доволь-
но часто применяемых на практике и относящихся в основном к решению
систем и обращению матриц. Все эти методы обладают какими-нибудь до-
стоинствами (и недостатками тоже) по сравнению с ранее рассмотренными.
29.1, Пусть матрица А порядка п системы Ах = Ь — невырож-
денная и имеет ненулевые ведущие миноры. Разделим все коэф-
фициенты первого уравнения на элемент, стоящий в позиции
(1.1). Это дает эквивалентную систему Л,х = Ь1, у которой мат-
рица в позиции (1.1) имеет 1 и все уравнения, начиная со второго,
остаются неизменными. Пусть для к > 2 мы построим эквивалент-
ную систему Ak_lx = bk-i, у которой матрица ведущего минора
порядка к — 1 является единичной и все уравнения, начиная с
А’-го, остаются неизменными. Переход от системы Ah-lx = bk-i
к системе Акх = Ьк состоит из следующих этапов:
— для l^s=gfc — 1 умножим «-е уравнение на элемент в по-
зиции (к, s) и вычтем его из fc-ro уравнения; после выполнения
этого этапа все поддиагональные элементы в k-й строке матрицы
будут нулевыми;
— разделим fc-e уравнение па диагональный элемент; после
выполнения этого этапа сохраняются все нулевые элементы fc-ii
строки матрицы и ее диагональный элемент равен 1;
— для 1'^ s^fc —1 умножим к-е уравнение на элемент в по-
зиции (s, к) и вычтем из s-ro уравнения; после выполнения этого
этапа матрица ведущего минора порядка к является единичной
и все уравнения, начиная с к + 1-го, остаются неизменными.
Вектор Ьп является решением системы Ах = Ъ. Описанный
процесс его нахождения называется методом оптимального ис-
ключения.
Изложенный вариант метода исключения по своей математической
структуре близок к методу Гаусса. Однако по сравнению с ним метод оп-
тимального исключения позволяет более эффективно использовать память
машины. Как видно из самого процесса, после реализации fc-ro шага по-
следние п — к уравнений исходной системы остаются без изменения. Поэ-
тому нет никакой необходимости держать их в памяти ЭВМ до тех пор, по-
ка они не потребуются. Будем вводить в память ЭВМ коэффициенты
уравнений не все сразу, а последовательно, по одной строке перед каж-
дым шагом. Тогда легко показать, что для решения системы n-го порядка
достаточно иметь память порядка п2/4 слов. Это означает, что при одной и
той же памяти ЭВМ метод оптимального исключения позволяет решать си-
стемы вдвое большего порядка, чем метод Гаусса.
Интересно отметить, что для своей реализации метод оптимального ис-
ключения требует выполнения такого же числа операций, как и метод Га-
усса. Почти одинаково ведут себя оба метода и с точки зрения устойчиво-
сти к ошибкам округлепия. В методе оптимального исключения достаточно
просто организовать выбор ведущего элемента по строке. При этом общая
схема метода сохраняется, меняется лишь порядок исключения неизвестных.
Пожалуй, единственным серьезным недостатком метода оптимального
исключения по сравнению с методом Гаусса является то, что он не позво-
ляет решать системы с многими правыми частями, так как пельзя запом-
нить все преобразования с матрицей системы в памяти объемом п2/4. Если
§ 29]
ДРУГИЕ МЕТОДЫ
213
?кс для реализация метода отводится достаточно большой объем памяти, то
этот недостаток устраняется, по пропадает и основное преимущество.
29.2. Пусть А — невырожденная матрица. Обозначим Ао = А,
В,,=<Е п построим последовательности матриц
Ак= LkAk-i, Bk — LkBk-i, /с 2s 1,
для некоторых невырожденных матриц Ьк. Если Ак = Е, то Вк =
= л-‘.
На формулах 29.2 построен одни нз самых эффективных методов вычи-
сления обратной матрицы. Ясно, что последовательности матриц Ак и Вк
преобразуются одинаково. Будем выбирать Lk так, чтобы в матрицах Ак
появлялось все больше и больше нулевых элементов, и будем размещать
па-их месте ненулевые элементы матрицы В. Тогда на каждом шаге, нани-
мая с матрицы А, придется преобразовывать некоторую «сводную» мат-
рицу С\, содержащую Ак и Вк. В конце процесса получим на месте мат-
рицы А матрицу Л-’.
29.3. Пусть Lh — элементарная пеунитарпая матрица вида
22.53, в которой в качестве вектора Ъ взят координатный вектор
А. Тогда матрица Lh отличается от единичной не более чем эле-
ментами fc-го столбца.
29.4. Для матрицы Lk из 29.3 матрица LL 1 отличается от еди-
ничной пе более чем элементами /с-го столбца. . .
29.5. Пусть Lk — матрицы вида 29.3. Тогда в матрице Ьк... Т1
только первые к столбцов могут отличаться от столбцов единич-
ной матрицы.
29.6. Пусть 1щ, • • •, Ен и Z^1' — элементы /с-х столб-
цов матриц Lh и ’. Если то
'/(-о = / ==/£’
г1‘ [—1^к.
29.7. Пусть задан вектор z с координатами z,, ..., z„. Если
#= 0, то существует матрица Lh такая, что -Lkz = ек\ при этом
ll/zlt, 1 = к,
li,! ~ (- 2)/2;„ 1^к.
. 29.8. Пусть невырожденная матрица А порядка п имеет не-
нулевые ведущие миноры. Положим С0=А, и пусть построе-
на матрица Ск_у, к > 1, Переход от <7^-, к Ск состоит из следую-
щих этапов:
— по элементам к-т столбца матрицы Ck-i вычисляются со-
гласно 29.7 элементы /с-го столбца матрицы Lk,
— к-ii столбец матрицы C,.-i заменяется столбцом единичной
матрицы;
— полученная матрица умножается слева на матрицу Ък.
Матрица С„ есть А~'. Описанный процесс ее нахождения назы-
вается методом Жордана.
ZV4
ЧИСЛЕННЫЕ МЕТОДЫ
[гл г
Для реализации описанной схемы необходимо отличие от нуля веду-
щих миноров. Если этот факт не известен заранее, то целесообразно при*
менить схему с каким-либо выбором ведущего элемента. Нужный элемент
выбирается как достаточно большой из последних п — й 4- 1 строк и столб-
цов матрицы Ck-i и с помощью перестановки ее строк и столбцов помеща-
ется на место fc-го диагонального элемента. Чтобы получить матрицу А-1,
необходимо выполнить в Сп все обратные перестановки. Метод Жордапа
может применяться для разложения матрицы на множители и решения си-
стем. В целом он обладает такой же степенью устойчивости, как и метод
Гаусса, но в три раза более трудоемкий.
29.9. Пусть А — невырожденная матрица порядка п, U, V' —
прямоугольные матрицы размеров п X т. Тогда
(Л + UV)~l = А-‘ — A~'U(E + VA-’C/)-1 УЛ-1,
если существуют все выписанные обратные матрицы. Матрица в
левой части равенства называется модифицированной.
29.10. Пусть Л»-! — произвольная невырожденная матрица.
Рассмотрим окаймленную матрицу
где uh — вектор-столбец, vk — вектор-строка, ак — число. Если мат-
рица Ак невырожденная, то
где Ра = ак — vkAklTuk.
29.11. Если матрица Лй_j в 29.10 эрмитова, ик—ик и ак — ве-
щественное число, то матрица Ak также эрмитова.
29.12. Пусть невырожденная матрица А порядка п имеет не-
нулевые ведущие миноры. Обратная матрица ведущего минора
первого порядка имеет единственный элемент, равный обратной
величине элемента в позиции (1.1). Предположим, что для к 2
вычислена обратная матрица A^-j ведущего минора порядка к — 1.
Переход от к — 1-го шага к fc-му состоит в вычислении матрицы
Ак в соответствии с 29.10. Матрица Ап есть А-1. Описанный про-
цесс ее нахождения называется методом окаймления.
В случае произвольной матрицы А.метод окаймления обладает пример-
но такими же характеристиками, как и метод Жордана. Если же матрица А
- эрмитова, то он оказывается вдвое эффективнее по объему вычислений и
требуемой памяти, так как можно ограничиться нахождением лпшь поло-
вины всех элементов А'1. Метод окаймления позволяет эффективно обра-
щать треугольные матрицы.
29.13. Пусть А—невырожденная эрмитова матрица и для
нее известно разложение А = LDL*, где D — эрмитова, a L — ле-
§ 29]
ДРУГИЕ МЕТОДЫ
вая треугольная с единичными диагональными элементами. Рас-
смотрим эрмитову окаймленную матрицу В порядка п + т:
В = ГЛ Ч
[Е* Z]'
Имеет место блочное разложение
Г£ 0] ГР 0] ГЕ* VI
В = [у* Е] [о (?][о е]’
где V = (LD)-‘U, Q=Z — V*DV.
29.14. Пусть A — произвольная невырожденная эрмитова мат-
рица. Если наибольший по модулю ее диагональный элемент не
равен пулю, то одноименной перестановкой строк и столбцов пе-
реставляем его в позицию (1.1). Предположим, что он равен пу-
лю. Тогда существуют ненулевые внедиагональные элементы и
любой из них одноименной перестановкой строк и столбцов мож-
но переставить в позицию (2.1). Следовательно, всегда можно до-
биться того, что матрица ведущего минора 1-го или 2-го порядка
будет невырожденной. Пусть для матрицы ведущего минора
порядка к 1 известно разложение Ak = где матрица
Dh эрмитова блочно диагональная, с блоками 1-го или 2-го поряд-
ка. Переход к следующему шагу состоит в одноименной переста-
новке последних строк и столбцов с целью добиться невырожден-
ности матрицы Q первого или второго порядка из 29.13 и вычис-
ления согласно 29.13 компонент треугольного разложения окайм-
ленной матрицы. Этот способ получения разложения эрмитовой
матрицы на множители называется блочным методом квадратного
корня и осуществляет разложение 11.20, 11.21.
Описанный метод Требует для своей реализации примерно таких жо
затрат по памяти и числу арифметических операций, как обычный метод
квадратного корпя. Что ate касается устойчивости, то в этом отношении он
сравним с методом Гаусса с перестановками.
29.15. Пусть А — теплицева матрица с комплексными или ве-
щественными элементами:
Обозначим через щ, vk соответственно первый и последний столб-
цы обратной матрицы А^1 ведущего минора порядка k + 1.
Пусть они имеют вид .
А.
Z10
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
Если так же представлены векторы uh~i, vh-t, то
"оЛ-1
“1.Н-1
Ч-1.И-1
О
uo,)i-1
“1.Л-1
"/< — I ,л —ж
о
о
l!0,h-1
vl<-2,k-l
гд&.
Tft — Vk— iCf/i,
б» = — бк-т'к,
o;i = (i — 6Л) ’e^_lt vh = (i — тД)
1 л k
<Pli = S atuU-tx-i, ’!’#< = 2 «-«I’i-l.fc-V
t-k t-1
29.16. Пусть A — теплицева матрица порядка n+ 1 с ненуле-
выми ведущими минорами. В обозначениях 29.15 первый и по-
следний столбцы матрицы Ао 1 совпадают и содержат один эле-
мент н^1. Пусть для к 5s 1 вычислены столбцы Щ-н матрицы
Aa2j. Тогда столбцы uk, vk матрицы Лй 1 определяются согласно
29.15. При А: = п будут вычислены первый и последний столбцы
матрицы А~1 и, следовательно, будут найдены представления
17.17 обратной матрицы А~‘.
1 29.17. Если при реализации процесса 29.16 умножение векто-
ров па 0ft, vh в 29.15 осуществить лишь в конце, то представле-
ния 17.17 обратной матрицы могут быть найдены за 4н2 операций
умножения и сложения.
29.18. Пусть решается система лилейных алгебраических урав-
нений Ах = b с теплицевой матрицей А. Рассмотрим усеченные
системы Akxh = bkt где Ah есть матрица углового минора порядка
к + 1, Ьк — вектор, содержащий первые к + 1 координат вектора
Ь. Если яг0. к, • •., А, к — координаты вектора xh, то в обозначениях
29.15 для,всех к выполняется соотношение
'*о,л
xk-l,h ~
Ч.к -
ah
(vft),
— bh — aiXh-i'b-!.
i-i
§ 291
ДРУГИЕ МЕТОДЫ '!
217
29.19. Если на основе соотношений 29.18 решать систему с
теплицевой матрицей порядка п, то с учетом 29.15 — 29.17 реше-
ние может быть найдено за бн2 операций умножения и сложения.
В случае, когда решается одна система с теплицевой матрицей, алго-
ритм 29.18 является одним из самых эффективных. Если же приходится ре-
шать много систем с одной и той же матрицей, ио с различными правыми
частями, то целесообразно спачдла получить представление 17.17 для об-
ратной матрицы. Умножение матрицы 17.17 на вектор при больших по-
рядках согласно 17.41 можно осуществлять с малыми затратами. Как будет
показано в § 30, этот прием позволяет довольно быстро находить собствен-
ные значения п собственные векторы теплицевых матриц. : .
29.20. Если матрица А является блочпо теплицевой, все бло-:
ки которой являются комплексными или вещественными матри-
цами, то алгоритм 29.15, 29.18 решения системы сохраняется.
11ри этом в формулах 29.15 необходимо число 1 заменить на еди-
ничную матрицу Е соответствующего порядка.
Для матриц, обратных к блочпо теплицевым, в общем случае имеют
место представления 17.6. Для того чтобы получить первую и последнюю
блочные Строки обратной матрицы, нужно применить алгоритм 29.15 к
транспонированной матрице.
29.21. Пусть с теплицевой матрицей А решается регуляризо-
ваппая система (Л*Л +a£)za=^4*5. Рассмотрим систему
вдвое большего порядка. Всегда ха = za.
29.22. Матрица второй системы 29.21 обладает следующими'
свойствами:
— с помощью одноименной перестановки строк и столбцов
опа может быть преобразована в блочпо теплицеву матрицу с
блоками второго порядка;
— при а > 0 все ведущие блочные подматрицы преобразован-
ной матрицы являются невырожденными;
— при малых а минимальные сингулярные числа преобразо-
ванной матрицы п матрицы регулярпзоваппой системы асимпто-
тически совпадают.
Пример теплицевых матриц показывает, что возможен формальный пе-
репое алгоритмов с числовых матриц па блочные. Такой перенос правомо-
чен далеко не всегда. Одпако для многих методов, например, Гаусса. Жор-
дана, квадратных корней, ортогонализации, окаймления, отражения и ряда
других, блочные аналоги построены. Опи с успехом применяются для ре-
шения задач большой размерности.
213
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
§ 30. Прямые и обратные итерации
При изложении методов решения проблемы собственных значений про-
извольной матрицы А порядка п мы будем предполагать, что ее собствен-
ные значения занумерованы в порядке неубывания модулей, т. е.
Р11=--- = |Ч|<|Ч+1
Модуль собственных значений s-й группы будем обозначать через т„
Вычисление собственных значений и собственных векторов матрицы
является одной из самых сложных задач линейной алгебры. Численные ме-
тоды решения проблемы собственных значений должны быть итерационны-
ми но существу, так как в конечном счете они связаны с определением
корней алгебраического многочлена.
В этих методах собственные значения вычисляются как пределы неко-
торых числовых последовательностей, без предварительного определения
коэффициентов характеристического многочлена. Как правило, одновремен-
но находятся и собственные векторы или другие векторы, связанные с ни-
ми нростыми соотношениями. Если же собственные векторы по каким-либо
причинам не находятся в нроцессе отыскания собственных значений, то опи
могут быть легко определены после вычисления собственных значений (с.
помощью описываемых ниже методов).
30.1. Пусть А — произвольная матрица. Возьмем любой вектор
и0 и построим последовательность векторов uh = a.hAuh^l для
к 5s 1 при некоторых ненулевых числах ак. Этот процесс называ-
ется прямыми итерациями вектора ий.
30.2. Для прямых итераций выполняются соотношения
h
= PftA P/i ~ I ! ®Л.
.2=1
Если А =/= 0, то возможны два случая: либо А" =/= 0 при всех к, либо
Лк = 0, начиная с некоторого к. Второй случай означает, что матрица А
нильпотентная, все ее собственные значения равны нулю, а все собствен-
ные векторы являются решениями однородной системы линейных алгебра-
ических уравнений Ах = 0. В дальнейшем будем считать, что матрица А
не является нильпотентной.
30.3. Представим матрицу А в виде А = QA.Q~l, где А—кано-
ническая матрица Жордана, диагональные элементы которой упо-
рядочены по невозрастанию модулей, и пусть D = diag (Хп, ..., А.()—
соответствующая диагональная матрица собственных значений.
Предположим, что максимальный порядок канонического ящика
Жордана матрицы А равен s. Тогда ирп к> s имеет место сле-
дующее представление:
uh =
30.4. Корневое подпространство L матрицы А, соответствую-
щее максимальным по модулю собственным значениям, совпадает
с линейной оболочкой первых rm — rm_, вектор-столбцов матрицы:
Q из 30.3. Корневое подпространство R, соответствующее осталь-
5 30]
ПРЯМЫЕ И ОБРАТНЫЕ ИТЕРАЦИИ
219
иым собственным значениям, совпадает с линейной оболочкой
остальных вектор-столбцов матрицы Q.
30.5. Пусть uh = u(hL> + и-ь^, где и^' ^L, г4я>е R. Если uj,L>^=
0, то 0 при всех к.
30.6. В условиях и обозначениях 30.5 выполняется соотно-
шение
Таким образом, при больших значениях к вектор щ оказывается сколь
угодно близким к корневому подпространству матрицы А, соответствующе-
му максимальным по модулю собственным значениям. Скорость этого при-
ближения заввсит как от степени оторванности старших собственных зна-
чений, так и от соотношения между |)u,lL>||p и ||и!)П>||Е- Предельное пове-
дение вектора ик определяется величиной соответствующих ящиков Жор-
дана матрицы А и арифметическими свойствами совокупности аргументов
максимальных по модулю собственных значений. Это поведение удобнее
изучать па нормированных векторах.
30.7. Для любого вектора ик ¥= 0 существует единственный
вектор щ =/= 0 такой, что:
— евклидова норма вектора vk равна единице;
— векторы и ик коллинеарны, т. е. ик = ^hvk для некоторо-
го числа 7к =^0;
— среди всех максимальных по модулю координат вектора
vk координата с минимальным номером положительна.
30.8. Пусть все максимальные по модулю собственные значе-
ния матрицы А совпадают и ни одно из них не входит в канони-
ческий ящик Жордана выше первого порядка. Тогда со скоростью
30.6 при s=l:
— последовательность нормированных векторов vk сходится
к одному из собственных векторов, соответствующих максималь-
ному по модулю собственному значению;
— последовательность отношений ^ходится к максималь-
ному по модулю собственному -зна-чению.
Положение существенно меняется, если максимальные по модулю соб-
ственные значения совпадают, по входят в жордановы ящики выше перво-
го порядка. Сходимость последовательностей из 30.8 снова будет иметь мес-
то, однако практического значения она уже не имеет, так как скорость схо-
димости оказывается всего лишь порядка к~1. Конечно, предельное соотно-
шение 30.6 сохраняется и в этом случае.
30.9. Пусть все максимальные по модулю собственные значе-
ния матрицы А различаются только знаками и ни одно из пих
пе входит в канонический ящик Жордана выше первого порядка.
Тогда со скоростью 30.6 при s= 1:
— последовательность нормированных векторов vk с четными
номерами сходится к вектору, равному сумме некоторых двух
220
ЧИСЛЕННЫЕ МЕТОДЫ
|ГЛ. г
собственных векторов, соответствующих собственным значениям
с противоположными знаками;
— последовательность нормированных векторов ик с нечетны-
ми номерами сходится к вектору, равному разности тех же соб-
ственных векторов;
— последовательность отношений для четных
и нечетных А сходятся к квадрату максимального по модулю соб-
ственного значения.
30.10. Пусть матрица А имеет два различных, но равных по
модулю максимальных собственных значения. Если отношение
разности аргументов этих собственных значении к числу л есть
иррациональное число, то почти для всех векторов п0 не сходит-
ся никакая подпоследовательность векторов у которой сово-
купность индексов к, образует арифметическую прогрессию.
30.11. Пусть в условиях 30.10 v есть любой нормированный
согласно 30.7 вектор корневого подпространства, соответствующе-
го максимальным по модулю собственным значениям. Для любого
с > 0 найдется такое к, что Нщ — pH < е.
Ситуации, описанные в утверждениях 30.8, 30.9, наиболее просты с точ-
ки зрения организации вычислительного процесса. Они часто встречаются
па практике, например в случае эрмитовой матрицы А. Однако в случае
произвольной матрицы А не менее типичной является ситуация, описанная
в утверждениях 30.10, 30.11. Сложность ее анализа заключается в том, что
предельные точки последовательности векторов равномерно покрыва-
ют некоторую область корневого подпространства, соответствующего мак-
симальным по модулю собственным значениям. Это существенно затруд-
няет выделение информации о спектральных компонентах матрицы А из
последовательности векторов vk.
В некоторых простых ситуациях, когда, например, вещественная матри-
ца имеет изолированную пару максимальных по модулю комплексно со-
пряженных собственных значений, по векторам щ можно определить со-
ответствующие собственные значения и собственные векторы. В болсо
сложных случаях, особенно при наличии жордаповых клеток, их опреде-
ление становится очень громоздким. Во всех ситуациях основой исследо-
вания последовательности векторов vk является представлепие 30.3. Мы
не будем более детально описывать простые итерации, так ка\ определение
любых собственных значений и собственных векторов, как правило, может
быть сведено к случаям, аналогичным 30.8.
30.12. Рассмотрим последовательпость чисел о0, Щ, • сходя-
щуюся к некоторому числу о. Возьмем любой вектор и0 п пост-
роим последовательпость векторов ик = ак(А — ok_iE)uk~i для к > 1
при каких-то ненулевых числах ак. Этот процесс называется пря-
мыми итерациями вектора и0 со сдвигами.
Прямые итерации применяются в основном для определения корневого
базиса, соответствующего максимальным по модулю собственным значе-
ниям. Используя сдвиги, можно несколько увеличить скорость сходимости.
Значительного же ускорения нельзя получить, так как обычно невозможно
с помощью сдвигов сделать достаточно малым отношение тт-|/т,„ в 30.6.
Если же матрица А имеет группу равных по модулю, но различных собст-
венных значений, то с помощью сдвигов можно добиться разделения их
модулей.
§ 30]
ПРЯМЫЕ И ОБРАТНЫЕ ИТЕРАЦИИ
221
Прямые итерации можно использовать и для определения корневых
векторов, соответствующих минимальным по модулю собственным апаче*
пиям, если матрицу А в 30.1 заменить матрицей А~1. Реальный процесс
осуществляется по несколько иной схеме.
, 30.13. Пусть А — произвольная матрица. Возьмем любой век-
тор щ и построим последовательность векторов uh, удовлетворяю-
щих равенствам для к 1 при некоторых ненуле-
вых числах сц,. Этот процесс называется обратными итерациями
вектора и0,-
30.14. Обозначим через S корневое подпространство, соответ-
ствующее минимальным но модулю собственным значениям мат-
рицы А, через Q—корневое подпространство, соответствующее
остальным собственным значениям. Тогда, аналогично 30.5, 30.6,
имеем
30.15. .Рассмотрим последовательность чисел щ, ..., сходя-
щуюся к некоторому числу о. Процесс вида (Л — =
= №-„ называется обратными итерациями вектора н0 со
сдвигами.
С точки зрения скорости сходимости обратные итерации принципиаль-
но отличаются от прямых итераций. Теперь с помощью сдвигов отношение
Тя'тг можно сделать сколь угодно малым и даже нулем, если взять сдвиг,
равный одному из собственных значений матрицы 4. К сожалению, за
ото достоинство приходится платить, так как па каждом шаге обратных
итераций надо решать систему линейных алгебраических уравнения с мат-
рицей А, а не умножать матрицу на вектор, как в прямых итерациях. Од-
нако, как будет показано, в действительности эта плата не так высока.
30.16. Пусть X—собственное значение матрицы А. Предпо-
ложим, что к не входит ни в одну жорданову клетку и расстоя-
ние между к и другими не равными ему собственными значения-
ми равно а. Пусть известно приближенное значение к и IX — XI =
= е < а. Выберем вектор и» п рассмотрим обратные итерации
(Л — kE)uk = алЩ-i. Тогда почти для всех векторов п» со ско-
ростью (e/a)*:
— последовательность нормированных векторов щ сходится
к одному из собственных векторов, соответствующих собственному
значению X;
— последовательность отношений y^h сходится к числу
(к-к)-1
Если е мало по сравнению с а, то скорость сходимости обратных итера-
ций оказывается исключительно большой. Такая ситуация возникает, когда
собственное значение к вычислено каким-то другим способом и необходи-
мо уточнить его, а также определить принадлежащие ему корневые векто-
ры. В этом случае обратные итерации являются одним из самых эффек-
тивных численных методов. Выбирая различным образом начальные векто-
ры ио, можно быстро определить весь корневой базис.
222
‘ШСЛЕННЫЕ МЕТОДЫ
(ГЛ. 2
Реализация обратных итераций с постоянным сдвигом сводится к мно-
гократному решению систем линейных алгебраических уравнений с одной
и той ясе матрицей, но с различными правыми частями. Как уже отмеча-
лось раньше, решение таких систем осуществляется с небольшими времен-
ными затратами. Необходимо один раз разложить матрицу па множители
и использовать данное разложение при решении каждой системы. Если
сдвиг близок к одному из собственных значений, то во избежание перепол-
нений при решении треугольных систем целесообразно использовать про-
цесс 25.3 обратной подстановки с нормировкой.
На первый взгляд кажется, что влияние ошибок округлепия в реаль-
ных вычислениях должно существенно изменить свойства обратных итера-
ций при наличии сдвигов, близких к собственным значениям. Опасения
обычно связываются с тем, что в этом случае системы оказываются плохо
обусловленными и, следовательно, решения содержат большие ошибки. Од-
нако в целом правильные аргументы приводят здесь к неправильному вы-
воду. Если решение системы (А— кЕ)ик = акик-1 содержит большую
ошибку, то вектор ошибок будет в основном принадлежать именно тому
подпространству, которое мы пытаемся определить. Чем больше ошибка
в вычислительном векторе, тем с большей точностью этот вектор принад-
лежит нужному подпространству. Ситуация почти уникальная в числен-
ных методах.
30.17. Пусть собственное значение X из 30.16 определяется с
помощью обратных итераций с переменным сдвигом. Предполо-
жим, что уже найден сдвиг сц-,, и выполним следующие действия:
— решим систему (Л — ok_tE)uk = akuk-i\
— вычислим нормированный вектор vk;
— вычислим следующий сдвиг ofl = O/,_j + у7•
Если ok-t достаточно близко к X, то с квадратичной скоростью
почти для всех векторов и„:
— последовательность нормированных векторов vk сходится
к одному из собственных векторов, соответствующих собственно-
му значению X;
— последовательность ок сходится к X.
При переменных сдвигах па каждом шаге процесса приходится решать
системы с различными матрицами. В этом случае предварительное разложе-
ние матрицы па множители пе дает никаких преимуществ. Если пе пред-
принимать дополнительных мер, то выигрыш во времени, получаемый за
счет- квадратичной сходимости, может быта, значительно меньше, чем про-
игрыш за счет решения систем. Один из путей устранения этого недостат-
ка основан па предварительном преобразовании исходной матрицы к по-
добной ей матрице, имеющей более простой вид.
30.18. Матрица А называется правой (левой) почти треуголь-
ной или правой (левой) матрицей Хессенберга, если для ее эле-
ментов выполняются соотношения
ач = 0, i>/+l (j>i+i).
30.19. Множество одноименных почти треугольных матриц
одного порядка есть линейное пространство.
Почти треугольные матрицы широко используются при решении раз-
личных спектральных задач. Объясняется это тем, что любая матрица уни-
тарно подобна почти треугольной, и это преобразование эффективно реа-
§ 301
ПРЯМЫЕ И ОБРАТНЫЕ ИТЕРАЦИИ
223
лизуется. К тому же, почти треугольная матрица значительно проще рас-
кладывается па множители, чем матрица общего вида, и с матрицами этого
типа легко решаются системы линейных алгебраических уравнений.
30.20. Пусть А — произвольная квадратная матрица порядка
п. Умножим ее слева па матрицы вращения Т2з, T2i, Т2п, вы-
бирая их так, чтобы последовательно исключить все элементы
первого столбца, кроме верхних двух. Умножим, далее, получен-
ную матрицу справа на вычисленные матрицы Т23, T2i, ..., T2nr
при этом пулевые элементы первого столбца остаются пулевыми.
Подберем T3i, Т33, ..., Тзп так, чтобы после умножения слева
па эти матрицы были исключены все поддиагональпые элементы
второго столбца, кроме верхнего, и умножим справа па матрицы
7’:и, Т’зю ..., Тзп. Переходим к исключению элементов третьего
столбца и т. д. Все шаги этого процесса могут быть реализованы,,
и после их выполнения исходная матрица А будет преобразована
в правую треугольную матрицу Лж, унитарно подобную матрице
А. Описанный процесс называется методом вращений для уни-
тарно подобного преобразовании матрицы к почти треугольно-
му виду.
30.21. Процесс 30.20 определяет соотношение Ах = RNARN,
где Rn = (...T33T3i... T2iT23) есть произведение всех участвующих
в процессе матриц вращения.
30.22. Если матрица А эрмитова, то матрица эрмитова
трехдиагональная.
В случае эрмитовой матрицы А в процессе 30.20 возникают некоторые
особенности. Влияние ошибок округления приводит к тому, что матрица
Л,\, вообще говоря, пе будет эрмитовой. Для восстановления эрмитовости
обычно вычисляют половину элементов матрицы, а остальным приписывают
принудительные значения.
Хотя такая процедура несколько изменяет распределение ошибок по
сравнению с «процессами, рассмотренными ранее, общий их уровень оста-
ется малым.
30.23. Пусть An — реально вычисленные матрицы, RN —
точное произведение реально вычисленных матриц Т,,. Если
А^ = R^ (А + М) Rn, то для эквивалентного возмущения Л/ вы-
полняются неравенства
4 А ||Е, если А произвольная,
|| Л/ ||Е ,
(8пр |М1|е, если А симметричная.
Отметим, что процесс 30.20 осуществляется весьма эффективно. Вся
информация о сомножителях может быть размещена на месте матрицы Л.
Что касается трудоемкости, то в случае эрмитовой матрицы опа такая же,
как при получении разложения матрицы па треугольный и унитарный мно-
жители методом вращений; в случае произвольной матрицы она вдвое
больше. Конечно, все выводы остаются в сплр, если исходная матрица при-
водится к левой почти треугольной матрице.
224
ЧИСЛЕННЫЕ МЕТОДЫ
(ГЛ. 2
30:24. Пусть А — правая почти треугольная матрица. Умно-
жим ее слева на матрицы вращения 7\2, Т2з, .T’n-i.n, выбирая
их так, чтобы последовательно исключить все поддиагональные
элементы. Полученная матрица Лк будет правой треугольной.
Если RN = (Рпч, „... TZiTi2), то равенство Лл = 7?кЛ определяет
разложение почти треугольной матрицы на ортогональный и
треугольный множители.
30.25 . Обозначим через Тц, Лл, реально вычисленные матрицы,
через — точное произведение реально вычисленных матриц
Та. Если Ар, —R к(Л + М), то для эквивалентного возмущения М
Процесса 30.24 выполняется неравенство У2ид_‘+111ЛИЕ.
Предварительное преобразование к унитарно подобной почти треуголь-
ной матрице, пр существу, снимает проблему потери времени при использо-
вании обратных итераций с переменными сдвигами. Теперь на каждом шаге
придется решать системы с почти треугольными матрицами.
Особенно‘эффективно описанное преобразование в случае эрмитовой
матрицы. В этом случае и сами обратные итерации приобретают исключи-
тельно важные дополнительные свойства. Именно, оказывается возможным
разработать стратегию сдвигов, обеспечивающую сходимость с кубической
скоростью почти для всех начальных векторов.
30.26 . Для любой эрмитовой матрицы А, любого числа о и лю-
бого вектора и 0 найдется такое собственное значение X мат-
рицы Л, что
30.27 . Среди всех чисел о отношение Релея, вычисленное для
матрицы А и вектора м, минимизирует правую часть неравенства
30.26.
30.28 . Если о есть отношение Релея для матрицы А и вектора
и, г есть вектор невязки Аи — ои, то пара о, и является точным
собственным значением и точным собственным вектором для мат-
рицы А + М, где М = || и ||е2 (иг* + ги*).
30.29 . Матрица М из 30.28 либо нулевая, либо обладает сле-
дующими свойствами:
— эрмитова;
— имеет ранг 2;
— ненулевые собственные значения равны ±HrHE/llullE;
— собственными являются векторы llrllu ± llullr и любой вектор,
ортогональный и и г.
30.30 . Пусть обратные итерации (Л — oh-iE)uk = оцщ-, осущест-
вляются со сдвигами оА_ь равными отношениям Релея векторов
нА-1. В этом случае последовательность нормированных согласно
30.7 векторов vr,, vt, ... называется последовательностью Релея.
30.31 . Обозначим rh = Avh~ohvh. При любом векторе v0 для
невязок векторов последовательности Релея при всех к выполня-
ется неравенство llrJIB НгА-,ПЕ, причем равенство достигается
§ 31)
Qll- И QL-ЛЛГОРИТМЫ
225
тогда н только тогда, когда о,, = 0,,а вектор vk-t— собственный
для матрицы (Л — ок-,Е)\
30.32 . Почти для всех векторов п0 последовательность Релея
сходится асимптотически с кубической скоростью к некоторому
собственному вектору матрицы А.
30.33 . Если vk — реально вычисленные векторы последователь-
ности Релея., то найдется нормированный собственный вектор и
матрицы А, для которого
lim || — v\\t^O(np~t+l || А ||Е).
Мы ничего пе говорим о параметре ак в прямых и обратных итераци-
ях. Во всех алгоритмах он играет чисто служебную роль и появляется ли-
бо как нормирующий множитель вектора ик, либо в процессе решения тре-
угольных систем с помощью обратной подстановки с нормировкой.
§ 31. QR-ii QL -алгоритмы
Прямые и обратные итерации в большей мере приспособлены Для опре-
деления отдельных собственных значений и собственных векторов, чем для
решения спектральной проблемы в целом. Конечно, можно проводить одно-
временные итерации с несколькими векторами и пытаться с помощью та-
кпх процессов выделять необходимую информацию. Собственно говоря,
именно эта идея п лежит в основе рассматриваемых в данном параграфе
методов решения полной проблемы собственных значений. Снова будем
предполагать, что собственные значения матрицы занумерованы в порядке
неубывания их модулей. Для простоты изложения будем всюду считать, чту
матрица А невырожденная.
31.1. Пусть А — произвольная матрица. Построим последова-
тельность унитарных матриц Qk и правых треугольных матриц
Rh по следующим рекуррентным формулам:
• A=Q1Rh А, = R, Q„
a, = q2r>, a2 = r2q2,
Ak-i = QkRk, Ah = RkQk,
Процесс построения по матрице А последовательностей матриц
Qk, Rk называется QR-алгоритмом.
31.2. Матрицы Д,, унитарно подобны матрице Л. Если обозна-
чить Pk = Q,... Qk. то Ак = PhAPh.
31.3. Обозначим Uk = Rk... Rt. Для матриц А* имеет место
разложение А1‘ = Рк[7к. В соответствии с введенными обозначения-
ми матрица Рк — унитарная, матрица &к — правая треугольная.
31.4. Рассмотрим произвольную невырожденную матрицу А
порядка п. Представим ее в виде А = QAQ~l, где Л — канониче-
ская матрица Жордана, диагональные элементы которой распо-
ложены в порядке невозрастания модулей. Пусть D = diag (Z„,,,,
..., Zt) — диагональная матрица соответствующих собственных
15 в. в. Иоеводии, Ю. А. Кузнецов
226 ЧИСЛЕННЫЕ МЕТОДЫ ; [ГЛ 2
I
значений. Предположим, что существует разложение = LU,
где L — левая треугольная матрица с единичными элементами,
U — невырожденная правая треугольная матрица. Имеет место
представление
где Aft = UkUD~k — правая треугольная матрица, причем
А„ = P*,Q а;1 = Q-lPk.
31.5. Разобьем матрицы Ск = D\L~l MAD~k па блоки таким
образом, чтобы диагональные блоки были квадратными и имели
те же размеры, что и группы равных по модулю собственных зна-
чений. При таком разбиении матрицы Ск будут блочными левы-
ми треугольными. Если
И/<) rW rW
„ nil ?п2 • ’ * тт_
то из представления матрицы Ск следует, что элементы поддиаго-
пальпых- блоков убывают до нуля, как величины
Таким образом, при всех к элементы Ск остаются ограниченными, а са-
ми матрицы Ск с ростом к приближаются к блочно диагональной матрице.
Скорость этого приближения указана в 31.5. Если бы элементы и Д~*
оставались ограниченными при всех к, то из представления 31.4 матрицы
.4,, и вида матриц Ск сразу вытекало бы, что при неограниченном увеличе-
нии к матрицы Ак со скоростью 31.5 будут приближаться к блочной правой
треугольной матрице с диагональными блоками таких же размеров, как
у матриц Ск.
31.6. Если матрица А имеет простую структуру, то элементы
матриц А,( и Ah 1 ограничены.
31.7. Если порядок жордановых ящиков матрицы А пе превос-
ходит s, то элементы матриц А/, и А,1 по порядку роста пе пре-
восходят к’~1.
31.8. Представим матрицы Ак в блочном виде:
л(П> д(/<) дОН
Л11 12 ••• Я1т
Л('° Д<'<>
Л21 ^'22 2т
д(Ю л(Л> д(Л)
.ml m2 ' ‘ ‘ тт_
где диагональные блоки квадратные и имеют те Же размеры,
что п группы равных но модулю собственных значений, начиная
§ 31]
QR- И QL-ЛЛГОРИТМЫ
227
co старших. Элементы матриц Ак всегда равномерно по к ограни-
чены, а элементы поддиагопальных блоков почти всегда убы-
вают до нуля, как величины
= О f A?2*5"1* f Tm~i+1 Т‘
J I I T /
если порядок жордановых ящиков матрицы А пе превосходит я.
О последовательности матриц Ак говорят, что опа сходится по
форме к блочной правой треугольной матрице.
31.9. Для того чтобы последовательность матриц Ак из 31.8
сходилась но форме к блочной правой треугольной матрице, до-
статочно, .чтобы в разложении А = QAQ~' при упорядочении
диагональных элементов матрицы Л по невозрастанию модулей
в матрице Q~l были отличны от пуля все ведущие миноры.
31.10. Если все собственные значения матрицы А различны
по модулю, то в условиях 31.9 последовательность матриц Ак
сходится по форме к правой треугольной матрице.
31.11. В условиях 31.10 диагональные элементы матриц
сходятся к собственным значениям матрицы А.
31.12. Если матрица А вещественная и только комплексно
сопряженные собственные значения могут иметь равные модули,
то в условиях 31.9 последовательность матриц Ак сходится к блоч-’
пой правой треугольной матрице с блоками первого и второго
порядков па диагонали.
31.13. Обозначим через многочлен, корнями которого яв-
ляются все собственные значения матрицы А из i-й но старшин-
ству группы равных по модулю, через (X) — характеристиче-
ский многочлен блока матрицы Ак из 31.8. Имеют место со-
отношения
W) = *i (*) + О
/ /т \л\ / / _ v
(X) = Ц (X) + О k2,3~l> -m~i+1 +0 Ar2(e-1) I
\ \ ^тп—i-Uo / / \ \ ill /
i =Л 1, т,
31.14. Если матрица А нормальная, то в условиях 31.9 после-
довательность матриц Ак сходится по форме к блочно диагональ-
ной матрице.
31.15. Если А — нормальная матрица и все ее собственные
значения различны по модулю, то последовательпость матриц Ак
сходится к диагональной матрице из собственных значений.
15*
228
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
31.16. В условиях 31.14 п обозначениях 31.13 имеют место со-
отношения
/ / т Vft \
(z) = I (к) + о ’
/ / т \ 2/1 \ // т \ 2/'\
(X) = z (X) + 6> ,n-~rl + О , г#=1,т,
\ \ i4-2 / / \ \ 14-1 / /
Ох) = w + Л-
\ \ Т2 / /
31Л7. Если последовательности
$,(Х), s2(X), ..., sft(X), ...; Z,(a), Z,M), ..., fjA), ...
многочленов одинаковых степенен co старшими коэффициентами,
равными единице, сходятся к взаимно простым многочленам я(Х)
и /(X), то скорость их сходимости не меньше, чем скорость сходи-
мости последовательности
я,(Ш(Х), s2(X)Z2(X), ..., sft(X)ift(X), ...
31.18. Если последовательность корней многочленов
сходится к простому собственному значению матрицы А, то ско-
рость этой сходимости пе меньше, чем скорость сходимости после-
довательности Z?’ (Л) к Ц (Л).
Проведем (?Я-алгоритм 31.1 настолько далеко, чтобы все элементы под-
днагопальных клеток матрицы Ак стали малыми. Заменив эти эле-
менты нулями, мы получим блочную правую треугольную матрицу. Для
нее решение проблемы собственных значений осуществляется значительно
проще, чем для матрицы А, так как обычно группы равных по модулю соб-
ственных значений пе бывают большими. Утверждения 31.13, 31.16—31.18
показывают, какой при этом можно достичь точности. Особенно выгодно
применять (7Я-алгоритм для нормальных матриц. Однако в таком виде (?Я-
ялгоритм применяется относительно редко из-за своей слабой сходимости.
Обычно под (?Я-алгоритмом понимают нечто большее, включая в пего всю
совокупность приемов ускорения.
31.19. Если матрица А правая почти треугольная, то все мат-
рицы Ак также будут правыми почти треугольными.
31.29. Если матрица А эрмитова трехдиагопальная, то все мат-
рицы Ak также будут эрмитовыми трехдиагопальиыми.
Это утверждение характеризует одно из самых важных свойств QR-
алгоритма — его инвариантность к правой почти треугольной форме. Пред-
варительное преобразование матрицы А к почти треугольному виду, де-
лается только один раз, что требует выполнения порядка га3 операций. За-
тем каждый шаг (?Я-алгоритма осуществляется с правой почти треугольной
матрицей, что требует выполнения уже порядка п2 операций. Как приве-
дение матрицы к почти треугольному виду, так и разложение почти тре-
угольной матрицы на множители легко реализуется с помощью методов,
§ 31|
QR- И QL-ЛЛГОРИТМЫ
229
описанных в 30.20, 30.24. При большом числе шагов этот прием дает уско-
рение примерно в п/2 раз. Если же матрица А эрмитова, то общее уско-
рение увеличивается еще па один порядок по п.
31.21. Предположим, что элемент aJ+IJ правой почти треуголь-
ной матрицы А равен пулю. Разобьем А на такие четыре блока,
чтобы диагональные блоки были квадратными п блок в левом
верхнем углу имел порядок j. При этом блок в ппжием левом
углу будет пулевым, т. е.
А = “12
[° “22. ‘
^Я-алгоритм инвариантен к данной форме матрицы, и па всех
его шагах диагональные блоки преобразуются независимо друг
от друга.
При наличии пулевых ноддиагопальпых элементов правой почти тре-
угольной матрицы А задачу отыскания всех ее собственных значений мож-
но свести к аналогичным задачам меньшего размера. Этот прием так-
же позволяет достичь определенного ускорения.
31.22. Пусть матрица А — правая почти треугольная и все ее
поддиагопальные элементы отличны от нуля. Если какое-нибудь
собственное значение такой матрицы является кратным, то оно
должно входить только в один канонический ящик Жордана.
31.23. Если правая почти треугольная матрица с ненулевыми
поддиагональнымп элементами имеет простую структуру, то все
ее собственные значения различны.
К сожалению, мы не можем реально надеяться на то. что наличие близ-
ких собственных значений обязательно приведет к появлению малых под-
диагональных элементов. Существуют эрмитовы трехдиагональные матри-
цы порядка га, элементы которых заключены в пределах от 1 до га/2, по у
которых имеются собственные значения, отличающиеся от ближайших па
величину порядка (га!)-2. Тем пе мепее, если по каким-либо причинам все
же появился нулевой или очень малый поддиагональный элемент, полезно
иметь в виду возможность сведения исходной задачи к двум задачам мень-
шего размера.
31.24. Рассмотрим любую последовательность чисел о„ о2, ...
Снова построим унитарные матрицы Qk и правые треугольные мат-
рицы Rk по рекуррентным формулам
Д-о,Е = (?1Я1, Д, = Я1()1 + о1£,
Д1 — g2E = Q2R2, Аг = R-,Q2 + о2Е,
Ak_, - акЕ = QltRh, А„ = RkQ, + окЕ,
Этот процесс построения по матрице А последовательностей мат-
риц Qk, Rk называется QR-алгоритмом со сдвигами.
31.25. (?Я-алгоритм со сдвигами инвариантен правой почти
треугольной форме.
230
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
31.26. Матрицы Ак унитарно подобны исходной матрице Л.
При этом
Л =(<?,...&)М.
((?,... QA(Rk...Я,) = (4 - о,Е)(Л - о2Е) ..: (Л - о„£).
31.27. Пусть матрица Л — правая почти треугольная порядка
п и ее элемент в позиции (/+ 1, у) равен по модулю малому чис-
лу е. Разобьем, аналогично 31.21, матрицу Л на блоки:
®21 ^22 t
где-блок «21 имеет лишь один ненулевой элемент величины &
в верхнем правом углу. Предположим, что вычислены каким-либо
образом собственные значения щ, ..., <Jn-i блока а22- Тогда в мат-
рице Л„_й полученной согласно 31.24 с помощью таких сдвигов,
элемент в позиции (у+1, у) будет иметь величину порядка е’
или меньше.
31.28. Циклическое повторение процесса 31.27 асимптотиче-
ски обеспечивает пе менее чем квадратичную скорость уменьше-
ния одного из поддиагональных элементов.
По существу, все известные стратегии выбора сдвигов в общем случае
состоят из двух различных этапов. На первом этапе обеспечивается замет-
ное уменьшение одного из поддиагоиальиых элементов матрицы Ак. На вто-
ром этапе малость поддпагонального элемента позволяет начать целенаправ-
ленный выбор сдвигов, например, в соответствии с 31.27. Это позволяет
очень быстро осуществить разбиение матрицы Ак па две матрицы мень-
ших размеров.
Очень редко первый этап осуществляется в точном соответствии с про-
цессом 31.1 даже для почти треугольной матрицы А. Основная причина
малая скорость убывания поддиагональных элементов в данном процессе.
Как правило, на первом этапе пытаются сразу же применять сдвиги, на-
деясь на получение малого поддиагональиогб элемента либо в позиции
(га, п—1), либо в позиции (га — 1, га —2). Теоретическое обосповапие этого
этапа для матриц общей структуры, как правило, отсутствует, по прово-
дится экспериментальное подтверждение его эффективности.
Ксли удалось получить малый элемент в позициях (га, п—1) или
(га — 1, га — 2), то определение дальнейших сдвигов становится простой
задачей.
Практическая реализация описанного процесса ускорения пе всегда
оказывается эффектпвной. Предположим, что вещественная матрица А име-
ет комплексные собственные значения. В этом случае для обеспечения квад-
ратичной сходимости в соответствии со схемой 31.24 необходимо использо-
вать комплексные сдвиги. Появление комплексных матриц весьма нежела-
тельно как с точки зрения времени счета, так и с точки зрения памяти
ЭВМ. Заметим, что если в обозначениях 31.27 матрица Л является вещест-
венной, то вещественной будет и матрица А „ _ f, несмотря на то что проме-
жуточные матрицы будут комплексными. Поэтому покажем, как можно
вычислять матрицу An_j, минуя получение промежуточных матриц,
31.29. Пусть для матрицы А выполнены унитарно подобные
преобразования СХ = Т*АТХ, С2=Т*АТ2, причем матрицы
С\, С2 — правые почти треугольные, с ненулевыми поддиагональ-
? 31)
QR- И QL-АДГОРПТМЫ
231
пымп элементами. Если первые" столбцы матриц Tt, Т2 совпада-
ют, то существует такая диагональная матрица S с элементами,
равными по модулю единице, что Т2 = T,S, С2 = S*C,5.
31.30, В условиях п обозначениях 31.27 выполняются соотно-
шения
An-j = Tn^jATn^.j, Tn_]Ln_j = /n_j (Л).
Здесь Tn_j — унитарная матрица, правая треугольная,
— характеристический многочлен блока а22 матрицы А.
Предположим, что мы каким-либо способом нашли такую ортогональ-
ную матрицу Т, у которой первый столбец совпадает с первым столбцом
и при этом матрица С = Т*АТ является правой почти треугольной.
Возможны две ситуации. Если все поддиагояальпые элементы матрицы С
отличны от пуля, то согласно 31.29 Т = Tn-jS, С — S*An_}S, где S — диа-
гональная матрица с элементами, равными по модулю единице. Безразлич-
но, с какой пз матриц: Ап-з или С — продолжать (?Я-алгоритм. Мы будем
продолжать его с матрицей С. Еслп же какие-то поддиагональные элементы
матрицы С равны пулю, то это более благоприятный случай, так как можно
продолжать (?Я-алгоритм с матрицами меньших размеров.
31.31. Если матрица А правая почти треугольная, то в первом
столбце матрицы могут быть ненулевыми только первые
п — j + 1 элементов.
31.32. Если матрица- Ln-S получена в результате исключения
подднагональпых элементов матрицы /П_/А) с помощью умноже-
ния слева на матрицы вращения Ti2, ..., Tin, ..., Tn-it то пер-
вый столбец матрицы Т„-з из 31.30 совпадает с первым столбцом
матрицы Т12 ... Тi
31.33. Вычислим первый столбец матрицы 7„-;(Л) и определим
но нему соответствующие матрицы вращения Т12, ..Tiin-j+l. По-
лучим, далее, матрицу •
= ^\,П—1+1 • • • 7'12-'47’12 . . . Тj+1
и приведем ее с помощью алгоритма 30.20 к правой почти тре-
угольной матрице С. Тогда либо матрица С имеет пулевой под-
дпагональный элемент, либо С = S*An-iS, где S—диагональная
матрица с элементами, равными по модулю единице.
Матрица В из 31.33 имеет много нулевых элементов и отличается от
правой почти треугольной тем, что почти все элементы ведущего минора
порядка п — / + 2 могут быть отличны от пуля. Специальный вид матри-
цы В легко учесть при ее приведении к почти треугольной форме. На всех
этапах приведения промежуточные матрицы будут отличаться от правой
почти треугольной тем, что почти все элементы некоторого минора поряд-
ка п — /4-2, опирающегося на главную диагональ, могут быть отличны от
нуля. По мере выполнения процесса этот минор будет перемещаться По
диагонали вниз.
В целом прямое получение матрицы С из матрицы А согласно 31.33
требует выполнения примерно такого же объема вычислений, как и после-
довательное ее получение за п —; шагов процесса 31.24 с вещественными
сдвигами.
232
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
Описанное ускорение сходимости <2Я-алгоритма особенно эффективно,
когда / = п — 1. В этом случае очередной сдвиг совпадает с последним диа-
тональным элементом и заведомо будет вещественным, а квадратичное убы-
вание последнего поддиагонального элемента будет происходить па каждом
шаге процесса 30.24. Если же вещественная матрица А имеет комплексные
собственные значения, то прямое получение матрицы С согласно 31.33 наи-
более эффективно при / = п — 2. Обязательное появление малых поддиа-
гональных элементов связано в основном с наличием у матрицы А канони-
ческих ящиков Жордана больших размеров.
31.34. Следующие приемы ускорения значительно повышают
эффективность QR-алгоритма:
— предварительное приведение матрицы к правой почти тре-
угольной форме; без этого приведения (^Я-алгоритм обычно пе
применяется;
— использование сдвигов для повышения скорости убывания
поддиагональных элементов; при наличии комплексных собствен-
ных значений у вещественной матрицы наиболее эффективно
прямое получение .матриц Ah из 31.24;
— замена малых поддиагональных элементов пулями; это
позволяет продолжать применение (^-алгоритма с матрицами
меньших размеров.
В приемах ускорения остается неясным только один вопрос: как на-
чинать выбор сдвигов, чтобы достаточно быстро получить малый поддиа-
гональпый элемент в позиции (/ + 1, /) с наибольшим но возможности зна-
чением /? За исключением некоторых специальных классов матриц, пока
па него не получено убедительного ответа. Мы опишем сейчас одну пз прак-
тических процедур выбора сдвигов. Она эффективна, хотя ее применение
также связано с некоторым риском.
31.35. Пусть процесс 31.24 начинается с вычисления матрицы
А, при Oi=0. Предположим, что уже получены матрицы Л;,-!
и А,,. Проверяем выполнение неравенства
К>- I-
Если опо справедливо, то паходим матрицу А„+1, беря oft+j = а,,,;.
Если же это неравенство пе имеет места, то проверяем выполне-
ние другого неравенства:
где а*"-1’, а(Л) — блоки второго порядка матриц Л*_,, Лл, находя-
щиеся в нижнем правом углу. Если это неравенство справедливо,
то вычисляем характеристический многочлен матрицы с?'" п на-
ходим матрицу Л;,+2, используя прямой способ ее получения. Если
же н последнее неравенство пе имеет места, то находим матрицу
Л>+1, беря щ+1 = 0.
Применение этой процедуры показывает, что среднее число итераций
па каждое собственное значение, как правило, пе превосходит 5.
§ 32]
ЭРМИТОВЫ МАТРИЦЫ
233
31.36. Если считать,1 что па каждое собственное значение
матрицы А требуется пе более пяти итераций, то вычисленные •
собственные значения будут точными для некоторой возмущен-
ной матрицы А + S’, где
Hk<20^l + 25^i+1MIIE.
(?Я-алгоритм лучше приспособлен для определения собственных зна-
чений, чем собственных векторов. При нахождении собственных векторов
необходимо дополнительно вычислять и запоминать матрицу результирую-
щего преобразования подобия. Эта операция оказывается очень невыгодной,
если нужно определить лишь несколько векторов. К тому же вычисление
матрицы преобразования усложняет численный метод, особенно в тех слу-
чаях, когда приходится переходить к матрицам меньших размеров при по-
явлении нулевых поддиагональных элементов.
Нет никакой необходимости находить собственные векторы, используя
(*Я-алгоритм. Значительно проще п быстрее определить с помощью QR-a.li-
горитма только собственные значения, а собственные векторы вычислить,
применив обратные итерации с постоянным сдвигом.
31.37. Пусть А — произвольная матрица. Построим последова-
тельность унитарных матриц Qh и левых треугольных матриц Lh
по следующим рекуррентным формулам:
А = Q\Lt, Ai = LiQi,
Л, = ^2^2, Al —
-4 h-1 — QhLi,, .4,, — L^Qb,
Процесс построения ио матрице А последовательностей матриц
Qh, Lu называется QL-алгоритмом.
В теоретическом отношении QL- и (*Я-алгоритмы почти совпадают. Ос-
новное их различие состоит в том, что матрицы в (//.-алгоритме сходят-
ся по форме к блочной левой треугольной матрице и собственные значе-
ния в диагональных блоках упорядочиваются по неубыванию их модулей.'
Для Q/-алгоритма могут быть применены все те приемы ускорения, кото-
рые были описаны для (/Я-алгоритма, с заменой, конечно, правой почти
треугольной формы па левую почти треугольную. *?Я-алгоритм выгоднее
применять в тех случаях, когда большие элементы матрицы А сосредото-
чены в ее левом верхнем углу, (//.-алгоритм — когда в нижнем правом.
§ 32. Эрмитовы матрицы
32.1. Если некоторые внедиагональные элементы эрмитовой
трехдиагональной матрицы равны нулю, то эта матрица может
быть представлена в виде прямой суммы диагональных матриц
и эрмитовых трехдиагональиых матриц с ненулевыми внедиаго-
нальными элементами.
32.2. Эрмитова трехдиагональная матрица с ненулевыми вне-
диагональными элементами является якобиевой матрицей.
23
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 3
32.3. Обозначим через Alt ..А„ ведущие миноры эрмитовой
якобиевой матрицы
О
порядка п. Выполняются рекуррентные соотношения
Ао = 1, Ах = Ar = fe,A,._j — ЯгАг_2,
32.4. В условиях и обозначениях 32.3 имеют место следующие
свойства:
— никакие два соседних ведущих минора матрицы А не мо-
гут одновременно равняться пулю;
— если минор Дг, 1 < г < п, равен пулю, то соседние миноры
Аг_ь Аг+1 отличны от пуля и имеют противоположные знаки;
— все собственные значения матрицы А простые.
32.5. Вычислим каким-либо способом ведущие миноры мат-
рицы А из 32.3 и припишем любые знаки пулевым минорам, если
таковые имеются. Число перемен знаков в последовательности
Ao, Ai, ..., А„ равно числу отрицательных собственных значений
матрицы А; число пулевых собственных значений совпадает с
числом пулевых миноров; число положительных собственных зна-
чений равно разности между порядком матрицы и суммой отри-
цательных и пулевых собственных значений.
. При реальных вычислениях можно, надеяться только па то, что будут
правильно определены знаки ведущих миноров некоторой возмущенной
матрицы А + IS. Конечно, вычислительный процесс должен обеспечивать
малость возмущения ё. По чтобы по знакам ведущих миноров матрицы
А + iS правильно определить число ее нулевых, положительных и отрица-
тельных собственных значений, необходимо быть уверенным, что А + S яв-
ляется матрицей Якоби. Не каждый вычислительный процесс гарантирует
выполнение обоих условий одновременно.
Формулы 32.3 в прямом виде нельзя использовать для вычислений па
ЭВМ по многим причинам. Даже для самых простых матриц вычислитель-
ный процесс 32.3 может привести либо к переполнению, либо к неправиль-
ным выводам из-за появления машинных нулей. Последнее, например, эк-
вивалентно замене некоторых внедиагональных элементов пулями, что, ко-
нечно, в общем случае недопустимо. Машинный нуль заставляет преодоле-
вать гораздо больше трудностей при реализации формул 32.3, чем это мо-
жет показаться на первый взгляд. Связано это прежде всего с тем, что мы
должны гарантировать правильность знаков вычисляемых величин. Такая
задача непроста, если сами величины близки к машинному нулю.
Соотношения 32.3 для г 2 являются линейными и однородными по
Аь ..., Д„. Поэтому, если перед вычислением Дг мы умножим Дг-1, Дг-2 па
любое положительное число 7, то вместо Дг-1, Дг, • •-, Д» получим в даль-
нейшем 7Дг-1, .... 7ДП. Знаки новых величин будут такими же, как у ве-
дущих миноров. Следовательно, число нулевых положительных и отрица-
тельных собственных значений исходной матрицы будет определенно пра-
вильно, если па каждом шаге процесса 32.3 правые части при г 2 умно-
§ 321
ЭРМИТОВЫ МАТРИЦЫ
235
жать на произвольные положительные числа. Мы будем выбирать эти
нормирующие числа таким образом, чтобы гарантировать выполнение не-
обходимых требований в отношении точности.
32.6. Пусть М — (4р®)-1. Рассмотрим типичный шаг процесса
32.3 с нормировкой, состоящий в нахождении величин
и = — а2у), =
и замене х на и. Здесь числр х, у пе равны пулю одновременно,
параметр 7 выбирается по ходу вычислении. Если х = 0, то по-
ложим
и =•— sign у, v = 0.
Если х=/=0, то вычисления осуществляются в такой последова-
тельности:
х = Ру, z = Рх, 9 = max {| х |, | z |},
(Л//9, 9>1,
V = i(a:/9) М, 9<1,
q = av, г = Л/р, т ='гр,
Цт/())у, т<1, 9 < 1 или т~^Л, 9^1,
i(y/9)m, m<1, 9J>1 или 9 < 1,
и = q — I.
32.7. Если IpI 1, 2pco < lai < 1/4, где p есть основание си-
стемы счисления, па которой построена работа ЭВМ, со — машин-
ный пуль, то при реализации формул 32.6 никогда пе происхо-
дит переполнение.
32.8. Пусть коэффициенты матрицы А из 32.3 удовлетворяют
условиям |bj С 1, 2р<л < |а<1 < 1/4. Процесс 32.6 позволяет по
знакам реально вычисленных величин и0 = 1, йц, ..., й„ точпо оп-
ределить число нулевых, положительных и отрицательных собст-
венных значений некоторой эрмитовой якобиевой матрицы Л +
При этом модуль каждого диагонального (внедиагонального) эле-
мента матрицы <о не превосходит модуля соответствующего диа-
гонального (внедиагональйого) элемента матрицы А, умноженно-
го на р“‘+1((7/4)р“'+1).
Заметим, что в .32.8 гарантируется не только малость нормы эквивалент-
ного возмущения, но даже малость относительного возмущения в каждом
элементе матрицы.
.32.9. С помощью нормировки матрицы А из 32.3 и замены ее
нулевых внедиагональных элементов малыми числами всегда
можно добиться выполнения условий
lbdCl/4, 2рсо< |щ| С1/4.
236
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 3
32.10. Замена любой пары симметрично расположенных нуле-
вых внедиагональных элементов числами е изменяет собственные
значения матрицы пе более чем па lei.
32.11. Если матрица А удовлетворяет условиям 32.9, то все
ее собственные значения пе превосходят по модулю 3/4.
32.12. Пусть IA.I «£ 3/4 п матрица А удовлетворяет условиям
32.9. Тогда матрица А — У.Е удовлетворяет условиям 32.8.
32.13. Предположим, что в условиях 32.12 для матрицы Л — У.Е
согласно 32.6 реально вычисляются величины и0 = Г, н,, ..., ц„.
По знакам этих величии можно точно определить число собствен-
ных значений, равных X, больших X и меньших X, для некоторой
эрмитовой якобиевой матрицы А+<о, где ||е? ||j (19/8) p~i+1.
32.14. Пусть эрмитова якобнева матрица А удовлетворяет ус-
ловиям 32.9. Предположим, что ее собственные значения зану-
мерованы в порядке алгебраического неубывания, т. е. Xi Х2 < ...
... Хп, и ставится задача отыскания к-го по номеру собственно-
го значения Xt независимо от остальных. Пусть известно, что X,,
принадлежит полуинтервалу (щ, 6.J. Возьмем Х = (6, — а А/2 п в
соответствии с 32.13 определим, в каком из полуинтервалов,
(fls, X] или (X, 6.J, находится к-е собственное значение слабо воз-
мущенной матрицы А + <S. Это позволяет локализовать Хл в полу-
интервале (п»+1, 6,+1] вдвое меньшей длины, чем (щ, 6J. Описан-
ный пропесс последовательного сужения полуинтервала, содержа-
щего нужное собственное значение эрмитовой якобиевой матри-
цы, называется методом бисекций.
32.15. В условиях 32.9 в качестве начального полуинтервала
(яо, 60] для метода бисекций всегда можно взять полуинтервал
(—3/4, +3/4].
32.16. Если в условиях 32.9, 32.14, 32.15 в качестве приближе-
ния к Хй брать середину cs полуинтервала (щ, 6S], то
I л | 19 — IЧ1 , 3. q — S'
I cs — Xh |< — р + ^- 2 .
32.17. В условиях 32.9 каждое собственное значение можно
определить методом бисекцпп с абсолютной точностью (25/8)р_'+1
пе более чем за t log2 р шагов.
Рассмотреппый метод определения собственных зпачепий матрицы Яко-
би обладает исключительной универсальностью. Его можно использовать не
только для нахождения заданного по номеру собственного значения, по и
для вычисления всех (или части) собственных зпачепий, принадлежащих
любой области, для исследования общего распределения собственных зна-
чений и т. п. На его реализацию пе оказывает никакого влияния наличие
близких и кратных собственных зпачепий, и даже очень большое их скоп-
ление. При этом достижимая точность 32.16 не зависит от размеров
матрицы.
Все эти свойства кажутся особенно удивительными, если" вспомнить, что
в конечном счете метод связан с распознаванием пулевых и ненулевых чи-
сел, причем распознавание осуществляется в условиях влияния ошибок
округления.
ЭРМИТОВЫ МАТРИЦЫ
237
§ 32]
Если необходимо определить собственные .значения полной эрмитовой
матрицы, то целесообразно вначале привести ее к трехдиагоналыюму виду
с помощью алгоритма 30.20. Все дальнейшие вычисления с трехдиагональ-
пой матрицей при больших порядках пе вносят существенного вклада в об-
щий объем вычислений даже при относительно сложном алгоритме 32.6.
Если же исходная эрмитова матрица с самого начала является трехдпаго-
иалыюй, то в этом случае приходится думать о выборе более экономичного
метода, чем метод бисекций, если нужно отыскать много собственных зна-
чений. В случае, когда необходимо определить лишь несколько собствен-
ных значений с заданными номерами, метод бисекцпй исключительно эф-
фективен.
32.18. Пусть А — эрмитова матрица. Предположим, что, исхо-
дя из координатного вектора е„, для нее выполняются обратные
итерации со сдвигами, вычисляемыми по отношению Релея. Пусть
также для матрицы А с этими же сдвигами проводится ()/?-алго-
рптм. Если пи одни из сдвигов не совпадает с собственным зна-
чением матрицы А, то сдвиг, вычисляемый по отношению Релея
па к-м шаге в обратных итерациях, совпадает с последним диаго-
нальным элементом матрицы в (?/?-алгоритме.
Таким образом, если матрица А эрмитова, то, проводя для пее (^-алго-
ритм, можно использовать сдвиги, начиная с первого шага. При этом почти
всегда будет иметь место сходимость с кубической скоростью. Маловероят-
ную возможность, связанную с' нарушением сходимости, па практике мож-
но просто игнорировать. Конечно, прежде чем применять (W-алгорптм, не-
обходимо исходную матрицу привести к трехдиагональному виду.
Сдвиги, вычисляемые по отношению Релея. оказываются исключитель-
но эффективными. Тем пе менее существуют другие стратегии выбора сдви-
гов, обеспечивающие более быструю сходимость.
32.19. Пусть для эрмитовой матрицы А проводится QR-алго-
рптм со сдвигами. Если вычислена матрица Лй_ь то очередной
сдвиг сц можно определять следующим рбразом. Вычисляются
собственные значения матрицы второго порядка, стоящей в ниж-
нем правом углу матрицы Л>,-1, и в качестве щ берется то нз них,
которое блпще к последнему диагональному элементу матрицы
Ал-,. Если оба собственных значения находятся на одинаковом
расстоянии от этого элемента, то в качестве сц берется меньшее
из собственных значений.
32.20. Для любой эрмитовой трехдпагональпой матрицы А с
ненулевыми внедиагональными элементами ()/?-алгоритм со сдви-
гами 32.19 всегда сходится. При этом скорость сходимости всегда
пе хуже квадратичной и почти всегда лучше кубической.
32.21. В условиях 32.20 все собственные значения матрицы Л
обычно можно вычислить с максимальной точностью в среднем
приблизительно за 1 — 7 ^^-преобразований па одно собственное
значение.
32.22. Пусть собственные значения Xj, ..., эрмитовой мат^
рпцы А находятся с помощью унитарно подобного ее преобразо^
вапия к трехдиагопальпой форме и последующего применения
(?/?-алгоритма со сдвигами 32.19. Обозначим через М, ..., ро-
2.38
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
алию вычисленные собственные значения. Если каждое из собст-
венных значений вычислялось с максимально возможной точ-
ностью, то '
(n In \ 1/2
2 I м - ЪI2/ 21 м Г < io>i2/Ti+l.
i=I / i=l /
Если находятся собственные значения эрмитовой трехдиагональной мат-
рицы, то трудно построить какой-либо численный метод, обладающий су-
щественно лучшими характеристиками, чем ^Л-алгоритм со сдвигами 32.19.
Многочисленные его усовершенствования связаны только с уменьшением
времени выполнения отдельных шагов и не носят принципиального харак-
тера: В частности, довольно много усилий было затрачено на то, чтобы раз-
работать схему метода, не требующую вычисления квадратных корней
при реализации преобразований вращения. Если же находятся собственные
значения полной эрмитовой матрицы с помощью ее приведения к трехдиа-
гональному виду, то все эти усовершенствования оказываются малозначи-
мыми на фоне общего объема вычислеций.
Эффективность ^Л-алгоритма существенно изменяется, если нужно на-
ходить не только собственные значения, но и собственные векторы. Основ-
ная трудность связана с тем, что теперь необходимо по мере выполнения
<?Л-алгоритма накапливать произведение всех матриц Qk- Это требует зна-
чительного увеличения числа выполняемых операций и объема требуемой
памяти. Однако вычисленные собственные векторы всегда будут ортогональ-
ны с высокой точностью, даже если имеются очень близкие собственные
значения. Выполнения данного условия трудно добиться, если, например,
для определения собственных векторов использовать обратные итерации.
32.23. Пусть А — эрмитова матрица порядка п с элементами
«о. Обозначим через <о(Л) сумму квадратов модулей ее внедиаго-
нальных элементов. Существует такое упорядочение ХР1, ..., ХПр
собственных значений матрицы. Л, что
п
2 | >lii |2 ® (Л).
i=i
32.24. Пусть В= TijATij, где Тц—некоторая матрица враще-
ния. Обозначим через Ьц элементы матрицы В. Имеет место со-
отношение
<о(зВ) = со(Л) — 2(|а«1г — lbwl2).
32.25. Для любой матрицы Л и любой пары индексов i, /, где
1 =^= /, всегда можно найти такую матрицу вращения Тц, что Ьц =
= 0 в обозначениях 32.24.
32.26. В условиях 32.25 выполняется равенство а>(В) = <о(Л)—
- 2|atjl2. 4
32.27. Если ац есть максимальный по модулю внедиагональ-
ный элемент матрицы Л, то в условиях 32.25 справедливо нера-
венство
/ 2 А
со (Б)<; 1-----------т— со (Л).
' ' \ п (п — 1) ] ' '
I § 32]
ЭРМИ инь МА I F ЦЬ
Z.V.)
32.28. Пусть матрицы — вещественные и в представлении 22.1
матрицы TiS имеем c = cosq>o, s = sinq>,;. Для выполнения утверж-
дения 32.25 достаточно взять угол удовлетворяющий условиям:
tg2(Pij = а.^а...
32.29. Пусть А — произвольная эрмитова матрица. Построим
последовательность матриц
Ао = A, А„ ..., А*, ...,
каждая из которых получается из предыдущей с помощью выпол-
нения преобразования подобия, содержащего лишь одну матрицу
вращения. Пусть Д, = ^ivjvД-1 ivjv и параметры матрицы вра-
щения выбираются в соответствии с 32.25. Тогда на каждом шаге
процесса сумма квадратов модулей внедиагональных элементов
будет убывать, если только элементы матриц Д-j, стоящие в по-
зициях (z’v, у»), отличны от нуля. Этот процесс называется мето-
дом. вращений пли методом Якоби для решения полной проблемы
собственных значений эрмитовой матрицы.
Если последовательность матриц Av сходится к диагональной матрице,
то диагональные элементы матрицы Л, являются приближениями к собст-
венным значениям матрицы А, а столбцы произведения —
приближениями к соответствующим собственным векторам. Для того чтобы
гарантировать эту сходимость, необходимо добиться выполнения двух ус-
ловий. Во-первых, нужно обеспечить, чтобы <o(Av) не просто убывала, а убы-
вала до нуля.' и, во-вторых, нельзя допускать появления матриц вращения,
близких к матрицам перестановок. Если матрица А вещественная, то второе
условие выполняется при введении ограничения па величину угла, напри-
мер, согласно 32.28. Аналогичное ограничение нетрудно получить и в слу-
чае комплексных матриц. Что касается первого условия, то его выполнение
зависит от величины элементов, исключаемых на каждом шаге.
32.30. Если матрица А вещественная и симметричная, инде-
ксы ц, А соответствуют на каждом шаге максимальному по мо-
дулю внедиагональному элементу матрицы /lv и параметры мат-
рицы вращения Т ivjv выбираются в соответствии с 32.28, то, не-
зависимо от наличия кратных собственных значений, метод вра-
щений обеспечивает сходимость последовательности матриц Л,
к диагональной матрице из собственных значений, причем асимп-
тотически с йвадратичной скоростью.
Реализация данного варианта метода вращений требует выбора макси-
мального по модулю внедиагонального элемента матрицы на каждом шаге.
При выполнении этой операции на ЭВМ требуется значительная затрата ма-
шинного времени. Поэтому необходимость указанного выбора является су-
щественным недостатком метбда с точки зрения удобства его реализа-
ции на ЭВМ. -
Более удобными оказываются циклические' процессы и, в частности, цик-
лические процессы с барьерами. При циклическом процессе выбирается
определенная нумерация внедиагональных элементов матрицы и их исклю-
чение происходит по циклам. В течение каждого цикла исключаются по оче-
240
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
реди все внедиагональные элементы в порядке их нумерации. Чаще всего
элементы нумеруются подряд по строкам слева направо и сверху вниз илп
по столбцам сверху вниз и слева направо. При этом, конечно, нумеруются
только наддиагональные или поддиагональные элементы.
Недостатком такого процесса является то, что приходится исключать
малые внедиагональные элементы, в то время как в матрице еще присутст-
вуют большие. Это обстоятельство приводит к значительному уменьшению
скорости сходимости.
Отмеченный недостаток частично устраняется введением барьеров. Вво-
дится монотонно убывающая к нулю последовательность положительных
чисел, называемых барьерами, и при циклическом просмотре исключаются
лишь те из внедиагональных элементов, которые по модулю не меньше <Xi..
После того, как все внедиагональные элементы станут по модулю Меньше
ai, барьер а] заменяется на а2, и процесс продолжается.
Этот процесс позволяет решать полную проблему собственных значе-
ний быстрее, чем процесс с выбором максимального элемента. Однако прак-
тическое его использование встречает ряд трудностей, связанных с опти-
мальным выбором барьеров. Если барьер выбрать очень большим, то будет
затрачено много времени на просмотр малых элементов. Если же его вы-
брать очень малым, то будет затрачено много времени па исключение ма-
лых элементов, которые, но существу, не влияют на скорость сходимости.
Особого внимания заслуживает следующий способ выбора элемента, под-
лежащего исключению. Если в матрице А„ исключается элемент, стоящий в
позиции (ы, /v), то суммы квадратов модулей внедиагональных элементов
в каждой строке матрицы 7lv+1 будут такие же, как у матрицы кроме
строк с номерами Ц, Поэтому, если в начале процесса вычислить суммы
квадратов модулей внедиагональных элементов строк, то в дальнейшем в
полученной последовательности из п чисел нужно пересчитать на каждом
шаге только два числа. Оптимальным исключаемым элементом будет мак-
симальный по модулю элемент, находящийся в строке с максимальной
суммой квадратов модулей внедиагональных элементов. Его можно найти
путем просмотра всего лишь 2п — 1 чисел, при этом выполняется неравен-
ство 32.27.
32.31. В различных вариантах метода вращений для макси-
мального уменьшения суммы квадратов модулей внедиагональ-
ных элементов в пересчете на циклы обычно требуется выпол-
нить 2—7 полных циклов, независимо от порядка матрицы.
32.32. Для циклических вариантов метода вращений точные
и реально вычисленные собственные значения матрицы А свя-
заны между собой соотношением
(п / n X 1/2______
2 Ui- MI2 / S I2 <48/zp-t+I.
i=I / i=I '
Для других вариантов метода вращений оценка примерно в п раз ху-
же. Это связано лишь с трудностью получения хорошей оценки, а пе с тем,
что другие варианты менее точны.
§ 33. Метод Ланцоща
Рассмотренные методы определения собственных значений и собст-
венных векторов предполагают, что в процессе их реализации допустимы
различные' преобразования исходной матрицы. Такие преобразования широ-
ко используются с целью уменьшения общего объема вычислений. Однако*
они оказываются приемлемыми только' в тех случаях, когда при этом су-
§' 33]
МЕТОД J Л11Ц1Ш1Л
щёственно не возрастают размеры требуемой памяти ЭВМ. Подобная ситуа-
ция будет иметь место, если, например, решается проблема собственных
значений для плотной Матрицы, все элементы которой отличны от нуля и не
связаны друг с другом большим числом соотношений. В этом случае вся
информация о преобразовании матрицы к более простому виду может быть
размещена, в основном, на месте исходной матрицы.
Решение проблемы собственных значений существенно усложняется,
если матрица имеет очень большие размеры и либо является сильно раз-
реженной, либо ее элементы определяются небольшим числом параметров.
Теперь, как правило, нельзя применять преобразования матрицы, так как
при этом нарушается ее структура и резко возрастает как объем вычисле-
ний, так и объем требуемой памяти ЭВМ. Единственной возможной опе-
рацией с матрицей остается операция умножения на вектор.
С такими трудностями мы уже встречались при решении систем ли-
нейных алгебраических уравнений, и с точки зрения их преодоления эф-
фективными оказались методы сопряженных направлений. Подобные ме-
тоды полезны и при решении спектральных задач. Как уже отмечалось в
23.22—23.27, на основе процессов ортогонализации степенных последова-
тельностей, или, как их называют иначе, последовательностей Крылова,
матрица А может быть приведена‘к подобной трехдиагональной матрице.
Если это преобразование осуществлено, то решение спектральных задач для
трехдиагональных матриц является вполне реализуемым делом, несмотря
на то, что приходится преодолевать трудности, связанные с неустойчивостью
нроцессов ортогонализации.
Метод Ланцоша — это совокупность аналогичных преобразований и раз-
личных вспомогательных приемов, предназначенных для решения спект-
ральных задач эрмитовой матрицы. Интерес к нему в настоящее время оп-
ределяется тем, что методы такого типа являются единственными среди
известных, которые дают хотя бы какую-то возможность решать спектраль-
ные задачи для очень больших разреженных матриц.
Для простоты изложения мы будем здесь предполагать, если не сдела-
но специальной оговорки, что матрица А порядка п вещественная, симмет-
ричная, все ее собственные значения %; различные и занумерованы в по-
рядке алгебраического возрастания.
33.1. Пусть вектор' х не ортогонален ни одному из собствен-
ных векторов матрицы А. Тогда последовательность векторов х,
Ах, ..., Ап~'х линейно независима.
33.2. Пусть векторы степенной последовательности 33.1 под-
вергаются процессу ортогонализации Грама — Шмидта с норми-
ровкой получаемых векторов по евклидовой норме. Построенные
таким способом ортонормированные векторы qt, qn удовлет-
воряют соотношениям
Poft — £ — Сь
Мг = Aqt — aiqi = r„
Мьн =-^ft — (Xjft—Г>, />1,
где а,= C4ft, ft), = (ft+i, Aq^.
3313. В условиях и обозначениях 33.2 для всех j выполняется
равенство Ipjl = UrjllE.
Сравнивая соотношения 22.22 и 33.2, можно заметить определенное раз-
личие между ними. Рекуррентные формулы 22.22 содержат два независи-
мых коэффициента a,, JJj —i- Это вполне естественно, так как требуется удов-
лствбрить два условия ортогональности вектора /, + 1 к векторам
16 В. В. Воеводин, 10 Л. Кузнецов
Формулы 33.2 также содержат два коэффициента, хотя к двум условиям ор-
тогональности добавлено третье условие нормировки. Эта ситуация в дейст-
вительности не противоречива. Более того, нормирующие коэффициенты £j
всегда можно брать положительными.
33.4. Пусть имеются векторы qj-„ и коэффициент
Тогда в соответствии с 33.2 процесс можно осуществлять по сле-
дующему предписанию:
= О—14Ь’—1’ ui = Aqj,
Sj = Uj Pj-iQj-i, a.j = (q j , Sj),
ri = si ji Pj = Il ri He •
Чтобы начать вычисления, нужно положить g„ = 0, r0 = .г, {Е =
= Ы.
33.5. В базиср qt, ..., qn матрица А имеет симметричную трех-
диагональную форму:
33.6. Если Q есть матрица, столбцы которой совпадают с век-
торами д,, ..., д„, те AQ = QT.
33.7. Обозначим через Тт матрицу ведущего минора порядка
m матрицы Т из 33.5, через Qm — прямоугольную матрицу раз-
мера п X тп, столбцы которой совпадают с векторами д,, ..., qm.
Для всех 1 sc 7?1 п имеет место соотношение AQm — QmTm + Hm,
где Bm = rmem и em есть координатный вектор размерности tn,
с единицей па последнем месте.
33.8. Всегда
33.9. В условиях и обозначениях 33.5—33.7 выполняются ра-
венства
Q'AQ = Т, Q'mAQm= Tm.
33.10. Пусть 6„ ..., 6т— собственные значения матрицы Т....
Найдутся такие собственные значения Zmi, —, ^ттматрицы Т,
что для всех 1 sS j ss m справедливы неравенства 10j — | Рт-
33.11. Пусть TmSj = 0,я,- для вектора Sj и числа 0,. Найдется
такое собственное число X матрицы Л, что
10 — Zl
где fUj = и smj есть последняя координата вектора Sj.
33.12. Пусть в разложении вектора х по собственным векто-
рам матрицы А только m координат отличны от нуля. Тогда
§ 33]
МЕТОД ЛАНЦОША
243
процессы 33.2, 33.4 заканчиваются на m-м шаге и (Jm = 0. При
этом оценки 33.10, 33.11 остаются справедливыми.
33.13. Предположим, что в условиях 33.12 определены соб-
ственные значения 0i, ..., 6m и соответствующие собственные век-
торы s„ ..., sm матрицы Тт. Тогда числа 6„ ..., 6т являются
точными собственными значениями матрицы А, а векторы
QmS>, ..., Qmsm — ее точными собственными векторами.
33.14. Процесс нахождения собственных значений и собствен-
ных векторов матрицы А, основанный на сведении этой матрицы
к трёхдиагональной форме согласно 33.2, 33.4, называется ме-
тодом Ланцоша.
Прежде чем переходить к обсуждению метода Ланцоша, остановимся
на его геометрической интерпретации. Пусть задало некоторое подпростран-
ство L размерности т. Еслий инвариантно по отношению к эрмитовой мат-
рице А, то в подпространстве L обязательно имеется ровно т собственных
векторов матрицы А. Если же L не является инвариантным, то можно по-
пытаться найти в этом подпространстве т векторов, в том или ином смысле
близких к собственным векторам матрицы А.
Одна из форм близости может быть определена из следующих сообра-
жений. Если %, х являются точными собственным значением и собствен-
ным вектором матрицы А, то выполняется равенство Ах — 7.x. Следователь-
но, в данном случае певязка г(Х, х) = Ах — 7.x ортогональна ко всем век-
торам любого подпространства. Поэтому, если задано подпространство L
и мы хотим найти такие вектор у е L и число 0, чтобы они «приближали»
вектор х и число X, то можем потребовать, чтобы невязка г(0, у) = Ау — ву
была ортогональна ко всем векторам подпространства L. Эта идея является
всего лишь реализацией частного случая общего метода решения самых
различных уравнений, называемого методом Ритца,
33.15. Пусть q,, ..., qm — произвольный ортонормированный
базис подпространства L размерности т. Обозначим через Qm
прямоугольную матрицу размера п X т, столбцы которой совпа-
дают с векторами qt, ..., qm- Если невязка г(6, у) =.Ау — Оу
ортогональна подпространству L, то:
— число 6 — собственное значение матрицы Н = QmAQm\
— вектор у равен Qms, где s есть собственный вектор мат-
рицы Н, соответствующий собственному значению 6.
33.16. Пусть Qm — любая матрица размера п X т с ортонор-
мированными столбцами, Н = QmAQm- Для любой матрицы В
ПЛQ - QH\\e < HAQ - QBUe.
33.17. Если в обозначениях 33.16 6„ ..., 6т — собственные
значения матрицы Н, то найдутся т собственных значений
Хтр • • -, ^тт матрицы А таких, что для всех 1 j sS т справед-
ливы неравенства
|9j - Хт.|<||Л^- QHU.
33.18. Пусть б,, ..., 9m и Si, ..., sm — соответствующие друг
другу собственные значения и собственные векторы матрицы Н
16*
244
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
из 33.16. Тогда для всех 1 j =£ т число 6, равно отношению
Релея для вектора Qms,.
33.19. При нумерации собственных значений в порядке не-
убывания для всех I Су С w выполняются неравенства
Xj 6j «S Z„-m+K
33.20. Для каждого 6, найдется такое собственное значение
Xmj матрицы А, что
|0>-Хт.|<||(Л-0^)^т Ме/Ые-
33.21. В обозначениях 33.16 спектральная задача Ils = 0s,
у = Qns, называется задачей, редуцированной на подпространст-
во L по отношению к исходной спектральной задаче Ах = }.х.
Вектор Q,„s и число Q называются соответственно вектором Ритца
и числом Ритца.
Возвращаясь снова к методу Лапцоша. мы можем теперь дать геомет-
рическую интерпретацию связи спектральных задач с матрицами А и Гт.
33.22. Линейная оболочка векторов х, Ах, ..Л"‘-1а: называ-
ется подпространством Крылова.
33.23. В обозначениях 33.7 спектральная задача Tms = 6s,
У = Qms, является редуцированной па подпространство Крылова
размерности m по отношению к исходной спектральной задаче
Ах = /.х.
Таким образом, осуществляя метод Лапцоша. мы в действительности
строим ортонормированные базисы вложенных друг в друга подпространств
Крылова и получаем последовательность редуцированных па эти подпрост-
ранства спектральных задач с симметричными трехдиагопальными матри-
цами. Принимая во внимание, что редуцированные задачи аппроксимируют
в смысле Ритца исходную спектральную задачу, мы можем надеяться па
то, что при ш <^ п решение задачи Tms = 9s даст полезную информацию
о задаче Ах — Хх. Об этом говорят и оценки 33.10. 33.11. Если при каком-
либо m окажется, что мало р,„ или smj, то это означает, что все или неко-
торые из собственных чисел матрицы Т,„ являются хорошими приближе-
ниями к части собственных значений матрицы А.
Изящная теоретическая картина метода Ланцоша основательно нару-
шается при его практической реализации. Реальный процесс пе обладает
некоторыми свойствами, указанными точной теорией, но приобретает дру-
гие, не предсказанные ею.
33.24. Основные качественные черты практической реализация
метода Ланцоша следующие:
— векторы д, рано или поздно теряют даже приблизитель-
ную ортогональность к ранее вычисленным векторам; матрица
Qi практически становится вырожденной;
— среди чисел Ритца появляются повторные копии, не со-
ответствующие кратным собственным значениям матрицы А; со-
ответствующие векторы Ритца почти коллинеарны;
— чем, дальше от краев спектра, тем медленнее сходимость
чисел Ритца к собственным значениям матрицы Л; обычно, вна-
§ 34]
ИТЕРАЦИОННЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ
245
чале сходятся крайние числа Ритца; один раз сошедшись к ка-
кому-нибудь собственному значению, числа Ритца, как правило,
стабилизируются и в дальнейшем меняются мало;
— коэффициенты (3,- редко бывают малыми; появляется воз-
можность продолжать процесс неограниченно долго, не натал-
киваясь па нулевые или очень малые коэффициенты
— в течение п шагов метода Ланцоша хотя бы одно число
Ритца сойдется к собственному значению матрицы А;
— с ростом числа шагов т > п в спектре трехдиагональной
матрицы Тт появляются приближения ко всем собственным зна-
чениям матрицы А.
Не все перечисленные характеристики получили объяснение, подкреп-
ленное хотя бы каким-нибудь теоретическим обоснованием. Поэтому схе-
ма практической реализации метода Ланцоша остается очень сложной. Том
не мепее в большинстве случаев удается получить вполне приемлемый
результат счета.
В конечном счете метод Лапцоша представляет собой некоторую разно-
видность процесса ортогонализации Грама—Шмидта. Все особенности, при-
сущие методу ортогонализации, остались и в методе Ланцоша, в том числе
главная из них — потеря ортогональности. В § 23 мы подробно рассмотрели
как причины потери ортогональности, так и способ ее восстановления, свя-
занный с полной переортогопализацией векторов. К сожалению, в отноше-
нии метода Ланцоша полная переортогопализация представляет только тео-
ретический интерес, так как приводит к огромному росту объема вычисле-
ний и требуемой памяти ЭВМ. Предложены различные варианты выбороч-
ной переортогонализации. Установлено, что нарушение ортогональности
связано во многом с появлением малых чисел smi, т. е. с факторами, сви-
детельствующими о сходимости чиссел Ритца к собственным значениям
матрицы А.
Однако в этом методе пока еще слишком много неясного, п его практи-
ческое использование скорее похоже па искусство, чем на обоснованные
вычисления. Мы не можем здесь останавливаться на описании многочис-
ленных деталей, которыми обросла вычислительная схема метода Ланцоша.
§ 34. Общие вопросы теории итерационных методов
решения систем линейных уравнений
В этом и в последующих параграфах будут рассмотрены итерацион-
ные методы решения совместных систем линейных алгебраических урав-
нений Au — f,c, квадратными матрицами А и векторами /eim/l. При этом
всюду, кроме §. 40, будет предполагаться, что матрица А невырожденная
п. следовательно, система имеет единственное решение и = А~1] при про-
извольном векторе В наиболее общей форме итерационный метод
решения системы Ли.= / мы запишем в виде вычислительной процедуры
и* = Л(4,/, и11-1, ..., и0), 7с = 1, 2, ...,
где F), — некоторая последовательность операторов, действующих для за-
данных А и / из пространства R, X ХВп в пространство Rn. Ниже
мы ограничиваемся только теми итерационными методами, которые остав-
ляют инвариантным решение и исходной системы, т. е. и = /’)!(Л, /, и,..., и)
для всех к 1. . 1
246
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
34.1. Вектор и0-итерационного метода называется начальным.
34.2. Векторы zk = ик — и, где и = A~'f, называются вектора-
ми ошибок итерационного метода.
34.3. Векторы )£ = Auk — j называются векторами невязок ите-
рационного метода.
34.4. Если для некоторого к 5= 1, используя соотношения
' z‘ = Ft(A, Au, z1-' + и, .. ., z° + и) — и,
выразить вектор ошибки zk через вектор начальной ошибки za
но формуле
zk = Zk(A, и, z°),
то возникающий в результате оператор Zk называется разреша-
ющим оператором к-т о шага итерационного метода.
В дальнейшем всюду предполагается, что
Zk(A, и, =) ^Zk(A, z)
для всех к 1.
34,5. Пусть р — некоторое положительное целое. Тогда ите-
рационный метод называется p-шаговым (.р + i-слойным), если
Fk(A, f, ик~‘, ..и0) = Fk(A, I, ик~', ..., ик~р)
для всех к > р.
34.6. p-шаговый итерационный метод называется стационар-
ным, если для всех к р операторы Fk не зависят от номера
итерации к', т. е.
Fk(A, f, ик~'...ик~р) = /ЛА, f, ик-1, ..., ик-р),
где F — некоторый заданный оператор.
34.7. Пусть s — некоторое положительное целое. Тогда ите-
рационный метод называется циклическим с периодом s, если
Fk = Fk_, для всех k > s.
34.8. Циклический с периодом s 5= 1 итерационный метод мо-
жет. быть записан в виде
ик = F^A, f, ик~*, ..., ик~‘),
где 1 = к — s[k/s\ ([<] — целая часть числа t).
34.9. Циклический с периодом s 1 итерационный метод всег-
да может быть записан в виде стационарного одпошагового ите-
рационного метода
uk = F(A, j, ик~1),
каждый шаг которого реализуется по формулам
uk-'+i/s = Ft(A, f, г?-****-*)^ .ик~')- i=l, 2......s.
34.10. Итерационный метод называется линейным, если опе-
раторы Fk являются линейными по отношению к переменным
векторам /, ик~1, ..., и°.
3 34]
ИТЕРАЦИОННЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ
247
34.11. Линейный итерационный метод всегда представим
в виде
4 Л-1
uh = 2 + FллЛ
j: -II
где Fki, i = 0, 1, ..к,— некоторые постоянные (т. е. зависящие
только от значений индексов к и i) матрицы.
34.12. В силу инвариантности решения системы относительно
итерационного метода имеем
Fhk = (е - S Fl:i} Л-1.
\ г—о /
34.13. Разрешающие операторы линейного итерационного ме-
тода являются матрицами и представимы в виде
Zk = Е МкА,
где Мк — некоторая последовательность матриц.
34.14. Линейный итерационный метод для всех к 5= 1 может
быть записан в виде
Л —1
uh = и"'1 — Hh (Ли"-1 - /) + 2 Sl;iu\
i—О
где Hh, Shi, i = 0, 1, ..к — 1,— некоторые последовательности
матриц, причем
/t-i
2 shi = о.
i--0
34.15. Линейный двухшаговый итерационный метод может
быть записан в виде
= и"~' - Hk(Auk~l - f) -• 8к(.ик~* - uh~2'),
где Нк, Sk — некоторые последовательности матриц.
34.16. Линейный одпошаговып итерационный метод всегда
может быть записан в виде
ик = ик~' — Пк( A
где Нк — некоторая последовательность матриц. Если матрицы
Нк невырожденные, то метод часто записывают в другом, экви-
валентном, универсальном виде:
7W - i?-1) = -тДЛи*-1 - /),
где тк — некоторая последовательность ненулевых чисел (пара-
метров итерационного метода), Bh = х.
34.17. Линейный стационарный одпошаговый итерационный
метод всегда может быть записан либо в виде
ик = ик^ - ЩАик~1 -f),
248
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
где Н — некоторая постоянная матрица, либо, если матрица Н
невырожденная, в виде
В{ик — ик~’) = — т(Аик -1 /),
где т — некоторый итерационный параметр, В = tH~l.
. 34.18. Итерационный метод называется сходящимся, если для
любого начального приближения и° е Rn последовательность век-
торов ик этого метода сходится к решению и исходной систе-
мы Аи = /.
Здесь и далее в определениях и формулировках различных результа-
тов (неявно или явно) часто используется свойство эквивалентности норм
в конечномерных пространствах. Более конкретно, если последовательность
векторов (матриц) сходится к какому-либо вектору (матрице) в одной вы-
бранной норме, то она сходится и в любой другой норме. Поэтому при изу-
чении сходимости пет необходимости фиксировать вид используемой нормы.
В то же время, если нас интересует вопрос о близости векторов (матриц)
или о скорости сходимости последовательности за конечное число шагов,
то способ задания нормы может уже играть очень важную роль.
34.19. Пусть П-11 — некоторая векторпая норма п Z— некото-
рый оператор, действующий пз R,, в R„. Тогда величина
называется константой Липшица оператора Z.
34.20. Если Z — матрица порядка п и II-II —некоторая вектор-
пая норма, то
L(Z) = IIZH,
где II-H — матричная норма, подчиненная соответствующей исход-
ной векторной норме.
34.21. Для любой векторной нормы условие
lim L (Zh) = 0
h-*<x>
достаточно для сходимости итерационного метода.
34.22. Для любой матричной нормы Н-Il условие
lim||Zft|| = 0
h—>oo
необходимо и достаточно для сходимости линейного итерацион-
ного метода.
34.23. Для любого к 5s 1 оператор Th, определяемый соотно-
шением
T/z) = Tk(A, z) = Fk(A, Au, z+ и) — и,
называется оператором перехода к-то шага соответствующего од-'
йоПгагового итерационного метода.
34.24. Для линейных одношаговых методов матрицы
Th = Е - В,,А
§ 34]
ИТЕРАЦИОННЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ
249
называются матрицами перехода k-го шага, а в .случае стацио-
нарных методов, когда Тк = Т = Е — НА, матрица Т называется
просто матрицей перехода.
34.25. Для произвольной векторной нормы условие
sup L {Th) <1
достаточно для сходимости одношагового итерационного метода.
34.26. Пусть H-II — некоторая матричная норма. Тогда условие
117’П < 1
достаточно для сходимости линейного стационарного одношаго-
вого итерационного метода.
34.27. Пусть оператор перехода Т стационарного одношагового
итерационного метода определяется формулой
7’(z) = z - 3ekAz)Az,
где Зё — некоторый оператор, действующий из пространства R,,
в пространство матриц порядка п и удовлетворяющий следую-
щим условиям: ,
— Зё определен и непрерывен па всех ненулевых векторах
из Rn;
— 3ё является однородным оператором пулевой степени, т. ег
зё^)=зё{\)
для всех ненулевых векторов £ и чисел X.
Тогда, если существует такая векторпая норма 11-11, что для
любого ненулевого z е Rn выполняется неравенство
Il7’(z)ll < llzll,
то
L(T)= sup || T (z) || < 1,
и, следовательно, соответствующий итерационный метод
и* = г?”' - Зё^-^ААа'1-' - /)
сходится.
34.28. Пусть X — некоторое отличное от пуля число и
гл 1 ()
250
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
— матрица порядка s. Тогда
Jim
J" = л0,
где Ло = es 0 es, es = (0, ..., 0,1)' е Rs, и, следовательно, для лю-
бой матричной нормы II-II выполняется равенство
Jim || J,’i ||1/Л = ]Х|.
/1—»сс
34,29. Пусть Т = QJQ~' — некоторая квадратная матрица, где
J — ее нормальная жорданова форма, a Q — матрица, столбцами
которой являются собственные и корневые векторы 7, и пусть
s — максимальный порядок жордаповых клеток, соответствую-
щих собственным числам Т, равным по модулю р(7) > 0. Тогда
существует такая унитарная диагональная матрица U, что
Jim------ 1 Ub-^Q^Q = А,
л-.со|р(7’)]'г_5+1СГ1
где Л — блочно диагональная матрица, диагональные блоки кото-
рой либо являются пулевыми матрицами, либо имеют порядок s-
и совпадают с матрицей Ло из 34.28.
34.30. Для любой матрицы Т и любой матричной нормы II-И
выполняется равенство
Ит||7" ||I//l = р(7).
, k-* ОО
34.31. Условие
lim|| 7'1=0
необходимо и достаточно для сходимости линейного стационар-
ного одношагового итерационного метода.
34.32. Условие
р(7) < 1
необходимо и достаточно для сходимости линейного стационар-
ного одношагового итерационного метода.
34.33. Пусть II-Р — заданная векторная норма. Тогда, если
для конкретного к > 1 константа Липшица L разрешающего опе-
ратора Zh соответствующего итерационного метода меньше еди-
ницы, то величина
г (А) =--j-lnL(Zft)
называется средней скоростью сходимости этого итерационного
метода за к шагов в заданной норме Н И.
§ 34]
ИТЕРАЦИОННЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ
251
34.34. Пусть в заданной векторной норме, начиная с некото-
рого номера к0 1, для разрешающих операторов Zk соответству-
ющего итерационного метода выполняются неравенства
IAZJ < 1, к = к„ к„ + 1, ...
Тогда величина
г (Zx) = lim г (Zh) = — Jim In L (Zh)
/1-гОО
называется асимптотической скоростью сходимости этого итера-
ционного метода.
34.35. Асимптотическая скорость сходимости итерационного
метода не зависит от способа задания векторной нормы.
34.36. Средняя за к шагов скорость сходимости линейного ите-
рационного метода по отношению к заданной векторной норме
вычисляется но формуле
r(Zk) = - |ln||Zfe||,
где П-11 —некоторая произвольная матричная норма, подчиненная
соответствующей векторной норме.
34.37. Асимптотическая скорость сходимости линейного ите-
рационного метода вычисляется по формуле
г (Zoo) = — JnUZhll.
34.38. Средняя за к шагов скорость сходимости стационарного
«дпошагового итерационного метода с оператором перехода Т
вычисляется по формуле
Ti,(T) = r (Т) = — |]нЛ(Г"),
а в случае линейного оператору Т (постоянной матрицы) — по
формуле
rk(T)= - In ЦТ'1 (I.
* •' 34.39. Пусть Т — оператор перехода стационарного оДпошаго-
вого итерационного метода, и пусть для некоторой векторной
нормы LAT) < 1. Тогда для асимптотической скорости сходимо-
сти этого метода справедлива оценка
r0O(7’)=_limrfe(7’)>-ln£(7’).
* fe-*oo
34.40. Асимптотическая скорость сходимости стационарного
линейного одношагового итерационного метода с матрицей пере-
хода Т, для которой р(Т’) < 1, вычисляется но формуле
гв(7’) = -1пр(7’).
252
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
34.41. Пусть оператор перехода Т стационарного одношагово-
го итерационного метода ограничен, т. е. Е(Т) < +°°, и суще-
ствует такая векторная норма Il-Н, по отношению к которой для
некоторого целого s > 1 выполняется неравенство
IATS) < 1.
Тогда асимптотическая скорость сходимости этого метода по-
ложительна и
r„(n>rt(n
для всех к, для которых определена его средняя за к шагов ско-
рость сходимости.
Последнее утверждение может показаться читателю несколько неожи-
данным и даже противоречащим здравому смыслу, поскольку па практике
обычно встречается обратная ситуация: наблюдаемая на первых шагах ско-
рость сходимости итерационного метода значительно выше, чем па последу-
ющих шагах. Фактически же никакого противоречия нет. Дело в том, что
проведенные теоретические рассуждения относятся, так как мы имеем дело
с константами Липшица или нормами операторов, к самым плохим из воз-
можных ситуаций. Для стационарных линейных одйошаговых итерационных
методов эта плохая ситуация соответствует, например, случаю, когда норма
матрицы перехода очень сильно превосходит ее спектральный радиус, а век-
тор начальной ошибки почти совпадает с вектором, па котором достигается .
максимум отношения l|Tz||/||z||.
34.42. Пусть для стационарного одпошагового итерационного
метода с оператором перехода Т по отношению к заданной век-
торной норме L(T) < 1, и пусть существуют такое целое поло-
жительное х и такая величина а, равная по1 модулю />('/'), что
для некоторого ненулевого вектора z выполняется равенство
T’z = az.
Тогда
' . г„(/) =г„(Г) = -1н£(П
для всех целых Z > 1.
34.43. Пусть по отношению к некоторой заданной векторной
норме Il-П копстапты Липшица разрешающих операторов Zk ите-
рационного метода для всех к > к0, где к„ — некоторое полоний-*
тельное целое, удовлетворяют неравенствам
' (Zft_x) <...<£ (4в)<1.
Тогда для любого положительного е < 1 наименьшее целое число
к = кг^ к„, удовлетворяющее неравенству
/г IIheI/r(ZJ,
задает число шагов этого итерационного метода, достаточное для
уменьшения заданной нормы вектора начальной ошибки z° в 1/е
§ 34]
ИТЕРАЦИОННЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ
раз, т. е.
для выполнения неравенства
34.44. Пусть для стационарного одношагового итерационного
метода с оператором (матрицей) перехода./' по отношению к за-
данной векторной норме выполняется неравенство L(T) < 1
(117’11 < 1). Тогда величина
к [ГЛГ)] + 1 [ ЬЬ(7)] + 1
где [tJ — целая часть числа t, задает число шагов этого метода,
достаточное для уменьшения нормы начальной ошибки z" в в раз
(е — основание натуральных логарифмов). Соответственно для
любого положительного е < 1 величина
задает число шагов метода, достаточное для уменьшения задан-
ной нормы вектора ошибки z" в 1/е раз, т. е. достаточное (при
условии Hz°li = 1) для решения исходной системы Аи = / в этой
норме с точностью е.
Эффективность применения конкретного итерационного метода для ре-
шения того или иного класса систем определяется многими факторами.
Основными из них являются:
— минимальность количества арифметических действий, -требуемых для
решения системы с заданной точностью;
— минимальность объема памяти ЭВМ, требуемой для хранения всех
используемых величин;
— устойчивость реализации метода в условиях приближенного выпол-
нения различных, в том числе арифметических, операций;
— логическая простота метода с точки зрения составления програм-
мы, реализующей его па ЭВМ.
Создание метода, удовлетворяющего наилучшим образом перечислен-
ным требованиям для конкретной системы, которую требуется решить,—
мечта каждого математика. Даже при самых идеальных условиях она, как
правило, оказывается неосуществимой. Поэтому задачу о выборе из задан-
ного множества методов наиболее эффективного метода решают при раз-
личных, часто весьма жестких, ограничениях. В настоящей книге в каче-
стве основной характеристики итерационного метода будет использоваться
(весьма условно) величина и:,., равная количеству арифметических действий,
достаточному для уменьшения заданной нормы вектора начальной ошибки
в 1/е раз (е < 1). При этом неявно предполагается, что имеется устойчи-
вый алгоритм реализации рассматриваемого метода.
Таким образом, прщ сделанном предположении под проблемой оптими-
зации конкретного итерационного метода мы будем понимать задачу выбо-
ра операторов (или матриц), определяющих этот метод, из некоторого за-
данного множества с целью минимизации либо самой величины wr, либо ве-
личины, достаточно хорошо ее приближающей. Конечно, при более полном
теоретическом пли практическом анализе проблемы оптимизации все сде-
ланные замечания нуждаются в серьезном уточнении. Заметим также, что
все дальнейшие рассуждения будут связаны только с p-шаговыми итера-
ционными методами при некоторых значениях р^1.
254
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
34.45. Пусть относительно' p-шагового итерационного метода
(р — некоторое положительное целое) выполнены следующие
предположения:
— операторы Fk, определяющие итерационный метод, выби-
раются из некоторого множества операторов GP (разрешающие
операторы Zk принадлежат соответствующему множеству опера-
торов Gz);
— для любого оператора F е GP для нахождения по произ-
вольным векторам /, v>, ..., vp е R„ (при заданной фиксирован-
ной матрице А) вектора v = F(A, f, v>, .... vp) требуется одно
и то же (пе зависящее от /, vt, ..vp) количество iva арифме-
тических действий;
— последовательность операторов Zk удовлетворяет усло-
виям 34.43.
Тогда = к,.^, где кс определено в 34.43, и проблема оп-
тимизации этого итерационного метода по отношению к множе-
ству операторов GP одновременно для всех значений е < 1 за-'
ключается для каждого /с>1в выборе такой последовательности
операторов F,<^Gf (оператора Zk е Gz), i = 1, ..., к, чтобы кон-
станта Липшица оператора Zh была минимальна, или, эквива-
лентно, средняя за к шагов скорость сходимости была макси-
мальна.
34.46. Пусть матрица перехода Т линейного стационарного
одношагового итерационного метода зависит (как от параметров)
от компонент вектора у = (уь ..., ^РУ е RP при некотором р > I,
т. е. Т = Пу). Тогда, если 11-11— некоторая норма и G R„ —
множество таких векторов у, для которых Н7’(у)П < 1, то задача
оптимизации этого итерационного метода за один шаг (в данной
норме) заключается в нахождении такого вектора е G, чтобы
II ЛТопт)|| = тш И(т)1|.
VGG
34.47. Пусть выполнено предположение 34.46 и G^RP — мно-
жество векторов yeRf, для которых р(7) < 1. Тогда задача
асимптотической оптимизации соответствующего итерационного
метода эквивалентна максимизации его асимптотической скоро-
сти сходимости и заключается в нахождении такого вектора
уопт е G, чтобы
р(7’(Топт)) = minp(7’(y)).
veG *
34.48. Множество из п собственных чисел матрицы Т поряд-.
ка « (каждое отличное от других собственное число берется
столько раз, какова его кратность) называется ее спектром и
обозначается через о(7).
34.49. Задача асимптотической оптимизации линейного ста-
ционарного одношагбвого итерационного метода из 34.47 явля-
§ 34]
ИТЕРАЦИОННЫЕ МЕТОДЫ РЕШЕНИЯ СИСТЕМ
255
ется минимаксной задачей вида
шах | Z | = min
Xsa(T(v)) VGG
На практике вывод явной формулы для нормы или' спектрального ра-
диуса матрицы перехода линейного стационарного одпошагового итераци-
онного метода как функции параметров -щ .."(р и? 34.47, 34.49 возможен
лишь в исключительных случаях. Как правило, это связано с тем, что ис-
ходной информацией о матрицах, участвующих в данном итерационном
методе, являются только некоторые Достаточно общие сведения, например,
об областях комплексной плоскости, которым принадлежат их спектры. По-
этому с практической точки зрения реально говорить лишь о приближен-
ной оптимизации конкретных итерационных методов. В дальнейшем, если
задача оптимизации итерационного метода будет заключаться в миними-
зации какой-то функции g(7), 1eCcRp, то, как правило, мы будем пе-
реходить к некоторому множеству G G и к некоторой функции g("t) та-
кой, что g(7) g(f) для 1еС, а вместо исходной задачи минимизации —
решать задачу нахождения такого 7опт, чтобы
?(7опт) = т>М(7)-
тес
Компоненты вектора 70ПТ мы и будем принимать за приближенное реше-
ние исходной задачи оптимизации. Конечно, всегда возможны ситуации,
когда найденные значения параметров весьма далеки от искомых опти-
мальных значений.
34.50. Итерационный метод
uh = uk~l — Toyin'1-1 — /), .
где г,, — некоторая последовательность параметров, называется
одношаговым методом Ричардсона (методом Ричардсона первого
порядка), а в случае, когда тк = т, т. е. параметры принимают
постоянное значение т, он называется стационарным одношаго-
вым методом Ричардсона или методом простой итерации.
34.51. Пусть т>0 (т<0). Тогда выполнение условия
ReZ>0 (<0) ¥Хео(Л)
необходимо для сходимости метода простой итерации.
34.52. Пусть Re Z > 0 Улео(Л). Тогда существует такое-
т>0, что метод простой итерации сходится для всех те(0, "г).
34.53. Пусть все собственные числа матрицы А положитель-
ные и пг = min Z М = max Z. Тогда
>.еа(А) Хеа(А)
р(Е — г А) = max 11 — тХ, | = max{ 11 — rm, |, 11 — тМ | },
?.еа(А)
соответствующий метод простой итерации сходится для любого
положительного т < 2/М, а задача его асимптотической оптими-
зации решается выбором
т = тОпт — 2/(ш + М).
.256
ЧИСЛЕННЫЕ МЕТОДЫ
[ГД. 2
34.54. Пусть о(Л) с [6, AJ, где 6 ==S А — положительные числа.
Тогда
р (Е—тЛ) max |1 — т^| = тах{|1— т6|,| 1 — тА | },
соответствующий метод простой итерации сходится для любого
положительного т < 2/Д, а задача его приближенной асимпто-
тической оптимизации решается выбором
т = т0ПТ = 2/(6 + А).
Таким образом, поскольку 6 =£ т =£ М =£ А, в случае метода
простой итерации имеем
g (т) = тах{ 11 — lm |, 11 — rM | } (т) = max{ 11—тб |, 11—6А |},
6 = (О, 2/A)£G = (0, 2/М).
34.55. Пусть все собственные числа матрицы Л положитель-
ные и она является матрицей простой структуры (т. е. суще-
ствует такая вещественная матрица Q, что QAQ~l — диагональная
матрица с положительными диагональными элементами). Тогда
существует такая норма ii-ii (например, D — норма, порождаемая
матрицей D = Q*Q), что
11£_ТЛН =р(£-тЛ)
для всех положительных значений т, и, следовательно, задача
асимптотической оптимизации соответствующего метода простой!
итерации совпадает с задачей его оптимизации за один шаг в
этой норме.
34.56. Пусть Н—некоторая постоянная матрица. Тогда ите-
рационный метод
uh = и*-1 — ihII(Auk — f),
где Т& — некоторая последовательность параметров, называется
обобщенным одношаговым методом Ричардсона (обобщенным ме-
тодом Ричардсона первого порядка), а в случае, когда т(| = г (по-
стоянному параметру), он называется обобщенным стационарным
одношаговым методом Ричардсона или обобщенным методом про-
стой итерации.
34.57. Обобщенный одношаговый метод Ричардсона является
обычным одпошаговым методом Ричардсона, примененным к
системе
-Тн = 1,
где Л^= НА, f = Я/, т. е. полученной из исходной системы Ли =±
= f путем ее умножения на соответствующую матрицу Н.
34.58. Процедура умножения исходной системы на некоторую
матрицу называется преобусловливанием этой системы.
§ 35]
МЕТОДЫ РЕЛАКСАЦИИ
257:
34.59. Условие
ker Н Г) im А = 0
необходимо для сходимости обобщенного одпошагового метода
Ричардсона.
34.60. Пусть выполнено условие 34.59. Тогда все утвержде-
ния 34.51—34.55 переносятся па обобщенный метод простой
итерации с соответствующей заменой матрицы А па мат-
рицу НА.
34.61. Пусть матрица Н—симметричная и положительно оп-
ределенная, а матрица А — положительно определенная. Тогда
Re Z > 0 VZe о(НА), и, следовательно, существует такое т, что
соответствующий обобщенный метод простой итерации сходится
для всех т s (0, т).
34.62. Пусть матрицы А и II — симметричные п положительно
определенные. Тогда соответствующий обобщенный метод про-
стои итерации сходится для всех положительных т, для которых
т. е. при т s (0, 2/Af), где В = Н~1 и М = р(//А). Кроме того,
задача асимптотической оптимизации этого метода совпадает с
задачей его оптимизации за один шаг в S-норме, и их решение
достигается выбором т = тОПт = 2/{т + М), где
т = min X 'С М = max X.
J.=o(HA) Хео(НА)
§ 35. Методы релаксации
35.1. Пусть А = (а,)) — некоторая матрица с ненулевыми диа-
гональными элементами и A=diag(an, ..., «„). Тогда итераци-
онный метод
Лик = (A-A)uk~l + f ♦
или, эквивалентно,
А(ик — ик~Ч = —(Auk~l — ])
называется точечным методом Якоби или методом одновремен-
ных смещений.
35.2. Пусть
— блочная матрица с квадратными невырожденными блоками.
Аи, i = 1, .. ., s, и
Л = Л „ ® Аг2 Ф ... Ф А„.
17 в.В. Воеводин, Ю. А. Кузнецов
258
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
Тогда итерационный метод из 35.1 называется блочным методом
Якоби или блочным методом последовательных смещений.
35.3. Если А — матрица со строгим диагональным преобла-
данием, т. е.
I I > S I L i = 1, . . ., И,
,Ц=1
то точечным и любой блочный методы Якоби сходятся.
35.4. Матрица А называется матрицей со слабым диагональ-
ным преобладанием, если
п
I «и I > S I «ЦI
для всех i = l, ..., п, Причем хотя бы для одного значения I
имеет место строгое неравенство.
35.5. Пусть А — неразложимая матрица со слабым диагональ-
ным преобладанием. Тогда точечный и любой блочный методы
Якоби сходятся.
35.6. Пусть А — матрица какого-либо из вариантов метода
Якоби и со — некоторый числовой параметр. Тогда итерационный
метод
Аи*-172 = (А - А)ик~* + f, uh = сои'1-172 + (1 — со)н''~’
или, эквивалентно,
A(.uh — ик~') = —co(Au'i_‘ —/)
называется экстраполированным методом Якоби.
35.7. Экстраполированный метод Якоби является частным:
случаем обобщенного стационарного одношагового метода Ри-
чардсона.
35.8, Пусть А — симметричная положительно определенная
матрица. Экстраполированный метод Якоби сходится тогда и
только тогда, когда со е (О, 2/р(А~‘А)). При этом оптимальное
значение параметра (в смысле максимума асимптотической ско-
рости сходимости или средней за один шаг в соответствующей
А-порме) вычисляется по формуле
СОопт = 2/(ш + М\
где m = 1/р(А-1А) — минимальное собственное число матрицы
А_1А и Л/= р(А-1А).
35.9. Пусть А = (а„) — некоторая матрица с ненулевыми диа-
гональными элементами, А = diag (аи, ..., апп\ L — строго ниж-
§ 35]
МЕТОДЫ РЕЛАКСАЦИИ
259
няя треугольная матрица, U — строго верхняя треугольная мат-
рица и А = А — L — U. Тогда итерационный метод
(А - L}uK = Uuh~l + /
или, эквивалентно,
(A-L)(u*-i?-‘) = -(Аи*-1-/)
называется точечным методом Гаусса — Зейделя, или точечным
методом Зейделя, или точечным методом последовательных
смещений.
35.10. Пусть
— некоторая блочная матрица с квадратными невырожденными
диагональными блоками 4if, i = 1, ..., s, и А = ® А22 ® ...
.. .®А„. Тогда итерационный метод из 35.9 называется блочным
методом Гаусса — Зейделя, или блочным методом Зейделя, или
блочным методом последовательных смещений.
35.11. Если А — некоторая матрица со строгим диагональным
преобладанием или неразложимая матрица со слабым диагональ-
ным преобладанием, то соответствующие точечный и любой блоч-
ный методы Гаусса — Зейделя сходятся.
35.12. Пусть выполнены предположения из 35.10, векторы и
и / системы Аи =р / разбиты на блоки в соответствии с разбиени-
ем на блоки матрицы А (т. е. и' — [их, и2, .. ., hs] и/' =[/х,
X, ...,/«]\ где размерности векторов щ и /, совпадают
с порядками блоков Ati, i = 1, ..., х) и со — некоторый отличный
от нуля числовой параметр. Тогда итерационный метод
= — 2 — 2 + А, •
,7=1 j=i + l
Щ = <0U-~1/2 + (1—<о)и-’-1, i = l,...,s,
или, эквивалентно,
(^А—= -(Auk-v-f)
называется методом последовательной верхней релаксации (в за-
рубежной литературе для метода последовательной верхней ре-
лаксации принято обозначение SOR — successive overrelaxation
method), а параметр со -= релаксационным параметром. Иногда,
если все блоки матрицы имеют порядок единица, метод последо-
вательной верхней релаксации называется точечным, в против-
ном случае — блочным.
17*
260
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
Метод Гаусса — Зейделя является частным случаем метода последова-
тельной верхней релаксации при w = 1. В свою очередь, метод последова-
тельной верхней релаксации иногда называли экстраполированным методом
Гаусса — Зейделя (или экстраполированным методом Зейделя).
35.13. Пусть А — матрица со строгим диагональным преобла-
данием или неразложимая матрица со слабым диагональным
преобладанием. Тогда существует такое <о > 1, что метод после-
довательной верхней релаксации сходится для любого <о е (0, о).
Раньше в литературе метод 35.12 для положительных значений пара-
метра О) < I называли методом нижней релаксации, для значений ы > 1 —
методом верхней релаксации, а Для значения ы = 1—методом полной ре-
лаксации. Однако впоследствии, так как для подавляющего числа практи-
чески важных задач оказалось (в ряде случаев это строго доказано), что
для определенных значений ы > 1. метод сходится быстрее, чем для любого
из значений о < 1, за методом ддя любых значений ы закрепилось назва-
ние метода последовательной верхней релаксации.
35.14. Пусть А — симметричная положительно определенная
матрица. Тогда векторы ошибок zh метода последовательной верх-
ней релаксации удовлетворяют соотношениям
тетете-(4-1)|(те-£)тег'-|-.
35.15. Если матрица А симметричная и положительно опре-
деленная, то согласно 34.27 и 35.14 соответствующий метод по-
следовательной верхней релаксации из 35.12 сходится тогда и
только тогда, когда и е (0, 2).
35.16. Пусть симметричная матрица А представлена в виде
А = А - L - L',
где А — симметричная положительно определенная матрица, L —
некоторая, вообще говоря, произвольная матрица, и пусть <о —
некоторый непулевой числовой параметр, det ^—А —
Тогда итерационный метод
Аг?-1) = -(Лг?-1-/)
называется обобщенным / методом последовательной верхней ре-
лаксации (соответственно при а = 1 он называется обобщенным
методом Гаусса — Зейделя).
35.17. Векторы ошибок zh обобщенного метода последователь-
ной верхней релаксации удовлетворяют соотношениям
(ЛД /) _ (л?-, - (4 - 1) | А - 1 Л Д1
35.18. Согласно 34.27 и 35.17 обобщенный метод последова-
тельной верхней релаксации сходится тогда и только тогда, когда
6 351
МЕТОДЫ РЕЛАКСАЦИИ
2G1
либо матрица А положительно определена и <о е (0, 2), либо
Матрица А отрицательно •определена и <о <£ (0, 21.
35.19. В обоих случаях, когда выполняются условия сходимо-
сти обобщенного метода последовательной верхней релаксации
из 35.18, det^-A —
г 35.20. Если матрица Л отрицательно определенная и <о
Ю, 21, то обобщенный метод последовательной верхней релак-
сации может быть переписан в виде
(4- А - Z) (и1 - и”-1) = - (А?-1 -7),
’ \ W /
где А = — A, J=f н L = А — L, а релаксационный параметр <о
связан с релаксационным параметром <о соотношением 1/<о =
= 1 — 1/ю, и, следовательно, <о е (0, 2).
Таким образом, обобщенный метод последовательной верхней
релаксации с параметром ы (0, 21 для системы Ли, = / с отри-
цательно определенной матрицей А эквивалентен обобщенному
методу последовательной верхней релаксации с параметром ю е
е (0, 2) применительно к преобразованной системе, по уже с
положительно определенной матрицей А = —А.
35.21. Матрица перехода Т = Т„, обобщенного метода после-
довательной верхней релаксации может быть записана в виде
Та = (Е - ы£)-Т(1 - ю)Е + и£71,
где Е = А-1Т, £7 = A~'U, U = L'. Соответственно матрица пере-
хода Т=Т\ обобщенного метода Гаусса — Зейделя имеет вид
Л = (А - L)-lU = (Е- L)U.
35.22. Пусть матрицы Г, п £7 нз 35.21 являются соответствен-
но строго нижней треугольной п строго верхней треугольной и
Ai = Mo) — собственные числа матрицы Ти. Тогда
JJ X, (<о) = det Та = (1 — <о)",
и, следовательно, для любого <о (0, 2) выполняется неравенство
р(7'в) -- 11 — G)|.
35.23. Если матрицы L и £7 из 35.21 являются соответственно
строго нижней треугольной и строго верхней треугольной, то
обобщенный метод последовательной верхней релаксации не cxoJ
дится для зпачепий <о (0, 2).
35.24. Если матрица А симметричная и отрицательно опре-
деленная, то, поскольку выводы из 35.18 и 35.23 вступают в
противоречие, для нее невозможно построить разложение
А = А - L - L'
2G2
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
с симметричной и положительно определенной матрицей А так,
чтобы матрицы A~'L и A~'L" были соответственно строго нижней
и строго верхней треугольными.
35.25. Матрица перехода обобщенного метода последователь-
ной верхней релаксации при со = 2 является матрицей простой
структуры, и все ее собственные числа равны по модулю единице.
35.26. Пусть L п £7 — соответственно строго нижняя и строго
верхняя треугольные матрицы. Тогда матрица
Г, = Г + U
называется согласованно упорядоченной, если собственные числа
матрицы
Тт = a.L + ±-U
пе зависят от числового параметра а, т. е.
det (Гоа — ХЕ) = det — ХЕ)
для любого а 0.
35.27. Пусть Т — блочно трехдиагоиальная матрицу вида (s —
некоторое положительное целое)
где 0, — квадратные матрицы порядка щ, i = 1, ..., s, и С7,-_t —
соответственно матрица размеров X ni+1 и Xn„ I — 2, ...
и п, -Ь...+ па = п. Тогда матрица Т является согласованно
упорядоченной.
35.28. Пусть Т — циклическая индекса 2 матрица. Тогда су-
ществует такая матрица перестановок Р, что матрица РТР' яв-
ляется согласованно упорядоченной.
35.29. Говорят, что матрица В обладает свойством «А» Янга,
если существует такая матрица перестановок Р, что матрица
РВР' является блочно трехдиагональиой матрицей вида (s — не-
которое положительное целое)
РВР' =
~и1 0 -
— £s Bs
0
где Bi — диагональные матрицы порядка п„ а размеры матриц
Li и L\ те же, что и в 35.27, I = 1, ..., s.
§ 351
МЕТОДЫ РЕЛАКСАЦИИ
263
35.30. Пусть Q — некоторое множество п различных пар ин-
дексов (/, /) и задана система пятиточечных уравнений
j С0Щ4-1, i j-j-i (i, j) £2,
причем и» = 0 для (i, /) <£ Q. Тогда, если объединить в первую
группу неизвестные, сумма индексов которых четна, а во вто-
рую — сумма индексов которых нечетна, то мы приходим к си-
стеме Au = f с блочной матрицей
которая обладает свойством «А» Янга. Здесь Et — единичная
матрица порядка п1 (ге, равно числу пар (i, ))ей с четной сум-
мой i + j) и Ег— единичная матрица порядка пг = п—п1, а Д12
и A2i — некоторые матрицы соответственно размеров пл X п2 и
пг X гц, имеющие в каждой строке и каждом столбце не более
четырех ненулевых элементов.
35.31. Пусть выполнены предположения 35.30. Тогда, если
распределить все неизвестные по s группам (s — некоторое поло-
жительное целое) так, чтобы в каждую группу входили неизве-
стные только с одной и той же суммой индексов (для разных
групп различной), а группы расположить в порядке возрастания
значений этих сумм, то мы придем к системе Ли = / с блочно
трехдиагональной матрицей
А = Е—Т
(где Т— матрица из 35,27), обладающей свойством «А» Янга.
35.32. Если А — блочно трехдиагоиальная матрица с невы-
рожденными диагональными блоками, то матрица перехода Т,,
соответствующего блочного метода Якоби является согласованно
упорядоченной.
35.33. Пусть матрицы Е = i\~'L и V — A~lU обобщенного ме-
тода последовательной верхней релаксации являются соответ-
ственно строго нижней и строго верхней треугольными и Т{1 —
= Е+ 77 — согласованно упорядоченная матрица. Тогда
det (Тш + ХЕ) = det 1(1 - о + К)Е - шЛ1/2(Г + Г)],
и, следовательно,
Xj — со + 1 = co%i/2|ii,
где щ — собственные числа матрицы Т„, a Xi = Xi(co) — соответ-
ствующие собственные числа матрицы 7’ш, i = 1, ..., п.
35.34. Если величина ц является собственным числом согла-
сованно упорядоченной матрицы То, то величина —ц также яв-
ляется собственным числом Та.
35.35" . При выполнении предположений 35.33 собственные чис-
ла ц матрицы Та и собственные числа X матрицы Та связаны
264
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
соотношением
(1 — co — X)2 = X|_i2co2,
причем если р. является собственным числом матрицы Т„, то оба
значения X, удовлетворяющие этому соотношению, являются соб-
ственными числами 7’ш, а если X является собственным числом
Та, то величины ц = ± —— являются собственными числа-
X1
ми матрицы То.
35.36. Если матрица перехода Т„ блочного метода Якоби со-
гласованно упорядоченная, то
р2(7’„) =р(Г1),
где 71, — матрица перехода соответствующего блочного метода
Гаусса — Зейделя, т. е. оба метода сходятся только одновремен-
но. Более того, в данном случае
г„(7\) = 2гоо(710),
т. е. метод Гаусса — Зейделя сходится в два раза асимптотически
быстрее, чем метод Якоби.
35.37. Пусть выполнены предположения 35.33, все собствен-
ные числа матрицы Та вещественны п р(710) < 1. Тогда значе-
ние со, минимизирующее р(7\,) ц, следовательно, являющееся
оптимальным с точки зрения максимальности асимптотической
скорости сходимости метода последовательной верхней релакса-
ции, вычисляется по формуле
ы„пт = 2/(1— р2(7’с)).
При этом р(71(1>опт) = <вопт — 1 и, соответственно,
М^“опт) = — 1п (“‘’пткг !)•
35.38. Пусть выполнены предположения 35.33, p(Z’o) < 1 и
<оопт вычисляется по формуле 35.37. Тогда 1
Р (Г и) <С 0, О) (0, <0опт),
р (Ги) = 1, (пе (соопт, 2),
п, следовательно, для любых <о2 и <0i, удовлетворяющих либо не-
равенствам 0 < <о( < <о2 -S <о„пт, либо <о„пт sE <о2 < о», < 2, выполня-
ется неравенство
'□о(ТИ1)<г0о(71Ю2).
35.39. Пусть выполнены предположения 35.33 и рСТ») = 1 — X,
где 0 < h < 1. Тогда
P(^wonT) = 1 — 2 1^2/г1'2 + ^(/г3/2)-
§ 35]
МЕТОДЫ РЕЛАКСАЦИИ
265
В частности,
35.40. Пусть А — симметричная положительно определенная
блочно трехднатональная матрица. Тогда для соответствующего
блочного метода последовательной верхней релаксации справед-
ливы все утверждения 35.33—35.39.
35.41. Пусть задана система уравнений
xlijUiT" Л12Ц2— ft,
A2lut + A2iu2 =
где Л,j — матрицы размеров X п;, a и,, f, е Rn., 1 = 1, 2,
(п, + zi2) = п, и заданы некоторые вещественные параметры со п
со'. Тогда, если матрицы Лн н Л22 невырожденные, то итераци-
онный метод
' = со (—А12и2 1 +/1) + (1 — со) Altui \
A22i4 = со' (— 421uJ + /2) + (1 — со') Л^щГ1
или, эквивалентно,
— Лц(ц^ — и'1 а) = —(лпц; 1 + А12и2 1 — /1),
-^тЛ22(ц2— ц2 а) = —(Л21Ц( 1 + Л.22ц2 — /2)
называется модифицированным методом последовательной верх-
ней релаксации.
35.42. Матрица перехода Т = Ти модифицированного мето-
да последовательной верхней релаксации имеет вид
Е. 0
-co'Z2
1 Г (1 — со) Ег ыи1
0 (1 - со') Е2
где Ь2 = А22А21 и = Л111Л12, a Et и Ег — единичные матрицы
соответственно порядков nt и п2.
35.43. Собственные числа матрицы из 35.42 и собствен-
ные числа ц матрицы перехода
о и
Т., 0
соответствующего блочного метода Якоби связаны соотношением
(А + со — 1)(А + со' — 1) = сосо'ц2А.
Более того, если ц ¥= 0 является собственным числом матрицы
Т9, то оба корпя А этого уравнения являются собственными чис-
266
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
лами 71(|) (для ц = 0 либо одна из величин со — 1 и со' — 1
является собственным числом Т, ', либо обе величины); если
(0,(0 7 7
же А, является собственным числом матрицы ТЮ(Й’, то величины
, j 1/2 "I Л (X -|- — 1) (X + а>' — 1)
И = ± Л V
одновременно являются собственными числами матрицы Та.
35.44. Если все собственные числа матрицы Та из 35.43 ве-
щественные и рСТ») < 1, то модифицированный метод последо-
вательной верхней релаксации сходится для любых значений ы,
и's (0, 2).
35.45. Если матрица
А = ^12
.Al Аг.
из 35.41 симметричная и положительно определенная, то соот-
ветствующий модифицированный метод последовательной верх-
ней релаксации сходится для любых со, и' е (0, 2).
35.46. Если собственные числа матрицы Та вещественные и
р(Т0) < 1, то
Р(^,м')>Р(^опТ)
для любых значений и и и', где — матрица перехода соот-
ветствующего блочного метода последовательной верхней релак-
сации, а йопт вычисляется по формуле из 35.37.
В этом случае оптимальным (в смысле максимума асимптоти-
ческой скорости сходимости) вариантом модифицированного ме-
тода последовательной верхней релаксации является выбор ы =
= и' = йопт, и, следовательно, нет смысла вводить в метод по-
следовательной верхней релаксации* различные параметры.
35.47. Пусть Л = Л — L — L’ — симметричная положительно
определенная матрица, где Л также симметричная и положитель-
но определенная. Тогда итерационный метод
(Ад_ л) (ufe-1/2 - г,"1) = - (А?-1 - /),
(А л - Л') (uh - = - (Аик~1/г - /)
или, эквивалентно,
(А Л _ л) Л"1 (—Л - т/) (uh - и^1) = - (-1 - 1)(Ли'1-1 - /)
\ (О / \<0 / ' ' \ <0 / 4
называется методом симметричной последовательной верхней ре-
лаксации (в зарубежной литературе для него используется обо-
значение SSOR).
9 351
МЕТОДЫ РЕЛАКСАЦИИ
267
1 Г
35.48. Если ввести обозначения -4Х= — А — L, А2 = А± и т =
= 2й/(2 — ы), то метод симметричной последовательной верхней
релаксации можно переписать в виде
(А - тА.ЭА-ЧЛ + тАгХг?- и*-") = -2т(Лв‘-' - /).
35.49. Для векторов ошибок zk метода симметричной последо-
вательной верхней релаксации справедливо соотношение
и, следовательно, метод сходится тогда и только тогда, когда
в) е (0, 2). Соответственно метод из 35.48 сходится тогда и толь-
ко тогда, когда т > 0.
35.50, Матрица перехода = Е — 1/(<л)А метода симмет-
ричной последовательной верхней релаксации, где
Я(М) = [—-iW—A_L')_1a(—A^lV1
' ' \ <0 / \ <0 / \ w 1
— симметричная матрица, подобна симметричной матрице
7((а) = Е — А11'~Н((й)А1/г, т. е. является самосопряженной в смыс-
ле скалярного произведения, порождаемого матрицей А. Следо-
вательно, при сделанных ранее предположениях
И(М)11л = р(7(м)).
35.51. Все собственные числа матрицы ТСы) из 35.50 веще-
ственные, и она обладает ’полной Л-ортонормированной системой
собственных векторов.
35.52. Так как матрица
Т(й)|и=1 = (Л- Ь")~'А(А — L)-lLA-'L'
подобна симметричной положительно полуопределенной (или по-
ложительно определенной, если det А ¥= 0) матрице
А,/2(А - IA-lLA~lL'(A - Z/)_1A1/Z,
то все ее собственные числа неотрицательны (положительны).
Соответственно собственные числа матрицы ЖсаМ при ы = 1
положительны и не превосходят единицы.
35.53. Асимптотическая оптимизация метода симметричной
последовательной верхней релаксации эквивалентна минимиза-
ции .4-нормы его матрицы перехода
35.54. Пусть
208
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
— симметричная положительно определенная матрица с квад-
ратными блоками Лц п Л-,, А = А,, ® А., и
HA SJ-"
Тогда для соответствующего метода симметричной последова-
тельной верхней релаксации ‘
min || У (со) ||л = || 7(1) Ид,
ое(о.г)
т. е. оптимальное значение параметра со равно единице.
Таким образом, для матриц А из 35.5-1 оптимальный метод симметрич-
•прй последовательной верхней релаксации имеет скорость сходимости
(правда, среднюю за один шаг), совпадающую с асимптотической скоростью
сходимости блочного метода Гаусса — Зейделя. В то же время ои требует
па каждый шаг в два раза больше арифметических действий, чем, метод
Гаусса — Зейделя.
35.55. Пусть выполнены предположения 35.47,
r = A-*L, U = A-'L', Т,= <A-L)~'U,
v2 = p(Tt) <1,7 = max (p(ZC), 1/4),
n пусть
co =
(0, 2).
Тогда для соответствующего метода цимметричной последователь-
ной верхней релаксации справедлива оценка
- 1 — <71/2
р(Т(со))<1-^,
1 + Q '
где q = (1 — v)7(l — 2v + 4у) < 1.
35.56. Пусть выполнены предположения 35.55 и р(£17) < 1/4.
Тогда
1 — v
со = ---------—т, q = —-
14-2(1 —v)I/2 7
Кроме того, если v = 1 — h, где 0 < h « 1, то
,. ^(7(2))
lim----— ,,, = 1.
35.57. Пусть выполнены все предположения 35.56, матрица
7\ = Ё+ U согласованно упорядоченная и параметр соопт соот-
ветствующего обобщенного метода последовательной верхней ре-
лаксации вычисляется по формуле из 35.37, т. е. соопт =
= 2/(1 4- Тогда
lim
Г°° (Чпт)
<2.
РЕШЕНИЕ СИСТЕМ С МОНОТОННЫМИ МАТРИЦАМИ 269
§\36]
I
§ 36. Итерационные методы для систем
с монотонными матрицами
36.1. Матрица А называется монотонной, если любой вектор
л, для которого Лхэ>0, является неотрицательным.
36.2. Квадратная матрица А монотонна тогда и только тогда,
когда опа невырожденная и А~1^> 0.
36.3. Пусть А — некоторая монотонная матрица и для нее
имеет место расщепление А = В — С, где В — неособенная мат-
рица, В' и С?2>0. Тогда это расщепление матрицы А на-
зывается регулярным.
36.4. Пусть А — монотонная матрица и А = В — С — ее регу-
лярное расщепление. Тогда
р(В-'С) = р(4-*С)/(1 + р(Л-*С)) < 1.
36.5. Пусть выполнены предположения 36.4. Тогда итераци-
онный метод
Вик = Сик~' + /
или, эквивалентно,
B(uh — ик~') = — (Ли6-1 — /),
применяемый для решения системы Аи = /, сходится.
36.6. Пусть А — Bt — Ci и А = Вг — С, — два регулярных рас-
щепления монотонной матрицы Л, причем Ct <^Сг. Тогда
p(Br1C1)<p(S71G)< 1,
и, следовательно, метод из 36.5 сходится для первого расщепления
асимптотически не медленнее, чем для второго.
36.7. Пусть выполнены предположения 36.4 и матрицы Л и
С симметричны. Тогда
p(Z?-,C) С р(4-*)р(С)/( 1 + р(4-‘)р(О) < 1.
36.8. Матрица Л = (щ) называется М-матрицей, если она не-
вырожденная, ац 0 для всех и Л-1 2>0.
36.9. Л/-матрица является монотонной матрицей.
36.10. Все диагональные элементы M-матрицы положительны.
36.11. Треугольная матрица, у которой все диагональные эле-
менты положительные, а недиагональные элементы неположи-
тельные, является Л7-матрицей.
36.12. Пусть А — разложимая матрица и
Г Аг ^12 ••• Аз
А22 ' ' • А»
о
РАР' =
Ass
— ее нормальная форма из 18.23, причем 0<С4,-, для всех i^j.
Тогда Л в том и только в том случае является Л/-матрицей, если
блоки -Л,-.-, i = 1, ..., s, являются 2И-матрицами,
Li-Ji. p
36.13. Пусть A = aE — S, где 5s>0 и a > p(S). Тогда
^ = ±2(1^0,
a -“ \ a 1 ’
i=o
и, следовательно, А является ^/-матрицей.
36.14. Пусть A =aE — S, где 5>0и a—некоторое положи-
тельное число. Тогда А в том и только в том случае является
Л/-матрицей, если а>р(5).
36.15. Пусть недиагональпые элементы матрицы А — неполо-
жительные. Тогда любые два из следующих утверждений экви-
валентны:
а) А является Af-матрицей;
б) для А существует представление А = аЕ — S, где S 2>0
и а > р(5);
в) ReX>0 для любого л^о(Л);
г) все главные миноры матрицы А положительные;
д) все ведущие миноры матрицы А положительные;
е) существует такой положительный вектор и, что вектор A~'v
положительный;
ж) существуют такие нижняя треугольная матрица L и верх-
няя треугольная матрица U, являющиеся 2И-матрнцами, что
А = LU. V
36.16. Матрица Л со строгим диагональным преобладанием
и неположительными недиагональными элементами является
М-матрицей.
36.17. Неразложимая матрица А со слабым диагональным
преобладанием и неположительными недиагональными элемента-
ми является Л/-матрпцей. Более того, все элементы матрицы А~1
положительные.
36.18. Пусть А является неразложимой ^/-матрицей. Тогда,
если А = Bt — С, и А = В2 — С2 — два регулярных разложения А
и Ci С,г, причем Ct =/= С2, то
р(7?Г1С1>< р(^1С2) < 1,
т. е. итерационный метод из 36.5 для первого расщепления
асимптотически сходится быстрее, чем для второго.
36.19. Пусть А, — некоторая Л/-матрпца, матрица А, и
ее педиагопальные элементы неположительны. Тогда А2 также яв-
ляется М-матрицей и А^1 -^А^1.
36.20. Пусть А — некоторая Л-матрпца п матрица В получена
из А путем замены некоторых ее ненулевых недиагональных
элементов нулями. Тогда В также является ^/-матрицей и
В-^А-1
36.21. Пусть матрица В получена из М-матрицы А путем за-
мены некоторых ее недиагональных элементов нулями и С =
= В — А. Тогда расщепление А = В — С матрицы А является
^36] РЕШЕНИЕ СИСТЕМ С МОНОТОННЫМИ МАТРИЦАМИ 271
регулярным и, следовательно, соответствующий итерационный
ме^тод из 36.5 сходится.
j 36.22. Точечные и любые блочные методы Якоби и Гаусса —
Зейделя для систем с ^/-матрицами А сходятся. При Этом асимп-
тотические скорости сходимости методов Якоби не выше, а в
случае, когда матрица А неразложима, ниже, чем асимптотиче-
ские скорости сходимости соответствующих методов Гаусса —
Зейделя.
36.23. Пусть матрица А = Е — L — U является М-матрицей,
где L и U — строго нижняя и строго верхняя треугольные мат-
рицы соответственно. Тогда расщепление А = В» — Сш, где
С.-(4- 1)Т?+С/.
матрицы А является регулярным для любого со е (О, И, и, сле-
довательно, для этих значений и
р(^1Си)<1.
36.24. Пусть выполнены предположения 36.23. Тогда суще-
ствует такое значение <в > 1, что соответствующий метод после-
довательной верхней релаксации сходится для всех значений
со е (0, со). Кроме того, если 0 < cot < со2 < 1, то, поскольку
имеем р(Л-1СИ2), и, следовательно,
Р feG-J < Р (в^СЫ1) < 1,
т. е. метод для значения со = со2 асимптотически сходится быст-
рее, чем для значения ю = со,.
36.25. Пусть выполнены предположения 36.23 и матрица А
неразложимая. Тогда
^p(5-1Cw)< О,
и, следовательно, значение со0„, которое максимизирует асимпто-
тическую скорость сходимости соответствующего метода последо-
вательной верхней релаксации, больше единицы.
36.26. Пусть А = В — С — регулярное расщепление Л/-матри-
цы Л. Тогда матрица
А = В-1 А =Е~ В-'С
также является М-матрицей.
36.27. Пусть А = А — С — регулярное расщепление Jf-матри-
цы А, С = L + U, a L = A~'L и U = A~lU являются строго ниж-
ней и строго верхней треугольными матрицами соответственно.
Тогда обобщенные методы Якоби
Auh = (L+Ulu’-' + f
272 ' ЧИСЛЕННЫЕ МЕТОДЫ [ГЛ.^
и Гаусса — Зейделя /
(Л — L)uh = Uuh~l + f I
сходятся, причем обобщенный метод Гаусса — Зейделя сходится
не медленнее, а в случае неразложимости матрицы Л~‘С — бы-
стрее, чем обобщенный метод Якоби.
36.28. Пусть выполнены предположения 36.27. Тогда суще-
ствует такое ю > 1, что соответствующий обобщенный метод по-
следовательной верхней релаксации
#„zC = С^и"-1 + /,
1 / 1 \
где Вы = — Л — L, C<o' = [——IIЛ — U, сходится для любого
<о е (0, <о). Кроме того, если сщ < ы2 с; 1, то
р (#<,>1 > р
и, следовательно, при ю = ы2 метод асимптотически сходится бы-
стрее, чем при ю = oil, а значение параметра о)ОП1 больше или
равно единице.
36.29. Если выполнены предположения 36.27 и матрица Л-1С
неразложимая, то значение параметра o)onT, максимизирующего
асимптотическую скорость сходимости соответствующего обоб-
щенного метода последовательной верхней релаксации, больше
единицы.
36.30. Пусть А — блочная Л/-матрица из 35.2. Тогда для со-
ответствующего блочного метода последовательной верхней ре-
лаксации справедливы все выводы 36.27 и 36.28, а если матри-
ца А неразложимая, то — и вывод предыдущего пункта.
36.31, Симметричная Af-матрица А называется матрицей
Стилтьеса.
36.32. Симметричная матрица, у которой недиагональпые эле-
менты неположительные, тогда и только тогда является матри-
цей Стилтьеса, когда опа положительно определенная.
36.33. Если симметричная матрица В получена из матрицы
Стилтьеса А путем замены нулями некоторых ее недиагональпых
элементов, то она тоже является матрицей Стилтьеса.
§ 37. Методы расщепления
(методы переменных направлений)
р
37.1. Пусть А = У, А{, где р > 2, И, — некоторые квадратные
t=i
матрицы, i = 1, ..., р. Тогда итерационный метод
(ик - и^1) = - а, (Пи'1-1 - /)
s 37] МЕТОДЫ РАСЩЕПЛЕНИЯ 273
\
I Р
с (патрицей BZ;i = JJ (Е + т-л)Д;) и последовательностями пара-
метров т(/‘\ i = l, ...,р, ak называется методом расщепления,
{методом переменных направлений).
Методы переменных направлений были предложены в пяти-
десятые годы для решения систем линейных уравнений, возни-
кающих при дискретизации уравнений математической физики
методом сеток (в зарубежной литературе для них используется
обозначение ADI — Alternating Direction Implicite). В дальней-
шем эти методы интенсивно развивались применительно к самым
различным задачам. При этом многие авторы стали использовать-
термин «методы расщепления», отталкиваясь от идеи, что матри-
цы Вх этих методов представляются в виде произведения более
простых матриц (расщепляются), например, ленточных или блоч-
по треугольных.
37.2. Пусть выполнены предположения 37.1, = ah = а,
где т, — некоторые неотрицательные числа, i = 1, ..., г, а — не-
которое положительное число. Тогда, если
ReX>0 Vi. ео(.4),
то существуют такие положительные числа т, а, что соответ-
ствующий стационарный метод расщепления
№“-(?-*) = -/)
сходится для любых значений параметров т, е (О, т), i = 1, ..., г,
а е (0, а).
37.3. Пусть т, = т и а = [Зт, где т, 0 — некоторые положитель-
ные числа, причем 0 фиксировано. Тогда, если ВеХ>0
V/. то существует такое т > 0, что соответствующий ста-
ционарный метод расщепления из 37.2 сходится для произволь-
ного т е (0, т).
37.4. Метод расщепления называется коммутативным (комму-
тативный случай), когда матрицы А„ ..., Аг попарно перестано-
вочны между собой.
37.5. Если матрицы простой структуры А,, ..., Az попарно
Г
перестановочны между собой, то они и матрица А = 2 обла-
i=i
дают общей полной в Rn системой собственных векторов, т. е.
существует матрица V, столбцами которой являются векторы
ipi, ..., ф„, образующие полную в Rn общую систему собственных
векторов матриц А,, ..., Аг, Л:
Ajlpj = i = 1, .... Г, Аф, = j = 1, . . . , И, Л; = 2
1=1
18 в. В. Воеводин, Ю. Л. Кузнецов
274 ЧИСЛЕННЫЕ МЕТОДЫ [ГЛ.^
/
37.6. Если симметричные матрицы А,, ..., Аг попарно пе^с-
•г I
-стаиовочны между собой, то они и матрица А — У, обладает
i=l
общей полной в R„ ортонормированной системой собственных *
векторов.
37.7. Пусть TXj^h = Е — а^А— матрица перехода и Zk =
= Тth,ah •.. ТT1>otl—разрешающий оператор метода расщепления
из 37.1, и выполнены условия из 37.5. Тогда, используя обозна-
чения из 37.5, имеем
Р(^,а„)= шах
k
р (Z„) = max П
«=1
Более того, существует такая норма II-II«(например, норма ll-llD,
порождаемая матрицей D = Q*Q), что
=P(2W 11^11. = p(Zh).
37.8. Пусть выполнены предположения 37.7. Тогда
Р(^) С П Р (Л(.а( ) С [max, Р (Л(,а<)]'‘).
37.9. Пусть выполнены предположения из 37.3 и 37.7, Re >
0 для всех А.(0 <= о(А,), г = 1, ..., г, и Re К > 0 для всех X ео(А).
Тогда существует такое [}>0, что соответствующий стационар-
ный метод расщепления сходится для любых значений ре (О, [})
и т > 0.
37.10. Пусть выполнены предположения из 37.7, = Да,
г = 1, ..., г, где тл — последовательность параметров, для которой
0 < Тппп = min тй птах тй < + оо,
k k
и ah = Тогда существует такое 0 > 0, что соотвеДствующий
метод расщепления сходится для любой последовательности па-
раметров е (0, (J), удовлетворяющих неравенству
inf ph > 0.
k
37.11. При г = 2 и aft = T(iW + T(2ft) метод расщепления из 37.1
называется методом Лисмана — Рэкфорда и может быть записан
В МДе (Е + тТЧ)г?-1/2 = (Е - т™ Л2) и*-1 + т™/,
(Е + rMi? = (Е- +
МЕТОДЫ РАСЩЕПЛЕНИЯ
275-
8^71
1 37.12. Матрица перехода к-го шага метода Писмапа — Рэк-
форда может быть записана в виде
hA = (Е + 4Ч)-1 (Е - 4*4) (£ + тУЧ)-1 (Е - т?Ч)-
1
Последующие несколько пунктов настоящего параграфа пос-
вящены коммутативному случаю метода Писмана — Рэкфорда.
При этом мы будем предполагать, что А, и А2 являются матрица-
ми простой структуры с вещественными и неотрицательными
собственными числами, а параметры и 4° для всех к > 1
положительны.
37.13. При сделанных предположениях для коммутативного
случая метода Писмана — Рэкфорда (в обозначениях из 37.7)
р (Тг) = шах
1 + ' 1 + т2л<2'
При этом, если ввести величины = min 4’ , Mi = max 4
i = 1, 2, то
p(7\)< max |ФТ(71,И)|,
7n2^H<Af2
1 — t.A. 1 — т.п
где Фт (1, |x) = Г ь i TT25-'
А V Г/ 1 4- Т1Х 1 ф Т2р
37.14. Существуют дробно-линейные преобразования
, аХ — b ail — b
к = -----— , Ц = ———,
1 — с'к 1 — ср
где а, Ъ, с — некоторые вещественные числа, отображающие для
любых положительных тп<М квадрат [m, Ml X (т, Ml на пря-
моугольник [mi, Л7,] Х[тп2, М21, где тп, < ЛЛ и т2 < М2, при ко-
тором функция Ф из 37.13 не изменяет своего вида, т. с.
Ф^к, р.) =ФТ(Х., ц), где
_ 1 — bil _ 1 ф йт2
ат1 — с ’ ”^2 ат2 ф с
В дальнейшем без потери общности мы будем предполагать,
что nil = т2 = т и Л/, = М2 = М для некоторых положительных
т < М. Заметим, что случай т1=М1 (или т2 — М2) для нас пе
представляет никакого теоретического интереса, так как при
42=1/^! (или Ti = 1/тп2) р(7\) = О, и соответствующий метод
расщепления сходится за одну итерацию. Этот случай пе пред-
ставляет и практического интереса, поскольку матрица At (или
А2) будет скалярной матрицей, и применять .здесь метод расщеп-
ления просто пе имеет смысла.
18*
276
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
37.15. Пусть относительно матриц Л! и Л2 коммутативного
случая метода расщепления выполнены все сделанные рафее
предположения и существует такая норма П-П*, что HZJI# = p(^k)
для всех к 1. Тогда проблема приближенной оптимизации это-
го метода за любые к шагов в указанной норме 11-11 заключается
в нахождении последовательности параметров т(/\ \ t = 1, ...
..., к, являющихся решением задачи
к
max JJI Фт I = min .
Х,це[т,М] (=1 (I) (I) t = I h
Т1 -т2
37.16. Проблема приближенной асимптотической оптимизации
циклического с периодом к 1 коммутативного метода расщеп-
ления заключается в нахождении параметров т,0, t=l, ...
..., к, являющихся решением минимаксной задачи 37.15. —7
37.17. Сформулированная в 37.15—37.16 задача приближен-
ной оптимизации метода расщепления имеет точное решение при
помощи эллиптических функций Якоби.
Мы не приводим, в силу громоздкости, явпое решение задачи из 37.15
(опо содержится в ряде хорошо известных монографий по вычислительным
методам), а ограничимся только одним приблияшппым способом ее решения.
37.18. Решение задачи
шах | ФТ(А,, ц) | = min
Х,|Л = [тл,М] ТГТ2
достигается выбором Ti = т2 = т0ПТ = 1/1! тМ, причем
max I Фтопт <Z’ I1) I = тах
Х,це(т,М] ' 1
1 TotrA
1 Топт^
У J/ ф У т
37.19. Пусть т = .. ,<mk = М — некоторые поло-
жительные числа и г4/* = = Tt для t = 1, ..., к. Тогда
к
max ПI Фт, (к, р) I У g (ть ..., тл, mt, ..., т^) =
?.,це(т,М] t=i1 1
1 - 2
1 -f- T(A.
= max max
и решение проблемы приближенной оптимизации соответствую-
щего метода расщепления из 37.15 п 37.16 заключается в мини-
мизации функции g по переменным т(, ..., тА,
37.20. Решение задачи приближенной оптимизации 37.19 до-
стигается выбором
mt = mh l!\
1
опт — -----------
И
t = 1, .. ., к — 1,
= 1
t = 1, • • • , К
Где h = т/М. При этом p(Z„) 1(1 - /г’/А)/(1 + /г17*)]2.
МЕТОДЫ РАСЩЕПЛЕНИЯ
277
37.21. Для асимптотической скорости сходимости циклическо-
го с фиксированным периодом s > 1 коммутативного метода при
сделанных ранее предположениях и h < 1 справедлива оценка
г (£«>)> In [1 — 2h 1/s] > у- h1/a.
37.22. При s = lln ftl/ln 2 правая часть неравенства 37.21
достигает наибольшего значения, а само неравенство принима-
ет вид
r(Zoo)^21n22/llnft|. .
37.23. Для асимптотической скорости сходимости стационар-
ного коммутативного метода расщепления при сделанных ранее
предположениях и = т2 = l/1/h при справедлива оценка
37.24. Пусть n = lXs, где I, s — положительные числа, At —
— KtXE,, и A2 = EiX К2, где Et и К2— матрицы простой струк-
туры порядка /их соответственно, все собственные числа кото-
рых неотрицательны, через Et обозначается единичная матрица
порядка t, Л=Л1 + Л2. Тогда соответствующий метод Писмана —
Рэкфорда является коммутативным и
Р(ТТ) = шах
Xea(Kj)
цео(К2)
1 — т2А. 1 —
1 Т 1 + T,,U
37.25. Пусть В — положительно определенная (полуопреде-
ленная) матрица, т — положительный параметр S\ = (Е + тЕ)~* X
X (Е — тВ) и £>=(£’+ тВ)'(Е + тВ). Тогда
lie к _ чпп И'(Я - тВ) г IP qi1_ II г II2 -2т(Вс, г) + т21| Bv ||2
I£R„ II (£ + tB) v ||2 || v 1|2 +2t(Bc, v) + т“ И Bv ll-
для любого т>0, где II-II—обычная сферическая норма.
В остальной части параграфа будут рассматриваться методы
расщепления при сохранении следующих предположений: г = 2;
т(1,1> = Т2/!> = т/!>0;матрицы At п А2, по крайней мере, положитель-
но полуопределенные, матрица А положительно определенная.
Перестановочность матриц At и А2 нигде больше предполагаться
не будет.
37.26. При сделанном предположении положительной полу-
определенности матриц А{ и А2 матрицы Е + тЛ(, i = 1, 2, невы-
рожденные для любого т > 0.
37.27. Пусть zh — векторы ошибок метода расщепления, =
= (Е + тЛ2)г'‘, хотя бы одна из матриц Л,-, г = 1, 2 положительно
определенная (например, ЛЛ и S!T1} = {Е + тА,) 1 (Е— тЛ,)_
278
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ, 2
Тогда для любого ij?-1 ¥= О
и, следовательно, метод расщепления сходится для любого т > О,
причем справедлива оценка
Гоо(Л) >- inllsV’ll.
37.28. Пусть матрицы Л„ i=l, 2, симметричные и положи-
тельно полуопределенные. Тогда метод расщепления сходится
для любого т > 0.
37.29. Пусть В — симметричная положительно определенная
матрица и Sz — (Е + т;В)~1(.Е — тВ). Тогда
ilM = P(^) = max |^1.
Zeo(ST) I 1 тл I
37.30. Пусть А( — симметричные положительно определенные
матрицы и о(Л<)е [т, Л/1, где т<М— положительные числа,
г=1, 2. Тогда (в обозначениях 37.27)
max Г.
I 1 ~ T/- I
37.31. Пусть выполнены предположения 37.30. Тогда для при-
ближенной. оптимизации соответствующего стационарного метода
расщепления достаточно минимизировать правую часть неравен-
ства из 37.30, что достигается выбором т0Пт = 1/1/тМ. При этом
для асимптотической скорости сходимости в случае h = т/М < 1
будет справедлива оценка
37.32. Пусть матрица В положительно определенная
\\Bv\^N(Bv,v) Vv<=Bn
и Sz = (Е + тВ)~1(Е — тВ), где А и т—положительные числа.
Тогда
и с 12 1 — т (1 — тД/2) А .
Хеа(В+В') 1 + т (* ~ тД/2) л
для любого т > 0.
37.33. Пусть At — положительно определенные матрицы,
11Л;в112 А(Лгв, в) и б(в, в) (AiV, и) для любого v е Rn, где
6 А — положительные числа, и = (Е + тЛ;)'1 (Е — тЛ,).
Тогда для любого т > 0
i«>k max
U х<=[б,д] I 1+2т (1 + тД/2) А. I
37.34. Пусть выполнены предположения 37.33. Тогда для при-
ближенной оптимизации соответствующего стационарного метода
§ 138]
ЧЕБЫШЕВСКИЕ ИТЕРАЦИОННЫЕ МЕТОДЫ
279
расщепления достаточно минимизировать правую часть неравен-
ства из 37.33, что достигается выбором топт=1/УбА. При этом
]| 5^ )^2,|| ( У &— уГб)/( Л + 1^6), и для асимптотической
скорости сходимости метода при Л = 6/А<1 справедлива оценка
rJ7\)S=2A1/2.
37.35. Пусдь А — симметричная положительно определенная
матрица, А = Ai + А2 и А2 = А.2. Тогда матрицы At и А2 поло-
жительно определенные.
37.36. - Пусть выполнены предположения 37.35. Тогда соответ-
ствующий вариант метода расщепления называется попеременно
треугольным методом.
37.37. Матрица = (Е + т/1i)(7? + т42) попеременно треу-
гольного метода является сцмметричной и положительно опреде-
ленной.
37.38. Матрица B^*A попеременно треугольного метода явля-
ется 4-самосопряженной и А -положительно определенной матри-
цей. В частности, она является матрицей простой структуры и
все ее собственные числа положительны.
37.39. Пусть A — At + А2 и D — некоторая симметричная по-
ложительно определенная матрица. Тогда итерационный метод
(И + t^AJD-^D + T<ft)42)(uh-uh-1) = -аДЛи*'1-/)
с последовательностями параметров и оц эквивалентен
методу расщепления
(Е + ?/%) (Е + tV%) (ик - и*'1) = - а,{ (4?-1 -7),
примененному к преобразованной системе, Ай = f, где либо
A = D~~lA, й = и, f = Ai = D~iAi, i = 1, 2, либо А =
= D~l/2AD~l/2, й = Dl/2u, f = D~l/2f, A^D-'^Afi-1'2, i=l, 2.
§ 38. Чебышевские итерационные методы
В настоящем параграфе будут рассматриваться линейные итерацион-
ные методы с разрешающими операторами Zft, являющимися для каждого
к 2г 1 многочленами степени не выше к от матрицы НА (Н — некоторая
невырожденная матрица):
h
Zh = Zh (НА) = Е - Yi.fc (W
1—1
с некоторыми вещественными коэффициентами 1= 1, .... к. На протя-
жении всего параграфа (за исключением последних пунктов) мы будем
предполагать, что матрица ПА обладает полной системой собственных век-
торов, т. е. является матрицей простой структуры, и все ее собственные
числа М, I = 1, ..., п, вещественны и положительны. Кроме того, будем
обозначать через D симметричную положительно определенную матрицу,
для которой матрица НА является D-самосопряжеппым и О-положнтельпо
определенным оператором в пространстве Rn или, эквивалентно, (DHA)' —
280
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
= DIIA > 0. В качестве О всегда можно выбрать матрицу где
Q — матрица порядка п, столбцы которой образуют полную систему собст-
венных векторов матрицы НА, т. е. НА = QAQ-1, где Л = diag (Ai, ..А„).
38.1. Пусть й — некоторое замкнутое множество веществен-
ной положительной полуоси, содержащее спектр о(/Л4) матрицы
ЛА. Тогда для рассматриваемых итерационных методов
= p(Z„)
k
max 1-2 Ti,A’
хей i=i
38.2. Для множества й из 38.1 задача приближенной опти-
мизации рассматриваемых итерационных методов в D-норме за
к шагов заключается в построении метода с такими значениями
TiA = Ti,h, чтобы выполнялось равенство
h * k
max 1 — 2 Ti.feA.’ = min max 1 — 2 TA’ ,
Хей i=i ’ vj..vA xefl i=i
т. e. задача эквивалентна нахождению многочлена степени
не выше к, наименее уклоняющегося от нуля на множестве й.
Итерационные методы с такими разрешающими операторами мы
будем называть чебышевскими.
В дальнейшем мы будем предполагать, что Q = [а, Ь], где а, Ь, а < Ъ,—
положительные числа.
38.3. При сделанном предположении задача из 38.2 о постро-
ении чебышевского итерационного метода с разрешающими опе-
раторами
* 4т «
Яа(ЯИ) = £-2тм(ЯА)’
принимает вид
1*1 I h j
max | ZA (A,) | = min max 1—2 ?A’
V!,...,VA a«Xcb I i—1
k = 1, 2..........
38.4. Многочлены
ад)=4к/+ /z‘7ZZi)fe+(z-
или, эквивалентно,
[cos (Tcarccos t), 111 1,
(ell (k arcch t), 11 [ > 1,
называются многочленами Чебышева к-то порядка первого рода,
к = 0, 1, ... .
§ 38]
ЧЕБЫШЕВСКИЕ ИТЕРАЦИОННЫЕ МЕТОДЫ
281
38.5. Корни многочлена Чебышева СД1) вычисляются по
формуле
по модулю значение на отрезке [—1, 1], равное
достигает в точках 1,- = cos (гл/к\ г = 0, 1, ..., к.
СМ) = (-!)', г = 0,1.........к.
максимальное
единице, Ch(t)
Более точно,
38.6. Многочлены Чебышева СМ удовлетворяют рекуррент-
ным соотношениям
Cft+1U) = 2tCM - Ck-M, к = 1, 2.......
38.7. Пусть Vh — множество многочленов РМ степени к
(с ненулевыми коэффициентами при Р), удовлетворяющих усло-
вию Pft(O) = 1. Тогда многочлен Чебышева CM е VM является
единственным решением минимаксной задачи
шах | P>t (t) | = min ,
*el-i,i] pkeVk
t. e. Ch(t) наименее отклоняется от нуля на отрезке [—1, 1]
среди всех многочленов заданной степени к > 1.
38.8. Задача из 38.3 о построении чебышевского итерацион-
ного метода имеет единственное решение
для любого к > 1.
*
38.9. . Разрешающие операторы Z^HA) чебышевского итераци-
онного метода связаны для к > 1 соотношениями
2;, = Е ClbHAZb-i + Zft-г),
тде
_ 4 С/,-101)
а>1 ~ Ь — а Ск (ф
0,
(Ф
I МФ ’
к= 1,
Л>1,
0Ь =
т] = (Ь + а)/(Ь — а).
38.10. Чебышевский итерационный метод для к > 1 может
быть реализован по формулам
h_ — /), /с = 1,
*>1,
где и [J,, определены в 38.9.
282
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2.
38.11. Линейный итерационный метод вида
У—У”1
(Ли® — /),
\акН (Ли"-1 - /) - р,( (и^1 - и"*2),
к = 1,
к>1,
с некоторой невырожденной матрицей Н и некоторыми последо-
вательностями параметров aft, [),, называется обобщенным двух-
шаговым методом Ричардсона или обобщенным методом Ричард-
сона второго порядка. В случае Н = Е он соответственно назы-
вается двухшаговым методом Ричардсона пли методом Ричард-
сона второго порядка.
38.12. Рассматриваемый чебышевский итерационный_Лиетод
является двухшаговым методом Ричардсона со специальными
последовательностями параметров ah и
38.13. Для чебышевского итерационного метода при k > 1
справедлива оценка
или, с учетом представления
cft(4) = 4 [01 + + 61 +
оценка
I! zh |D < 2 [т] + /ц2 - l]-fc h° Ь = 2
Л/Ь-Л/а
Д/Ь + Уа.
II Z° «D.
38.14. Для любого фиксированного к > 1 па классе матриц
ПА, удовлетворяющих наложенным выше требованиям, первая
оценка из 38.13 пеулучшаема. Более конкретно, для любого 1
существует матрица простой структуры НА со спектром, принад-
лежащим отрезку [а, Ь], для которой
Для нахождения такой матрицы достаточно потребовать, чтобы
величины (см. 38.5) + а — (&— a)cos-^6l? i = 0,1, ..., А,
принадлежали спектру матрицы НА.
38.15. Для асимптотической скорости сходимости чебышев-
ского итерационного метода имеет место оценка
r(Z0O)>lim41nCA (Л) = 1и(т] + /ц2 — 1) = ~У4-
Д-»оо * Vb + Va
38.16. Для уменьшения Р-нормы вектора начальной ошибки
в 1/е раз (е<1) достаточно к, шагов чебышевского итерацион-
ного метода из 38.10, где — минимальное целое, удовлетвори-
§ 38]
ЧЕБЫШЕВСКИЕ ИТЕРАЦИОННЫЕ МЕТОДЫ
283
I
тощее неравенству
1
с/,
"е
9 = n+/n2 —1,
д е + 1
или эквивалентному неравенству
, ~ In (1/е + 1/f2 — 1)
Е In (п + VV — 1)
или упрощенному неравенству
*е>1п4/1п(т]+ /п2-1).
38.17. Пусть А, В — симметричные положительно определен-
ные матрицы. Тогда для решения системы Аи = / применим че-
бышевский итерационный метод из 38.10 с матрицей Н = В~1,
Причем в качестве матрицы D можно выбрать либо матрицу А,
либо матрицу В.
38.18. Пусть А, Л — симметричные положительно определен-
ные матрицы блочногс метода Якоби из 35.2. Тогда для решения
системы Аи — / применим чебышевский итерационный метод с
матрицей Н = Л~*.
Из 38.18 видно, что для построения конкретного варианта чебышевско-
го итерационного метода, а именно, для выбора матрицы Н мы обратились
к идее построения блочных методов Якоби. Аналогичная ситуация будет
возникать и в дальнейшем, когда мы обратимся к блочному методу Гаус-
са — Зейделя и методу переменных направлений. Поэтому в ряде случаев
представляется целесообразным рассматривать чебышевские итерационные
методы как способ ускорения сходимости (оптимизации) соответствующих
одно- или двухшаговых линейных стационарных итерационных методов за
счет использования последовательностей параметров.
38.19. Пусть А = Л — L — L' и Л — симметричные положитель-
но определенные матрицы и матрица L такова, что матрицы
L=A~'L и U = A~'L' являются строго нижней и строго верхней
треугольными соответственно. Тогда, если матрица Ta=E + tj
является согласованно упорядоченной (отсюда согласно 35.36
следует, что р(710) < 1), то для чебышевского итерационного ме-
тода с матрицей Н = Л-1 выполняются равенства а = 1 — р(71„),
6 = 1 + р(710), а для его асимптотической скорости сходимости
имеет место оценка
* 1
г (Zoo) > у In
1 + К1- Р2 (Гв)
i-JA-pVo) ’
Отсюда, учитывая, что для соответствующего обобщенного метода
последовательной верхней релаксации
(_LД -w"“1) = —{Аи!1-1 — /)
284
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
с параметром со = соопт = 2/(1 + VI — р2(7’0)) асимптотическая ско-
рость сходимости вычисляется по формулам
1 + 1Л1 - Р2 (Т’о)
(^опт) = - Ш (Иопт - 1) = Ш —
получаем неравенство
г (L)/ М7\оопт)>1/2,
38.20. Пусть
Д Д,„1 Л,, 0
А= .“ ,12 , В = “ , ,
.^21 ^22j 1^12 ^22.
где А — симметричная положительно определенная блочная мат-
рица, Ац — матрица порядка n( X nt, i, j = 1, 2; n1 + n2 = n>
и пусть С = В — А. Тогда матрица перехода
1 ГО
Тх = В~*С = -
0 ^221^21'^11 "^12.
блочного метода Гаусса — Зейделя
Buh =Cuh~i + f
является матрицей простой структуры, все ее собственные числа,
вещественны и принадлежат отрезку [0, р(7\)], где р(7\) =
= р2(710) < 1, а То — матрица перехода соответствующего блоч-
ного метода Якоби. Поэтому для решения системы Au = f при-
меним чебышевский итерационный метод из 38.10 с матрицей
В = В~', для которого а = 1 — р(7\), b = 1, ц = (2 — р2(7’0))/р2(Т0)
и для асимптотической скорости сходимости которого выполня-
ется оценка
, I +]/1 - р2 (Го)
г (Zoo) In = = Г<х> (7\оопт ,
где ГВопт — матрица перехода соответствующего блочного метода,
последовательной верхней релаксации с оптимальным значением
параметра.
Таким образом, сравнительная оценка скоростей сходимости оптималь-
ного обобщенного метода последовательной верхней релаксации с соответ-
ствующим чебышевским итерационным методом не дает нам четкого отве-
та, какой же из методов асимптотически быстрее, она лишь указывает, что
первый не может быть более чем в два раза асимптотически быстрее по
сравнению со вторым методом. В то же время, оценка последнего пункта
доказывает, что чебышевский итерационный метод, основанный на блочном
5 38J
ЧЕБЫШЕВСКИЕ ИТЕРАЦИОННЫЕ МЕТОДЫ
285
методе Гаусса — Зейделя с циклической индекса 2 матрицей
ГО
7» 11 12
всегда асимптотически быстрее соответствующего оптимального блочного
метода последовательной верхней релаксации.
38.21. Для чебышевского итерационного метода
! 4 1 ! 2 V
а = Jim = -------------------т - - —-----------— ,
Ь-,00 b - “ п 4 +уа }
ятя 1 / Д/й —Д/а
р = 111118/, = ------г = —l—
fc-» оо ( Т| ц2 — 1 )2 \ Д/ <0 -|-Д/«
38.22. Для двухшагового метода Ричардсона второго порядка
uh = и
^— Н(Аиа- /), к=1,
аН (Auh~J — f) — fi (uh~J — uh~2), k>l,
с параметрами а и P из 38.21 разрешающие операторы Zk для
всех к > 1 представлены в виде
Zh = Zh (НА) = 1 ck Е - На\
v ' b-\a ll\b — a b-a )'
для D-порм этих операторов справедлива оценка
|1 7 il <Г b ~ 11 f “ V 1
и, следовательно, для его асимптотической скорости сходимости
имеет место оценка
r (Z )> In А1/"
( Уь-УГ
38.23. Пусть А = В — С, В — симметричные положительно
определенные матрицы порядка п и р(В~'С) < 1. Тогда для ре-
шения системы Au — f с симметричной положительно определен-
.. , .. „ ч Г В -С] „
нои блочной матрицей А = I с порядка Ап и вектором
/ = [у] е= применим соответствующий блочный метод после-
довательной верхней релаксации с оптимальным значением ре-
лаксационного параметра, для которого
Га° (^“опт) —
1-1- у4! — р2 (д- 'г)
1 - Z1 -р2(В"1С) ’
-2Й6
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
При этом для итерационного метода из 38.22 с матрицей Н = В~1
имеем
а=1-р(В-*С), b = 1 + р(В-'С),
а = 1 + р = 2/(1 + VI -р2(5-*С)) = ю0П1,
Г — Г,» ( Таопт).
Нужно заметить, что реализация каждого шага блочного метода после-
довательной верхней релаксации из 38.23 требует ровно вдвое больше ариф-
метических операций, чем для соответствующего чебышевеского итерацион-
ного метода из 38.22.
38.24. В случае, когда для чебышевского итерационного ме-
тода h = a!b < 1, имеем оценку
r(Z„) ^2Л1/2,
я для величины ке из 38.15 может быть использовано неравенство
кг In—.
2 е
38.25. Пусть А — симметричная положительно определенная
матрица, для которой имеет место представление А = А1 + At
с некоторой матрицей А,. Тогда для решения системы Au = f
может быть применен чебышевский итерационный метод с мат-
рицей Н = В?, где т — некоторое, вообще говоря, произвольное
положительное число и Вх = (Е + тЛ1)(Е + тЛ1) —симметрич-
ная положительно определенная матрица попеременнотреуголь-
пого метода из 37.36—37.40. При этом, если для любого i’eRn
одновременно выполняются неравенства
б(п, и) (И,г, к), НАщН2 =5 Д(Лщ, к),
где 6, Л, 6 < Л,— некоторые положительные числа, и параметр
т выбирается по формуле т = 1/УбД, то для соответствующего
чебышевского итерационного метода имеем а = 6УД/(УД + Уб),
b = ДУб/(УД + Уб) и, следовательно, справедлива оценка
Г (Zoo)
38.26. Если в 38.25 7г = б/Д<1, то для соответствующего
чебышевского итерационного метода справедлива оценка
r(Z„) >Л"1/4.
38.27. Для любого к 5® 1 разрешающий оператор Z4 чебышев-
ского итерационного метода представим в виде
« k / 1 \
§ 38]
ЧЕБЫШЕВСКИЕ ИТЕРАЦИОННЫЕ МЕТОДЫ
287
где lh,i = + а — (Ь — a) cos j, i = 1, ..к. Следова-
тельно, каждые заданные к шагов чебышевского итерационного
метода могут быть реализованы по двучленным формулам
и1 = и{~1 — тхН(Аи*~' — j),
где тх. = l/Z,;i,Xi, i = l, . • •, к, и x=(xi, .xj—некоторая
перестановка чисел 1,2,..., к.
При практической реализации чебышевских итерационных методов по
двучленным формулам оказалось, что далеко не каждая перестановка к
обеспечивает устойчивость процесса вычислений. К настоящему времени
проблема определения перестановок, обеспечивающих вычислительную ус-
тойчивость, решена как для конечных значений к, так и для бесконечно про-
должаемых значений. Здесь мы укажем алгоритм построения таких пере-
становок только для конечных значений к, являющихся целой степенью
двойки, т. е. к = 2“ для некоторого целого s 1.
38.28. Пусть нам известна перестановка х = (х17 ..., xftl)
для значения ki = 2s-1, обеспечивающая устойчивую реализацию
ki шагов одношагового чебышевского итерационного метода 38.27.
Тогда аналогичная перестановка для значения кг = 2s определя-
ется формулой
х = (х17 к2 + 1 — х17 х2, ..., к2 + 1 — xhl).
38.29. Пусть р — некоторое положительное целое, И — неко-
торая невырожденная матрица и о(/£4)е[а, Ь], где а, Ь,
а < Ь,— некоторые положительные числа. Тогда итерационный
метод с разрешающими операторами
Zps+t = Zt{ZpY, t = i,...,p, s = 0, 1, ...,
называется циклическим с периодом р чебышевским итерацион-
ным методом. Здесь
zt = zt(HA) = E- 2 ki(W
— многочлены от матрицы НА, коэффициенты которых являются
решениями минимаксных задач
i
max 1 — 2 Yt А*
?.е[а,ь] i=!
min max 1 — 2 ?А’
Vj....Vt lG[a,b] i l
для значений t = 1, ..., р. Заметим, что матрица НА, вообще
говоря, не является матрицей простой структуры.
288
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
38.30. Решение минимаксной задачи предыдущего пункта
всегда существует, единственно и имеет внд
где т| = (Ь + а)/(6 — а).
38.31. Для асимптотической скорости сходимости циклического
с периодом р чебышевского итерационного метода выполняется
оценка
r(Zx) = — In р (Zp) =-^ In Ср (п),
которая при фиксированном заданном р 5s 1 и h = а/b 1 при-
нимает вид
AZJ^2ph. .
38.32. Пусть р — минимальное целое, для которого выполня-
ется неравенство
С (Л+лКе,
и \ Ь — а /
где е — основание натуральных логарифмов, или эквивалентное
ему неравенство
/1 , , /Д Л -[/b^Va
р^ In-----Fl / —— 1 I / In ,
\e |/ / J / “|A -V®
или упрощенное неравенство
Тогда для асимптотической скорости сходимости соответствую-
щего циклического с периодом р чебышевского итерационного
метода справедлива оценка
r(Z„) > Ир.
38.33. Пусть р — минимальное целое, удовлетворяющее нера-
венству
Р ~|/b V а
и h = alb < 1. Тогда для соответствующего циклического с перио-
дом р чебышевского итерационного метода выполняется оценка
HZJ > 2/г1/2.
38.34. Циклический с периодом р = 2’ (s — положительное
целое) чебышевский итерационный метод из 38.29 допускает
§ 39]
НЕЛИНЕЙНЫЕ ИТЕРАЦИОННЫЕ МЕТОДЫ
289
устойчивую реализацию по двучленным формулам
uh = uh~l -TkH(Auh-l-f).
Здесь rfe = тх. для Zc = i(modp), х = (х(, ..хР) — перестановка
из 38.28 и = kj = + а — <Ъ - я) cos-(2/'~
/ч (к -|- и 2.
— корни многочлена Ср -г------------
1 ‘ \ b — а b — а
, / = 1.......к,
К .
§ 39. Нелинейные итерационные методы
В этом параграфе мы рассмотрим один класс нелинейных итерацион-
ных методов, в основу которых положены идеи методов спуска для мини-
мизации квадратичных функционалов. В формировании таких методов уча-
ствуют либо в качестве разрешающих операторов, либо в качестве опера-
торов перехода определяемые ниже нелинейные операторы К,, где s — неко-
торое положительное целое число.
39.1. Пусть заданы симметричная положительно определенная
матрица D и невырожденная матрица Н. Тогда для любого
zeR„ оператор К„: Rn Rn определяется с помощью равен-
ства
||AKS (z)]|D = min Az— S у4(АЯ)’Az| .
?1...Vs 1=1 Ho
39.9. Для любого zeR„ вектор z = определяется одно-
значно, т. e. оператор К, из предыдущего пункта определен одно-
значно.
39.3. Если система векторов z, HAz, ..., (ЯА)’г линейно за-
висима, то Xs(z) =0.
39.4. Если для заданного zeR„ система векторов z, HAz, ...
..., (ЯА)*~*г линейно независима, то
К, (z) = z — S Ti (ДА)1 Z,
i=l
• • •
где вектор 7 = (7,, ..., 7,)' является решением системы G7 = g
с невырожденной матрицей G = (gij) порядка s, являющейся
матрицей Грама системы векторов АЯ|, ..., (АЯ)’£, где £ = Az,
в скалярном произведении, порождаемом матрицей D, т. е.
gtl = ((AH)’l, (АН)*),, i,j = l.....s,
и вектором R, с компонентами
g, = ((АЯ)'£, l)D, i = 1, ..., s.
19 в. В. Воеводин, 10. Л. Кузнецов
290
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
39.5. Если для заданного zeR„ система векторов z, HAz, ...
..., {HAY~lz линейно Зависима, то
Ks (z) = z — 5 ii(HA)'z,
где вектор у = (уи ..., у.) ’ является некоторым, вообще говоря,
произвольным решением системы Gy = b с вырожденной матри-
цей G и вектором g s R, из 39.4, которая всегда совместна, т. е.
g е im G.
39.6. Оператор К, является непрерывным и однородным пер-
вой степени, т. е. K,Ckz) =XA,(z) для любого zeR„.
39.7. Если вектор g = g(z) из 39.4 является ненулевым для
любого ненулевого z е R„, то
L (Ks) = sup || AKS (z) ||d < 1.
zGRn
l|Az||D=l
Величина L(K,) называется константой Липшица оператора К,.
39.8. Если для некоторого положительного целого t s матри-
ца D(AHY является положительно определенной, то IAK,) < 1.
39.9. Пусть DAH — симметричная положительно определенная
матрица. Тогда
L (Ka) < II zs U DA < (с, (^^)) ;
где m = р(НА),М = 1/р(Я_,Л-1), Ze — разрешающий
ответствующего чебышевского итерационного метода
Здесь и всюду в дальнейшем предполагается,
является скалярной и, следовательно, тп < М.
0. Пусть выполнены предположения 39.9
М. + тп—(М— тп) cos 22*1,1== 0, 1,
s ]
Ь = М.
НА пе
39?
ру матрицы НА. Тогда
оператор со-
при а = тп и
что матрица
и величины
., s, принадлежат спект-
L(Kt) = UUda = (g(J^)) \
т. е. оценка 39.9 является неулучшаемой для класса матриц,
спектр которых принадлежит заданному отрезку lm, Jf], Если
ввести положительные величины
г 1 ... 1 1 ... 1 л
i — 0, 1, .. ., s,
являющиеся определителями Вандермонда, то для любого векто-
pa z = 2 гДе 'Ф* — ортонормированные (в смысле скаляр-
г=0
S 39]
НЕЛИНЕЙНЫЕ ИТЕРАЦИОННЫЕ МЕТОДЫ
291
ного произведения, порождаемого матрицей A'DA) собственные
векторы матрицы НА, соответствующие ее собственным числам
i = 1, ..s, коэффициент с0 отличен от нуля, а остальные
Y Y 2 \ 2 . ,
коэффициенты связаны соотношениями с, =— —с0, 1 ~ К ..., s,
выполняется равенство
г>-2 / х „l/f [М т\\%
KAz) = z^Cs^—^,
т. е. вектор z является собственным вектором оператора К%, соот-
ветствующим его собственному числу L (К2) = A2 (Ks).
39.11. Пусть DAH—симметричная матрица. Тогда имеет мес-
то оценка
I \ м — т j )
где [s/2]—целая часть числа s/2 и 0 < т = (р(Н_,Л_,))_| < Я =
= р(НА), причем эта оценка неулучшаема в смысле замечания
предыдущего пункта.
39.12. Пусть DAH — симметричная положительно определен-
ная матрица. Тогда
Т цг \ _ If (М-\-т\\-1 М— т
-т)} - м+т-
Кроме того, для векторов
z* = tymDlm ± ipM/VМ,
где ip™ и фм являются A'DA — ортонормированными собственны-
ми векторами матрицы НА, соответствующими ее собственным
числам т и М, имеем
(z±) = z± — }’iHAz± - fzT
1 v ' ‘ 1 + ml
«
(здесь 7, = 2/(Af + m)) и, следовательно,
1 v 7 \M -j- mJ
t. e. z+ и z" являются собственными векторами оператора
соответствующими его собственному числу L (Aj) = L1 (A\) =
= ((М- т)ЦМ + т))2;
39.13. Пусть выполнены предположения 39.12. Тогда для лю-
бого z°eR„ такого, что (z“, ipm) 0 и (z“, фм)^0, подпоследова-
тельности z2k и z2k+l, к = 0, 1, ..., итерационного процесса ,
ук = К^), zk = ук/^Аук\\в
19*
292
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
сходятся соответственно к векторам и и?", каждый из которых
пропорционален либо вектору z+ из 39.12 либо вектору г“.
39.14. Пусть DAH—симметричная положительно определен-
ная матрица. Тогда
lim — In L (КХ) = In L (Kt) = ln^ —.
39.15. Пусть s=l. Тогда для любого ненулевого zeR„ имеем
(AHI,, £)n
Ks (z) = Кг (z) = z - -—Hl,
где I = Az.
39.16. Стационарный одношаговый итерационный метод
uh = uk~l - TkH (Au^1 - /), rh = (AHlh-\ W-1 ||2D
тогда и только тогда сходится в пространстве R„, т. е. для любого
и0 е Rn, когда матрица DAH положительно (или отрицательно)
определенная.
Действительно, если матрица DAH не является положительно или от-
рицательно определенной, то существует такой вектор начальной ошибки
z°, что (Л/7£°, £°) п — О, и> следовательно, Ti = 0, z1 = z°, т2 =0, z2 =
= z* и т. д.
39.17. Если матрица DAH положительно определенная и
Zs = [Kt]‘— разрешающие операторы итерационного метода пре-
дыдущего пункта, то
r(ZJ >-ln ШГ,)>0.
39.18. Пусть А — симметричная положительно определенная
матрица, Н — Е и D = A~l. Тогда соответствующий итерационный
метод из 39.16:
X = ц'-1 - rh (Ли*-1 - /), тА = II Г-1 II7II Г' 111,
называется методом наискорейшего спуска.
39.19. Метод наискорейшего спуска осуществляет последова-
тельную минимизацию функционала ошибок Ф(и) = (Ли, и) —
— 2(и, /) в направлении его наискорейшего убывания:
— grad Ф (u) |u=ua-i = — 2 (Ли*-1 — /)
по формуле
Ф(и‘)-Ф(и‘-ЧЧ5‘-,1Ж~1Ь.
39.20. Пусть Л, Н — симметричные положительно определен-
ные матрицы и D — A~'. Тогда DAH = Н и, следовательно, ите-
§ 39]
НЕЛИНЕЙНЫЕ итерационные МЕТОДЫ
293
рационный метод
и* = uh~l - х„Н (Аи^ - f), Tft = || ?~г IM H?'1 jl,
частным случаем которого при Н = Е является метод наискорей-
шего спуска, сходится, и его асимптотическая скорость сходимо-
сти вычисляется по формуле
где М — р(ЯЛ) и 1/тп = р(Я“*Л_*).
39.21. Итерационный метод из 39.20 является методом наиско-
рейшего спуска, примененным к преобразованной системе Ли = f
с матрицей Л — Н1/гАН1,г и векторами и = Н~1/ги, f =
39.22. Пусть Н = D = Е. Тогда соответствующий итерацион-
ный метод из 39.16:
uh = и^1 - xh (Лг?’1 - /), rh = (Л^"\ Г_1)/|| Л£й-1 В2,
называется методом минимальных невязок.
39.23. Метод минимальных невязок сходится тогда и только
тогда, когда матрица А является положительно (или отрицатель-
но) определенной.
39.24. Пусть Н — симметричная' положительно определенная
матрица и D = Н. Тогда итерационный метод
Uh ^и^1- xhH (Лг?"1 - f\ xk = (ЛЯ?*-1, Г-1)н/|| АН?'1 ||2Н,
сходится тогда и только тогда, когда матрица Л положительно
(или отрицательно) определенная.
39.25. Пусть Л и Н — симметричные положительно определен-
ные матрицы и D = Н. Тогда итерационный метод из 39.24
uh = _ XhH (А?'1 - fl xk = || Н?'1 Щ| АН?'1 Ц2,,
частным случаем которого при Н = Е является метод минималь-
ных невязок, сходится, и для его асимптотической скорости сходи-
мости справедлива (поскольку DAH = НАН = (DAH)') формула
r(Z„) = (М — m)/{M + т),
где величины М тл. m определены в 39.20.
39.26. Итерационный метод из 39.25 является методом наи-
скорейшего спуска, примененным к преобразованной системе
Ли = ? с матрицей Л = Л,/2ЯЛ,/2 и векторами и = А'/ги, f =
= A,/2Hf.
39.27. Пусть Н = Л', D = (ЛЛ')“*. Тогда соответствующий ите-
рационный метод из 39.16:
x.-h'-W'E’-T.
называется методом минимальных ошибок.
294
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
39.28. Метод минимальных ошибок осуществляет последова-
тельную минимизацию квадрата нормы вектора ошибки z = и —
— и* по формуле
39.29. Пусть Ht, Н2 — симметричные положительно определен-
ные матрицы, H = HiA'H2j D=(AHlA')~i. Тогда соответствую-
щий итерационный метод из 39.16
ик - к"-1 — х^Л'Н, (Лк*-1 — /),
частным случаем которого при Ht = Н2 = Е является метод мини-
мальных ошибок, сходится и его асимптотическая скорость сходи-
мости (поскольку DAH = НА вычисляется по формуле
Г (Zoo) — In м + т,
где величины ЛГ, т определены в 39.20 при указанном выборе
матрицы Н. В частности, для метода минимальных невязок имеем
М = р(.А'А), 1/т^р((А'А)~').
39.30. Итерационный метод из 39.29 является методом наи-
скорейшего спуска, примененным к преобразованной системе
Av = f с матрицей Л = Н22 АН rA'H\12 и векторами и =
= я;1/2М'Г1яг1 и7=я^2/.
39.31. Стационарный итерационный метод
ик=ик~1 — н%
1=1
с операторами перехода К„ из 39.1, т. е. параметрами у*,*, i =
= 1,____ s, выбираемыми из условия
= min ,
Vj Vs I i—1 IIC
сходится тогда и только тогда, когда для любого ненулевого
jeRn величины gt = (ААНУ%, £)D, i = 1, ..., s, не равны одновре-
менно нулю. Если последнее требование выполнено, то для асимп-.
тотической скорости сходимости этого метода справедлива оценка
r(Z J In А(Х.) > 0.
39.32. Если для некоторого положительного целого t s матри-
ца DtAHY положительно определенная, то итерационный метод
из 39.31 сходится.
§ 39]
НЕЛИНЕЙНЫЕ ИТЕРАЦИОННЫЕ МЕТОДЫ
295
Начиная с данного момента, мы будем рассматривать вместо стацио-
нарных одношаговых итерационных методов с операторами перехода К,
итерационные методы с разрешающими операторами Z, = К, для всех s
1. Число шагов этих методов не превосходит порядка п матрицы А п,
следовательно, они могут быть отнесены и к прямым методам решения ли-
нейных систем (см. § 28).
39.33. Пусть векторы gt, ..., gh~t образуют Л'ZX4-ортогональ-
ный базис в подпространстве, являющемся линейной оболочкой
системы векторов Я£°, ..., ЖЛЯ)'1-2^0. Тогда к-й шаг итераци-
онного метода, порождаемого разрешающими операторами
Kt, К2, ..., Ж, может быть реализован по формулам
ahti = (AHAgk_l, i = l, к—1„
^k^^tAg^/WAg^.
При этом система векторов gt, ..., образует A'DA — ортого-
нальный базис в подпространстве, натянутом на векторы Я£°, ...
..., Я(ЛЯ)'-^0.
39.34. Вычислительный процесс из 39.33 заканчивается нахож,-
дением точного решения системы Au = f не более чем через п
шагов.
39.35. Пусть DAH — симметричная матрица, п, — число раз-
личных собственных чисел матрицы НА. Тогда Л(Х„,)=0 и,
следовательно, вычислительный процесс из 39.33 заканчивается
нахождением точного решения системы Au = f не более чем че-
рез п, шагов.
39.36. Пусть А — симметричная положительно определенная
матрица, Н = Е, D = A~l. Тогда для вычислительного процесса
из 39.33 имеем a.h_t = 0, i = 1, ..., к— 1, а вычислительный про-
цесс реализуется по формулам
гё°, к = 1,
gh = Agi — «2#1, к = 2, uh = uh~1 — Agk-i — ahgh-i — yhgh-2, к >2,
111, Рь = gkV\\gk 111,
yk= kh-i [|l/kfe-2llZ
и называется методом минимальных итераций Ланцоша.
39.37. Пусть DAH — симметричная матрица. Тогда для вычис-
лительного процесса из 39.33 имеем а(1. . = О, i = 1, ..., к — 2,
296
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
а вычислительный процесс реализуется по формулам
gh =
Я£°,
HAgl—atgl,
<HAgh-1 — a^gi^y
Vgh-2,
«/< = (AHAg^, Ag^J/W Ag/>_1 |^,
Th = II Ag/г-! ||л/|| A‘gk_2 ||p,
* = 1,
к = 2, uh = a"-1 - pAgft,
к > 2,
Ph = (W-1, .4gJ4WD,
и называется обобщенным методом
минимальных итераций Лан-
цоша.
39.38. Для последовательности Я-норм векторов невязок обоб-
щенного метода минимальных итераций Ланцоша справедлива
оценка
где [к/21 —целая часть числа А/2, = р(НА) и i/m = р(.П~'А~').
39.39. Пусть А — симметричная матрица, Н — симметричная
положительно определенная матрица и D = Н. Тогда, поскольку
DAH = НАН — симметричная матрица, то для решения системы
Au = f применим соответствующий обобщенный метод минималь-
ных итераций Ланцоша, коэффициенты которого будут вычис-
ляться по формулам
ак = (AHAg^, HAg^/W Agk_11|^, pft = (^-\ Agh)H/\\ Agh ||L
Th = II Agk-1 ||h/|| Agk_2 ||h.
39.40. Если А и H — симметричные положительно определен-
ные матрицы и D = A~l, то коэффйциенты соответствующего обоб-
щенного метода минимальных итераций Ланцоша вычисляются
по формулам
ah = МЯь-11|н/||^Ь-1||а. Ph = (^ \ Яй)/|| gk ||а,
Th = Uh-i Ил/кй-гЦА.
39.41. Пусть DAH — симметричная положительно определен-
ная матрица. Тогда вычислительный процесс из 39.33 может быть
реализован по двучленным формулам
Н1\ к = 1,
H%,h~1 — akgk, к>1,
uh = uh-l-^hgh,
Pft = Agl)D/\\Agl< |fD.
Он называется обобщенным методом сопряженных градиентов.'
39.42. Обобщенный метод сопряженных градиентов является
частным случаем метода сопряженных направлений из 28.18 при
Н = В~' и D = B~'A~lC*.
§ 39]
НЕЛИНЕЙНЫЕ ИТЕРАЦИОННЫЕ МЕТОДЫ
297
39.43. Для любого <= R„ векторы g,-, ' = Au* — f обобщенного
метода сопряженных градиентов удовлетворяют следующим соот-
ношениям ортогональности (i = 1, ..., s):
(4gi,4gj)o = 7 = 1, ...,i,
(Г, Agj)D = 0, / = 1, ..., i, (^, V)dah = 0, j = i-1,
где s — минимальное целое, для которого ¥= 0.
39.44. Коэффициенты двучленного обобщенного метода соп-
ряженных градиентов можно вычислять по формулам
ah = —||&Л ЧвАнЖ '11'вАН, Р)г = |!§/' ЧвАнД-^gft ||Ь-
39.45. Обобщенный метод сопряженных градиентов может
быть реализован по следующим трехчленным формулам:
,,h+l _ „к 1 Г rrth „ („к ,Л-1\1
u —и--------— [77 g ——и JJ,
n
где e-( = 0,
Qk = II Allc,h ||o/|| £h ||dah — efe-i, = qit || £ft+1 IIdah/IIV* Иван-
39.46. Пусть А и H — симметричные положительно определен-
ные матрицы и D = А~'. Тогда коэффициенты двучленного и трех-
членного вариантов соответствующего обобщенного метода соп-
ряженных градиентов вычисляются по формулам
-1 Г1 МГ’Ь. - иг- м г»6,
-1 И1‘ М V Ь -„ 11‘+1 IM V Ь.
39.47. Для последовательности Д-порм векторов ошибок обоб-
щенного метода сопряженных градиентов справедлива оценка
где М = р(НА), 1/ш = р(И-*4-').
39.48. Обобщенный метод сопряженных градиентов из 39.46
является методом сопряженных градиентов:
lr_1-aftgft-i, *>1,
где = Avk — f, примененным к преобразованной системе Av ==
~ f с матрицей А = Н'/гАН1/г и векторами, v = Н~1/ги, f =
298
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
§ 40. Итерационные методы решения систем
с вырожденными матрицами
40.1. Пусть задана система линейных алгебраических уравне-
ний Au = f с квадратной вырожденной матрицей А порядка п и
некоторым вектором feRn. Тогда применяемый для ее решения
итерационный метод
uk~Flt/.A, f, ак-‘, ..., н°)
из § 34 называется сходящимся, если для любого начального век-
тора u° e R„ последовательность векторов ик сходится к некоторо-
му обобщенному решению этой системы.
На протяжении всего, параграфа, за исключением последних пунктов
40.33—40.37, мы будем предполагать, что исходная.система Au = f совмест-
на, т. е, / е ini А, и, следовательно, любое обобщенное решение этой систе-
мы является ее обычным решением.
40.2. Пусть Т — некоторая матрица. Тогда выполнение ус-
ловий
р* (Т) = шах \ к | < 1, rank (Е — Т) = rank (Е — Т)2
кеа(Т)
необходимо и достаточно для существования матрицы =
= Jim Если эти условия выполнены, то матрица является
Й-»ОО
проектором со следующими свойствами:
im Т„ = ker (Е — Т), ker Т„ = im (Е — Т).
40.3. Каждое из следующих условий:
1) собственному числу А = 1 матрицы Т (если такое существу-
ет) соответствует столько линейно независимых собственных век-
торов, какова его кратность;
2) ker (Е — Г) П im (Е — Т) = 0;
3) R„ = im (Е -Т) © ker (Е - Т)
эквивалентно второму условию из 40.2.
40.4. Пусть относительно матрицы Т = Е — НА, где А — матри-
ца исходной системы и Я — некоторая, вообще говоря, произволь-
ная матрица, выполнены оба условия из 40.2. Тогда ker A s
s im Е», а для выполнения'равенства kerX = im7’„ необходимо
и достаточно, чтобы было выполнено дополнительное условие
ker Я П im А = 0.
40.5. Для сходимости (как уже отмечалось, мы везде предпо-
лагаем совместность исходной системы) линейного стационарно-
го одношагового итерационного метода
и» = и»-< - Н(Аик~1 - /)
§ 40] РЕШЕНИЕ СИСТЕМ С ВЫРОЖДЕННЫМИ МАТРИЦАМИ 299
с некоторой заданной матрицей Н необходимо и достаточно, что-
бы существовала матрица Тж = lim Th, где Т = Е — НА, и выпол-
h->OO
нялось включение im Тх ker А.
40.6. Для сходимости итерационного метода из 40.5 необходи-
мо и достаточно выполнение следующих трех условий:
1) р*(Т) = max 1X1 < 1;
>.еа(Т)
Ml
2) rank (НА) = rank (НА)2;
3) ker H П im A = 0.
Если эти условия выполняются, то матрица является проекто-
ром со следующими свойствами:
im Г» = ker (НА) — ker A, ker Т, = im (НА).
В частности, пространство R„ является прямой суммой своих под-
пространств im (ЯА) и ker А, т. е.
R„ = im (НА) ® ker А.
40.7. Если итерационный метод из 40.5 сходится, то для лю-
бого начального приближения
и° = и° + и£ е R„, nje im (ЯА), и* *= ker А,
вектор u00 = limuh является решением исходной системы Au = f
k-*oo
ОО 00,00
и представим в виде и = + и2, где
щ° = S(E — ЯА)*Я/е im (ЯA), u?-u"2 е ker Л.
i= О
Таким образом, для сходящегося линейного стационарного итерацион-
ного метода из 40.5 предельный вектор и°° зависит от начального прибли-
жения и0 или, точнее говоря, от второй составляющей этого вектора в раз-
ложении по подпространствам im(HA) и ker А. Если же u°Eim(/M), то
эта составляющая равна нулю, и, следовательно, предельный вектор и00
всегда равен вектору ji3z 40.6.
40.8. Пусть итерационный метод из 40.1 сходится, и, следова-
тельно, для каждого н° е R„ однозначно определен вектор
= lim uh, являющийся решением исходной системы. Тогда век-
Ь->оо
торы z* = ик — и°° называются векторами ошибок этого итерацион-
ного метода, а величина
г . Г1 ЬМ1 .
Гоо = lim In — sup -г-^
[fczOeR„helJ
называется его асимптотической скоростью сходимости.
Таким образом, в отличие от итерационных методов решения систем
с невырожденными матрицами, такие понятия, как векторы ошибок, раз-
300
ЧИСЛЕННЫЕ МЕТОДЫ
[ГЛ. 2
решающие операторы, операторы перехода, средние и асимптотические ско-
рости сходимости и другие, которые используют при своем определении
векторы и°°, в случае вырожденной матрицы А могут быть введены (для
произвольного итерационного метода) только после того, как установлен
факт сходимости этого метода. В частном случае, когда, например, итера-
ционный метод имеет вид
и* =
где fc'1-’’ = Аик~* — /—векторы невязок и Hk' imd->-Rn— некоторая по-
следовательность операторов, действующих только на векторы невязок, для
любого решения и* системы А и == / имеем
•фй = -ф 1 — Hh (•dip'1-'1),
где = uh — и*. Поэтому перечисленные понятия можно определять сразу
и затем использовать их при изучении различных вопросов, связанных со
сходимостью итерационного метода.
40.9. Для линейного стационарного одношагового итерацион-
ного метода из 40.5
г„^г„(П = -1пр*(П,
где величина р*(7’) определена в 40.6.
40.10. Пусть А, Н — симметричные положительно полуопреде-
ленные матрицы, кег Я П im Л = 0 и
0 < т = min X < М = max х.
1=а(НА) Хеа(НА)
W=0
Тогда итерационный метод •
и* = _ xH(Auh-i - /)
сходится для любого положительного т < 2/М. Кроме того, опти-
мальное значение параметра т, максимизирующего асимптотиче-
скую скорость сходимости этого метода и соответствующее зна-
чение скорости, находится по формулам
Топт = 2/(М + т), гх (Лопт) = (М — т)/(М + т).
40.11. Пусть для решения системы Au = f применяется ста-
ционарный одношаговый итерационный метод
с непрерывным и однородным первой степени оператором Я:
im Л -* R„. Toi-да, если в подпространстве im Л может быть зада-
на такая норма что для любого ненулевого g im Л выпол-
няется неравенство '
|В-ля(В);и<ии
то этот итерационный метод сходится. Более того, существует та-
кое положительное q < 1, что
§ 401 РЕШЕНИЕ СИСТЕМ С ВЫРОЖДЕННЫМИ МАТРИЦАМИ 301
и, следовательно,
где IAH) — константа Липшица оператора Н по отношению к век-
торной норме И •Ц*.
40.12. Пусть А = A — F — F' — симметричная положительно
полуопределеппая матрица, где А — симметричная положительно
определенная матрица, F — некоторая, вообще говоря, произволь-
ная матрица. Тогда, задавая в подпространстве im А норму
= (А+£, ^)1/2, imA, для любого со, при котором матрица
В^ = — A — F невырожденная, и любого вектора £ е im А имеем
U - as Л II2* = IIIII2, - (4 - 1) || в-л 111.
Далее, для любого со е (0, 2) матрица S„ невырожденная и вы-
полняется неравенство (g =/= 0)
И-А5Л||*<ии
40.13. Пусть выполнены предположения предыдущего пункта.
Тогда обобщенный метод последовательной верхней релаксации
— uh~l) = — (Аик-' — /)
сходится тогда и только тогда, когда со е (0, 2).
40.14. Пусть А — симметричная положительно полуопределеп-
пая матрица. Тогда любой блочный и точечный методы Таусса —
Зейделя сходятся.
40.15. Пусть выполняются предположения из 40.12, матрицы
Е = A~'F тп V = A~lF' являются строго нижней и верхней тре-
угольными и матрица S = Е + V согласованно упорядоченная.
Тогда оптимальное значение параметра релаксации со, максими-
зирующее асимптотическую скорость сходимости соответствую-
щего обобщенного метода последовательной верхней релаксации,
находится по формуле
С0ОПТ .= 2 (1 + /1 - р*(№))-1,
где p*(S2)= max X2. При этом гж (^“опт) = соопт — 1, где Тш =
•k~a(S)
= Е - S^'A.
40.16. Если выполнены предположения из 40.15, то
p*(S2)<[p*(S)] = 1,
а соответствующий итерационный метод
Аи* = (F + + /
302
ЧИСЛЕННЫЕ I МЕТОДЫ
[ГЛ. 2.
с матрицей перехода S сходится пе для Любого е Rn. В то же
время он сходится для всех начальных приближений, для кото-
рых векторы невязок £<, = Ли0 — f ортогональны к собственным
векторам матрицы (F + F')A-1, соответствующим ее собственному
числу л = — 1. ’
.40.17. Пусть А — вырожденная блочная матрица из 35.2, та-
кая, что для любого а > 0 матрица А + аЕ является Л/-матрицей,
и пусть А=Лц®...®Л„. Тогда, если матрица S = A_,(A —Л)
примитивная, то соответствующий блочный метод Якоби
A(ah - г?-*) = - (Auh~l - /)
сходится.
40.18. Пусть выполняются предположения предыдущего йунк-
та, A=A — L~U, где L и U — строго нижняя и верхняя тре-
угольные матрицы, и Т = (A— L)~'U — блочная матрица вида
Т =
Г° ^2 •••
о ^22 •••
Ю rs2 ... т\
который согласован с блочным видом матрицы Л из 35.2. Тог-
да, если матрица
ГУ Т 1
22 ’’ 2S
Т Т
.52 5SJ
примитивная, то блочный метод Гаусса — Зейделя
(A- L)(uh - uh-') = -(Ли*-1 - /)
сходится.
40.19. Пусть A=Ai+A2, где Л1> Л2 — симметричные поло-
жительно полуопределенные матрицы. Тогда соответствующий
метоД расщепления
(E + xAi'AE + xAг)(u'^~u'^-t)=-2x(.Auh-,- I)
сходится для любого положительного значения параметра т.
40.20. Если выполняются предположения из 40.19 и кегЛ,=
= кег Аг, то при т= (6Д)_1/2, где
б = min | min X] < A = max ( max XE
i=l,2\XGa(Ai) I 1-1,21 )=с(.4() (
для асимптотической скорости сходимости метода расщепления
выполняется оценка
Гоо(Тг)
2 In
Уд'+У&
Уд —Уб’
§ 401
РЕШЕНИЕ СИСТЕМ С ВЫРОЖДЕННЫМИ МАТРИЦАМИ
303
' 40.21. Пусть А = Аг + Л2 — положительно полуопределеп-
ная матрица и Вх = (Е + тЛ1)(£' + тЛ1), . Где т—положитель-
ный параметр. Тогда существует отрицательное а>—1 такое,
что
or (Е — 2t/?7^ ) cz [а, 1].
40.22. Попеременно треугольный метод
(Е + тЛ^Е + TX)(uh — г?-1) = — 2т (Лг?1-1 — /),
где А = Ar+ At — положительно полуопределенная матрица, схо-
дится для любого т > 0.
40.23. Пусть А = At + А2, где А,, Аг — кососимметрические
матрицы, т. е. (Лщ, р)=0 для любого i?eRn, i = l, 2. Тогда
для метода расщепления из 40.19 для любого V-* е имеем
П (Е + тЛ1)-,5',11 = И(Е + тЛ, )-‘Г *«,
и, следовательно, он пе сходится пи для какого значения па-
раметра т.
40.24. Пусть для, заданной матрицы Т в пространстве В„
можно определить такую норму ||-||^ что р (Т) = || Т Тогда
любому собственному числу л, равному по модулю р(Т’), соот-
ветствует столько линейно независимых собственных векторов,
какова его кратность.
40.25. Пусть для матрицы перехода Т = Е — НА итерацион-
ного метода из 40.5 в пространстве Rn может быть определена
такая норма Н»> что || ^ Ц* Тогда матрица
k-i
T’ = lim±2r
существует и является проектором со следующими свойствами:
im Т — ker (НА), кегТ = im(/M).
40.26. Пусть выполнены предположения из 40.25 и ker Н П
Л1тЛ=0. Тогда для любого и°еКп последовательность век-
торов
h-1
42»'
. ’=0
итерационного метода из 40.5 сходится К некоторому решению
системы Л w = f.
40.27. Пусть Л = Л, + Л2, где А, и Л2— положительно по-
луопределеппые матрицы. Тогда матрица перехода метода
.3114
ЧИСЛЕ НЫЕ МЕТОДЫ
[ГЛ. 2
расщепления
(Е + тА^Е + тЛ2)(г? — г?-1) = —2т(Лг?-1 — /)
при любом т > О удовлетворяет требованиям из 40.27, причем
И* = Но, где D = (Е + хА2)'(Е + тЛ2).
40.28. Пусть Л, —заданная симметричная положительно по-
луопределенная матрица порядка nt, Н—заданная симметрич-
ная положительно определенная матрица порядка п > и,, Л2 —
некоторая симметричная положительно полуопределенная матри-
ца порядка п2 = п — nt и
л-л.фл-^ «], л.-[л0‘ °]
блочно диагональные матрицы порядка п. Тогда
max ( min X] = min X = m0,
л2 р.ео(НА) ) xgo(ha0)
I ) >.7-о
min р (НА) = р (НА0).
40.29. Пусть относительно матриц Л,, Л2, И, А и Ло выпол-
няются предположения из 40.28 и задана система Лщ1=/1 с
вектором Тогда для нахождения решения этой си-
стемы может быть применен, например, итерационный метод
ик = и*-1 — хаН(Ааик~' — f)
2
— т0 + р (ЯЛ0) опре-
йте ра-
с вектором / = и параметром то
делено в 40,28), который асимптотически пе медленнее
ционного метода
uh = — тН (Ли*1-1 — /)
с параметром т = m _|_ р (яд~’ гДе т = т*п ПРИ Л1°бой
матрице Л2. Изложенная процедура перехода к системе с матри-
цей большого порядка называется методом фиктивных ком-
понент.
Из 40.28 и 40.29 следует, что при сделанных относительно матриц Л|,
А2 и Н предположениях оптимальным вариантом метода фиктивных компо-
нент является случай Л2 — 0. В последние годы метод фиктивных компо-
нент широко используется для решения систем уравнений с большими раз-
реженными матрицами, возникающими при дискретизации уравнений мате-
матической физики. Его использование открывает хорошие возможности
для выбора легко обратимых матриц В = н~ , порядок которых является
произведением целых чисел. Развиваются и другие способы построения
матриц А, например, типа
§ 40]
РЕШЕНИЕ СИСТЕМ С ВЫРОЖДЕННЫМИ МАТРИЦАМИ
305
40.30. Пусть НА является матрицей простой структуры, все
ее собственные числа неотрицательны и кегЯ(ИтЛ=0. Тогда
для решения системы Au = f применим любой из чебышевских
итерационных методов § 38 и имеют место соответствующие
оценки для норм векторов ошибок. При этом в качестве вели-
чин а и b могут быть выбраны произвольные положительные
числа, удовлетворяющие неравенствам
min X, b^p (НА).
Хео(НА)
Л 7^0
40.31. Пусть А, II—симметричные положительно полуопре-
деленные матрицы, удовлетворяющие условию кегЯГИтЛ = 0.
Тогда для решения системы Au = f может быть применен обоб-
щенный метод сопряженных градиентов, двучленные формулы
которого имеют вид
(Hl°, к = i,
(H^-a.g^ к>1,
и ~uh 1 —
(zz^-1,^-1)
(ZZ^~2, ^-2) ’
G4’ Sh)
40.32. Пусть заданы вырожденная матрица А и некоторая
матрица Я, удовлетворяющая условию кег Я П im Л = 0. Тогда
системы Аи = / и HAv = Hf эквивалентны, т. е. множества их
обобщенных решений совпадают при любом / е R„ в том и толь-
ко том случае, если подпространство кегЛ' инвариантно относи-
тельно матрицы Н'Н.
40.33. Пусть Л, Н—симметричные положительно полуопре-
делепные матрицы, удовлетворяющие условиям р*(Е — НА) < i,
кег Я П im Л = 0 и Я кег Л s кег Л. Тогда последовательность
векторов
у" = — к(ик — г?-1)
итерационного метода
ик = и"-' — H(Auh~l—j)
сходится при любом начальном приближении при к -> °° к
некоторому обобщенному решению системы Av = f.
40.34. Пусть Л, Я—симметричные положительно полуопре-
деленные матрицы, удовлетворяющие условиям р*(Е — НА) <. 1
и кег Я П im Л = 0. Тогда в случае несовместности системы
Au — f, т. е. /^1тЛ, ее обобщенное нормальное решение может
быть найдено с помощью следующего вычислительного процесса,
где используется обозначение Р = Ит (Е — НА) .
ft-* СЮ
1. Сведение исходной системы к эквивалентной совмест-
ной системе путем ортогонализации правой части / к ядру
20 в. В. Воеводин, ю. А. Кузнецов
ЧИШЕ1ШЫЕ МЕТОДЫ
[ГЛ. 2 .
матрицы А:
Pf, к = 1,
^» = < л —1
р?-1 - 2 к>1,
i=l
_(Pf~\
_ ,,,
i = 1, ...,*— 1,
Ра == --, к = 1, ..., s dim ker Л,
Ьа||
где f = /.
2. Нахождение обобщенного решения и* системы Аи = f, яв-
ляющегося решением совместной системы Av = f, где / = /’;
vh = г?-1 — Н (Av1'^1 — f), и* = lim vh.
3. Нахождение обобщенного нормального решения исходной
системы путем ортогонализации вектора и* к ядру матрицы А:
Ри*, к = 1,
Sk
' (Pu4-1,
CCfci = —-—
i .= 1, ..., к — 1,
PA =
i2
*= 1
будет искомым обобщенным нормальным
где u° — и* и и = и1
решением системы Au = j.
Заметим, что значения s и I процесса из 40.34 являются минимальными
целыми, для которых соответственно векторы gs+I и g'+1 оказываются
нулевыми.
40.35. В случае, когда выполнены предположения из 40.34
и dimker.4 = l, метод нахождения обобщенного нормального ре-
шения и системы Aa = f принимает следующий вид:
1) 7 = 1— — р — РР,
k
2) u‘ = Ри° + lim 2 (Е - НА)1НЗ, и° <= Rn;
3) и = и* - {P-' Pu*
§ 40] ' РЕШЕНИЕ СИСТЕМ С ВЫРОЖДЕННЫМИ МАТРИЦАМИ 307
40.36. Пусть выполнены предположения из 40.34 и последо-
вательность векторов /е сходится при е -* 0 к вектору /. Тогда
последовательность векторов
и* = lim Ug,
ОО
где Ue находятся с помощью итерационного метода
V* = Г-Г1 - ЯСЛкГ1 -/е), «е = ~
сходится при е -► 0 к вектору и*.
ЛИТЕРАТУРА
Бахвалов Н. С. Численные методы.— М.: Наука. 1975.
Беллман Р. Введение в теорию матриц.— М.: Мир, 1969.
Березин И. С., Ж ид к о в Н. П. Методы вычислений.— Т. 1. Изд. 3-е. М.:
Наука, 1966; Т. 2. Изд. 2-е. М.: Физматгиз, 1962.
В аз о в В., Форсайт Дж. Разностные методы решения дифференци-
альных уравнений в частных производных.— М.: ИЛ, 1963.
Воеводин В. В. Численные методы алгебры. Теория и алгорифмы.— М.:
Наука, 1966.
Воеводин В. В. Ошибки округления и устойчивость в прямых методах
линейной алгебры,— М.: Изд-во МГУ, 1969.
Воеводин В. В. Линейная алгебра.—Мл Наука, 1980.
Воеводин В. В. Вычислительные основы линейной алгебры.— М.; Нау-
ка, 1977.
Вычислительные методы липейной алгебры. Тр. I Всесоюзной конферен-
ции.— Новосибирск, ВЦ СО АН СССР. 1969.
Вычислительные методы линейной алгебры. Тр. 11 Всесоюзной конферен-
ции.— Новосибирск, ВЦ СО АН СССР, 1972.
Вычислительные методы липейной алгебры. Тр. III Всесоюзной конферен-
ции.— Новосибирск, ВЦ СО АН СССР, 1974.
Вычислительные методы линейной алгебры. Тр. IV Всесоюзной конферен-
ции.— Новосибирск, ВЦ СО АН СССР, 1977.
Вычислительные методы линейной алгебры. Тр. V Всесоюзной конферен-
ции.— Новосибирск, ВЦ СО АН СССР, 1980.
Гантмахер Ф. Р. Теория матриц.— Мл Наука, 1967.
Гельфанд И. М. Лекции по линейной алгебре.— М.: Наука, 1971.
Годунов С. К. Решение систем линейных уравнений.— Новосибирск:
Наука, 1980.
Дьяконов Е. Г. Разностные методы решения краевых задач.— М.: Изд-во
МГУ, 1971.
И крамов X. Д. Задачник по линейной алгебре.— Мл Наука, 1975.
И к р а м о в X. Д. Разреженные матрицы.— В кн.: Математический анализ.
Итоги науки и техники. М.: ВИНИТИ, 1982.
К о л л а т ц Л. Задачи па собственные значения с техническими приложе-
ниями.— М.: Наука, 1968.
К о л л а т ц Л. Функциональный анализ и вычислительная математика.—
Мл Мир, 1969.
Ланкастер П. Теория матриц.— Мл Наука, 1978.
Ланцош К. Практические методы прикладного анализа.— Мл Физматгиз,
1961.
Мальцев А. И. Основы линейной алгебры.— М.: Наука, 1970.
Маркус М., Минк X. Обзор по теории матриц и матричных нера-
венств.— Мл Наука, 1972.
Марчук Г. И. Методы вычислительной математики.—М.: Наука, 1980.
Марчук Г. И., Кузнецов Ю. А. Итерационные методы и квадратич-
ные функционалы.—Новосибирск: Наука, 1972.
20*
ЛИТЕРАТУРА
309
Марчук Г. И., Лебедев В. И. Численные методы переноса нейтро-
нов.— М.: Атомиздат, 1981.
М или В. Э. Численный анализ.— М.: ИЛ, 1951.
Островский А. М. Решение уравнений и систем уравнений.— М.: ИЛ,
1963.
И а р л е т т Б. Симметричная проблема собственных значений.— М.: Мир,
1983.
Народи М. Локализация характеристических чисел матриц и ее прило-
жения.— М.: ИЛ, 1960.
Проскуряков И. В. Сборник задач по линейной алгебре.— М.: Наука,
1967.
Самарский А. А. Введение в теорию разностных схем.— М.: Нагука, 1971.
Самарский А. А. Теория разностных схем.— М.: Наука, 1977.
Самарский А. А., Николаев Е. С. Методы решения сеточных урав-
нений.— М.: Наука, 1978.
Стренг Г. Линейная алгебра и ее применения.— М.: Мир, 1980.
Т и х о п о в А. Н., А р с е и и н В. Я. Методы решения некорректных за-
дач.— М.: Наука, 1979.
Тыоарсон Р. Разреженные матрицы.— М.: Мир, 1977.
Уилкинсон Дж., Р а й.н ш К. Справочник алгоритмов на языке Алгол.
Линейная алгебра.— М.: Машиностроение, 1976.
Уилкинсон Дж. X. Алгебраическая проблема собственных значений.—
М.: Наука, 1970.
Фаддеев Д. К., СоминскийИ. Я. Сборник задач по высшей алгеб-
ре.— М.: Паука, 1972.
Фаддеев Д. К., Ф а д д е е в а В. Н. Вычислительные методы линейной ал-
гебры.— М.— Л.: Физматгиз, 1963.
Фаддеев Д. К., Фаддеева В. Н. Вычислительные методы линейной
алгебры. Зап. научи, семин.— Л.: ЛОМИ АН СССР, 1975.
Фаддеева В. Н., Кузнецов Ю. А. и др. Вычислительные методы ли-
нейной алгебры. Библиографический указатель 1828—1974.— Новоси-
бирск: Наука. 1976.
Фаддеева В. Н., И к р а м о в X. Д. и др. Вычислительные методы ли-
пейной алгебры. Библиографический указатель 1975—1980.— Л.: Наука,
1982.
Фаддеева В. II., КолотилинаЛ. Ю. Вычислительные методы линей-
ной алгебры. Набор матриц для тестирования.— Л.: Наука. Ч. I, 1982;
Ч. II, III, 1983.
Форсайт Дж., Моллер К. Численное решение систем линейных алге-
браических уравнений.— М.: Мир, 1969.
Фрезер Р., Дункан В., Коллар А. Теория матриц и ее приложения
к дифференциальным уравнениям и динамике:— М.: ИЛ, 1950.
Хаусхолдер А. С. Основы численного анализа.— М.: ИЛ, 1956.
Я и е н к о Н. Н. Метод дробных шагов решения многомерных задач матема-
тической физики.— Новосибирск: Наука, 1967.
Aitken А. С. Determinants and matrices.— Edinburgh — London: Oliver
and Boyd, 1956.
Alefeld G., Herzberger J. Einfuhrung in die Intervallrechnung. Man-
heini u. а.: В. I.— VVissenschaftverl., 1974.
Allen D. N. de G. Relaxation methods.— New York—Toronto — London:
McGraw-Hill, 1954.
Bauer F. L., Heinhold J., SamelsonK., Sauer R. Moderne Rehe-
nanlagen; eine Einfuhrung.— Stuttgart: B. G. Teubner, 1965'.
Bjerhammar A. Theory of errors and generalized matrix inverses.— Am-
sterdam: Elsevier, 1973.
Blumental B. Einfuhrung in die Matrizenrechnung, Allgemeeinverstandl.
Darst. fur Nichtmathematiker.— Berlin; Verl. Tchnik, 1960.
Bunch J., Rose D. (Eds.). Sparse matrix computations.— New York—San
Francisco — London: Academic Press, 1976.
310
ЛИТЕРАТУРА
С u 11 е n С. G. Matrices and linear transformations.— Reading — London: Ad-
dison-Wesley, 1966. '
Dekker T. J. Evaluation of determinants, solution of systems of linear-equa-
tions and matrix inversion.— Amsterdam: Bekenafdeling, 1963.
Durand E. Solutions numeriques des Squations algebriques. T. 2.— Paris:
Masson, 1961.
Forsythe G. E. A numerical analyst's fifteen-root shelf.— Math. Tables and
Other Aids Comput., 1953.
Forsythe G. E. Tentative classification of methods and bibliography on
solving systems of linear equations.— Nat. Bur. Stand. Appl. Math. Ser.,
1953, 29, p. 1—28.
Fox L. An introduction to numerical linear algebra.— Oxford: Clarendon
Press, 1964.
Fox L., P а г к e r I. B. Chebyshev polynomials in numerical analysis.— Lon-
don: Oxford Univ. Press, 1968.
F г о b e r g G.-E. Introduction to numerical analysis.— Reading — London:
Addison-Wesley, 1965.
Gastinel N. Analyse numerique lineaire.— Paris: Hermann, 1966. ,
Gourlav A. R., Watson G. A. Computational methods for matrix eigen-
problems.— London: J. Wiley, 1973.
G r a e u b W. Lineare Algebra.— Berlin; Springer, 1958.
Hammer 1 i ng S. J. Latent roots and latent vectors.— London — Toronto —
Buffulo: Higler and Watts —Univ. Toronto Press, 1970.
Hamming R. WT. Numerical methods for scientists and engineers.— New
York: McGraw-Hill, 1962.
Henrici P. Elements of numerical analysis.— New York: J. Wiley, 1964.
Householder A. S. The theoryof matrices in numerical analysis.— New
York: Blaisdell, 1964.
Householder A. S. Kwic index for numerical algebra.— Oak Ridge: Oak
Ridge National Laboratory, 1972.
Householder A. S. Kwic index for numerical algebra.— Oak Ridge: Oak
Ridge National Laboratory, 1973.
Householder A. S. Kwic index for numerical algebra.— Oak Ridge, Oak
Ridge National Laboratory, 1975.
Khabaza I. M. Numerical analysis.— Oxford — London: Pergamon Press,
' 1965.
Korganoff A., Pavel-Parvu M. Methodes de calcul numerique. T. 2.
Elements de theorie des matrices carrees et rectangles en analyse en ana-
lyse numerique.— Paris: Dunod, 1967.
Lancaster P. Lambda matrices and vibrating systems.— Oxford: Pergamon
Press, 1966.
Lewis T. О., В о u 11 i о n T. L„ Odell P. L. A bibliography on genera-
lized matrix inverses.— Proc. Symp. on Theory and Appl. on Generalized
Inverses of Matrices, Texas tech, college.— Lubhock: Texas, 1968, 283—315.
Marcus M., Mine H. Introduction to linear algebra.-r-New York: McMil-
lan; London: Collier — McMillan, 1965.
Moore R. E. Interval analysis.—Englewood Cliffs, N. Y.: Prentice — Hall,
1966.
Parker W. V., Eaves J. C. Matrices.— New York: Ronald Press, 1960.
Rao C. R., Mitra S. K. Generalized inverse of matrices and its applica-
tions.— New York: J. Wiley and Sons, 1971.
Reid J. K. (Ed.) Large sparse sets of linear equations.— London — New
York: Acad. Press, 1971.
Rose D. J., W i 11 о u g h b у R. A. (Eds). Sparce matrices and their appli-
cations.— New York — London: Plenum Press, 1972.
Schwarz H. R. Numerik symmetrischer Matrizen.—Stuttgart: Teubner,
1968.
Schwarz H. R., Rutishauser H., Stiefel E. Numerik symmetrischer
Matrizen.— Stuttgart: Teubner, 1972.
ЛИТЕРАТУРА
Oil
Stanton R. G. Numerical methods for science and engineering.—Englewo-
od Cliffs, N. J.: Prentice-Hall, 1961.
Stewart G. W. Introduction to matrix computations.— New York: Acad.
Press, 1973. .
Stiefel E. Einfiihrung in die numerische Mathematik.— Stuttgart; Teubner,
1961.
Stoer J. Einfiihrung in die Numerische Mathematik. Bd. I.— Berlin: Sprin-
ger, 1972.
Stoer J., Bulirsch R. Einfiichrung in die Numerische Mathematik. Bd.
2,— Berlin: Springer, 1973.
Turnbull H. W. The theory of determinants, matrices and invariants.—
New York: Dover, 1960.
Turnbull H. W., Aitken A. C. An introduction to the theory of canoni-
cal matrices.— New York: Dover, 1961.
Varga R. S. Matrix iterative analysis.— Englewood Cliffs, N. J.: Prentice-
Hall, 1962.
Werner H. Praktische Mathematik. I. Methoden der Linearen Algebra.—
Berlin: Springer, 1970.
Westlake J. R. A handbook of numerical matrix inversion and solution
of linear equations.— New York: J. Wiley, 1968.
Wilkinson J. H. Rounding errors in algebraic processes.— London: H.
M. Stat. Off., 1963.
Wilkinson J. H., R e i n s c h C. Linear Algebra.— Berlin: Springer, 1971.
Young D. M. Iterative, solution of large linear systems.— New York —
London: Acad. Press, 1971.
Z u r m ii h 1 R. Matrizen und ihre technischen Anwendungen.— Berlin: Sprin-
ger, 1961.
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Адамара неравенство 5.66
Аксиомы метрики 14.1
Алгоритм QL 31.37
— QR 31.1
---со сдвигами 31.24
Алгебраическая операция 1.1
---ассоциативная 1.3
---коммутативная 1.2
Алгебраическое дополнение 4.23
Альтернатива Фредгольма 6.29
Анализ ошибок обратный 21.29
---прямой 21.27
Аннулирующий многочлен матрицы
9.21, 9.33, 23.17
База системы векторов 2.39
Базис Жордана 8.63
— ортогональный 13.49
— пространства 2.51, 7.7
— — естественный 2.14
— псевдоортогональный 13.54
— сингулярный 11.46
Базисные столбцы 4.34
— строки 4.34
Базисный минор 4.33
Базисы двойственные 13.60
— одноименные 7.6
— псевдодвойственные 13.61
Билинейная форма 12.1, 12.34
, дефект 12.76
---кососимметричная 12.7, 12.28
•--, матрица 12.42
---невырожденная 12.77
---, ранг 12.75
---симметричная 12.6, 12.28
---эрмитова 12.24
Билинейно-метрическое простран-
ство 13.1
------вырожденное 13.8
---—, дефект 13.7
------невырожденное 13.8
------, ранг 13.6
Бине — Коши формула 4.20
Биортогопальные системы 5.61
Ведущий элемент 24.11
--, стратегии выбора 24.12
Вейля Г. неравенство 20.20
Вектор 1.31, 2.4, 3.10
—, высота 8.58
— , длина 5.40
— единичный 2.13
— изотропный 12.15
— , координата 2.5
— корневой 8.45
— направляющий 6.70
— невязок 34.3
— неотрицательный 18.7
— , норма 14.20
— нормальный 6.61
— нормированный 5.7, 14.27
— нуле вой 2.8
— ошибок 34.2
— подходящий 28.10
— положительный 18.7
— , проекция 5.26
— , — на гиперплоскость 6.66
— , — ортогональная 5.53
— , произведение на число 1.31, 2.7
— противоположный 2.9
— , разложение по базису 2.52
— Ритца 33.21
— сдвига 6.56 \
--столбец 3.10
--строка 3.10
Векторное пространство 1.31
Векторы, база системы 2.39
—, биортогопальные системы 5.61
—, двойственные системы 5.61
— коллинеарные 5.6
—, линейная комбинация 2.17
—, — оболочка 2.18
—, линейно зависимая система 2.20
—, — независимая система 2.21
—, нормированная система 5.8
—, объем системы 5.65
—, ортогональная система 5.11
— ортогональные 5.10
—, ортонормироваппая система 5.12
—, псевдоортогональная система
13.59
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
313
Векторы, ранг системы 2.39
—, расстояние 5.48
—, скалярное произведение 5.1, 5.2
—, сопряженные системы 13.66
—, сумма 1.31, 2.6
—, угол 5.45
—, эквивалентные системы 2.34
Виландта— Гофмана теорема 20.9
Возмущение 16.1
— эквивалентное 21.28
Ганке лева матрица 17.54
Гельдера неравенство 20.2
Гершгорина круг 16.29
Гиперплоскость 6.60
— диаметральная 15.30
—, проекция вектора 6.66
Группа 1.17
— абелева 1.23
—, единичный элемент 1.18
— коммутативная 1.23
— конечная 1.17
—, нулевой элемент 1.23
—, обратный элемент 1.19
—, противоположный элемент 1.23
Двойственные системы векторов 5.61
Делитель Нуля 1.28
Дефект билинейной формы 12.76
— матрицы 6.24
Дискретное преобразование Фурье
17.21, 17.23
Жордана каноническая форма 8.69,
8.75
— канонический ящик 8.68
Закон инерции квадратических форм
12.92
Изоморфные пространства 2.1
----евклидовы 5.72
----унитарные 5.72
Инвариантное подпространство 8.1
Инверсия 4.3
Индекс импримитивности 18.13
— инерции квадратичной формы
12.93
— цикличности 18.13
— эквивалентности 22.23
Инерции квадратичных форм закон
12.92
Каноническая форма Жордана 8.69,
;8.75
-j--Смита 9.56
----Фробениуса 9.68
Канонический ящик Жордана 8.68
Квадратичная форма 12.14, 12.34
---вещественная 12.19
---, закон инерции 12.92
---знакопостоянная 12.22
---, индекс инерции 12.93
---положительно определенная ’
12.21
---, сигнатура 12.93
---эрмитова 12.34
Класс 1.6.
Кольцо 1.24
— коммутативное 1.25
Композиционный. тип матрицы 17.46
Конгруэнтные матрицы 12.79
Коши — Буняковского неравенство
5.5, 20.3
Коэффициент перекоса 16.44
Крамера формулы 6.23
Критерий Сильвестра 12.51
— цикличности 18.17
— Якоби 12.53
Кронекера — Капелли теоремы 6.14
Кронекерово произведение матрица
11.51
Круг Гершгорина 16.29
Куранта — Фишера теорема 15.40
Кели формулы 11.35
Лагранжа тождество 20.6
Лапласа теорема 4.24
Линейная комбинация 2.17
— оболочка 2.18
Линейно зависимая система 2.20
— независимая система 2.22
Линейное пространство 1.31
Мажорирующая последовательность
20.21
Матрица 3.4
— , аннулирующий многочлен 9.21
— ассоциативная 4.65
— , (базисные столбцы 4.34
— билинейной формы 12.42
— , блок 8.9
— блочная 8.9
— , внедиагональные элементы 3.39
— вполне неотрицательная 4.63
---положительная 4.63
— вращения 22.1
— вырожденная 4.49
— ганкелева 17.54
— , главная диагональ 3.39
—, главное сингулярное подпро-
странство 26.7
— Грама 13.3
— , граф направленный 18.2
— , — сильно связанный 18.3
— двоякостохастическая 18.34
— двухдиагональная 27.L
314
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Матрица, дефект 6.24
— , дефектная 7.41
— диагональная 3.45
— , диагональные элементы 3.39
—, доминирующая диагональ 16.27,
35.3, 35.4
— единичная 3.47
— импримитивная 18.13
— квадратная 3.7 .
— , квадратный корень 12.66
— , клетка 8.9
— комплексно-сопряженная 3.35
— композиционного типа 17.46
— кососамосопряженная 10.52
— кососимметричная 10.56
— косоэрмитова 10.52
— , коэффициент перекоса 16.44
— ленточная 17.10
—, минимальный многочлен 9.24
— , -, аннулирующий вектор 9.33,
23.17 '
— модифицированная 29.9
— , модуль 18.26
— монотонная 36.1
— невырожденная 4.49
— неотрицательная 18.1
— неразложимая 16.38
— , нижняя грань 14.48
— нильпотентная 8.54
— , норма 14.4
— , — аддитивная 14.46
—, —мультипликативная 14.45
--, обобщенная 14.46
— , — подчиненная 14.56
— , — согласованная 14.54
— , — спектральная 14.48
— нормальная 10.1
— нулевая 3.43
— , образ 6.24
— обратная 4.56 [/
--обобщенная 6.44 ,
— ортогональная 10.36
— ортогонального проектирования
6.72
— осциляционная 18.40
— отражения 22.37
— перестановок 3.54
— перехода 34.24
— , перманент 4.70
— персимметричная 17.13
— положительная 18.1
— положительно определенцая 12.47
— — полуопределенная 12.47,
— полного ранга 4.41
— , полярное разложение 11.28
— почти треугольная 28.26, 30.18
— преобразования координат 7.1
— преобразования Фурье 17.19
— примитивная 18.3
Матрица присоединенная 4.53
—, произведение на число 3.18
— простого поворота 22.1
— простой структуры 7.41
— прямоугольная 3.7
— псевдообратная 6.44
— , размер 3.6
— разреженная 11.73
— , ранг 4.32
— , регулярное расщепление 36.3
— самосопряженная 10.41
— , свойство «4» 35.29
— симметричная 10.56
— , сингулярйое разложение 11.48
— , — число 11.39
— , сингулярный базис 11.46
— скалярная 3.46
— , скелетное разложение 6.42
— , след 3.40
— , собственное значение 7.19
— , собственный вектор 7.19
— согласованно упорядоченная 35.26
— соответствующая 7.61
— сопряженная 3.37
— , спектр 7.19, 34.48
— , спектральный радиус 16.20
— , степень 8.32
— Стилтьеса 36.31
— столбцевая 3.8
— стохастическая 18.28
— строго треугольная 3.60
— строчная 3.9
— , теплицев ранг 17.57
— теплицева 17.1
— типа Мт 22.57
— А', 22.67
— тождественного преобразования
3.47
— транспонирования 3.33
— трапецевидная 12.81
-----каноническая 12.82
-----нормализованная 24.36
— треугольная 3.59
— трехдиагональная 17.10
— унитарная 10.19
— , уровень разбиения 17.43
— Фробениуса 9.66
— , характеристический ’многочлен
7.23
— циклическая 18.13
— циркулянтная 17.9
—, число обусловленности 16.4, 26.11
— , элемент 3.5
— элементарная неунитарная 22.53
— , элементарный делитель 9.70
— ,--линейный 9.70
— ,--нелинейный 9.70
— эрмитова 10.41
— , эрмитово разложение 10.49
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
315
Матрица, ядро 6.24
— якобиева 19.1
— , ^/-разложение 11.7
— , —блочное 11.14
— , QR-разложение 11.23
М-матрица 9.1
Х-матрица 9.1
— , инвариантный многочлен 9.52
— , ранг 9.48
— регулярная 9.4
— , степень 9.2
— унимодУлярная 9.42
— , элементарные операции 9.39
Матрицы вращения, индекс эквива-
лентности 22.23
--, несвязанная последователь-
ность 22.14
--, сильно связанная последова-
тельность 22.12
--, циклические последовательно-
сти 22.24
--, эквивалентные последователь-
ности 22.20
— коммутирующие 3.25'
— конгруэнтные 12.79
—, кронекерово произведение 11.51
— перестановочные 3.25
— подобные 7.14
— , произведение 3.20
— равные 3.15
— , разность 3.19
— , сумма 3.17
— , — прямая 8.73
— , тензорное произведение 11.51
— эквивалентные 7.9
Х-матрицы, остаток 9.9, 9.10
— , произведение 9.6
— , сумма 9.5
— , частное 9.9, 9.10
— эквивалентные 9.45
Маптисса 21.15
Матричный многочлен 8.33 . .
Машинный нуль 21.19
Метод бисекций 32.14
— вращений 24.27, 25.15, ».20, 32.29
--нормализованный 24.&J, 25.16
--с оптимальный 32.30
--с барьерами 32.30
--циклический 32.30
— Гаусса 24.2, 25.10
--, компактная схема 24.18, 25.11
— Гаусса — Зейделя блочный 35.10
------обобщенный 35.16
------точечный 35.9
— двойственных направлений 28.43
— Жордана 29.8
— квадратного корня 24.24, 25.12
------блочный 29.14
— Ланцоша 33.14
Метод линейный 34.10
— минимальных итераций 28.36,
28.37, 39.34
------обобщенный 39.35
------ невязок 39.22
---ошибок 39.27
— наискорейшего спуска 39.18
— неполного разложения 28.39
— одновременных смещений 35.1
------блочный 35.2
— окаймления 29.12
— оптимального исключения 29.1
— ортогонализации 24.38, 25.17
— отражений 24.30, 25.13
---нормализованный 24.37, 25.14
— переменных направлений 37.1
— Лисмана — Рэкфорда 37.11
— попеременно-треугольный 37.36
— последовательной верхней релак-
сации 35.12
--------модифицированный 35.41
--------обобщенный 35.16
— —-----симметричный 35.47
— последовательных смещений 35.10
------блочный 35.10
— простой итерации 34.50
------обобщенный 34.56
— расщепления 37.1
---коммутативный 37.4
— регуляризации 26.30
— Ритца 33.14
— Ричардсона 34.50 ‘
•--обобщенный 34.56
—, скорость сходимости асимптоти-
ческая 34.34
—,----средняя 34.33
— сопряженных градиентов 28.35
------обобщенный 39.39
---направлений 28.18
— стационарный 34.6
— сходящийся 34.18
— циклический 34.7
— чебышевский 38.1
---циклический 38.29 ,
— эрмитова разложения 28.38
— Якоби 32.29
---блочный 35.2
---точечный 35.1
---экстраполяционный 35.6
— р-шаговый 34.5
Метрики аксиомы 14.1
Метрическое пространство 14.1
Минковского неравенство 20.4
Минор 4.18
—, алгебраическое дополнение 4.23
— базисный 4.33
— ведущий 4.19
— главный 4.19
— дополнительный 4.23
316
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Минор угловой 4.19
Множества векторов, пересечение
---, расстояние 5.50
---, сумма 5.24
Множество 1.1
— замкнутое 14.11
—, замыкание 14.11 .
— ограниченное 14.8
— предельная точка 14.10
—, элемент 1.1
Накопление 21.23
Невязка 6.38
Невязок вектор 34.3
Неравенство Адамара 5.66
— Вейля Г. 20.20
— Гельдера 20.2
— Коши — Буняковского 5.5, 20.3
— Минковского 20.4
— Сильвестра 4.46
— Фробениуса 4.45
Норма вектора 14.20
—Гельдера 14.26
— евклидова 14.26, 14.48
— матрицы 14.44
— — аддитивная 14.46
---мультипликативная 14.45
•--обобщенная 14.46
---подчиненная 14.56
---согласованная 14.54
---спектральная 14.48
— энергетическая 14.24
Нормальная форма разложимой мат-
рицы 18.23
Нормированное пространство 14.20
Нормы эквивалентные 14.42
Обобщенная ''проблема собственных
значений 19.8
Образ 1.38
— матрицы 6.24
Обратная подстановка 25.1
---с нормировкой 25.3
Обратные итерации 30.13
---со сдвигами 30.15
Обусловленности число 16.4, 26.11
Объем системы векторов 5.65
Овал Кассини 16.42
Округление числа 21.7, 21.20, 21.21
---, ошибка 21.7
---правильное 21.11
— —, усечение 21.9
Оператор 1.38
— линейный 1.38
— , область значений 1.38
— , — определения 1.38
— перехода 34.23
Оператор, произведение на число 1.42
— противоположный 1.40
— разрешающий 34.4
— тождественный 1.40
Операторы, произведение 1.46
— равные 1.40
—, сумма 1.41
Операция алгебраическая 1.1
---ассоциативная 1.3
---коммутативная 1.2
— обратная 1.9, 1.10
Определитель 4.9
— Грама 13.3
'Ортогонализация Грама — Шмидта
-23.-7
Ортогональная проекция вектора
5.53
— сумма подпространств 5.34
Ортогональное дополнение 5.22, 13.14
Ортогональные векторы 5.10, 13.10,
13.11
— множества векторов 5.12
Ортогональный базис 13.49
Ортонормированная система векто-
ров 5.12
Отношение Релея 15.4
---обобщение 15.4
— эквивалентности 1.7
Ошибок анализ обратный 21.29
---прямой 21.27
Ошибок вектор 34.2
Пенроуза уравнения 6.50
Переортогонализация 23.33
Переполнение 21.19
Пересечение множеств векторов 5.29
Перестановка чисел 4.1
---четная 4.4
---нормальная 4.1
---четная 4.4
Перманент 4.70
Перпендикуляр 5.53
Перрона — Фробениуса теорема 18.8
Плавающая запятая 21.17
Плоскости размерность 6.56
Плоскость 6.56
Подпространств прямая сумма 5.26
Подпространство 1.35
— инвариантное 8.1
— корневое 8.45
— Крылова 33.22
— направляющее 6.56
— нетривиальное 1.36
— нулевое 1.35, 13.35
— циклическое 8.64
Поле 1.29
Полярное разложение 11.28
Порядок числа 21.15
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Последовательность мажорирующая
20.21
— Релея 30.30
— сходящаяся 14.2
в себе 14.14
- г фундаментальная 14.14
Предел последовательности 14.2
Предельная точка 14.10
Преобразование Фурье 17.19, 12.21,
17.23
Проектор 6.72
Проекция вектора 5.26
— — гиперплоскость 6.66
— — ортогональная 5.53
Приведенный многочлен 9.23
Произведение матриц 3.20
— па число вектора 1.31, 2.7
—-----матрицы 3.18
------операторов 1.42
— операторов 1.46
— скалярное 5.1, 5.2, 12.1
Прообраз 1.38
Пространства изоморфные 2.1
----евклидовы 5.72
----унитарные 5.72
Пространство арифметическое 2.10
— , базис 2.51
— бесконечномерное 2.12
— билинейно-метрическое 13.1
------вырожденное 13.8
------, дефект 13.7
------невырожденное 13.8
------, рапг 13.6
— векторное 1.31
— вещественное 1.37
— евклидово 5.1
—, естественный базис 2.14
— комплексное 1.37
— конечномерное 2.11
— линейное 1.31
— метрическое 14.1-
— нормированное 14.20
— полное 14.17
—, размерность 2.10
— рациональное-1.37
Прямая линия 6.69
— подстановка 25.1
Прямые итерации 30.1
----со сдвигами 30.12
Псевдоортогональный базис 13.54
Равные матрицы 3.15
— операторы 1.40
— элементы 1.8
Размер матрицы 3.6
Размерность плоскости 6.56
— пространства 2.10
Разность матриц 3.19
Рапг билинейной формы 12.75
— матрицы 4.32
----теплицев 17.57
— системы векторов 2.40
Расстояние между векторами 5.48
----множествами векторов 5.50
Регуляризирующий функционал
26.17
Сигнатура квадратичной формы
12.93
Сильвестра критерий 12.51
— неравенство 4.46
Сингулярное разложение 11.48
— число 11.39
Сингулярный базис 11.46
Система линейных алгебраических
уравнений 6.1
--------, вектор неизвестных 6.10
-------, — правых частей 6.10
--------, коэффициенты 6.1
-----------—, матрица 6.10
•-------, — расширенная 6.13
---------неоднородная 6.5
---------несовместная 6.3
---------неустойчивая 25.21
---------однородная 6.5
---------, правая часть 6.1
--------приведенная 6.6
---------, псевдорешение 6.37
---------, решение 6.2
---------, —, нормальное 6.31
--------, — обобщенное 6.37
---------, — общее 6.4
---------, — частное 6.4
---------совместная 6.3
---------, уточнение решения 25.23
---------, фундаментальная система
решений 6.16
---------эквивалентная 6.8
— счисления 21.1
----, основание 21.1
----позиционная 21.1
----, разряд 21.1
----сокращенная 21.4
Скалярное произведение 5.1, 5.2, 12.1
Скелетное разложение 6.42
Смита каноническая форма 9.56
Собственное значение 7.19
----, кратность алгебраическая 7.29
----, — геометрическая 7.29
----, обобщенная проблема 19.8
Сопряженные числа 20.1
Спектр матрицы 7.19, 34.48
Спектральный радиус 16.20
Степенная последовательность 23.16
Степень матрицы 8.32
Сумма векторов 1.31, 2.6
— матриц 3.17
318
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Сумма прямая 8.73
— множеств векторов 5.24
— операторов 1.41
—--подпространств Ортогональная 5.34
•- прямая 5.26
Сходимость по координатам 14.33
---норме 14.32 .
---форме 31.8
Сходящаяся последовательность 14.2
Тепзорное произведение 11.51
Теорема Виландта — Гофмана 20.9
— Кронекера — Капелли 6.14
— Куранта — Фишера 15.40
— Лапласа 4.24
— Перрона — Фробениуса 18.8
— Фредгольма 6.30
— Шура 8.75
Теплицева матрица 17.1
Тождество Лагранжа 20.6
Транспозиция 4.5
Угол между векторами 5.45
---вектором и подпространством
5.51
Уравнения Пенроуза 6.50
Уровень разбиения матрицы 17.43
Уточнение решения 25.23
Фиксированная запятая 21.17
Формула Бине — Коши 4.20
— Крамера 6.23
— Кели 11.35
Фредгольма альтернатива 6.29
— теорема 6.30
Фробениуса каноническая форма
9.68
— неравенство 4.45
Функционал 15.1
—, градиент 15.7
— линейный 15.2
— невязки 15.4
— нелинейный 15.2
— ошибки 15.4
—, производная но направлению 15.6
— регуляризирующий 26.17
—, центр симметрии 15.28
— энергии 15.31
Характеристический многочлен 7.23
Циркулянт 17.9
Число обусловленности 16.4, 26.11
— Ритца 33.21
Шар 14.6
— замкнутый 14.13
— , окрестность 14.7
— , радиус 14.6
— , центр 14.6
Шары вложенные 14.18
Ширина ленты 17.10
Шура теорема 8.75
Эквивалентное возмущение 21.28
Эквивалентности отношение 1.7
Эквивалентнйе нормы 14.42
— системы векторов 2.34
Элемент ведущий 24.11
----, стратегии выбора 24.12
— матрицы 3.5
— множества 1.1
Элементы равные 1.8
Эрмитово разложение 10.49
Ядро матрицы 6.24
Якоби критерий 12.53
Валентин Васильевич Воеводин,
Юрий Алексеевич Кузнецов
- МАТРИЦЫ И ВЫЧИСЛЕНИЯ
(серил: «Справочная математическая библиотека»).
Редактор Е. Е. Тыртышников
Техн, редактор В. II. Кондакова
Корректоры Т. С. Плетнева, Т. С. Вайсберг
ИБ Кв 12063
Сдано в набор 16.09.83. Подписано к печати 19,01.84«
Формат 60x90718. Бумага для глубокой печати. Обыкно-
венная гарнитура. Высокая печать. Условн. печ.л. 20.
Усл, кр.-отт. 20. Уч.-изд. л. 21,69. Тираж о0 000 экз<
Заказ № 805. Цена 1 р. 40 к.
Издательство «Паукам
Главная редакция физико-математической литературы
117071. Москва. В-71, Ленинский проспект, 15
4-я типография издательства «Наука»
630077, Новосибирск, 77, Станиславского, 25