Text
                    Введение в вэйвлеты
в свете
линейной алгебры


Michael W. Frazier An Introduction to Wavelets Through Linear Algebra With 46 Illustrations Springer
Μ. Фрейзер Введение в вэйвлеты в свете линейной алгебры Перевод с английского Я.М. Жилейкина Допущено УМО по классическому университетскому образованию в качестве учебного пособия для студентов высших учебных заведений, обучающихся по специальности 010501 «Прикладная математика и информатика» и по направлению 010500 «Прикладная математика и информатика» & Москва БИНОМ. Лаборатория знаний 2008
УДК 517+512 ББК 22.1 Ф86 Фрейзер М. Ф86 Введение в вэйвлеты в свете линейной алгебры / М. Фрейзер ; пер. с англ. — М.: БИНОМ. Лаборатория знаний, 2008. — 487 с. : ил. ISBN 978-5-94774-557-3 (русск.) ISBN 0-387-98639-1 (англ.) Дается изложение методов линейной алгебры, и с этой точки зрения описываются свойства дискретного вэйвлет-преобразования, очень важного в приложениях. Приводится большое количество практических примеров и задач, наглядно иллюстрирующих свойства используемых математических методов и их современную прикладную направленность. Для студентов и преподавателей вузов, научных работников и инженеров. УДК 517+512 ББК 22.1 Первый тираж издания осуществлен при финансовой поддержке Российского фонда фундаментальных исследований по проекту X* 05-01-14108 Учебное издание Фрейзер Майкл ВВЕДЕНИЕ В ВЭЙВЛЕТЫ В СВЕТЕ ЛИНЕЙНОЙ АЛГЕБРЫ Ведущий редактор М. С. Стригунова Главный художник С. Инфантэ. Художник Я. В. Зотова Корректор Е. Н. Клитина Оригинал-макет подготовлен О. Г. Лапко в пакете WIf$i 2ε с использованием кириллических шрифтов семейства LH Подписано в печать 09.11.07. Формат 70 х 100/16. Гарнитура Computer Modern. Печать офсетная. Бумага офсетная. Усл. печ. л. 39,65. Тираж 1600 экз. Заказ 2835. «БИНОМ. Лаборатория знаний» 125167, Москва, проезд Аэропорта, д. 3 Телефон: (499) 157-5272, e-mail: Lbz@aha.ru, http://www.Lbz.ru Отпечатано в полиграфической фирме «Полиграфист» 160001, г. Вологда, ул. Челюскинцев, 3 ISBN 978-5-94774-557-3 (русск.) Translation from the English ISBN 0-387-98639-1 (англ.) ^^Znto Wavelets Through Linear Algebra by Michael W. Frazier Copyright © 1999 Springer-Verlag New York, Inc. Springer is a part of Springer Science+Business Media All Rights Reserved © Перевод на русский язык, оформление, «БИНОМ. Лаборатория знаний», 2008
Оглавление Предисловие переводчика 8 Предисловие 10 Выражение признательности 15 Пролог: сжатие файлов базы данных ФБР 18 Глава 1. Основные понятия: комплексные числа и линейная алгебра 23 1.1. Вещественные и комплексные числа 23 Упражнения 30 1.2. Комплексные ряды, формула Эйлера и корни из единицы 31 Упражнения 40 1.3. Векторные пространства и базисы 43 Упражнения 50 1.4. Линейные преобразования, матрицы и переход от одного базиса к другому 53 Упражнения 64 1.5. Диагонализация линейных преобразований и матриц 68 Упражнения 88 1.6. Скалярные произведения, ортонормированные базисы и унитарные матрицы 90 Упражнения 105 Глава 2. Дискретное преобразование Фурье 111 2.1. Определение и основные свойства дискретного преобразования Фурье 111 Упражнения 130 2.2. Линейные преобразования, инвариантные относительно сдвига 135 Упражнения 150 2.3. Быстрое преобразование Фурье 156 Упражнения 166
6 Оглавление Глава 3. Вэйвлеты на множестве Z# 169 3.1. Построение вэйвлетов на Z#: первый этап 169 Упражнения 190 3.2. Построение вэйвлетов на Z#: итерационный этап 198 Упражнения 218 3.3. Примеры и применения 225 Упражнения 259 Глава 4. Вэйвлеты на множестве Ζ 261 4.1. Пространство £2(Ζ) 261 Упражнения 264 4.2. Полные ортонормированные множества в гильбертовых пространствах 267 Упражнения 272 4.3. Пространство L2([—π,π)) и ряд Фурье 274 Упражнения 287 4.4. Преобразование Фурье и свертка в £2(Ζ) 293 Упражнения 301 4.5. Вэйвлеты первого этапа на Ζ 303 Упражнения 310 4.6. Итерационные этапы для вэйвлетов на Ζ 314 Упражнения 320 4.7. Примеры и применения 322 Упражнения 337 Глава 5. Вэйвлеты на множестве R 339 5.1. Пространство L2(R) и функции приближенно тождественного элемента свертки 339 Упражнения 348 5.2. Преобразование Фурье на множестве Ш 351 Упражнения 364 5.3. Кратномасштабный анализ и вэйвлеты 368 Упражнения 381 5.4. Построение кратномасштабных анализов 386 Упражнения 409 5.5. Вэйвлеты с компактным носителем и их вычисление 416 Упражнения 433 Глава 6. Вэйвлеты и дифференциальные уравнения 437 6.1. Число обусловленности матрицы 437 Упражнения 441 6.2. Метод конечных разностей для дифференциальных уравнений 444
Оглавление 7 Упражнения 450 6.3. Методы вэйвлет-Галеркина для дифференциальных уравнений 455 Упражнения 465 Библиография 468 Библиография на русском языке 474 Предметный указатель 475
Предисловие переводчика Теория вэйвлетов и их применения являются важным и актуальным разделом современной математической науки. По этой тематике издано достаточно много книг на русском языке, в которых отражены основные свойства вэйвлетов. Среди них можно назвать монографии И. Добеши «Десять лекций по вэйвлетам», Ч. К. Чуй «Введение в вэй- влеты», С. Малла «Вэйвлеты в обработке сигналов» и др. Приятно отметить тот факт, что по теории вэйвлетов появилось много качественных книг, написанных российскими авторами. Их неполный перечень дается в списке дополнительной литературы на русском языке. Несмотря на это, необходимость в новых книгах по вэйвлетам очевидна. Книга М. В. Фрейзера посвящена подробному изложению теории вэйвлетов, основанному на применении алгебраических методов. Она написана очень четко и ясно и в основном ориентирована на студентов 2-4-х курсов высших учебных заведений. В книге М. В. Фрейзера весьма удачно дается изложение методов алгебры и с этой точки зрения описываются свойства дискретного преобразования Фурье (DFT): диагонализуемость дискретным базисом Фурье операторов, инвариантных относительно сдвига, быстрая численная реализация DFT с помощью алгоритма FFT. Следует отметить четкое описание этого алгоритма, который находит широкое практическое применение. Главное внимание в книге М. В. Фрейзера уделяется дискретному вэйвлет-преобразованию, важному с практической точки зрения. Эта тема изложена очень подробно, дается четкое алгоритмическое описание реализуемых на современных компьютерах методов дискретного вэй- влет-преобразования. В монографии М. В. Фрейзера приводится большое количество практических примеров и задач, наглядно иллюстрирующих свойства используемых математических методов и их современную прикладную направленность. Так, книга М. В. Фрейзера начинается с примера использования вэйвлетов для компактного хранения цифровых отпечатков пальцев, которое осуществляется в ФБР.
Предисловие переводчика 9 Скажем несколько слов о терминах, используемых в русском переводе книги М. В. Фрейзера. Как правило, они носят традиционный для русской литературы характер. Это означает, что в основу положены термины работы И. Я. Новикова и СБ. Стечкина «Основы теории всплесков» (Успехи математических наук. —1998. — Т. 53, №6(324).— С. 53-128). Кроме этого, широко используется терминология, введенная в русском варианте монографий Ч. К. Чуй и С. Малла. В 80-е годы российским математиком профессором К. И. Осколко- вым был предложен русский аналог термина «вэйвлеты» — «всплески». Этот термин иногда используется в русскоязычной литературе. В предлагаемом переводе книги М. В. Фрейзера (так же, как и в книгах Ч. К. Чуй и С. Малла) используется термин «вэйвлеты», так как он более широко распространен и общепринят во всем мире. Математическая теория вэйвлетов — это сложный предмет, связующий и обобщающий многие разделы современной математики. Изучение этой теории довольно сложно как для студентов и научных сотрудников, так и для инженеров. В отличие от ранее изданных книг по теории вэйвлетов монография М. В. Фрейзера более доступна и проста. Несомненно, что книга М. В. Фрейзера полезна широкому кругу российских читателей и будет пользоваться большим спросом. Профессор Я. М. Жилейкин Московский государственный университет им. М. В. Ломоносова
Предисловие Студенты Мичиганского государственного университета, специализирующиеся по математике, прослушивают «завершающий» курс («Capstone») в конце их трехгодичного обучения. Содержание каждого курса меняется в зависимости от необходимости. Его цель —собрать вместе различные темы из списка предметов учебного плана младших курсов и подготовить студентов к изучению наиболее развивающихся областей математики. Предлагаемая книга была написана именно для «завершающего» курса. Основы вэйвлет-теории — это естественная тема для такого курса. Появление вэйвлетов (именно под таким названием) датируется 1980-ми годами. Занимающая место между математикой и инженерией, вэйвлет- теория наглядно показывает студентам, что математические исследования с успехом применяются в важных практических областях, таких как сжатие изображения и численное решение дифференциальных уравнений. Автор книги верит, что наиболее существенные элементы теории вэйвлетов достаточно элементарны для того, чтобы их с успехом преподавать наиболее сильным студентам младших курсов. Книга предназначена для студентов первых лет обучения, поэтому предполагается только знание основ линейной алгебры и математического анализа. Мы не требуем хорошей осведомленности о комплексных числах и корнях из единицы. Эти материалы даются читателю в первых двух параграфах гл. 1. В конце гл. 1 мы приводим обзор по линейной алгебре. Студенты должны хорошо разбираться в основных определениях разд. 1.3 и разд. 1.4. С нашей точки зрения, линейные преобразования имеют первостепенное значение для изучения; матрицы возникают как реализация линейных преобразований. Многие студенты могут быть знакомы с результатами по замене базисов в разд. 1.4, но имеют возможность воспользоваться и повторить эти вопросы снова. В разд. 1.5 мы ставим вопрос о том, как выбрать базис, чтобы по возможности упростить матричное представление заданного линейного преобразования. Мы сосредоточиваем внимание на простейшем случае, когда линейное преобразование диагонализуемо. В разд. 1.6 мы подробно рассматриваем скалярные произведения и ортонормирован-
Предисловие 11 ные базисы. Мы заканчиваем эту главу формулировкой спектральной теоремы для матриц, доказательство которой в общих чертах выносится в упражнения. Это доказательство выходит за границы знаний большинства студентов младших курсов. Глава 1 носит характер справочного материала. В зависимости от основных знаний многие читатели и преподаватели могут перескочить или быстро просмотреть многое из этого материала. Изложение в гл. 1 достаточно полное для того, чтобы текст был по возможности самодостаточным, оно обеспечивает логически упорядоченное толкование предметного материала и стимулирует его дальнейшее развитие. Автор уверен, что студенты могут приступить к изучению анализа Фурье в его конечномерном контексте, где все можно объяснить в терминах линейной алгебры. При таком подходе ключевую идею можно изложить, не отвлекаясь на технические моменты, связанные со сходимостью. Мы начинаем с введения дискретного преобразования Фурье (DFT) в разд. 2.1. DFT вектора состоит из его компонент относительно некоторого ортогонального базиса комплексных экспонент. Ключевой момент состоит в том, что все линейные преобразования, инвариантные относительно сдвига, диагонализуются таким базисом; это доказывается в разд. 2.2. Мы обращаемся к вычислительным проблемам в разд. 2.3, в котором мы видим, что DFT может быть быстро вычислено с помощью быстрого преобразования Фурье (FFT). Не так хорошо известно, что основы теории вэйвлетов могут быть введены с точки зрения конечномерных пространств. Это делается в гл. 3. Материал этой главы не является полностью стандартным, это — адаптация вэйвлет-теории к конечномерным данным. Она обладает тем преимуществом, что в качестве основы требует только знания линейной алгебры. В разд. 3.1. мы исследуем ортонормированные базисы с пространственной и частотной локализациями; разложения по этим базисам могут быть быстро вычислены. Мы приходим к рассмотрению четных сдвигов двух векторов, в некотором смысле материнского и отцовского вэйвлетов. Здесь естественным образом возникает методика набора фильтров для вычисления вэйвлетов. Путем итерации этой структуры набора фильтров в разд. 3.2 мы приходим к многоуровневому вэйвлет- базису. Примеры и приложения обсуждаются в разд. 3.3. В этом же контексте представлены вэйвлеты Добеши и рассмотрены элементарные примеры сжатия информации. Студент, знакомый с системами MATLAB, Maple или Mathematica, при желании сможет решить аналогичные задачи.
12 Предисловие В разд. 4.1 мы переходим к бесконечномерным, но дискретным пространствам ^2(Z), состоящим из суммируемых с квадратом последовательностей, заданных в целых точках. Главные свойства полных орто- нормированных множеств в пространствах со скалярным произведением обсуждаются в разд. 4.2. Здесь математический анализ впервые серьезным образом возникает на нашей картине. Интегрируемые с квадратом функции на промежутке [—π, π) и их ряды Фурье подробно рассматриваются в разд. 4.3. Здесь мы совершаем небольшой обман: мы говорим, что используем интеграл Лебега, но не определяем его, и просим студентов принять на веру некоторые его свойства. Мы снова приходим к главному принципу, что система Фурье диагонализует линейные операторы, инвариантные относительно сдвига. Подходящая версия преобразования Фурье на этом множестве есть отображение последовательности в пространстве £2{Ъ) на функцию в L2([—π,π)), коэффициенты Фурье которой составляют исходную последовательность. Его свойства представлены в разд. 4.4. После этих приготовлений построение вэйвлетов первого этапа на целочисленных множествах (разд. 4.5)и итерационный шаг, приводящий к многоуровневому базису (разд. 4.6), получаются как полная аналогия методов в гл. 3. Вычисление вэйвлетов в контексте £2(Ζ) обсуждается в разд. 4.7, который включает в себя построение вэйвлетов Добеши на множестве Ζ. Порождающие векторы и и ν вэйвлет- системы в £2(Ζ) снова появляются в гл. 5 как масштабная последовательность и ее компаньон. Обычный вариант вэйвлет-теории на вещественной прямой представлен в гл. 5. Предварительные замечания, касающиеся функций, интегрируемых с квадратом, и преобразования Фурье обсуждаются в разд. 5.1 и разд. 5.2. Факты, касающиеся обратного преобразования Фурье в L2(R), доказываются в деталях, хотя многие преподаватели предпочитают считать эти результаты известными. Формула обратного преобразования Фурье аналогична представлению функции с помощью ортонормированного базиса, где вместо суммы используется интеграл. Мы видим также, что система Фурье диагонализует операторы, инвариантные относительно сдвига. В разд. 5.3 доказана теорема Малла о том, что кратномасштабный анализ дает вэйвлет-базис. Рассмотренное выше соотношение между масштабной последовательностью и вэйвле- тами в £2(Z) приводит нас к прямому использованию результатов гл. 4. Условия, при которых вэйвлеты в £2(Z) могут быть использованы для генерации кратномасштабного анализа и, следовательно, вэйвлетов на множестве R, рассматриваются в разд. 5.4. В разд. 5.5 мы строим вэйвлеты Добеши с компактным носителем и показываем, как выполняется вэйвлет-преобразование с использованием набора фильтров.
Предисловие 13 В гл. 6 мы кратко описываем применение полученных результатов к численному решению дифференциальных уравнений. Раздел 6.1 начинается с обсуждения вопроса о числе обусловленности матрицы. В разд. 6.2 мы представляем простой пример численного решения обыкновенного дифференциального уравнения с постоянными коэффициентами на отрезке [0,1] с использованием метода конечных разностей. Мы видим, что, хотя результирующая матрица является разреженной, что удобно, она имеет число обусловленности, которое возрастает квадратично с размером матрицы. Для сравнения, в разд. 6.3 мы видим, что в методе вэйвлет-Галеркина дискретизации равномерно эллиптического дифференциального уравнения с переменными коэффициентами матрица полученной линейной системы может быть переобусловлена так, что будет обязательно разреженной и будет иметь ограниченное число обусловленности. Ограниченность числа обусловленности вытекает из свойства эквивалентности нормы вэйвлетов, которое мы приводим без доказательства. Разреженность полученной матрицы происходит от локализации вэйвлет-системы. В значительной степени ортогональность элементов вэйвлет-базиса является следствием непересечения их носителей (конечно, при использовании вэйвлетов с компактным носителем). Это гораздо более сильное свойство, например, в случае умножения на функцию с переменными коэффициентами, чем тонкое взаимное уничтожение, лежащее в основе ортогональности системы Фурье. Поэтому, хотя вэйвлет-система может и не диагонализовать точно ни один часто встречающийся оператор, она почти диагонализует (в смысле разреженных матриц) гораздо более широкий класс операторов, чем базис Фурье. Основы теории вэйвлетов включают разделы линейной алгебры, вещественный и комплексный анализ, численный анализ и инженерию. В этом отношении она повторяет свойства современной математики, которая становится все более междисциплинарной. С самого начала эта книга относительно элементарна, но уровень сложности неуклонно возрастает. Ее можно использовать по-разному, в зависимости от уровня подготовки студентов. Если гл. 1 требует для изучения длительного времени, то наиболее сложные доказательства в следующих главах могут быть только коротко очерчены. Для более сильных студентов можно перескочить многие или даже все разделы гл. 1, что оставит время для более основательного рассмотрения оставшегося материала. Краткий курс для более квалифицированной аудитории можно начать с гл. 4, так как основной материал в гл. 4 и 5 носит технический, а не концептуальный характер, независимый от содержания гл. 2 и 3.
14 Предисловие Человек с солидным знанием анализа Фурье должен изучать основы теории вэйвлетов, данные в разд. 4.5, 4.7, 5.3, 5.4, 5.5 и 6.3, только временами обращаясь к оставшемуся тексту. Эта книга предназначена быть по возможности элементарным введением в вэйвлет-теорию. Она не планировалась как основательный обзор. Мы отсылаем читателя, заинтересованного в дополнительной информации, к библиографии в конце книги. М. Фрейзер Мичиганский государственный университет Апрель 1999 г.
Выражение признательности В создании этой книги принимали участие большое число моих коллег и студентов. Результаты о дискретном вэйвлет-разложении, представленные в гл. 3 и 4, были получены в совместной работе (Фрэйзер и Кумар, 1993 г.) с Аруном Кумаром при нашей ранней попытке понять вэйвлеты. В дальнейшем это было развито в общей работе, выполненной с Джеем Эпперсоном и Даниелем Вагнером, нашими коллегами из Калифорнии. Многие графики в этой книге аналогичны примерам, выполненным Дугласом МакКаллохом в течение этого консультационного проекта. Некоторые дополнения, раскрывающие суть задачи, были получены в последующей работе с Рудольфо Торресом. Мои коллеги из Мичиганского государственного университета оказали разнообразное содействие при создании этой книги. Патти Лэмм прочла весь предварительный вариант книги и сделала более сотни полезных замечаний, некоторые из них привели к полной переработке § 6.2. Она также обеспечила книгу компьютерными рисунками для пролога. Шелдон Акслер осуществил техническое редактирование книги и сделал ряд замечаний, которые улучшили стиль и оформление всей рукописи. Т. И. Ли сделал ряд ценных замечаний, включающих в себя предоставление упр. 1.6.20. Байрон Дрехман оказал помощь при составлении указателя. Я воспользовался благоприятной возможностью опробовать предварительные варианты этой книги в студенческих аудиториях. Они использовались в Мичиганском государственном университете в весеннем курсе 1996 г. для студентов младших курсов и в вводном курсе для студентов старших курсов летом 1996 г. Администрация математического факультета, в первую очередь Джон Холл, Билл След и Вей Эй Куан, сделали все, чтобы обеспечить прочтение этих курсов. Студенты, посещавшие лекции, сделали много замечаний и поправок, которые улучшили текст рукописи. Гихан Мандур, Йан Ю Лин, Рудольф Блажен и Рихард Андрусяк внесли большое количество исправлений.
16 Выражение признательности Эта книга была также основой для трех коротких курсов по вэйвле- там. Один из них был прочитан в университете Пуэрто-Рико в Майагу- езе весной 1997 г. Я благодарю Найду Сантьяго за помощь в организации визита Шоуна Ханта, Доминго Родригеса и Рамона Васкеса за приглашение и теплое гостеприимство. Другой короткий курс был прочитан в университете штата Миссури г. Колумбия осенью 1997 г. Я благодарю Елиаса Сааба и Накхле Асмара, сделавших это возможным. Третий короткий курс состоялся в институте математики UNAM в г. Куернавака, Мексика, весной 1998 г. Я благодарю профессоров Сальвадора Перез- Естеву и Карлоса Виллегас Бласу за их усилия при организации этой поездки и за их всестороннее участие. Книга в первоначальном виде была также использована в лекциях Кристиной Перейра в университете Нью-Мексико и Сюзанной Турвилль в Карнеги-Меллон университете. Кристина, Сюзанна и их студенты выполнили ценную работу и внесли большое количество исправлений, как это сделал Киис Онневиар. Мои дипломники Кунчан Вонг и Майк Никсон сделали много полезных замечаний и внесли в рукопись некоторое число исправлений. Мой другой дипломник, Шанхьян Зонг, обучил меня математике (см. § 6.3.1). Я также благодарю его и его сына, Симона Зонга, за рис. 35. Примеры отпечатков пальцев на рис. 1-3 в прологе были предоставлены Крисом Брислоуном из Лос-Аламосской национальной лаборатории. Я благодарен ему за разрешение воспроизвести эти изображения. Рисунки 36, д и е были подготовлены с использованием программы (Summus 4U2C 3.0), предоставленной мне Бьёрном Яавертом и Summus Technologies, Inc., которых я благодарю. Рисунки 36, 5, ей г были получены с использованием коммерчески доступного программного матобеспечения Win JPEG v.2.84. Рукопись и некоторые рисунки были подготовлены с помощью издательской системы ВД^Х. Другая часть рисунков получена с использованием пакета MATLAB. Стив Племмонс, руководитель компьютерной группы математического факультета Мичиганского государственного университета, оказал разнообразную помощь, в частности касающуюся изображений на рис. 36. Я благодарю Ину Линдеман, моего издателя в Шпрингер-Ферлаг, за ее участие, ободрение и особенно за ее терпение. Я пользуюсь удобным случаем поблагодарить математиков, критическая помощь которых способствовала тому, что я смог написать эту книгу. Терпение и поддержка моего научного консультанта Джона Гарнета с самого начала играли главную роль. Мое раннее сотрудничество с Бьёрном Яавертом сыграло решающую роль в моей карьере.
Выражение признательности 17 Руководитель моей докторской диссертации Гвидо Вайсе подбадривал и помогал мне в течение многих лет во всех важных случаях. Эта книга была пересмотрена и исправлена во время отпуска, предоставленного мне Мичиганским государственным университетом. Этот отпуск я провел в университете штата Миссури в г. Колумбия. Я благодарю университет штата Миссури за их гостеприимство, предоставленные мне необходимые возможности и техническое содействие. В то время как академическая система испытывает многочисленные атаки, стоит отметить, что эта книга, а также много других книг не были бы написаны без поддержки этой системы.
Пролог: сжатие файлов базы данных ФБР Когда ваша местная полиция арестовывает кого-либо по незначительному обвинению, она всегда хочет проверить, предъявлялся ли этому лицу ордер на арест, возможно, в другом штате, за более серьезное преступление. Для проверки можно послать отпечатки пальцев этого человека в архив отпечатков пальцев ФБР в Вашингтон Д. К. К несчастью, ФБР не может сравнить полученные отпечатки пальцев с имеющимися записями достаточно быстро, чтобы их идентифицировать до того, как подозреваемый должен быть отпущен. Преступник, обвиняемый в серьезном преступлении, постарается быстро скрыться, пока ФБР осуществит нужную идентификацию. Почему это занимает так много времени? Файлы ФБР с отпечатками пальцев хранятся на карточках отпечатков пальцев в кабинетах файлов в складском помещении, которое занимает площадь около одного акра. Материально-техническое выполнение процедуры поиска делает невозможным ее быструю реализацию. Решение этой задачи кажется очевидным — отпечатки пальцев базы ФБР должны быть компьютеризированы, и поиск должен быть осуществлен электронным образом. В конце концов, мы живем в компьютерный век. Почему это не было давно сделано? Данные, представляющие изображение отпечатков пальцев, могут храниться на компьютере таким образом, что изображение может быть восстановлено с точностью, достаточной для получения полной идентификации. Для этого изображение отпечатков пальцев сканируется и оцифровывается. Каждый квадратный дюйм изображения отпечатка пальцев разбивается на решетку из 500 χ 500 маленьких квадратов, называемых пикселями. Каждый пиксель задается значением шкалы яркости, соответствующим его потемнению, с масштабом от 0 до 255. Так как целые числа от 0 до 255 могут быть представлены в двоичной системе с использованием 8 знаков (т. е. каждое целое от 0 до 255 соответствует 8-значной последовательности нулей и единиц), то они занимают 8 двоичных бит данных для определения потемнения одного пикселя. (Одна двоичная цифра представляет один бит данных, который электронно соответствует пе-
Пролог: сжатие файлов базы данных ФБР 19 Рис. 1. Оригинальное изображение отпечатков пальцев (любезно предоставленное Крисом Брислоуном, Лос-Аламосская национальная лаборатория) реключателю в положении «включен» или «выключен».) Пример отпечатков пальцев, отсканированных таким образом, показан на рис. 1. Рассмотрим объем данных, требуемых для одной карточки отпечатков пальцев. Каждый отпечаток занимает площадь около 1.5 дюйма χ χ 1.6 дюйма, с 5002 = 250 000 пикселей на квадратный дюйм, каждый требующий 8 бит данных (один байт данных). Поэтому каждый отпечаток пальцев требует около 600000 байт данных. Карточка включает все 10 отпечатков пальцев, плюс 2 отпечатка больших пальцев и 2 отпечатка всех пальцев на руке (всей пятерни). Результат таков, что каждая карточка требует около 10 мегабайт данных (мегабайт — это примерно один миллион байтов). Такое число еще доступно для современных компьютеров, которые часто имеют несколько гигабайт памяти (гигабайт — это примерно один миллиард, или 109, байт). Электронная передача
20 Пролог: сжатие файлов базы данных ФБР данных карточки допустима, хотя и довольно медленна. Таким образом, полиция имеет возможность послать необходимые данные электронным образом в ФБР, пока подозреваемый еще находится под наблюдением. Однако ФБР имеет в своем архиве около 200 миллионов карточек с отпечатками пальцев. (Многие отпечатки принадлежат уже умершим людям, это приводит к увеличению информации, но очевидно, что ФБР не собирается ее уничтожать.) Следовательно, оцифровка всего архива потребовала бы около 2 χ 1015 байт, или около 2000 терабайт (терабайт — это 1012 байт) памяти. Это представляет собой большее количество памяти, чем имеется в современном компьютере. Даже если мы сократим количество карточек, соответствующих подозреваемым в преступлениях в настоящее время, то мы будем иметь дело приблизительно с 29 миллионами карточек (учитывая некоторое дублирование, обусловленное неточностями), или, грубо, с 2 χ 1014 байтами данных. Поэтому нам потребовалось бы около 60 000 трехгигабайтных запоминающих устройств. Это слишком много далее для ФБР. Далее если эта большая база данных будет храниться, то ее нельзя быстро просмотреть и организовать поиск. Однако это количество памяти нельзя считать астрономически большим. Если объем данных будет урезан примерно в 20 раз, он может храниться примерно на 3000 трехгигабайтных запоминающих устройствах. Это все еще очень много, но нельзя сказать, что это невообразимо большое количество данных для государственного учреждения. Поэтому нам необходим метод сжатия данных, т.е. возможность представить информацию с использованием меньшего количества данных, сохраняя при этом достаточную точность для осуществления нужной идентификации. Сжатие данных есть важное поле деятельности в анализе сигналов, которое имеет длинную историю. Текущий промышленный стандарт сжатия изображения был написан Объединенной группой фотографических экспертов (Joint Photographic Experts Group) и называется JPEG. Многие файлы изображений, которые загружаются в Интернете, сжимаются с помощью этого стандарта; поэтому они имеют расширение .jpg. Несколько лет назад ФБР объявил конкурс на разработку методики сжатия их файлов отпечатков пальцев. Различные группы откликнулись на просьбу ФБР и предложили свои методы. Контракт был заключен с группой из Лос-Аламосской национальной лаборатории, руководимой Джонатаном Брэдли и Кристофером Брислоуном; руководителем проекта был Том Хоккер из ФБР. Они предложили сжатие, использующее недавно развитую теорию вэйвлетов. Отчет об этом проекте можно найти в статье Брислоуна (1995).
Пролог: сжатие файлов базы данных ФБР 21 Рис. 2. JPEG-сжатие (любезно предоставлено Крисом Брислоуном, Лос- Аламосская национальная лаборатория) Чтобы понять соображение, в связи с которым был одобрен вэйвлет- проект вместо проектов, основанных на JPEG, рассмотрим изображения на рис. 2 и 3. Оба содержат сжатие изображения отпечатков пальцев на рис. 1 с коэффициентом около 13. Рисунок 2 показывает сжатие, использующее JPEG, а рис. 3 дает изображение вэйвлет-сжатия. Одна особенность JPEG состоит в том, что он сначала разбивает большое изображение на меньшие квадраты и затем осуществляет независимое сжатие в этих меньших квадратах. Это обеспечивает некоторые преимущества, обусловленные локальной однородностью в изображении. Его недостаток состоит в том, что подразбиения могут совпадать недостаточно хорошо на границах малых квадратов. Это приводит к регулярному рисунку из горизонтальных и вертикальных линий, хорошо видных на рис. 2. Они называются блочными артефактами или, более коротко,
22 Пролог: сжатие файлов базы данных ФБР Рис. 3. Вэйвлет-сжатие (любезно предоставлено Крисом Брислоуном, Лос- Аламосская национальная лаборатория) блочными линиями. Это не только вызывает зрительное раздражение, но и является препятствием для машинного распознавания отпечатков пальцев. Методы вэйвлет-сжатия не требуют разбиения изображения на маленькие блоки, потому что нужные свойства локализации естественно заложены в вэйвлет-систему. Поэтому вэйвлет-сжатие на рис. 3 не имеет блочных линий. Это одно из главных соображений, почему контракт с ФБР о сжатии отпечатков пальцев был заключен с группой, занимающейся вэйвлетами. Мы рассматриваем оба метода — сжатие Фурье и вэйвлет-сжатие — в разд. 3.3 этой книги. Примеры сжатия файлов отпечатков пальцев на рис. 2 и 3 показывают, что области математики, развитые в последние годы (в пределах последних 10 или 12 лет), находят большие практические применения.
Глава 1 Основные понятия: комплексные числа и линейная алгебра 1.1. Вещественные и комплексные числа Для начала введем некоторые обозначения. Множество натуральных чисел {1, 2, 3, 4, ...} будет обозначаться буквой N, а множество целых чисел {..., —3, —2, — 1, 0, 1, 2, 3, ...} —буквой Z. Комплексные числа введем несколько позже. Мы предполагаем также знакомство с множеством вещественных чисел и их свойствами, которые коротко приводим ниже. Основные алгебраические свойства множества R следуют из того, что R — поле. Определение 1.1. Полем (F,+,·) называется множество F с двумя операциями: + (называемой сложением) и · (называемой умножением) обладающими следующими свойствами: С1 (замкнутость относительно сложения). Для всех х,у € F определена сумма χ + у, которая является элементом множества F. С2 (коммутативность сложения), χ + у = у + х для всех х, у € F. СЗ (ассоциативность сложения), χ + (у + ζ) = (χ + у) + ζ для всех x,y,z€F. С4 (существование нулевого элемента). Существует элемент поля F, обозначаемый 0, такой, что χ + О = χ для всех χ € F. С5 (существование элемента, обратного по сложению). Для каждого χ € F существует элемент поля F, обозначаемый через —я, такой, что χ + (—х) = 0. У1 (замкнутость относительно умножения). Для всех ж, у € F определено произведение χ-у, которое является элементом множества F. У2 (коммутативность умножения), χ -у = у · χ для всех х, у € F. УЗ (ассоциативность умножения), χ · (у · ζ) = (χ · у) · ζ для всех x,y,ze F. У4 (существование единицы). Существует элемент поля F, обозначаемый 1, такой, что 1^0иЖ'1 = а; для всех χ € F. У5 (существование элемента, обратного по умножению). Для каждого χ € F такого, что χ φ 0, существует элемент множества F, обозначаемый через х~1 (или 1/х), такой, что χ · (х~г) = 1. Д (закон дистрибутивности), χ · (у + ζ) = (χ · у) + (χ · ζ) для всех x,y,z£¥.
24 Глава 1. Комплексные числа и линейная алгебра Мы подчеркиваем, что, в принципе, операции + и · в определении 1.1 могут быть любыми операциями, обладающими требуемыми свойствами. Однако в случае пространств R и С это обычные операции сложения и умножения. В частности, при обычном понимании знаков + и · множество (R, +, ·) образует поле. При этом мы опускаем знак · и пишем ху вместо χ · у. Все основные алгебраические свойства множества R (такие как — (—х) = х) следуют из свойств поля. Они приводятся во многих вводных курсах анализа. В этой книге мы предполагаем все эти свойства известными. Упорядоченное поле есть поле F с отношением <, обладающим свойствами 01-04. Первые два свойства устанавливают, что F есть упорядоченное множество. 01 {принцип сравнения). Если х,у 6 F, то выполняется одно и только одно из следующих соотношений: х < 2/, У < х, У = х- 02 (транзитивность). Если ж,у,ζ € F, где χ < у и у < ζ, то χ < ζ. Оставшиеся два свойства устанавливают тот факт, что операции + и ·, определенные в F, не противоречат отношению порядка <: 03 (непротиворечивость + с <). Если x^y^z € F и у < ζ, то х + у <х + ζ. 04 (непротиворечивость · с < ). Если ж, у 6 F, где 0 < ж и 0 < у, то О < ху. Мы принимаем факт, что множество R с обычным отношением < образует упорядоченное поле. Все стандартные свойства порядка в R (если 0 < х, то —х < 0) следуют из свойств 01-04. Эти свойства понадобятся нам в дальнейшем. Мы используем стандартное обозначение χ > у в том же смысле, что и у < х. Запись χ ^ у (эквивалентная у ^ х) означает, что или χ < у, или χ = у. Для xGR обозначим через \х\ абсолютное значение, или модуль, х, где \х\ = х, если χ ^ 0, и \х\ = —ж, если χ < 0. Поэтому \х\ ^ 0 для всех χ € R, и \х\ = 0 тогда и только тогда, когда χ = 0. Лемма 1.2 (неравенство треугольника в R). Если х,у 6 R, то 1* + У|< И + М- ДОКАЗАТЕЛЬСТВО. Упражнение 1.1.1. ■ Модуль \х — у\ можно интерпретировать как расстояние между точками χ и у в R. (См. упр. 1.1.2.) Это приводит к понятию сходимости последовательности.
1.1. Вещественные и комплексные числа 25 Определение 1.3. Пусть Μ € N и χ Ε R. Последовательность вещественных чисел {хп}™-м схо^ится к %·> если для любого ε > 0 существует N 6 Ν, такое, что \хп—х\ < ε при всех η > N. Последовательность {хп}^м сходится, если она сходится к некоторому пределу χ € R. Определение 1.4. Последовательность {жп}^=м вещественных чисел есть последовательность Коти, если для любого ε > 0 существует такое N 6 Ν, что |жп — хт\ < ε при всех п,т> N. Множество Q рациональных чисел является упорядоченным полем. Свойство, которым отличается от него множество R, есть его полнота. Во многих книгах это формулируется как свойство наличия (точной) верхней грани, а именно что каждое непустое, ограниченное сверху множество вещественных чисел имеет верхнюю грань. Свойство наличия верхней грани приводит к следующему результату. Теорема 1.5 (признак Коши сходимости последовательности). Любая последовательность Коши вещественных чисел сходится. Признак Коши позволяет нам доказать, что последовательность сходится, даже если мы не знаем значения предела. Это особенно полезно, когда мы рассматриваем ряды. Обратное утверждение (т. е. что любая сходящаяся последовательность есть последовательность Коши) также справедливо (упр. 1.1.3). Мы видели, что множество R (с обычным сложением и умножением) образует полное упорядоченное поле. Это характеризует R: любое другое полное упорядоченное поле, по существу, есть то же самое R, за исключением выбора названий и обозначений, даваемых элементам и операциям (более точно, любое другое полное упорядоченное поле «изоморфно» R). Мы не будем это доказывать. В нашей книге мы будем в основном работать с множеством С комплексных чисел. Комплексные числа также образуют полное поле (но не упорядоченное; см. упр. 1.1.4). Один (несколько мистический) способ определения множества С состоит в предположении существования некоторого обобщенного числа г (не вещественного), которое удовлетворяет равенству г2 = — 1. Тогда С определяется как множество всех чисел вида ζ = χ + гу, где х, у 6 R. В этом случае мы вводим в С обычные операции сложения и умножения: для жъ#2>Уъ2/2 € R (χι + iyi) + (х2 + гу2) = {х\ + Х2) + г{у\ + Ы (1.1) и (#1 + гуг) · (х2 + гу2) = (#ι · х2 - У\ - Ы + i(xi -y2 + x2- у\), (1.2) которые мы получаем, если формально перемножаем элементы и используем соотношение г2 = — 1. (Уточним, что мы определили операции
26 Глава 1. Комплексные числа и линейная алгебра + и · в С в левой части уравнений (1.1) и (1.2), используя в правой части обычные операции +, — и ·, определенные вЕ.) Далее будем писать zw вместо ζ · w. Единственная проблема состоит в том, что все это не имеет смысла, если гипотетическое число i не существует. Простейший путь обойти это препятствие состоит в том, чтобы ввести множество С = R х R = {(ж, у): ж, у € R} с операциями + и ·, определенными формулами (si, yi) + (я?2,1й) = 0*1 +s2,ift +ite) (1-3) и (si,!fc) · 0*2»Itt) = 0*1*2 - У1У2,х\У2+Х2У\), (1.4) где +, — и · в правых частях соотношений (1.3) и (1.4)—стандартные операции в R. Уже не встает вопрос о том, имеют ли эти определения смысл. Отметим, что формула (1.3) есть, по существу, соотношение (1.1), а формула (1.4) — по существу, соотношение (1.2). Заметим, что множество Rx {0} = {(ж,0): хеЩ изоморфно R; это означает, что отображение (ж,0) —► χ есть взаимно однозначное соответствие, которое идентифицирует R χ {0} с R. Соотношения (Я?1,0) + (Я?2,0) = (Я?1+Я?2,0) и (Я?1,0) · (#2,0) = (^1^2 — 0· 0, Si -0 + Ж2 Ό) = (Ж1Ж2,0) показывают, что сужения операций (1.3) и (1.4) на R χ {0} не противоречат обычным операциям в R. Поэтому R вложено в С с сохранением операций сложения и умножения. Из формулы (1.4) вытекает равенство (0,1) · (0,1) = (0 · О - 1 · 1,0 · 1 + 0 · 1) = (-1,0). Следовательно, уравнение ζ2 = (—1,0) имеет решение (0,1) в С (фактически два решения, другое решение — (0, —1)), даже если оно не имеет решения в R χ {0}. Так как мы идентифицируем (—1,0) € С с —1 € R, то из этого следует, что уравнение ζ2 = — 1 имеет решение в множестве С, даже если оно не имеет решения в R. В этом нет ничего противоречивого или удивительного. Теперь можно положить по определению г = (0,1).
1.1. Вещественные и комплексные числа 27 При iGR мы пишем χ вместо (ж, 0). Заметим, что при у € К *У = У1 = М)-(0,1) = (0,у), что вытекает из формулы (1.4). Поэтому мы получаем (х, у) = (х, 0) + (0, у) = χ + гу. В этом обозначении равенства (1.3) и (1.4) дают формулы (1.1) и (1.2), и мы возвращаемся назад к исходным позициям, но уже без боязни противоречия. Важно хоть раз выполнить эти упражнения для разных обозначений. Однако на практике никто не использует обозначение (х,у) для комплексных чисел, предпочитая сохранять его для векторного пространства R2 (см. п. 1.3). Здесь мы следуем стандартной терминологии: обозначаем множество комплексных чисел через С, навсегда забыв о множестве С, и вводим его элементы обычным образом, а именно полагаем ζ = χ + гу, где ж, у 6 К. Мы называем χ вещественной частью комплексного числа ζ, а, у — его мнимой частью (довольно неудачное название, проистекающее из недостаточного понимания конструкции, рассмотренной нами ранее). Для вещественной и мнимой частей комплексного числа ζ используются обозначения Re ζ и Im z соответственно. Точки ζ = χ + гу можно рассматривать как точки плоскости, где одна ось (вещественная) содержит точки χ 6 R, а перпендикулярная к ней ось (мнимая) содержит точки гу, где у 6 М. В этой плоскости (ее называют комплексной плоскостью) точка х + гу занимает то же самое место, что и точка (ж, у) в R2. Определение 1.6. Пусть ζ = χ + гу € С. Определим число ζ, комплексно-сопряженное к числу 2, по формуле ζ = χ — гу, квадрат модуля числа ζ равенством \ζ\2 = zz = (x + iy)(x - гу) = х2 + у2, а модуль \ζ\ числа ζ соотношением \ζ\=ν\Ψ=ν^τ^.
28 Глава 1. Комплексные числа и линейная алгебра Эти определения приводят к следующим свойствам. Лемма 1.7. Пусть z,w 6 С. Тогда ζ = ζ, η ζ+ζ τ ζ-ζ Re* = —-, lmz = —— , z + w = z + w, z-w = z-w, \z\=z, \zw\ = \z\\w\, \Rez\^\z\, и |1тг|<|г|. Доказательство. Упражнение 1.1.5. ■ При доказательстве утверждений о комплексных числах студенты часто формулируют их в терминах вещественных чисел. Этого соблазна следует избегать, потому что доказательство в комплексных обозначениях часто бывают гораздо проще. Лемма 1.8 (неравенство треугольника для С). Пусть z,w € С. Тогда \z + w\ ^ \z\ + |ги|. Доказательство. Упражнение 1.1.6. ■ Аналогично рассмотренному выше случаю с множеством R мы понимаем под модулем \z — w\ расстояние на комплексной плоскости между точками ζ и w (см. упр. 1.1.7). Заметим, что если z\ = х\ + гу\ И Z2 = Х2 + ЪУ2, ТО 1*1 - ъ\ = \xi -Х2 + г(Уг - 2/2)1 = у/Ы "" х*)2 + (У1 ~ Ы2, что совпадает с обычным расстоянием в R2 между точками (#i,yi) и (ж2,Ы· Отметим, что (С, +, ·) есть поле (упр. 1.1.8). Комплексный ноль имеет вид 0 = 0 + г О, а комплексная единица равна 1 = 1 + г 0. Число, обратное к ζ = χ + гу по сложению, есть — ζ = —ж — гу. Чтобы найти мультипликативное обратное ненулевого числа ζ = χ + гу, проведем следующие преобразования: 1__1£_^_ # — iy_ # -у ζ ζ ζ \ζ\2 χ2 + у2 χ2 Λ- у2 χ2 + у2 ' Выражение слева еще не имеет смысла, потому что мы не определили деление двух комплексных чисел. Однако можно проверить, что комплексное число _ _,. х | j у х2 + у2 х2 + у2
1.1. Вещественные и комплексные числа 29 действительно обратно по умножению к числу х + гу (в предположении х + гу φ 0). Тем самым определено ζ~ι для ненулевых ζ Ε С, и мы полагаем Ζ ι — = ζ · ги для г, гу G С, где w ф0. w Лемма 1.9. Пусть z,w € С, где w ф0. Тогда \wj w U . . Доказательство. Упражнение 1.1.9. ■ Определения, связанные со сходимостью последовательностей комплексных чисел, формально те же, что и в определениях 1.3 и 1.4. Определение 1.10. Пусть Μ 6 N и ζ 6 С. Последовательность комплексных чисел {ζη}^=Μ сходится к числу ζ, если для любого ε > 0 существует N 6 Ν, такое, что \ζη - ζ\ < ε при всех η > N. Мы говорим, что последовательность {ζη}^=μ сходится, если она сходится к некоторому числу ζ Ε С. Для указания того, что последовательность {*п}^м сходится к числу ζ, используются обозначения lim zn = ζ и ζη —► ζ. η-++οο Определение 1.11. Последовательность {%п}™=м комплексных чисел есть последовательность Коти, если для любого ε > 0 существует N Ε N, такое, что \ζη — zm\ < ε при всех п,т> N. Это приводит к критерию Коши для сходимости последовательности комплексных чисел. Теорема 1.12 (полнота множества С). Последовательность комплексных чисел сходится тогда и только тогда, когда она является последовательностью Коши. Доказательство. Упражнение 1.1.10. ■ Последовательность {#n}J£LM вещественных чисел можно рассматривать как последовательность комплексных чисел. Однако легко видеть, что последовательность сходится в вещественном смысле тогда и только тогда, когда она сходится в комплексном смысле к тому же самому пределу (сравните с упр. 1.1.10). Следовательно, в используемых определениях нет неясностей, и мы пишем lim xn без уточнения поля, п-+оо в котором сходимость имеет место.
30 Глава 1. Комплексные числа и линейная алгебра Упражнения 1.1.1. Доказать лемму 1.2. 1.1.2. Пусть X — произвольное множество. Метрика, или функция рас- стояния на X, есть отображение d: Χ χ Χ —> {t € R: t ^ 0}, удовлетворяющее следующим свойствам: Ml (симметричность): d(x,y) = d(y,x) для всех х, у Е X; Μ2 (невырожденность): d(x,y) = 0 тогда и только тогда, когда ж = у; МЗ (метрическое неравенство треугольника): d(x,z) ^ ^ d(x, у) + d(y, ζ) для всех x,y,z € X. Метрическое пространство (X, d) — множество X с метрикой d. Для ж, у 6 Μ положим й(ж, у) = \х—у\. Доказать, что d — метрика наК. 1.1.3. Доказать, что сходящаяся последовательность {х-пУ^-м вещественных чисел является последовательность Коши. 1.1.4. Пусть F с отношением < есть упорядоченное поле. 1) Предположим, что χ € F и χ φ 0. Доказать, что х2 > 0. 2) Доказать, что не существует отношения порядка < на поле С, которое делает С упорядоченным полем. Подсказка: предположить противное, т. е. что < — такое отношение порядка. Используя (1), доказать, что 0 < —1. Показать, что это противоречит свойствам упорядоченности, при этом < вовсе не обязательно обычное упорядочивание, как при сужении наК. 1.1.5. Доказать лемму 1.7. 1.1.6. Доказать лемму 1.8. Подсказка: не используйте прямую запись в терминах вещественной и мнимой частей. Вместо этого докажите, что \ζ + w\2 = (z + w)(z + w) = \z\2 + 2 Re(2ti;) + \w\2 и примените лемму 1.7. 1.1.7. Для z9w Ε С определим d(z,w) = \z — w\. Доказать, что (C,d) есть метрическое пространство (см. упр. 1.1.2 с определением). Изобразить рисунок в комплексной плоскости и показать, почему условие МЗ в упр. 1.1.2 называется неравенством треугольника. 1.1.8. Убедиться, что множество С с операциями (1.1) и (1.2) есть поле, проверяя выполнение свойств С1-С5, У1-У5 и Д. 1.1.9. Доказать лемму 1.9.
1.2. Комплексные ряды, формула, Эйлера и корни из единицы 31 1.1.10. Пусть {zu}^Lm~ последовательность комплексных чисел. Для каждого числа η положим ζη = хп + гуп, где хп, уп 6 К. 1) Доказать, что {ζη}^Μ есть последовательность Коши комплексных чисел (определение 1.11) тогда и только тогда, когда {хп}^=м и {Уп}^м~ последовательности Коши вещественных чисел (определение 1.4). 2) Доказать, что последовательность {гп}™-м сходится к некоторому ζ = χ + гу 6 С (определение 1.10), где х,у 6 R, тогда и только тогда, когда {xu}^Lm сходится к ж и {уп}^м сходится к у (определение 1.3). 1.1.11. Предполагая справедливость теоремы 1.5, доказать теорему 1.12. 1.2. Комплексные ряды, формула Эйлера и корни из единицы Рассмотрим ряды комплексных чисел. Особый интерес представляют случаи геометрических прогрессий и степенных рядов для sin z, cos z и ez. Используя их, мы установим формулу Эйлера егв = cos θ + isin0. Это приведет к полярному представлению комплексных чисел и позволит нам вычислить корни степени N из комплексных чисел, особенно корни степени N «из единицы», корни числа 1. В гл. 2 мы напишем разложения Фурье векторов, используя комплексные экспоненты, введенные в этом пункте. Начнем с определения сходимости рядов комплексных чисел, которое формально то же, что и для рядов вещественных чисел. Определение 1.13. Ряд комплексных чисел, или комплексный ряд, есть выражение вида где каждое zn — комплексное число и Μ 6 Ζ. При k^ Μ называем k к-й частичной суммой ряда. Если комплексная последовательность {sfc}£LM сходится к некоторому s € С (определение 1.10), то мы говорим, ОО 00 что ряд Σ ζη сходится κ числу s или £) zn = s. Если последователь- ность {sk}^LM не сходится, то мы говорим, что ряд расходится. Это определение вместе с критерием сходимости Коши для комплексной последовательности (теорема 1.12) означает, что ряд сходится
32 Глава 1. Комплексные числа и линейная алгебра тогда и только тогда, когда последовательность его частичных сумм является последовательностью Коши. Лемма 1.14 (критерий Коши для сходимости ряда). Ряд ком- оо плексных чисел Σ ζη сходится тогда и только тогда, когда для < ε при всех любого ε > О существует целое Ν, такое, что т^к> N. Доказательство. Упражнение 1.2.1. ■ Следствие 1.15 (необходимое условие сходимости ряда). Если оо комплексный ряд Υ\ ζη сходится, то lim zn = 0. Доказательство. Упражнение 1.2.2. ■ оо Следствие 1.16 (признак сравнения). Пусть ]ζ ζη — комплексном ный ряд и Σ αη ~ ряд неотрицательных вещественных чисел. Пред- положим, что существует целое число Ν, такое, что \ζη\ ^ ап при оо оо всех η ^ N и что ряд Σ ап сходится. Тогда сходится и ряд Σ ζη- Доказательство. Упражнение 1.2.3. ■ Если элементы ряда — вещественные числа, то они могут рассматриваться как комплексные числа, и определения сходимости для вещественных и комплексных рядов совпадают. С этого момента мы используем термин «ряд», не уточняя, являются его члены вещественными или комплексными. оо Определение 1.17. Ряд Σ ζη сходится абсолютно, если сходится оо ряд Χ) \ζη\. Признак сравнения показывает, что абсолютно сходящийся ряд сходится. Если ряд сходится, но не абсолютно, то переиндексация членов может дать ряд, сходящийся к другому значению (упр. 1.2.4). С абсолютно сходящимся рядом этого случиться не может. Критерий Коши и признак сравнения позволяют нам установить сходимость ряда без определения значения его суммы. Сумма ряда может быть точно вычислена в очень редких случаях. Геометрическая прогрессия представляет собой одно из таких исключений.
1.2. Комплексные ряды, формула Эйлера и корни из единицы 33 Определение 1.18. Геометрическая прогрессия — это ряд вида оо "£2 zn = 1 + ζ + ζ2 + ζ3 + ... η=0 при некотором ζ € С. Заметим, что частичная сумма геометрической прогрессии есть sk = 1 + ζ + ζ2 + ζ3 + ζ4 + · · · + zk~l + zk. Это один из немногих случаев, когда частичная сумма может быть вычислена в явном виде. Для этого заметим, что (1 - z)sk = 1 + ζ + ζ2 + · · · + zk - {ζ + ζ2 + · · · + zk + zk+l). Все члены в правой части сокращаются, за исключением первого и последнего (это называется телескопической суммой), поэтому (1-*)** = Ι-*1*1. Мы можем разделить обе части на 1 — ζ (если это выражение не равняется нулю) и получить равенство *L ι _ -,μ-ι 8k = 22zn = l + z + ** + --- + z!B= _ при ζφ\. (1.5) η=0 В тех случаях, когда ζ = 1, определение дает нам значение sk = k + 1. Используя формулу (1.5), получаем следующий результат. Теорема 1.19 (признак сходимости геометрической прогрес- 00 сии). Пусть ζ € С. Геометрическая прогрессия Σ ζη сходится к 1/(1 — ζ), если \ζ\ < 1, и расходится, если \ζ\ ^ 1. Сходимость при \ζ\ < 1 абсолютная. Доказательство. Упражнение 1.2.5. ■ Заметим, что (1.5) — очень полезная формула, которую мы применим для других целей в гл. 2. Рассмотрим теперь степенные ряды. Определение 1.20. Зафиксируем точку zq € С. Степенной ряд в окрестности точки zo есть ряд вида оо Y^an(z-zo)n, где ап € С для каждого целого η ^ 0. Степенной ряд имеет радиус сходимости, определяемый коэффициентами {ап} по формуле из упр. 1.2.7. Функция /, заданная на открытом множестве О С С (множество, обладающее свойством, что
34 Глава 1. Комплексные числа и линейная алгебра вместе с любой точкой этого множества в нем содержится шар положительного радиуса с центром в этой точке), называется аналитической, если в каждой точке ζ Ε О функция / представляется степенным рядом в окрестности ζ с положительным радиусом сходимости. Здесь мы слегка касаемся обширной области комплексного анализа изучения аналитических функций. Напомним формулы из математического анализа: ОО 2η4·1 °° 2η °° η sinz = V(-lf^—— , cos:r = y^i-lf-l-TT и ех = V~ . έο (2η + 1)!' £- (2n)! Zj»| (1.6) При этом ряды сходятся абсолютно к значениям соответствующих функций в каждой точке χ Ε R. Так как эти ряды сходятся абсолютно, то ряды ΣΓ2η+1 r2n rn (2гс+1)!' ^Щ» И ^Ы" n=0 V ' n=0 V ' п=0 сходятся при любом вещественном числе г. Заменяя г на значение |з|, мы видим, что комплексные ряды ~ y2n+l ~ y2n ~ rn Β-')"^ΤΊ)ϊ· B-D-jbr - Elf n=0 v ' n=0 v ' n=0 сходятся абсолютно для любого комплексного числа ζ. Это также следует из признака Даламбера (упр. 1.2.6). В любом случае следующее определение имеет смысл. Определение 1.21. Для всех ζ € С положим η=0 ν ' η=0 ν ' η=0 (1.7) Когда ζ вещественное, выражения (1.6) и (1.7) совпадают. Итак, определение 1.21 распространяет функции синуса, косинуса и экспоненты на все множество С. Многие из основных свойств вещественных функций синуса и косинуса в формуле (1.6) остаются справедливыми и в комплексном случае. Например, из соотношений (1.7) следует, что cos(—z) = cos ζ и sin(—z) = — sin 2 (1.8) для всех ζ Ε С. Из формул (1.7) вытекает формула Эйлера —очень элегантное и полезное тождество. Теорема 1.22 (формула Эйлера). Для каждого ζ 6 С elz = cos ζ + г sin z. (1.9)
1.2. Комплексные ряды, формула Эйлера и корни из единицы 35 Доказательство. Применим третью из формул (1.7) с подстановкой значения iz вместо ζ и сгруппируем четные и нечетные степени ζ: е -1 + гг+ 2 + 3! + 4! + 5! + 6! + " Λ г2 г2 г4г4 г6г6 \ /. i3z3 ibzb \ Λ г2 ζ4 ζ6 \ . / ζ3 ζ5 \ = (1-т+4Г-вг+-;+Чг-зг+5Г—·) = = cos ζ + г sin ζ. Ш Из этой замечательной формулы следуют любопытные факты, такие как -е™ = 1. Применение формулы Эйлера с —ζ вместо ζ и использование тождеств (1.8) дают формулу e~lz = cos ζ — г sin z. (110) Сложение и вычитание соотношений (1.9) и (1.10) приводят к равенствам etz+e-tz . ег*-е"г* ,, 11Ч cosz = и sinz = — . (Ill) Хотя эти формулы справедливы для всех комплексных чисел г, они представляют для нас главный интерес в случае, когда ζ вещественно. При θ 6 R имеем: eie = cos0 + isin0, e~ie = cos0 - isin0, (1.12) z>*0 ι 0—iB 0iB 0—iB cosfl= \ и sinfl = 0 . (1.13) 2 2г v ' Для 0 € IR из соотношений (1.12) вытекают равенства 7s = е~* (1.14) |ё»| = 1. (1.15) Для нас представляет интерес случай, когда показатели экспонент чисто мнимые: eMei<p = ei(0+<p) для всех 0,<peR. (1.16) Это равенство может быть доказано с помощью одной из формул (1.12), а также с помощью формул тригонометрии (упр. 1.2.9(1)). Лемма 1.23. Пусть z,w € С. Тогда ez+w = ezewt
36 Глава 1. Комплексные числа и линейная алгебра Доказательство. Упражнение 1.2.9 (2). ■ Применяя равенство (1.16), получим, что для ЙЕЕипЕМ (е^)п = еш. (1.17) Эту формулу можно использовать для получения элементарных тригонометрических тождеств более простым способом. Например, мы можем выразить sinn0 и cosn0 через sin0 и cos 0 (в виде многочленов от sin0 и cos0), итерируя формулы сложения для синусов и косинусов. Однако формула (1.17) дает нам для этого гораздо более быстрый путь. Пример 1.24. Выразить sin 40 и cos 40 через sin0 и cos0. Решение. Сначала запишем e4i* = cos40 + isin40. С другой стороны, e4^ = (e^)4 = (cos0 + isin0)4. Раскрывая это выражение с учетом того, что г2 = — 1, имеем: (cos 0 + г sin 0)4 = cos4 0 + 4i cos3 0 sin 0 - б cos2 0 sin2 0- -4icos0sin30 + sin40. Приравнивая вещественную и мнимую части последнего выражения функциям cos 40 и sin 40, получим cos 40 = cos4 0-6 cos2 0 sin2 0 + sin4 0 и sin 40 = 4 cos3 0 sin 0 - 4 cos 0 sin3 0. ■ Далее, первая из формул (1.12) приводит к полярному представлению комплексных чисел (представлению в тригонометрической форме). Пусть ζ = χ + гу 6 С, где х,у 6 R и ζ φ 0. Точка (х/л/х2 + у2, у/у/х2 + у2) находится на расстоянии 1 от нулевой точки в R2 и поэтому лежит на единичной окружности. Следовательно, существует угол 0 (на самом деле бесконечно много углов) такой, что cos0 = х/у/х2 + у2 и sin0 = y/\/x2 + у2. Используя формулу (1.12), получаем = |z|(cos^ + isin^) = |z|eie.
1.2. Комплексные ряды, формула Эйлера и корни из единицы 37 Положив г = \z\, имеем ζ = гегв = г cos θ + ir sin θ. Итак, гег^ находится в той же точке на плоскости С, что и точка с полярными координатами (г, Θ) на плоскости R2. Мы называем гегв полярным представлением комплексного числа ζ, а θ — аргументом ζ, записывая θ = argz. Поэтому г есть расстояние в С от ζ до начала координат, а θ — угол в радианах между положительным направлением оси χ и лучом из нуля в точку ζ. Полярное представление точки ζ = О имеет вид г = 0, а аргумент argO считается неопределенным. Как и в случае полярных координат в R2, полярное представление ненулевого числа ζ е С не единственно. Из соотношений (1.12) и того факта, что функции синуса и косинуса имеют период, равный 2π, получаем, что rei* = rei(*+2M (118) для любого целого к. Отсюда видно, что argz определен с точностью до слагаемого 2&7Г, где к 6 Z. Значение argz, удовлетворяющее неравенству —π < argz ^ π, называется главным значением аргумента. Полярное представление дает геометрическую интерпретацию операции умножения комплексных чисел. Предположим, что ζ\ = ν\βιθι и Z2 = r2e^2. Тогда ZlZ2 = ne*V2 = rir2e^1+fa) из формулы (1.16). Отсюда видно, что модуль произведения есть произведение модулей (как мы это уже знаем из леммы 1.7), а аргумент произведения есть сумма аргументов. Другими словами, результат умножения комплексного числа ζ на гегв состоит в умножении расстояния от ζ до нуля на г и в повороте ζ на угол θ радиан против часовой стрелки. Полярное представление делает вычисление положительных целых степеней комплексных чисел более легким, так как при η 6 N (reie)n = rn(eie)n = rnein\ что следует из равенства (1.17). Пример 1.25. Вычислить (1 + г)43. Решение. Комплексное число 1 + г в полярном представлении имеет вид Λ/2βί7Γ/4, так как |1 + г\ = л/2 и (cos π/4, sin π/4) = (1/\/2,1/\/2). Отсюда (1 + i)43 = (ч/2)43еШ7Г/4 = 221л/2е*(3*/4+107Г> =t= = 221л/2е*3*/4 = 221 ч/2 (cos Ц + isin Ц) = -221 + г г2 21
38 Глава 1. Комплексные числа и линейная алгебра Для сравнения представьте, чего стоит прямое решение этой задачи. Полярное представление позволяет также находить корни из комплексных чисел. Для начала сформулируем задачу, которую решим чуть ниже, после некоторых рассуждений. Пример 1.26. Вычислить все корни 5-й степени из числа 2 + 2%/Зг;т.е. найти все комплексные числа a + гЬ, такие, что (а + гЬ)5 = 2 + 2\/Зг. Если выполнить возведение в степень в левой части уравнения (а + гЬ)5 = 2 + 2\/Зг и приравнять действительные и мнимые части, то получатся два полиномиальных уравнения 5-й степени от двух переменных α и 6. Теперь надо решить систему из этих двух уравнений. Даже одно уравнение 5-й степени от одного переменного нельзя решить с помощью общей алгебраической формулы (это следует из основополагающей теоремы Галуа, — тема абстрактной алгебры), поэтому для решения этой задачи нужно найти какой-нибудь другой подход. Рассмотрим ненулевое комплексное число ζ. Будем искать корни степени N (для N 6 Ν) из него следующим образом. Пусть г = \ζ\ и Θ — значение argz такое, что 0 < θ < 2π. Используем формулу (1.18) и запишем ζ = гегв в виде следующих N выражений: гегв = ге*(0+2тг) _ Γ6ΐ(0+4π) = _ ^(0+2(^-1)^ (1в19) Корни степени N из числа ζ, которые мы хотим найти, будут иметь вид {rl/Neie/N^ rl/Nei(e+2n)/N ^ rl/Nei(e+4n)/N ? ^ ^ μ/'Ν6ί(θ+2(Ν-1)π)/Wj (1.20) или, более кратко, ^/NJiO+lkiyNyN-l^ (L21) Легко видеть, что каждое из этих значений есть корень степени N из числа ζ: из формул (1.17) и (1.18) следует, что (rl/Nei(e+2kn)/NjN = гег(в+2кж) = ^ίθ = χ Заметим, что, хотя модули чисел (1.19) одни и те же, их аргументы различны и лежат между 0 и 2π (включая, возможно, 0, но не 2π). Следовательно, N значений в множестве (1.20) также различны. (Если мы продолжим список значений (1.19), добавляя еще одно значение ν6ι(θ+2Νπ)^ то это ПрИведет к увеличению множества (1.20) на еще один элемент rl/Nel(e+2N^)/N^ который является тем же самым, что и первый элемент Τι/Νβιθ/Ν^ Это следует из формулы (1.18).) Общий результат (см. упр. 1.2.16) показывает, что уравнение ζΝ = w (или любое полиномиальное уравнение степени N) может иметь самое большее N различных решений ζ. Поэтому N различных корней степени N
1.2. Комплексные ряды, формула Эйлера и корни из единицы 39 из числа гегв, записанных в виде (1.20) или (1.21), образуют полное множество искомых корней. Можно подумать, что так как N выражений в формуле (1.19) равны, то это означает, что числа в множестве (1.20) также равны друг другу, но это неверно. Суть состоит в том, что нет такого объекта как единственным образом определенный корень из комплексного числа ζ (за исключением случая ζ = 0), а вместо этого существует N различных комплексных чисел, ЛГ-я степень каждого из которых равна ζ. Решение. Полярное представление 2 есть 4ei7r/3. Мы можем записать 2 + 2\/Зг в следующих пяти видах: 4е«т/з = 4β*7π/3 = 4еШ7Г/3 = 4еШ7г/3 = 4ei257r/3. Следовательно, корни 5-й степени из числа 2 + 2\/3 суть ^/15, W7*/15, #4еШ7Г/15, #4еШ7Г/15 и #4ei257r/i5. Используя формулу (1.12), можем записать эти корни в виде а + гЪ (например, ^/4егтг/15 = ^4οοδ(π/15) + iffisin(n/15) « 1.2906735 + + 0.274341 li, —получается с помощью калькулятора). ■ Теория корней в поле С гораздо проще, чем теория корней в поле R. Во множестве R положительное число имеет 2 вещественных корня степени JV, если N четное число, и один корень, если N нечетное, в то время как отрицательные числа не имеют вещественных корней, если N четное, и имеют один корень, если N нечетное. В множестве С каждое ненулевое комплексное число имеет N различных корней N-R степени. Это типичное явление в математике: ситуация упрощается при правильном обобщении. Для наших целей наиболее важными корнями являются корни степени N из единицы (т. е. корни ЛГ-й степени из числа 1). Согласно только что рассмотренной процедуре, они имеют вид {е***/"}Щ = {1, e2™/N, еш'м,..., ftf-V**/**}. (1.22) Мы завершаем этот раздел кратким обсуждением основной теоремы алгебры. Определение 1.27. Многочленом степени Ν ^ 0 называется функция Ρ вида Ρ(ζ) = aszN + α,Ν-ιζΝ~ι + ... + a2z2 + αχζ + αο, где сц 6 С при i = 0,1,2,..., JV и ajv ^ 0. Число адг называется старшим коэффициентом многочлена Р. Корнем многочлена Ρ является такое комплексное число а, что Р(а) = 0.
40 Глава 1. Комплексные числа и линейная алгебра Мы видели, что в случае ненулевого w € С многочлен zN — w имеет корень (на самом деле N корней). Это частный случай теоремы 1.28. Мы приводим этот результат без доказательства, так как оно выходит за пределы этой вводной главы (но, например, легко следует из результата комплексного анализа, называемого теоремой Лиувилля). Теорема 1.28 (основная теорема алгебры). Пусть Ρ —многочлен степени, большей или равной 1. Тогда Ρ имеет корень в С. Эта теорема была доказана Гауссом в его докторской диссертации. Из нее следует, что любой многочлен над полем С раскладывается на линейные множители. Следствие 1.29. Пусть Ρ —многочлен степени Ν ^ 1 со старшим коэффициентом ам- Тогда существуют комплексные числа ζχ,Ζ2, ..., ζν (не обязательно различные), такие, что Ρ(ζ) = αΝ(ζ - ζχ)(ζ -ζ2)...(ζ- ζΝ). Доказательство. Упражнение 1.2.16. ■ Упражнения 1.2.1. Доказать лемму 1.14. 1.2.2. Доказать следствие 1.15. 1.2.3. Доказать следствие 1.16. 1.2.4. Ряд комплексных чисел условно сходится, если он сходится, но оо не абсолютно. Пусть Σ а& — условно сходящийся ряд веществен- ных чисел. Пусть а — произвольное вещественное число. Покат зать, что существует переиндексированная последовательность {a7r(fc)}fcLi последовательности {ak}(%L1 (это значит, что π есть перестановка множества индексов Ν, т. е. взаимно однозначное оо отображение N на Ν), такая, что ряд ^ ^π(Ατ) сходится к а. оо Подсказка: так как 5Z ак сходится, то lim α& = 0. Так как k=l fc—>+oo оо Σ ak не сходится абсолютно, то ряд из положительных членов к=1 и ряд из отрицательных членов в {ak} должны расходиться. Расположите положительные члены в убывающем порядке (наг зовем их {bk}) и отрицательные члены в порядке убывания их модулей (назовем их {с^}). Образуйте переупорядоченный ряд, взяв достаточное количество элементов bk по порядку, начиная
Упражнения 41 с 6ι, до тех пор, пока их сумма не превзойдет а. Затем добавьте достаточное количество членов с& по порядку, начиная с ci, до тех пор, пока сумма не станет меньше а. Затем добавьте некоторые числа bk из оставшихся так, чтобы сумма ряда стала больше а. Аналогичные операции повторите с с&. В результате при продолжении этого процесса сумма ряда будет каждый раз переходить через значение а. Оставшиеся числа bk и с& всегда имеют бесконечные суммы, поэтому можно добавить их достаточное число, чтобы перейти через значение а. Покажите, что так как последовательности {bk} и {ck} сходятся к нулю, то таким образом полученный ряд сходится к а. 1.2.5. Доказать теорему 1.19. Подсказка: при расходимости применить следствие 1.15. оо 1.2.6. (Признак Даламбера.) Пусть Σ ζη~ ряд из комплексных чи- п—М сел. Предположим, что существует Ι*η+ιΙ lim η—>оо оо 1) Доказать, что если ρ < 1, то ряд Σ ζη абсолютно сходится, п=М оо тогда как, если ρ > 1, ряд Σ ζη расходится. Подсказка: п=М проведите сравнение с геометрической прогрессией и примените следствие 1.16. Используйте то, что последовательность {гп}^=0 расходится, если г > 1. 2) Приведите примеры сходящихся и расходящихся рядов, для которых ρ = 1. (Отсюда следует, что признак Даламбера не дает ответ о сходимости ряда при ρ = 1.) Можно использовать тот факт, что ряд ^ 1/ην сходится тогда и только тогда, когда р> 1. 1.2.7. (Радиус сходимости.) Рассмотрим степенной ряд оо ]Γαη(2-20)η. п=0 Пусть R = 1/lim sup (ΙαηΙ1/71). При этом R считается равным О п—юо или с», если знаменатель равен с» или 0 соответственно. Дока- оо зать, что ряд ^ αη(ζ — ζο)η абсолютно сходится при \ζ — zq\ < R n=0 и расходится при \z — zq\ > R. Число R называется радиусом сходимости ряда. Используйте ту же подсказку, что и в упр. 1.2.6, хотя решение будет другим.
42 Глава 1. Комплексные числа и линейная алгебра 1.2.8. В доказательстве теоремы 1.22 мы неявно использовали факт, оо оо оо что если ряды Σ zn и Σ wn сходятся, то ряд Σ (zn+wn) также η=0 η=0 η—Ο СХОДИТСЯ И ^ оо оо оо Σ&η + Wn) = Σ Ζη + Σ Wn' η=0 η=0 η=0 Доказать этот факт и объяснить, как он был использован при доказательстве формулы Эйлера (какие величины играли роль ζη и wn7). К тому же мы использовали тот факт, что если ряд оо оо Σ ζη сходится и α € С, то ряд Σ αζη также сходится и п=0 п=0 оо оо η=0 η=0 Доказать это утверждение. 1.2.9. 1) Доказать соотношение (1.16). Подсказка: напомним формулы синуса и косинуса для суммы углов: cos(0 + φ) = = cos0cosy> — sin0siny> и sin(0 + y>) = sin Θ cos φ + cos Θ sin φ. оо 2) Доказать лемму 1.23. Подсказка: ez+w = Σ (ζ + w)n/n\ no n=0 определению. Используя формулу бинома Ньютона, разложите (z + w)n. Затем измените порядок суммирования. 1.2.10. Пусть θ 6 R. Выразить sin 50 и cos 50 через sin0 и cos0. 1.2.11. Записать каждое из следующих комплексных чисел в виде a+i Ь, где а, Ь 6 R (ответ не должен содержать тригонометрических функций): 1) e37ri/2, 2) е1™, 3) e27ri/3, 4) Зе™/4, 5) 5e"57ri/6, 6) 2e"327ri/3. 1.2.12. Записать следующие комплексные числа в полярной форме гегв\ где г > 0 и 0 ^ 0 < 2π: 1) 4 + 4i, 2) 2л/3-2г, 3) -3 + 3л/3г, 4) -\/Т5-\/5г. 1.2.13. Найти (л/3 + г)101. Запишите ответ в виде a + г Ь, где а, Ь 6 R, не используя тригонометрические функции. 1.2.14. Найти корни 3-й степени из числа — 2 + 2 г. Запишите ответы в виде α + г Ь, где а, Ь 6 R. Возьмите на выбор один из корней и проверьте его прямым возведением в куб (т. е. проверьте без использования полярного представления). Замечание: можно использовать калькулятор для получения ответа с высокой точностью, но в этом случае вы можете получить точные ответы,
1.3. Векторные пространства и базисы 43 используя формулы для суммы углов (см. упр. 1.2.9) и записывая частное 1/12 как сумму частных 1/3 и 1/4, например, 1/12 = 1/3 - 1/4. 1.2.15. Используя калькулятор, найти все корни 4-й степени числа 3+4 г с несколькими верными десятичными знаками. 1.2.16. 1) (Теорема о делимости многочлена.) Пусть Р — многочлен и α € С. Мы говорим, что ζ — α делит Ρ или ζ — α— делитель многочлена Ρ (записывается как (ζ — α)|Ρ), если существует такой многочлен Q, что Ρ(ζ) = (ζ — a)Q(z). Доказать, что (ζ — α) ΙΡ тогда и только тогда, когда Ρ (а) = О; это означает, что ζ — α делитель Ρ тогда и только тогда, когда а корень Р. Подсказка: «только тогда» следует непосредственно. Случай «тогда» легко следует из алгоритма деления многочленов в том случае, если вы его знаете. Если нет, то наиболее простое доказательство может быть получено сначала из доказательства того, что (ζ — a)\(zk — ak) для любого целого k ^ 1. (Это может быть доказано небольшим обобщением формулы (1.5), которая является частным случаем при а = 1.) Выписав разность P(z) — Ρ(α), придем к общему результату. 2) Доказать следствие 1.29. 3) Доказать, что многочлен степени N может иметь самое большее N различных корней. 1.3. Векторные пространства и базисы В гл. 2 и 3 мы будем работать с векторным пространством Сп. Оно аналогично хорошо известному пространству Rn за исключением того, что его векторы имеют комплексные компоненты. Позже мы сосредоточимся на некоторых бесконечномерных векторных пространствах. Чтобы дать единую трактовку, начнем с общего определения векторного пространства. Далее обсудим понятия линейной оболочки множества векторов, линейной независимости и базисов векторных пространств. Грубо говоря, векторное пространство V над полем F есть множество объектов (называемых векторами), для которых определены две операции, а именно сложение векторов и умножение векторов на элементы поля (называемые скалярами) так, что эти операции обладают некоторыми естественными свойствами. Общее определение 1.1 поля было дано ранее, здесь в качестве примеров мы используем пространства R и С. Определение 1.30. Пусть F —поле. Векторным пространством V над F называется множество с операциями сложения векторов +
44 Глава 1. Комплексные числа и линейная алгебра и умноженуя на скаляры · , которые удовлетворяют следующим свойствам: С1 (замкнутость относительно сложения). При всех и, υ Ε V сумма и + ν определен^ и является элементом пространства V. С2 (коммутативность сложения), и + ν = ν + и для всех и, υ 6 V. СЗ (ассоциативность сложения), и + (v + w) = (и + υ) + w для всех u,v,w € V. С4 (существование нулевого элемента). Существует элемент V, обозначаемый 0, такой, что и + 0 = и для всех и €V. С5 (существование элемента, обратного по сложению). Для каждого и € V существует элемент V, обозначаемый через —п, такой, что и + (-и) =0. У1 (замкнутость относительно умножения на скаляры). Для любого а € F и и 6 V произведение α · η определено и является элементом пространства V. У2 (умножение на мультипликативную единицу скалярного поля). 1 · и = и для всех и € V, где 1 есть мультипликативная единица поляР. УЗ (ассоциативность умножения на скаляры), а · (/? · и) = (α/?) · η для всех а, /3 G F и η 6 V. Д1 (первое свойство дистрибутивности), а · (п+г;) = (а · п) + (а · г;) для всех а е¥ ищу eV. Д2 (второе свойство дистрибутивности), (α+β) - и = (а - η) + (β · и) для всех а, /? 6 F и и G V. Свойства С1-С5 гарантируют разумное поведение суммы. Свойства поля также обеспечивают разумное поведение скаляров. Свойства У1-УЗ и Д1-Д2 устанавливают, что умножение на скаляры совместимо с векторным сложением. В дальнейшем мы будем опускать символ · для умножения на скаляры, записывая оси вместо а · и. Пример 1.31 (пространство Rn). Поле F в этом примере —это R. Пусть Rn — множество всех n-мерных вещественных векторов ГжГ \χ2\ X = Χηη
1.3. Векторные пространства и базисы 45 где #ι,#2>#3,. · · 'Жп ^ "*· ВектоРное сложение и скалярное умножение определяются обычным образом: для α € R и £;, у, € R, г = 1,2,... η α Можно непосредственно проверить, что наделенное этими операциями множество Rn есть векторное пространство над полем R. Пример 1.32 (пространство Сп). Здесь поле F есть С. Пусть Сп — множество всех n-мерных комплексных векторов "z{ \хг \Х2 \JEn_ = ax\ ax2 αχη_ и χι Χ2 Χη_ + Vi У2 .»η. = Х1+У1~\ Χ2 + ί/2 Χη + Уп\ Ζ = 22 где ζι, 2^2, 23, · · · ? 2η € С Мы называем ζχ, Ζ2,..., 2η компонентами вектора г. Пусть для α € С и zt, ад; € С при г = 1,2,... η 21 Г2 ич = αζι α^2 αζη_ и 21 22 J4 + W\ W2 wn_ = 2i +Wi'\ 22 + W2\ Zn + tl7nJ a Легко проверить, что множество Сп с этими операциями есть векторное пространство над полем С. В рассмотренных примерах элементы векторного пространства, или векторы, состояли из элементов числового поля. В общем случае это может быть совсем не так; см. упр. 1.3.1(1) и следующий пример. Пример 1.33. Пусть [0,1] = {χ ε R: 0 ^ χ ^ 1}. В этом примере полем является множество С. Пусть V — совокупность всех комплекснознач- ных функций на отрезке [0,1], т. е. V = {/:[0,1]->C}. Определим сложение обычным способом: для /,ρ ε V сумма f + g есть функция на [0,1], заданная равенством (f + g)(*) = f(*) + g(*)· Умножение на скаляры также определяется естественным образом: для α ε С и / ε V произведение а/ есть функция на [0,1], такая, что (af)(x)=af(x). Поэтому V есть векторное пространство над полем С (упр. 1.3.1(2)).
46 Глава 1. Комплексные числа и линейная алгебра Определение 1.34. Пусть V — векторное пространство над полем F, η 6 N и vi, V2,..., νη € V. Линейной комбинацией векторов v\, V2,..., νη называется сумма вида η У^ otjVj = αχνχ + а$оъ + ... + anvn, i=i где αι,α2,...,αη € F. Заметим, что в определении требуется, чтобы линейная комбинация была конечной суммой. Определение 1.35. Пусть V — векторное пространство над полем F и пусть U С V. Линейной оболочкой подпространства U (обозначаемой span U) называется множество всех линейных комбинаций элементов из U. В частности, если U — конечное множество, т. е. t/ = {ui,u2,...,un}, то п spanU = < 2^ <*зиз: аз ^ ^ ПРИ всех J = 1,2,..., η >. Чтобы визуально представить себе линейную оболочку, заметим, что оболочка одного ненулевого вектора и вЖп состоит из всех векторов, лежащих на линии, проходящей через начало координат и содержащей и. Если и и г; — два неколлинеарных вектора в R3, то span{u, г;} образует плоскость, проходящую через начало координат, содержащую векторы и и v. Определение 1.36. Пусть V — векторное пространство над полем F и v\, V2,..., vn — элементы V. Мы говорим, что векторы v\, V2,..., νη линейно зависимы (или что {τ;χ, г?2, ·. · ,vn} есть линейно зависимое множество), если существуют а\,а2,... ,otn 6 F, не все равные нулю, такие, что a\V\ + OL2V2 + . . - + OtnVn = 0. Мы говорим, что векторы v\,V2,... ,vn линейно независимы (или {v\,V2, · · · ·>νη} есть линейно независимое множество), если равенство OL\V\ + OL2V2 + . . . + anVn = 0 выполняется, только когда ctj = 0 для каждого j = 1,2,3,..., п. В случае бесконечного подмножества U пространства V мы говорим, что U линейно независимо, если любое конечное подмножество U линейно независимо, и мы говорим, что U линейно зависимо, если U имеет конечное подмножество, которое линейно зависимо.
1.3. Векторные пространства и базисы 47 Другими словами, векторы νχ,ι^,... ,νη линейно независимы, если лишь тривиальная линейная комбинация a\V\ + ot^v^ + ... + cxnvn равняется нулю (otj = 0 при всех j = 1,2,...,η ). Если существует нетривиальная линейная комбинация элементов νι,ν2,...,νη, которая равняется нулю, то векторы νχ, V2,..., г;п линейно зависимы. Последняя часть определения 1.36 согласуется с первой частью с помощью упр. 1.3.7. Если множество линейно зависимо, то один элемент может быть записан как линейная комбинация остальных, и этот элемент может быть удален из множества без изменения линейной оболочки (упр. 1.3.8). Определение 1.37. Пусть V — векторное пространство над полем F. Подмножество U пространства V называется базисом пространства V, если U — линейно независимое множество такое, что span £7 = V. Базисы также характеризуются следующим образом. Лемма 1.38. Пусть V — векторное пространство над полем ¥ и U — непустое подмножество V. 1) Предположим, что U конечно uU = {щ, u<i,..., ип} при некотором η Ε Ν с Uj φ Uk при j φ fc. Тогда U есть базис пространства V тогда и только тогда, когда для каждого vGV существует η единственный набор αχ, «2,..., αη € F таких, что ν = Σ otjUj. ί=ι 2) Если U бесконечно, то U есть базис V тогда и только тогда, когда для каждого ненулевого ν 6 V существуют: единственное т € Ν, ί/χ,ί/2,... ,um € U и ненулевые элементы т αχ,θ!2,...,otm € F такие, что ν = Σ cxjUj. Доказательство. Упражнение 1.3.11. ■ Приведем простейший пример базиса. Определение 1.39. Определим базис Ε = {βχ, β2,..., еп} равенствами IT 0 0 L°. ,e2 = "0" 1 0 0. ,e3 = "0" 0 1 0. , . . . , βγι го] 0 0 _lj Эти векторы можно рассматривать как элементы пространства Rn и как элементы пространства Сп. Мы называем базис Ε стандартным, или евклидовым, базисом Rn или Сп.
48 Глава 1. Комплексные числа и линейная алгебра Эта терминология оправдана потому, что Ε — базис пространств Rn или Сп. Чтобы в этом убедиться, проверьте определение или используйте лемму 1.38 и заметьте, что вектор с компонентами αϊ,с*2, · · · ,otn η может быть единственным образом записан в виде Σ ctjej. Может 3=1 показаться странным, что одни и те же векторы могут охватывать пространство Rn и кажущееся более широким пространство Сп, но это происходит потому, что скалярное поле для Сп есть С, в то время как для Rn это R. Если векторное пространство V имеет базис, состоящий из конечного числа элементов, мы говорим, что V — конечномерное пространство. В этом случае любые два базиса V имеют одно и то же число элементов. Теорема 1.40. Пусть V — векторное пространство над полем F. Предположим, что V имеет базис, состоящий из η элементов. Тогда любой другой базис V также имеет η элементов. Доказательство. Упражнение 1.3.13. ■ Это позволяет нам дать определение 1.41. Определение 1.41. Пусть V — конечномерное векторное пространство. Число элементов в базисе V называется размерностью пространства V и обозначается dim V. Если dim V = η, мы говорим, что V есть п-мерное векторное пространство. Теорема 1.42 отмечает тот полезный факт, что совокупность η векторов в n-мерном векторном пространстве образует базис, если выполняется одно из двух условий (что они линейно независимы, или что их линейная оболочка совпадает со всем пространством) в определении 1.37. Теорема 1.42. Предположим, что V есть n-мерное векторное пространство и v\, V2, ..., vn —различные векторы в V. Тогда vi,i;2, ..., vn линейно независимы тогда и только тогда, когда span{vi,v2,...,vn} = V. Доказательство. Так как V есть n-мерное пространство, V имеет базис, состоящий из η векторов, например w\, W2, ·.., wn. Сначала предположим, что νχ, V2,..., νη линейно независимы. Пусть и 6 V — произвольный вектор. Тогда u,v\,V2,... ,vn — это п+ 1 векторов, принадлежащих span{wi,W2,... ,wn}. Согласно упр. 1.3.12, векторы u,vi,V2,··· ,^п линейно зависимы. В соответствии с упр. 1.3.9(2) это означает, что и € span{i;i,i;2,... ,г;п}. Так как и произвольный вектор, это доказывает, что span{i;i, V2,..., νη} = V.
1.3. Векторные пространства и базисы 49 Теперь предположим, что span{vi,^2,..., vn} = V. Если v\, V2,..., νη линейно независимы, то, согласно упр. 1.3.8(2), мы можем найти подмножество из η — 1 векторов, линейная оболочка которых все еще совпадает с V. Тогда ΐϋχ, г^2,..., wn — это η линейно независимых векторов, принадлежащих линейной оболочке из η — 1 векторов, что невозможно в соответствии с упр. 1.3.12. Это противоречие показывает, что векторы vi > ^2? · · · , vn линейно независимы. ■ Определение 1.43. Пусть V — векторное пространство над полем F и S = {vi,V2,...,vn} естъ базис V. Согласно лемме 1.38, для любого вектора ν € V существует единственный набор αϊ,аг,...,αη Ε F, такой, η что ν = Σ α^^'· Обозначим через [ν] 5 вектор вРс компонентами i=i αι,α2,. ,αΐη Ms = αϊ «2 «η (1.23) Элемент aj называется j-U компонентой вектора ν в базисе 5. Другими словами, для базиса S = {νι,ι^,...,νη} формула (1.23) η означает, что г; = Σ otjVj. 3=1 Не следует путать [v]s с самим вектором v. Во-первых, это объекты различного типа. Например, если векторное пространство есть Рп — полиномы степени η (см. упр. 1.3.1(1)), то ν — многочлен, в то время как набор [v]s является n-мерным вектором чисел. Во-вторых, даже если векторное пространство V есть Шп или Сп, и г; —это набор из η чисел (вполне определенный объект для любого базиса), то ν и [v]s — это различные наборы из η чисел (если только S не евклидов базис, о чем будет сказано ниже). Таким образом, мы не отождествляем [v]s с ν (так как n-мерные числовые векторы равны, только если имеют одинаковые компоненты). Вместо этого [v]s есть вектор, компоненты которого —это компоненты υ относительно базиса 5. Однако компоненты вектора ν в евклидовом базисе Ε (определение 1.39) —это обычные компоненты v. Например, если Г1 \z2\ Ζ = lzn\
50 Глава 1. Комплексные числа и линейная алгебра η есть вектор в Сп (аналогично для Rn), то ζ = £ zjej> и поэтому ζ = [ζ]Ε. (1.24) Предположим, что V есть n-мерное векторное пространство над полем С (аналогичные замечания справедливы для R). Мы можем представить любой элемент ν из V в заданном базисе вектором в Сп. Итак, в соответствующем смысле (а именно в смысле изоморфизма векторных пространств, которого мы не определили), любое n-мерное векторное пространство над полем С эквивалентно Сп. Если мы касаемся только конечномерных векторных пространств над R и С с точностью до изоморфизма, все, что нам необходимо рассмотреть, это Rn и Сп. Поэтому общая теория векторных пространств требуется только в том случае, если мы хотим рассматривать более общие поля (чего мы не делаем) или бесконечномерные векторные пространства (что мы сделаем позже). В абстрактном смысле любой базис так же хорош, как и другой. Однако в частных случаях (например, если мы изучаем специальный линейный оператор) выбор базиса может иметь первостепенную важность. Многие задачи линейной алгебры сводятся к выбору базиса, в котором задача максимально упрощается. Это также лежит в основе анализа Фурье и вэйвлет-теории, излагаемых в этой книге. Упражнения 1.3.1. 1) Для произвольного η Ε Ν обозначим через Рп совокупность многочленов над С степени ^ п. Определим сложение и умножение на комплексные числа в функциональном смысле: это значит, что для р,д Ε Ρη и α 6 С мы имеем (р + ч)(х) = Р(х) + ч(х) и (aP)(x) = otp(x). Доказать, что Рп есть векторное пространство над С. 2) Доказать, что множество V в примере 1.33 с определенными там операциями образует векторное пространство над С. 1.3.2. Пусть V — векторное пространство над полем F, и пусть U — подмножество V. Мы говорим, что U есть подпространство V, если множество U само с операциями, унаследованными из V, образует векторное пространство над F. Большинство свойств векторного пространства автоматически справедливы в U как раз потому, что они справедливы в большем множестве V. Докажите, что для того, чтобы убедиться, что U есть подпространство
Упражнения 51 V, необходимо проверить, что U φ 0 (где 0 — пустое множество); если щ ν 6 17, то и + ν 6 17; если u eU и α € F, то au eU. Другими словами, если 17 — непустое подмножество, то необходимо только проверить, что U само есть замкнутое множество относительно сложения и умножения на скаляры. 1.3.3. Пусть V — векторное пространство над полем F, и пусть ui, П2,..., пп € V. Доказать, что span{ui, U2,..., un} есть подпространство V. (Использовать результат упр. 1.3.2.) 1.3.4. Доказать, что векторы г г -2 L3 J "-2" 3 _ 1 _ и "51 1 2\ линейно независимы в R3. 1.3.5. Доказать, что векторы Г г 2 + г Lз ? 2 —г _4-г_ и "31 -1 2 J линейно независимы в С3. 1.3.6. Доказать, что любая совокупность векторов, содержащая нулевой вектор, линейно зависима. 1.3.7. Доказать, что если U — конечное множество векторов, которое содержит линейно зависимое подмножество, то U — линейно зависимое. 1.3.8. Пусть г?1, г?2,... ,vn — линейно зависимые векторы в некотором векторном пространстве. 1) Доказать, что существует некоторое j 6 {1,2,3,..., η}, такое, что Vj Ε span{i;i, v2,..., гл,_ь vj+u..., νη}. 2) Для j, определенного в п. 1), доказать, что span{i;i,i;2,... ,Vj,... ,vn} = sptm{vi,v2,... ,Vj-Uvj+u... ,vn}. 1.3.9. Пусть u, v\, г;2,... ,vn — векторы в некотором векторном пространстве. 1) Если и Ε span{i;i,г;2,..., νη}, доказать, что и, ν\, ν2,..., vn — линейно зависимые.
52 Глава 1. Комплексные числа и линейная алгебра 2) Пусть v\, v2,..., νη — линейно независимые векторы. Если u, vi, v2,..., νη — линейно зависимые векторы, то u € span{i;i,i;2,... ,vn}. 1.3.10. Пусть V есть n-мерное векторное пространство, к ^ η и {vi,V2,... ,Vk}— линейно независимое множество в V. Показать, что существуют Vk+\,..., νη в V, такие, что {vi, t£,..., νη} есть базис для V. (Другими словами, любое линейно независимое множество может быть дополнено до базиса.) Подсказка: если к φ n,span{i;i,i;2,... ,г;д;} φ V. Тогда существует Vk+i € V\span{i;i,i;2,... ,г;^}. Из упр. 1.3.9(2) следует, что множество {νχ,..., г;^, Vk+i} — линейно независимое. Продолжите этот прием. 1.3.11. Доказать лемму 1.38. 1.3.12. Предположим, что η + 1 векторов принадлежат линейной оболочке из η векторов: Wj 6 span{i;i,i;2,... ,vn} для j = 1,2, ...,n + 1. Доказать, что од, од,... ,wn,wn+i линейно зависимы. Подсказка: доказать это индукцией по п. Пусть рп — нужное утверждение. Нетрудно показать справедливость утверждения для случая η = 1. Предположим, что справедливо Pn-i- Чтобы доказать рп, запишем од = ahivi + ah2v2 + ... + ahnvn, од = a2,ivi + a2i2v2 + .*. + a2ynvn, wn+i = an+i,ii;i + an+i2V2 + ... + αη+ι,ηι;η. Если wn+i = 0, то утверждение доказано (упр. 1.3.6). В противном случае по крайней мере один из коэффициентов не равен нулю. В результате переиндексации мы можем предположить, что ап+1)П φ 0. Рассмотрим векторы ик = wk - ( α*'η ) Wn+i при к = 1,2,..., п. Выражение щ через vi, v2,..., νη показывает, что значение νη отсутствует. Следовательно, Uk € span{i;i, ..., νη-ι}. Исходя из индукционного предположения рп-ъ имеем, что Ui,U2, ..., un — линейно зависимые векторы. Показать, что это означает линейную зависимость од, од,..., wn+i. 1.3.13. Доказать теорему 1.40. Подсказка: использовать упр. 1.3.12.
1.4. Линейные преобразования, матрицы 53 1.3.14. Пусть Л— базис конечномерного векторного пространства V над полем F. Доказать, что: 1) [и + г;]я = [и]я + Ия для всех щν е V; 2) [ocv)r = а[г;]я для всех a € F и ν € V. 1.3.15. Пусть V — конечномерное векторное пространство над С с баг зисом Л. Пусть vi, 02,..., vm — элементы V. Доказать, что множество {г?1,г;2,... ,vm} линейно независимо в V тогда и только тогда, когда множество {[νι]#? Мя? · · · ι Ьт]я} линейно независимо в Сп. 1.4. Линейные преобразования, матрицы и переход от одного базиса к другому В математике мы часто встречаемся с классами объектов, имеющими некоторую структуру, например группы, поля, метрические или топологические пространства. В каждом случае мы рассматриваем отображения между этими объектами, которые с ней совместимы или сохраняют эту структуру, такие как гомоморфизмы или изоморфизмы групп, изометрии метрических пространств и гомеоморфизмы топологических пространств. Векторные пространства имеют линейную структуру, сформулированную в определении 1.30. Отображения, которые соответствуют этой структуре, называются линейными преобразованиями. Определение 1.44. Пусть U и V — векторные пространства над одним полем F. Линейное преобразование Τ есть функция Т: U —* V, обладающая следующими свойствами: Л1 {аддитивность). Т(и\ + щ) = Т(щ) + Т(щ) для всех щ, щ € U. Л2 (однородность относительно умножения на скаляры). Т(аи) = = аТ(и) для всех a Ε F и и € U. Пусть Г: U —* V есть линейное преобразование и U — конечномерное пространство с базисом {ui,U2,...,%}. Тогда Τ определяется своим действием на базис {ιΐι,ί/2,... ,ип} в следующем смысле. Пусть и Ε U. Тогда по лемме 1.38 существуют единственные скаляры αι,α2? · · · >α:η, η такие, что и = ^ ctjUj. Из свойств Л1 и Л2 следует, что 3=1 т(и) = г(]Гвд) = Σα'Γ^)' В частности, предположим L: U —* U есть линейное преобразование и L(uj) = r(uj) для всех j = 1,2,..., п. Тогда L = Г, т. е L(u) = T(u)
54 Глава 1. Комплексные числа и линейная алгебра для всех и € С/, так как вышеприведенная формула показывает также, η что L(u) = Σ ajL(tij). Напомним (определение 1.43), что для заданного базиса S = {щ, ί/2,... ,un} векторного пространства U вектор [u]s является элементом Fn (например, в Rn или Сп), компоненты которого αι,α2,... ,αη —это η коэффициенты в разложении и = £ ajwj· Любое линейное преобра- зование Г: 17 —* V может быть представлено в базисах пространств U и V с помощью матричного умножения, которое будет определено в лемме 1.49. Сначала мы определим матрицы и естественные операции над ними. Определение 1.45. Для m,n Ε Ν матрица А размера т χ η wad полел* F есть прямоугольный массив вида ац ai2 ... ain , «21 «22 · " · tt2n [p"ml °"m2 · · · «mnj где G4j G F при всех i = 1,2,..,,ши j = 1,2,..., п. Значение ay называется (i,j)-M элелсентолс лсатрп^ы А. Матрицу А также можно записывать в виде («ij]i<i<m,i<j<n или, когда понятно, о каких тип идет речь, — в виде [ay]. Заметим, что матрица размера η χ 1 — это вектор из η компонент, который есть элемент пространства Rn или Сп. Сложение матриц одинакового размера определяется как очевидное сложение соответствующих элементов. Скалярное умножение также определяется естественным образом. Определение 1.46. Пусть А = [ay] и В = [6у] —две матрицы размера т χ η над одним полем F. Тогда А + В есть матрица С = [су] размера m χ η, в которой су = ay + by для всех i = 1,2,... т и j = 1,2,... п. Пусть а 6 F; тогда аЛ есть матрица Z) = [dy] размера m χ η, в которой dij = aay для всех i,j. Умножение матриц — это более хитроумный процесс. Определение 1.47. Пусть А = [ay] есть матрица размера πι χ / над полем F и В = [Ьу] есть матрица размера / χ η над тем же полем F. Тогда АВ есть матрица С = [су] размера m χ η, в которой су = 22 aik^k3 для i = 1,2,... т и j = 1,2,... η.
1.4. Линейные преобразования, матрицы 55 Для вещественных матриц Qj есть скалярное произведение г'-й строки матрицы А на j-ft столбец матрицы В. Заметим, что умножение матрицы размера πι χ / определено только на матрицу размера / χ η, которое дает матрицу размера га χ η (индекс / «сокращается»). Умножение матриц некоммутативно: во-первых, когда определено АВ, может быть так, что В А не определено; во-вторых, даже если обе матрицы определены, мы можем получить, что АВ φ ΒΑ. Однако умножение матриц ассоциативно: для А = [ttij]i<i<m,i<j</j в = Mi<i<*,i<j<b с = tej]i<i<M<:/<n элементы с индексами (i, j) матриц (АВ)С и А(ВС) размера mx n равны ι к У , У ;aipbpqCqj. p=lq=l Особым частным случаем, представляющим интерес, является произведение матрицы А размера πι χ η и матрицы χ размера η χ 1 (т. е. вектора). Результатом является у = Ах — матрица размера πι χ 1, которая представляет собой вектор из га компонент. Отображение Г, ставящее в соответствие вектору χ элемент Ах так, что Fn —* Fm (например, F = R или С), определенное равенством Т(х) = Ах, есть линейное преобразование (упр. 1.4.2). По определению 1.47 г-я компонента вектора Ах равна η {Ax)i = 2ZaikXk' k=l В более общих конечномерных векторных пространствах матрица приводит к линейному преобразованию, действуя на вектор компонент в заданном базисе. Лемма 1.48 (линейное преобразование, ассоциированное с матрицей). Пусть U u V —конечномерные векторные пространства над полем F. Предположим, что R = {^ι,ί/2,... ,un} есть базис U и S = {^1, г;2, ..., vm} есть базис V. Пусть А — матрица размера тхп над полемF. Определим отображение Та: U —► V следующим образом: для и 6 U пусть Тл(и) есть элемент V, вектор компонент [Ta{u)]s которого в базисе S есть А[и\ц> т. е. [TA(u)]s = A[u]R. Тогда Та есть линейное преобразование. Доказательство. Упражнение 1.4.3. ■ Таким образом, каждая матрица дает линейное преобразование. Обратное также справедливо: каждое линейное преобразование между
56 Глава 1. Комплексные числа и линейная алгебра двумя конечномерными векторными пространствами может быть представлено матрицей. Лемма 1.49 (матричное представление линейного преобразования). Пусть U u V —конечномерные векторные пространства над полем F. Предположим, что R = {ui,u2,... ,ип} есть базис U, S = {v\,v2,..., vm} есть базис V и Т: U —► V —линейное преобразование. Так как T(uj) 6 V для каждого j, mo существуют единственные скаляры aij, г = 1,2,..., т и j = 1,2,..., η, такие, что Т(щ) = αηνι + a2ii;2 + ... + am\vm, T(u2) = α12νχ + a22v2 + ...+ am2vm, T(un) = a\nv\ + a2nv2 + ... + amnvm. Пусть A — матрица размера πι χ η, у которой k-й столбец состоит из скаляров otik, a2k, · · ·, &mk β разложении Т(щ): А = ац а\2 а2\ а22 Gin amn Тогда [T(u)]s = A[u]R для всех ueU. (1.25) Более того, А — единственная матрица, удовлетворяющая соотношению (1.25). Доказательство. Пусть и € U — произвольный вектор. Пусть ci, С2, ..., Сц — компоненты и относительно базиса Д, т. е. Мя = или, эквивалентно, и = Σ CjUj. По определению матрицы А справед- 3=1 т ливо равенство Т{щ) = Σ aijVi. г=1 Ввиду линейности (η \ η η τη πι ί η \ Σ сзиз Ι = Σ ciTiui) = Σ ci Σ °*^=Σ Σ α№ νί· j=l J j=l j=l г=1 *=1 \j=l J
1.4. Линейные преобразования, матрицы 57 Следовательно, i-я компонента вектора Т(и) в базисе S есть ^ (HjCj\ это по определению — г-я компонента произведения матрицы А на вектор [u]r. Отсюда следует (1.25). Доказательство единственности матрицы А мы оставляем читателю (упр. 1.4.6). ■ Матрицу А из леммы 1.49 называют матрицей, представляющей преобразование Τ в базисах R и S. Мы иногда записываем ее как Αχ. Пример 1.50. Определим базис R для R2: и базис S для R S=< -Μ) 1 0 2 ) 0 1 1 ϊ 1 0 3 } Зададим преобразование Г: R2 —► R3 формулой \2х - у] х + у . [х - Зу\ Требуется найти матрицу А, которая представляет Г в базисах R и 5. Решение. По определению 3 3 -1 ■ гР= -2 2 -6 Согласно лемме 1.49, мы должны найти {<Hj}, такие, что Гз" 3 -1 = «11 Т 0 2 + 021 "0" 1 1 + 031 "1] 0 3 (1.26) Г-2" 2 1-е = αΐ2 1 0 2 + 022 0 1 1 + аз2 1 0 3 (1.27) Это —линейные системы; например, уравнение (1.26) есть система 1ац +0α2ΐ + 1α3ι = 3, Оац + 1α2ι +0аз1 =3, 2ац + 1α2ΐ +3азг = —1,
58 Глава 1. Комплексные числа и линейная алгебра которая может быть решена, например, методом исключения Гаусса, что (мы опускаем вычисление) дает ац = 13,α2ΐ =3 и asi = —10. Аналогично, решая уравнения (1.27), получаем &12 = 2, а22 = 2 и аз2 = —4. Следовательно, А = 13 2 3 2 -10 -4 Леммы 1.48 и 1.49 показывают, что существует полное соответствие между матрицами и линейными преобразованиями в конечномерных векторных пространствах. Чтобы лучше понять это соответствие, мы рассмотрим некоторые свойства линейных преобразований и соответствующие свойства связанных с ними матриц. Следующее определение сформулировано в общей форме потому, что оно имеет смысл для любой функции. Определение 1.51. Пусть U и V — множества и Г: U —► V — отображение. Говорят, что Г взаимно однозначно (пишут «1-1») или инъектиено, если Т{и\) = Т{щ) означает, что и\ = ί/2· Говорят, что Г есть отображение «на» или сюрзективно, если для каждого υ € V существует и € f/, такое, что Т(и) = υ. Отображение Τ обратимо или биективно, если Г есть одновременно «1-1» и «на». Другими словами, Г есть «1-1», если соотношение щ φ U2 означает, что Т(щ) φ T{u<i)\ это значит, что Г не может принимать два различных значения для одного аргумента, и Г есть отображение «на», если Г принимает значение каждого элемента в V. Если Г есть «1-1» и «на», можно определить обратное отображение Г-1: V —► U следующим образом: для каждого υ 6 V существует (так как Г есть «на») единственный (так как Г есть «1-1») элемент и Ε U, такой, что Т(и) = υ. Пусть Г-1 (г;) = и. Тогда легко видеть, что Г""1 есть обратное к Г отображение в том смысле, что Г_1(Г(п)) = и для всех и 6 U и Г(Г_1(г;)) = υ для всех υ € V. В этом смысл употребления термина обратимо в определении 1.51. С терминами «1-1» и «на» связаны ядро и область значений линейного преобразования. Определение 1.52. Пусть £7, V — векторные пространства, Г: U —► —► V — линейное преобразование.
1.4. Линейные преобразования, матрицы 59 Ядром Τ называется множество всех векторов, которые отображаются в нулевой вектор преобразованием Т, т. е. kerT = {ueU:T(u) = 0}. Область значений Τ есть множество всех векторов в V, которые являются образами некоторых векторов в U при преобразовании Г: rangeT = {T(u): ueU}. По определению Τ есть отображение «на» тогда и только тогда, когда range(T) = V. Так же из линейности Г следует, что Г есть «1-1» тогда и только тогда, когда ker(T) = {0} (упр. 1.4.7). Соответствующим понятию обратимого линейного преобразования есть понятие обратимой матрицы. Для этого нам сначала нужно определить единичную матрицу. Определение 1.53. Единичная матрица I размера пхп над R или С есть матрица [o>ij]i^ij^n такая, что ац = 1 для г = 1,2,..., η и ау = 0, если г φ j. Другими словами, J есть матрица с элементами, равными 1 на главной диагонали и равными нулю на всех других местах. Простое вычисление показывает, что 1х = χ для любого вектора χ € Rn или Сп, именно поэтому матрицу / и называют единичной. Определение 1.54. Пусть А есть матрица размера пхп над R или С. Мы говорим, что А — обратимая матрица, если существует матрица размера пхп, обозначаемая А-1, такая, что А~1А = 1 и АА~г=1. Матрица А~г, если она существует, называется обратной матрицей для матрицы А. Для матриц 2x2 полезно вспомнить, что если ad — be φ 0, то ι-l а Ь с d 1 d -Ь —с а ad —be Обратимые линейные преобразования соответствуют обратимым матрицам. Лемма 1.55. Пусть U и V —n-мерные векторные пространства над полем С (аналогично, если оба над R). Предположим, что Т: U —► V есть линейное преобразование. Пусть R — базис U и S — базис V. Пусть At — матрица, которая представляет Τ в базисах R и S, как в лемме 1.49. Тогда Τ — обратимое преобразование тогда и только тогда, когда At есть обратимая матрица.
60 Глава 1. Комплексные числа и линейная алгебра Доказательство. Сначала предположим, что Г —обратимое преобразование. Пусть ζ — произвольный элемент Сп с компонентами 21,22, η ..., ζη. Предположим, что R = {ui, U2,..., un}. Пусть u = ^ ZjUj ; дру- гими словами, [u]r = ζ. Пусть Αγ-ι — матрица, которая представляет Г-1 в базисах S и R. Тогда ζ = [u)R = [T-\T(u))]R = AT-i[T(u)]s = Так как 2 — произвольный элемент Сп, то Ατ-ιΑτ = / согласно упр. 1.4.6(1). Из симметричности аргументов также следует, что АтАт-1 = J. Поэтому Ат — обратимая матрица с обратной матрицей Ат-1. В обратную сторону. Предположим, что Ат — обратимая матрица. Тогда kerT= {0}. Чтобы убедиться в этом, возьмем η € 17, и пусть Т(и) = 0. Тогда [T(u)]s есть нулевой вектор в Сп. Отсюда А^Мя = = [T(u)]s = 0. Умножение этого равенства слева на (Ат)"1 дает [и]ц = = (Ат)~г0 = 0. Но из равенства [и]л = 0 следует и = 0. Это доказывает, что kerT = {0}. Из упр. 1.4.7 вытекает, что Г есть «1-1»-отображение. Так как U и V — n-мерны, то из упр. 1.4.8(5) следует, что Г есть преобразование «на». Поэтому Г — обратимое преобразование. ■ Другое полезное понятие — это ранг матрицы. Определение 1.56. Пусть Л —матрица размера πι χ η над полем С (или R). Пусть Г — линейное преобразование, соответствующее А в стандартном базисе; это значит, что Г: Сп -> Cw (или Г: Rn -> Rm) и Τ (χ) = Ах. Из упр. 1.4.9(2) следует, что область значений Г есть подпространство Ст (или Rm), и, следовательно, является конечномерным векторным пространством. Ранг матрицы А — это размерность области значений преобразования Г. (Для ранга матрицы А используется обозначение rank А.) В случае квадратной матрицы это приводит к другому интересному критерию обратимости. Лемма 1.57. Пусть А есть матрица размера η χ η над полем С (или R). Матрица А обратима тогда и только тогда, когда rank А = п. Доказательство. Пусть отображение Г: Сп —► Сп определяется равенством Τ(ζ) = Αζ, как в определении 1.56. Если А —обратимая матрица, то Г —обратимое преобразование по лемме 1.55. Следовательно, range Г =± Сп. Так как область значений Г имеет размерность п, то rank А = п.
1.4. Линейные преобразования, матрицы 61 Обратно, если rank А = п, то range Г имеет размерность п. Это значит, что range Г = Сп. (Доказательство: пусть ζ € Сп — произвольный вектор. Тогда базисные элементы щ, щ,..., un области значений Г вместе с ζ составляют п+1 элемент в Сп, которые должны быть линейно зависимы (упр. 1.3.12). Из упр. 1.3.9(2) ζ € span{ui,U2,... ,un} = range Г.) Поэтому Г есть преобразование «на». Из упр. 1.4.8(5) Г есть «1-1» и, следовательно, обратимое преобразование. По лемме 1.55 А также обратимая матрица. Для доказательства в случае, когда А есть матрица над R, следует заменить С повсюду полем R. ■ Изучив несколько предварительных свойств матриц, мы готовы вернуться к исследованию представления векторов в различных базисах. Если у нас есть два базиса в одном и том же конечномерном векторном пространстве, то как можно получить компоненты вектора в одном из этих базисов, если мы знаем его компоненты в другом базисе? Лемма 1.58. Пусть V есть n-мерное векторное пространство над R или С, a R = {ui,U2,... ,ип} и S = {vi,t^,... ,vn} — это два базиса V. Так как S — базис V, то существуют единственные скаляры ац,г = 1,2,..., η и j = 1,2,..., η, такие, что щ = αηνι + a2\v2 + ... + αηινη, Щ = Cb\2Vi + <&22^2 + . . . + Cbn2Vn, Un = 0,\nV\ + a2nV2 + . . . + Q>nnVn- Пусть A — матрица размера η χ η, fc-й столбец которой состоит из коэффициентов а^ь, a2fc,..., ank в представлении вектора и^ Гац а\2 ... αιηΊ «21 «22 · · · «2п А = «nl «п2 · · · 0>пп [x]s = ^4[ж]я для всех χ 6 V, и А — единственная матрица, обладающая этим свойством. Доказательство. Оно следует из леммы 1.49, если положить Г равным тождественному преобразованию J, определенному равенством Ι(χ) = χ для всех х. Ясно, что / — линейное. Так как щ = I(uj) для каждого j, то матрица Л —такая, как требуется в лемме 1.49. Следованно, ^ = m]g = a[x]r Единственность А также следует из леммы 1.49. ■
62 Глава 1. Комплексные числа и линейная алгебра Назовем матрицу А, полученную в лемме 1.58, матрицей перехода от базиса R к базису S. Пример 1.59. Определим базисы R и S для R2: Найти матрицу А перехода от базиса R к базису S. Решение. По лемме 1.58 нужно найти {(Hj} такие, что T21_L = oil + α2ΐ 1 -2 и -1 7 = Ч*] + G22 Решение этих линейных систем дает ац =2,α2ΐ = -1, а\2 = —5 и С&22 = 3. Следовательно, А = 2 -5 -1 3 Как и следовало ожидать, матрица перехода от базиса R к базису S всегда обратима и обратная к ней матрица является матрицей перехода от базиса S к базису R (упр. 1.4.14). Теперь сосредоточим наше внимание на линейном преобразовании конечномерного векторного пространства на себя. Зафиксируем базис и рассмотрим представление линейного преобразования в этом базисе. Следующее определение есть частный случай того, что было рассмотрено в лемме 1.49. Определение 1.60. Пусть V есть конечномерное векторное пространство над R или С с базисом R. Пусть Атд есть матрица, которая представляет Τ в базисах R и R (как определено в лемме 1.49), т. е. Ат,п есть такая матрица, что [T(x)]R = At,r[x]r для любого χ 6 V. Мы называем At,r матрицей, представляющей Τ в базисе R.
1.4. Линейные преобразования, матрицы 63 В качестве простейшего примера предположим, что мы имеем дело с матрицей А размера η χ η над полем С и определим связанное с ней линейное преобразование Гд: Сп —► Сп равенством Τα(ζ) = Αζ. Тогда в евклидовом базисе Ε = {ei,..., еп} (определение 1.39) [Ta(z)]e = TA(z) = Az = A[z]E в соответствии с формулой (1.24). Другими словами, А представляет Гд в базисе Ε или АТа,е = А. Если мы работаем с линейным преобразованием Τ из V в V, то можно зафиксировать базис V и представить Г матрицей в этом базисе. Это позволяет использовать алгебру матриц для вычислений, связанных с преобразованием Г. Однако можно выбрать много базисов пространства V. Какой эффект дает выбор базиса при использовании матриц, которые представляют преобразование? Лемма 1.61. Пусть V —конечномерное векторное пространство с базисами RuS,aT:V—>V есть линейное преобразование. Пусть At,r есть матрица, представляющая Τ в базисе R, At,s есть матрица, представляющая Τ в базисе S. Обозначим через Ρ матрицу перехода от базиса R к базису S. Тогда ATiR - P~lATySP. Доказательство. Пусть χ 6 V — произвольный элемент. Из упр. 1.4.14 следует, что Р~1 есть матрица перехода от базиса S к базису R. Следовательно, [T(x)]r = P-1[T(x)]s. Однако At,s представляет Г в базисе S и [T(x)]R = P-^sMs. Но Ρ есть матрица перехода от базиса R к базису S, поэтому [x]s = Р[ж]д. Подстановка этой формулы в предыдущее равенство дает [T(x)]R = P-1At,sP[x]r. Поэтому результат следует из утверждения единственности в лемме 1.49. ■ Этот результат имеет естественную интерпретацию: чтобы добиться действия Г в базисе Я, мы можем сначала перейти к базису S (т. е. умножить на Р), затем применить Г, представленное в базисе S (т. е.
64 Глава 1. Комплексные числа и линейная алгебра умножить на Ατ,β), и, наконец, вернуться назад в базис R (умножить на Р"1). Определение 1.62. Пусть А и В —матрицы размера η χ η над R или С. Говорят, что А и В — подобные матрицы или что А подобна В, если существует матрица Р, такая, что В = Р~1АР. Легко видеть (упр. 1.4.16), что это подобие есть отношение эквивалентности. В частности, в определении 1.62 матрицы А и В можно поменять ролями. Лемма 1.61 говорит нам, что две матрицы, представляющие одно линейное преобразование в различных базисах, должны быть подобными матрицами. Главное состоит в том, чтобы сделать лучший выбор базиса так, что линейный оператор, с которым мы работаем, будет иметь представляющую матрицу наиболее простого вида в выбранном базисе. В разд. 1.5 мы рассмотрим операторы, представляющие матрицы которых могут быть сделаны диагональными. Упражнения 1.4.1. Пусть U — множество всех дифференцируемых функций на интервале (0,1) = {х е К: 0 < χ < 1}, т. е. U = {/: (0,1) -► R, такое, что / (х) существует для всех χ € (0,1)}. Пусть V — множество всех функций /: (0,1) —► R. Определим сложение функций и умножение функций на вещественные числа обычным способом (как в примере 1.33). 1) Доказать, что U и V — векторные пространства. (Воспользуйтесь стандартными фактами из математического анализа.) 2) Определим отображение Г: U —► V соотношением Г(/) = / . Доказать, что Г — линейное преобразование. Этот пример показывает, что важные линейные преобразования возникают в контексте бесконечномерных векторных пространств. 1.4.2. Пусть А — матрица размера πι χ η над полем С. Определим Г: Сп —> Ст как Τ (ζ) = Αζ (матричное умножение). Доказать, что Г есть линейное преобразование. 1.4.3. Доказать лемму 1.48. Указание: использовать упр. 1.4.2 и 1.3.14. 1.4.4. Зафиксируем угол θ € R. Пусть Tq — отображение плоскости R2 на себя, которое получается поворотом вектора против часовой стрелки на угол θ (т. е. в полярных координатах Т$ оставляет
Упражнения 65 неизменным длину вектора и увеличивает угол на Θ). С помощью рисунков покажите, почему Т$ есть линейное преобразование. Подтвердите это заданием матрицы Т#, которая представляет То в стандартном базисе R2. 1.4.5. Определим базис R для R3: R = 1 1 0 J 2 0 1 J 3 2 0 ч > / и базис S для -{№· Зададим отображение Г: R3 —► R2 формулой Г = ж + у-г 2x-y + 3z 1) Найти матрицу Л, которая представляет Г в базисах i? и 5. 2) Предположим, что η 6 R3 и Мя = 1 о -1 Найти [T(u)]s. 3) Для вектора п, определенного в п. 2), найти координаты в евклидовом базисе. 4) Найти евклидовы координаты Т(и) двумя способами: или используя п. 3) и определение Г, или используя п. 2) и определение 5. 1.4.6. Пусть Л —матрица размера ηχ η над R или С. 1) Предположим, что Ах = χ для всех векторов χ 6 Rn. Доказать, что А есть единичная матрица J. (Подсказка: рассмотрите стандартные базисные векторы ei, ег,..., еп в определении 1.39.) 2) Предположим, что В есть матрица размера пхп над тем же полем, что и А, и Вх = Ах для всех χ G Rn. Доказать, что А = β, т. е. а^· = ify· для всех i,j. 3) Доказать единственность в лемме 1.49. 1.4.7. Пусть U и V — векторные пространства и Г: U —► V —линейное преобразование. Доказать, что Г есть «1-1»-отображение тогда и только тогда, когда kerT = {0}.
66 Глава 1. Комплексные числа и линейная алгебра 1.4.8. Пусть U и V — векторные пространства и Г: U —► V — линейное преобразование. Предположим, что U есть n-мерное пространство с базисом {ui, ί/2,..., un}. 1) Доказать, что Т есть «1-1»-отображение тогда и только тогда, когда {T(ui),Γ(ί/2),...,T(un)} —линейно независимое множество в V. 2) Доказать, что span{T(ui),T(u2),... ,T(un)} = rangeT. 3) Доказать, что Г есть обратимое преобразование тогда и только тогда, когда {T(ui),T(u2),... ,T(un)} — базис V. 4) Предположим, что Т: U —► V — обратимое линейное преобразование. Доказать, что V есть конечномерное пространство размерности п. 5) Предположим, что V — также конечномерное пространство размерности п. Доказать, что Г есть «1-1»-отображение тогда и только тогда, когда Г есть отображение «на». (Подсказка: использовать теорему 1.42.) 1.4.9. Пусть U и V — векторные пространства и Г: £/ —► V —линейное преобразование. Вспомним определение подпространства из упр. 1.3.2. 1) Доказать, что kerT есть подпространство U. 2) Доказать, что rangeT есть подпространство V. 1.4.10. {Теорема о ранге.) Пусть U и V — векторные пространства, dim U = nnT:U-*V есть линейное преобразование. Доказать, что dim ker Г + dim range Г = η. Подсказка: положим k = dim ker Г. Пусть {ιΐχ, ι*2,..., и*} — базис kerT. Из упр. 1.3.10 мы можем найти Ufc+i,... ,un, такие, что {iti, ι*2,.. · ?^п} есть базис U. Доказать, что T(tik+i), ..., T(un) линейно независимы, и применить упр. 1.4.8(2). 1.4.11. Пусть А — матрица размера πι χ к и В — матрица размера к хп (обе над одним полем R или С). Доказать, что rank(AB) ^ rank Л и rank(AB) ^ rank Б. 1.4.12. Пусть А и В — матрицы размера пхп над одним полем R или С. 1) Доказать, что Л В —обратимая матрица тогда и только тогда, когда обе матрицы А и В —обратимые; в этом случае (АВ)~1 = В~1А~1. (Подсказка: использовать лемму 1.57 и упр. 1.4.11 для случая «только тогда».) 2) Предположим, что АВ = I. Доказать, что А и В обратимые матрицы, В = А~1 и А = В-1.
Упражнения 67 Следовательно, чтобы проверить, что В = А~1, достаточно убедиться, что АВ = J или ВА = J, нет необходимости проверять оба равенства. 1.4.13. Определим базисы Яи S для R2: и -{MY 1) Найти матрицу А перехода от базиса R к базису S. 2) Предположим, что ж 6 К2 и Ия = Найти [х] 5. 3) Найти евклидовы координаты вектора χ двумя способами: или используя [x]r и определение Я, или используя [#]s и определение 5. 4) Непосредственно найти матрицу перехода от базиса S к базису Л, используя метод леммы 1.58. Затем проверить, что она есть матрица, обратная для матрицы, найденной в п. 1). 1.4.14. Пусть V — конечномерное векторное пространство над R или С с базисами R и 5. Пусть А есть матрица перехода от базиса R к базису S. Доказать, что Л —обратимая матрица и ее обратная матрица есть матрица перехода от базиса 5 к базису R. (Подсказка: использовать упр. 1.4.6 и, чтобы было проще, упр. 1.4.12(2).) 1.4.15. Пусть V — это Rn или Сп. Пусть Ε = {еь... ,еп} —евклидов базис (определение 1.39) пространства V и пусть R = {ui,..., un} —другой базис V. Предположим, что для каждого j = 1,2,..., η lay Uj = a2j anj Пусть A = [aij\i£ij£n. 1) Доказать, что А есть матрица перехода от базиса R к базису Е.
68 Глава 1. Комплексные числа и линейная алгебра 2) Предположим, что S = {υχ,..., υη} есть также базис V, и ГЬу1 hj Vj = : [pnjj для каждого j = 1,2,..., η. Пусть Б = [bij]i<ij<n· Доказать, что В~1А есть матрица перехода от базиса R к базису S. 3) Проверить результат п. 2) так же, как при решении упр. 1.4.13(1). Замечание: обычно это простейший метод решения таких задач. 1.4.16. Для двух матриц А и В размерности пхп определим отношение А ~ В, если А и В подобные матрицы (определение 1.62). Доказать, что ~ есть отношение эквивалентности, т. е. доказать, что 1) А ~ А для всех матриц А размера пхп; 2) если А ~ В, то В ~ А; 3) если А ~ В и В ~ С, то А ~ С. (Подсказка: использовать упр. 1.4.12(1).) 1.5. Диагонализация линейных преобразований и матриц Рассмотрим линейное преобразование Т: V —► V, где V — конечномерное векторное пространство. Пространство V имеет много базисов; выбор базиса означает выбор координатной системы. Если мы выбираем базис R пространства V, мы можем представить Г матрицей в базисе Л, которую мы называем At,r (определение 1.60). Если вычисления для Г выполняются с этой матрицей, то хотелось бы так выбрать базис Я, чтобы At,r была как можно проще. Какие возможности нам предоставляются? По лемме 1.61 мы знаем, что для любого другого базиса S матрица At,s, представляющая Τ в S, должна быть подобна At,r- Это единственное ограничение: любая матрица, подобная At,r, есть матрица, представляющая Г в некотором базисе V. Этот факт есть следствие леммы 1.63, которая представляет независимый интерес. Лемма 1.63. Пусть R — базис n-мерного векторного пространства V над полем Ж или С, и Ρ есть обратимая матрица размера пхп (над тем же полем). Тогда существует базис S пространства V, такой, что Ρ есть матрица перехода от базиса R к базису S.
1.5. Диагонализация линейных преобразований и матриц 69 Доказательство. Положим R = {жьжг»··· ,жп} и [ду] = Q = Ρ-1. Определим 5 = {vi, V2,..., υη}> где η ν* = Σ9****' (1.28) г = 1,2,... ,n. Для j = 1,2,..., η соотношение (1.28) дает η η η η / η \ ΣΛ* ^ = 53 py Σ ^ж*= Σ (Σ9ww^)ж*=xj> ί1·29) г=1 г=1 fc=l fc=l \г=1 / η так как ^ 9а^ Pi j есть (fc, j)-ft элемент матрицы QP = J и, следовательно, равняется единице при к = j и нулю в других случаях. Пусть η 6 V — произвольный элемент. Предположим [u]R = α = αϊ или, эквивалентно, u = ^ Gj#j. Из соотношения (1.29) имеем i=i η / η u=Σαί Σ^νί = Σ ΣΛ*α* ΙVi=Σ(ρα)^> ί1·30) где (Pa)i есть г'-я компонента вектора Pa. Это показывает, что линейная оболочка множества 5 совпадает с V и, следовательно, по теореме 1.42, S является базисом. Это также показывает, что Ms = Pa = P[u]R. Последнее означает, что Ρ есть матрица перехода от базиса R к базису 5. ■ Следствие 1.64. Пусть V —конечномерное векторное пространство с базисом R, и Т: V —► V есть линейное преобразование. Пусть At,r есть матрица, представляющая Τ в базисе R. Предположим, В есть матрица, подобная At,r- Тогда существует базис S пространства V, представляющий Τ в S (т. е. такой, что В = At,s)- Доказательство. По предположению существует обратимая матрица Р, такая, что В = P~1At,rP. Тогда Р~г также обратимая матрица; в результате применения леммы 1.63 существует базис S пространства V такой, что Р-1 есть матрица перехода от базиса R к базису S.
70 Глава 1. Комплексные числа и линейная алгебра Из упр. 1.4.14 следует, что Ρ есть матрица перехода от базиса S к базису R. Применяя лемму 1.61 (поменяв местами R и S в утверждении этой леммы), получим Ат%з = Р~1АтдР = В. Ш Следовательно, нахождение лучшего базиса для представления линейного преобразования сводится к нахождению простейшей матрицы, подобной данной. Напомним (упр. 1.4.16), что подобие матриц есть отношение эквивалентности. Поэтому мы ожидаем простейшего представления в классе эквивалентности, который состоит из всех матриц, подобных данной. Для начала мы рассмотрим некоторые особенности линейного преобразования Г, присущие всем матрицам, представляющим Г. Такими характеристиками являются собственные значения. Мы определяем собственные значения как для линейных преобразований, так и для матриц. Определение 1.65. Пусть V есть векторное пространство над полем F и Т: V —► V — линейное преобразование. Скаляр А € F называется собственным значением преобразования Г, если существует ненулевой элемент ν € V такой, что Τ{ν) = Χν. (1.31) Любой вектор υ G V, удовлетворяющий соотношению (1.31) (включая нулевой вектор), называется собственным вектором преобразования Т, соответствующим А. Множество всех таких векторов Ех = ЕХ(Т) = {veV: T(v) = λυ} называется собственным пространством преобразования Г, соответствующим λ. Любой вектор υ 6 V, удовлетворяющий соотношению (1.31) для некоторого А € F, называется собственным вектором преобразования Т. Собственный вектор — это направление, в котором Г действует просто скалярным умножением. В случае матриц определения аналогичны. Определение 1.66. Пусть поле F есть R или С. Пусть А — матрица размера η χ η над F. Если F = R, то пусть V = Rn, и, если F = С, то V = Сп. Скаляр А € F есть собственное значение матрицы А, если существует ненулевой υ € V такой, что Αν = \υ. (1.32)
1.5. Диагонализация линейных преобразований и матриц 71 Любой вектор υ Ε V, удовлетворяющий соотношению (1.32) (включая нулевой вектор), называется собственным вектором матрицы А, соответствующим А. Множество всех таких векторов Εχ = Εχ(Α) = {veV:Av = Χυ} называется собственным пространством матрицы А, соответствующим А. Любой вектор υ 6 V, удовлетворяющий соотношению (1.32) для некоторого λ Ε F, называется собственным вектором матрицы А. Пусть Г: V —► V есть линейное преобразование и А —скаляр. По определению υ Ε Εχ(Τ) означает, что Τ(υ) = Аг;, что эквивалентно (А/ — Г)(г;) = 0 или υ 6 ker(AJ — Г), где / есть тождественный оператор (определенный равенством Ι(υ) = υ для всех г;). Следовательно, Е\(Т) = ker(AJ — Г). Из упр. 1.4.9(1) следует, что Е\(Т) есть подпространство V. Определим геометрическую кратность А (относительно Г) как размерность пространства Е\(Т). В тех случаях, когда А не есть собственное значение Г, Е\(Т) = {0} и геометрическая кратность А равняется нулю. Дадим аналогичное определение для матрицы А. Ввиду линейности, ЕХ(А) = {veV:(\I- Α)υ = 0} есть подпространство V, здесь / — единичная матрица. Геометрическая кратность А (относительно А) — это размерность подпространства Е\(А). Если А не является собственным значением матрицы А, то геометрическая кратность А равняется нулю. Следующая лемма показывает, что, когда матрица соответствует линейному преобразованию, собственные значения и их геометрические кратности для матрицы и преобразования одни и те же. Лемма 1.67. Пусть V — конечномерное векторное пространство с базисом R. Пусть Т: V —► V —линейное преобразование, и А —матрица, представляющая Τ в базисе R (т. е. А = Атуя). Тогда А и Τ имеют одни и те же собственные значения и υ 6 Е\(Т) тогда и только тогда, когда [v]r 6 Е\(А) (1.33) для каждого собственного значения А. Геометрические кратности А для Τ и для А одни и те же: dim E\(T) = dim E\{A). Доказательство. Сначала предположим, что А — собственное значение преобразования Г. Тогда существует ненулевой υ, такой, что Г(г;) = Аг;, т. е. г; € Е\(Т). Тогда [v]r φ 0 и, так как А представляет Г в базисе Д, A[v]R = [T(v)]R = [Xv]R = АМд,
72 Глава 1. Комплексные числа и линейная алгебра как это следует из упр. 1.3.14(2). Следовательно, А есть собственное значение матрицы А и [v]R € Εχ(Α). Для доказательства обратного утверждения предположим, что А есть собственное значение А и у —ненулевой вектор, удовлетворяющий равенству Ау = \у (т. е. у Ε Εχ(Α)). Пусть компоненты у —это η Уи У2, · · ·, 2/п и пусть R = {uu u2, ..., un}. Положим ν = Σ Ю'Ч/· Тогда у = [v]r и снова, используя упр. 1.3.14(2), получим [T(v)]R = A[v]R = \[v]R = [\v]R. Это означает, что Т(у) = Аг; (так как Г(г;) и Аг; имеют одинаковые компоненты в базисе R). Следовательно, А есть собственное значение Г и г; € ЕХ{Т). Остается доказать только один случай в утверждении (1.33), когда υ = О (эквивалентно [v]R = 0), который тривиален, потому что υ 6 Εχ(Τ) и Мд € Εχ(Τ). Докажем теперь утверждение о геометрических кратностях. Заметим, что А не является собственным значением преобразования Τ тогда и только тогда, когда А не есть собственное значение матрицы А (что мы доказали); в этом случае обе геометрические кратности равны нулю. Для этого случая результат доказан. Теперь предположим, что Εχ(Τ) имеет базис {£ι,£2>· · · >^т} и Εχ(Α) имеет базис {зь$2, · · · >5fc}> который, как мы только что заметили, может быть записан в виде {[vi]a, [иг]я, ...,[и*]я}. Из соотношения (1.33) следует, что векторы [ti]R, [*2]я, · · ·, [^т]я принадлежат Εχ(Α) и, в соответствии с упр. 1.3.15, линейно независимы. Из этого следует, что га ^ к (напомним упр. 1.3.12). Из только что доказанного следует, что векторы νι,ν2,...,ν& принадлежат Εχ(Τ) и линейно независимы (также в соответствии с упр. 1.3.15), поэтому к ^ га. Из этого следует равенство к = га. ■ Лемма 1.67 приводит к следующему результату о подобных матрицах. Следствие 1.68. Предположим, что А и В — подобные матрицы. Тогда А и В имеют одинаковые собственные значения с одинаковыми геометрическими кратностями. Доказательство. Пусть Г —линейное преобразование (в Rn или Сп, в зависимости от того, является ли скалярным полем Ж или С), определенное равенством Т(х) = Ах. Тогда А представляет Г в стандартном базисе. Так как А и В —подобные матрицы, то существует базис 5, такой, что В представляет Г в базисе S по следствию 1.64. Как вытекает
1.5. Диагонализация линейных преобразований и матриц 73 из леммы 1.67, обе матрицы А и В имеют те же собственные значения с теми же геометрическими кратностями, что и линейное преобразование Г. Следовательно, с теми же кратностями, что у друг друга. ■ Последнее доказательство может показаться несколько запутанным, и можно доказать следствие 1.68 прямым рассуждением, включающим в себя определение подобных матриц (упр. 1.5.1). Однако такое вычислительное доказательство не способствует интуитивному пониманию и не наводит на мысль о том, почему предполагался такой результат. Вышеприведенное доказательство придает особое значение тому, что собственные значения и их геометрические кратности отражают свойства самих преобразований, независимо от того, как оно реализуется матрицей при некотором выборе базиса. Подобные матрицы — это различные реализации одного и того же преобразования, и поэтому различные величины, которые зависят только от рассматриваемого преобразования, должны быть одинаковыми для подобных матриц. Это дает нам абстрактный путь понимания, какие свойства подобных матриц должны быть общими. Любая величина, определяемая матрицей, которая должна быть одинаковой для любых двух подобных матриц, называется инвариантом подобия. Следствие 1.68 утверждает, что собственные значения и их геометрические кратности — это инварианты подобия. Важным фактом о собственных векторах линейного преобразования является то, что собственные векторы, соответствующие различным собственным значениям, линейно независимы. Справедливо следующее более общее утверждение. Лемма 1.69. Пусть V есть n-мерное векторное пространство над R или С и Τ: V —► V — линейное преобразование с различными собственными значениями Αι, Аг,..., А*. Для г = 1,2,..., к предположим, что E\i имеет размерность т\ и базис {ν»,ι, υ^,..., Viy7ni}. Пусть Μ = {νΐ,ΐ, Vi,2,. . . , Vi>mi, г>2,1, г>2,2, · · · , ^2,m2 » · · · » *>M> V*f2, · · · » vk9mk}· Это значит, что Μ есть объединение базисов собственных пространств E\if г = 1,2,... , п. Тогда Μ есть линейно независимое множество. Сумма геометрических кратностей собственных значений не превосходит п, т. е. к Y^rrii^n. (1.34) В частности, Τ не может иметь больше, чем η различных собственных значений.
74 Глава 1. Комплексные числа и линейная алгебра Доказательство. Предположим, что существует линейная комбинация векторов множества М, которая равна нулю: k TTli ГПг Для г = 1,2, ...,fc положим щ = Σ oyv»j. Тогда уравнение (1.35) 3=1 принимает вид к ]Г\; = 0. (1.36) i=l Заметим, что щ 6 Е\^ так как щ есть линейная комбинация векторов Vij, j = 1,2,...,mi, которые все принадлежат Εχ{. Поэтому Т(щ) = \гЩ. Покажем, что каждое щ равно нулю. Изменим индексы (в частности, поменяв местами индексы г и к), тогда достаточно доказать, что ик есть нуль. Применим линейное преобразование \\1 -Гк обеим частям соотношения (1.36). Заметим, что (ΑχJ — Т)щ = (Αχ — Хг)щ и равняется нулю только для г = 1. Так как член с г = 1 выпадает, мы получаем к Χ)(Αΐ - \)Щ = 0. г=2 Теперь применим преобразование Аг/ -Гк обеим частям последнего равенства, что приводит к удалению члена с г = 2. Продолжим эту процедуру, пока не останется только один член, что дает (Αι - λ*)(λ2 - \к)... (\к-г - Хк)ик = 0. Так как сомножители с Aj, г = 1,2,..., fc, не равны нулю, получаем, что ик = 0. TTli Мы показали, что щ = Σ ο,^ν^ = 0 для каждого г. Однако, по j=i предположению, каждое {уц } есть линейно независимое множество. Поэтому каждый а^ должен быть нулем. Это означает, что Μ есть линейно независимое множество. к Число векторов Vij есть Σ πΐ{. Так как эти векторы линейно неза- г=1 висимы и V — n-мерное пространство, то самое большее число векторов равняется η (упр. 1.3.12). Итак, утверждение (1.34) доказано. В частности, так как каждое собственное пространство по крайней мере одномерно, то число собственных значений равно, самое большее, п. ■
1.5. Диагонализация линейных преобразований и матриц 75 к Число Σ rrii в (1.34) есть максимально возможное число линейно независимых собственных векторов Т, так как ни одно собственное пространство Εχ{ не может внести больше, чем rrii = dim E\. собственных векторов в любую линейно независимую совокупность векторов. Утверждения, аналогичные утверждениям леммы 1.69, справедливы также и для матриц. Следствие 1.70. Пусть А — матрица размера пхп над полем R или С. Пусть Αι, Α2,... ,λ& —различные собственные значения матрицы А. Для г = 1,2, ...,fc предположим, что Ε\{ — собственное пространство, соответствующее значению А*, имеет размерность rrii и базис }. Тогда {v*j}i<»<*,i^j<mi есть ли>н>ейно независимое к множество, Σττίί ^ η и к — число собственных значений А, самое г=1 большее, равняется п. Доказательство. Соответствующее А линейное преобразование Τ определим равенством Т{х) = Ах. Тогда собственные значения и собственные векторы преобразования Г те же самые, что и для матрицы А, поэтому все утверждения следуют из леммы 1.69. ■ Наиболее простые линейные преобразования, с которыми приходится иметь дело, — это такие, для которых максимальное линейно независимое множество собственных векторов в лемме 1.69 есть базис, т. е. собственных векторов достаточно, чтобы их линейная оболочка совпала со всем пространством. Определение 1.71. Пусть V есть конечномерное векторное пространство и Г: V —► V — линейное преобразование. Если V имеет базис, состоящий из собственных векторов преобразования Г, мы называем Г диагонализуемым преобразованием. Диагонализуемое линейное преобразование проще произвольного линейного преобразования, потому что действие Г может быть разбито на совокупность направлений собственных векторов, в каждом из которых Г действует как скалярное умножение. Соответствующее понятие можно ввести и для матриц. Определение 1.72. Матрица D = [dy] размера η χ η —диагональная, если dij = 0 всюду, где г φ j, т. е. если все элементы D вне главной диагонали равны нулю. Матрица А размера пхп есть диагонализуемая матрица, если А подобна некоторой диагональной матрице.
76 Глава 1. Комплексные числа и линейная алгебра Другими словами, А есть диагонализуемая матрица, если существуют диагональная матрица D и обратимая матрица Ρ такие, что Р~1АР = D. Естественно соотношение между двумя понятиями диагонализуемости. Определение 1.73. Предположим, что V есть конечномерное векторное пространство и Г: V —► V — линейное преобразование. 1) Τ — диагонализуемое преобразование тогда и только тогда, когда существует базис R пространства V такой, что матрица Аг,я, представляющая Г в Я, диагональная. 2) Пусть S — произвольный базис V. Пусть Ατβ есть матрица, представляющая преобразование Г в S. Преобразование Г диагона- лизуемо тогда и только тогда, когда Ατβ есть диагонализуемая матрица. Доказательство . 1) Сначала предположим, что Г — диагонализуемое преобразование. По определению V имеет базис R = {υχ, г>2,... ,^п} из собственных векторов Г, т.е. Т(г^) = А^,г = 1,2, ...,п. Пусть D = [dij]i^ij^n — диагональная матрица с диагональными элементами da = Af. Пусть υ € V — произвольный вектор. Так как R есть базис V, то существуют скаляры αϊ, α2,..., αη такие, что υ = Σ otiVi или Ия = αϊ a* Ввиду линейности (П \ П П ΣaiVi)= Σ α*Γ(^)=Σ а*л^ ΐ=1 / i=l ί=1 или, что эквивалентно, [T(v)]r = αιΑι αηΑη Αι 0 · 0 λ2 О О λη αϊ <*2 otn = ОДя- Следовательно, Ар,я = D — диагональная матрица. Обратно, предположим, что R = {vi,V2,... ,vn} есть базис V такой, что Дг,я есть диагональная матрица D = [dy]i^»j<n·
1.5. Диагонализация линейных преобразований и матриц 77 Тогда [Т(г;)]я = D[i;]# для всех υ 6 V. Заметим, что [г^]# = е* — г'-й вектор стандартного базиса (определение 1.39), так как разложение Vi в базисе R имеет коэффициент, равный единице для Vi, и нули в остальных случаях. По предположению [T(vi)]R = D[vi)R = Dei = duei = du[vi\R = [ацщ]ц, что следует из диагональности D и упр. 1.3.14(2). Это означает, что T(vi) = duVi для каждого г. Поэтому каждый v\ есть собственный вектор Г, и V имеет базис (а именно базис R) из собственных векторов преобразования Г. 2) Сначала предположим, что Г — диатонализуемое преобразование. Как следует из п. 1, существует базис R такой, что At,r есть диагональная матрица. По лемме 1.61, At,s подобна Ар,я, поэтому At,s — диагонализуемая матрица. Обратно, предположим, что At,s ~ диагонализуемая матрица, т. е. подобна диагональной матрице D. По следствию 1.64, существует базис R такой, что D представляет Гв й;в соответствии с п. 1) преобразование Г диатонализуемое. ■ С диагональными матрицами гораздо легче выполнять вычисления, чем с матрицами общего вида. Например, умножение матрицы размера пхпна вектор в общем случае требует п2 умножений. Однако, если матрица диагональная, это требует только η умножений. Еще больше это заметно при вычислении высокой степени диагональной матрицы, в то время как для матрицы общего вида прямое выполнение этой процедуры требует огромного количества умножений (сравните с примером 1.82). Поэтому для диагонализуемого линейного преобразования Г ответ на наш основной вопрос, как выбрать базис, упрощающий вычисления, связанные с преобразованием Г, дает п. 1 леммы 1.73: мы должны выделить базис, который диагонализует Г. Нелегко определить, когда данное линейное преобразование Г: V —► V диатонализуемое. По определению, Г диатонализуемое тогда и только тогда, когда V имеет базис из собственных векторов Г. Если V есть n-мерное пространство, — это означает, что Г диатонализуемое тогда и только тогда, когда Г имеет η линейно независимых собственных векторов. По лемме 1.69 максимальное число линейно независимых к собственных векторов Г есть Σ πΐι, сумма геометрических кратностей собственных значений. Поэтому Г диатонализуемое тогда и только к тогда, когда Σπΐι = η.
78 Глава 1. Комплексные числа и линейная алгебра Тот же критерий имеет место и для матрицы А. Если мы рассматриваем линейное преобразование Т, определяемое равенством Т(х) = Ах (т. е. А представляет Τ в евклидовом базисе), то по лемме 1.67 Л и Г имеют одинаковые собственные значения с одинаковыми соответствующими геометрическими кратностями. По лемме 1.73 преобразование Τ диагонализуемо тогда и только тогда, когда А есть диагонализуе- мая матрица. Поэтому матрица размера η χ η диагонализуемая тогда и только тогда, когда сумма геометрических кратностей собственных векторов А равняется п, т. е. тогда и только тогда, когда А имеет η линейно независимых собственных векторов. В частном случае, когда А или Г имеют η различных собственных значений, каждое собственное пространство должно иметь размерность единица (по крайней мере, единица, по определению, и самое большее единица, по формуле (1.34)). Поэтому сумма геометрических кратностей равна п. Следовательно, А или Г автоматически диагонализуемые. Чтобы убедиться, что А или Г диагонализуемы в случае, когда имеется меньше чем η различных собственных значений, мы должны рассмотреть собственные пространства и определить, равняется ли сумма их размерностей п. Обратимся теперь к вопросам практического вычисления. Лемма 1.74 говорит нам, как провести диагонализацию диагонализуе- мой матрицы, предполагая, что мы знаем собственные значения и собственные векторы. Небольшое размышление показывает, что диагональная матрица D имеет собственные значения, равные ее диагональным элементам (с собственными векторами, равными векторам стандартного базиса). Но мы уже заметили, что подобные матрицы имеют одинаковые собственные значения (следствие 1.68,). Следовательно, если А подобна D, то единственно возможными элементами диагональной матрицы D являются собственные значения матрицы А. Это объясняет часть следующего результата и показывает, почему собственные значения играют центральную роль в диагонализации матриц. Лемма 1.74. Пусть А — диагонализуемая матрица размера η χ п. 1) Пусть у\,щ,... ,г;п — это η линейно независимых собственных векторов матрицы А {которые, как отмечено выше, существуют). Пусть Αι, Аг,..., λη — соответствующие собственные значения. Пусть Ρ есть матрица, j-й столбец которой есть вектор Vj. Пусть D = [dij] есть диагональная матрица с диагональным элементом djj, равным А,. Тогда Р~1 АР = D. 2) Обратно, если P~lAP = D, где D —диагональная матрица, то столбцы матрицы Ρ — это линейно независимые собственные
1.5. Диагонализаиия линейных преобразований и матриц 79 векторы матрицы А с соответствующими собственными значениями, равными диагональным элементам D. Доказательство. 1) Заметим, что желаемое уравнение P~lAP = D эквивалентно АР = PD. Вычислим АР = A[viV2 ... υη] = [ΑυιΑυ2 ... Αυη] = [Aii>iA2i;2 ... Апг;п]. С другой стороны, PD = [υιυ2 ...υη] Αι 0 · 0 Α2 0 0 0 λη = [Αιΐ>ιΑ2ι;2...ληι;η]. Это доказывает п. 1). Пункт 2) доказывается выполнением этих шагов в обратном порядке; мы рассмотрим это как упр. 1.5.3. ■ Внимательный читатель заметит, что мы еще не доказали того, что матрица обязательно имеет собственные значения. На самом деле, матрица над полем R может не иметь ни одного вещественного собственного значения (упр. 1.5.4(1)), хотя матрица над полем С должна, как мы это увидим, иметь комплексные собственные значения. Также мы еще не поняли, как найти собственные векторы и собственные значения матрицы, если они существуют. Для этого мы приведем некоторые основные факты, связанные с детерминантами. Определение 1.75. Детерминант матрицы А размера пхп, обозначаемый det А или det(A), определяется следующим образом. Если А есть матрица размера 1 χ 1, т. е. А = [о], то det А = а. Для матрицы размера 2x2 \а Ъ\ det с d = ad — be. Продолжая по индукции, предположим, что детерминант матрицы размера (п — 1) χ (η — 1) определен. Пусть теперь А = [ау] есть матрица размера η χ п. Для 1 ^ г, j ^ n (i,j)-ft минор Мц матрицы А есть матрица размера (п — 1)х(п — 1), полученная из А, вычеркиванием г'-й строки и j-ro столбца матрицы А. Положим по определению det A = 5^(-l)1+iay det Μυ (1.37) ά=ι
80 Глава 1. Комплексные числа и линейная алгебра В качестве примера рассмотрим матрицу размера 3x3: det «11 «12 «13 «21 «22 «23 «31 «32 «33. -«12 = ац det det «22 «23 .«32 «33. «21 «23 .«31 «33. - + αΐ3 det «21 «31 «22 «32 = «ll(«22«33 - «23«32) - «12(«21«33 - «23«3l) + «1з(«21«32 — «22«3l)· Мы можем, конечно, распространить определение det Л вдоль любой строки или столбца с помощью выражения, аналогичного соотношению (1.37), но доказательство этого потребует некоторого труда, а приведенное выше определение будет достаточным для наших целей. На практике применение определения 1.75 —это очень медленный путь вычисления детерминанта больших матриц. Вместо этого мы будем проделывать над строками матрицы элементарные операции и следить за влиянием этих операций на детерминант (что просто) до тех пор, пока не получим верхней треугольной матрицы, детерминант которой есть произведение ее диагональных элементов. Подробно рассматривать этот алгоритм мы не будем, так как далее на нескольких простых примерах проиллюстрируем обсуждавшиеся выше идеи. Мы предполагаем знание следующих двух утверждений о детерминантах, доказательство которых можно найти в большинстве книг по линейной алгебре. Теорема 1.76. Пусть А есть матрица размера η χ п. 1) А — обратимая матрица тогда и только тогда, когда det А ф 0. 2) Если В есть другая матрица размера η χ η, то det(AB)=detAdetB. С помощью теоремы 1.76 мы сможем вычислять собственные значения и собственные векторы матрицы. Сначала нам потребуется следующее определение. Определение 1.77. Пусть А есть матрица размера η χ п. Характеристическим многочленом А называется выражение det(AJ-A), рассматриваемое как многочлен от переменной А. Просчитав несколько примеров, можно убедиться в том, что характеристический многочлен матрицы размера пхп есть многочлен степени η с членом наивысшего порядка Ап. Характеристический многочлен
1.5. Диагонализация линейных преобразований и матриц 81 играет ключевую роль в линейной алгебре, но для нас его использование будет связано со следующим наблюдением. Лемма 1.78. Пусть А есть матрица размера η χ п. Тогда собственные значенья матрицы А — это корни ее характеристического многочлена. Доказательство. По определению А есть собственное значение матрицы А тогда и только тогда, когда существует ненулевой вектор υ такой, что (XI — Α)υ = 0. Это эквивалентно тому, что линейное преобразование Г, определенное равенством Т(х) = (XI — А)х, не является «1-1 ^преобразованием (упр. 1.4.7). Из упр. 1.4.8(5) следует, что это имеет место тогда и только тогда, когда Г является необратимым; следовательно (по лемме 1.55), тогда и только тогда, когда матрица (XI — А) — необратимая. По теореме 1.76, п. 1), это эквивалентно равенству det(XI-A) = 0, которое означает, что А есть корень характеристического многочлена А. Ш Характеристический многочлен матрицы А может не иметь ни одного вещественного корня (упр. 1.5.4(1)). Однако, согласно основной теореме алгебры (теорема 1.28), любой непостоянный многочлен имеет комплексный корень. Это одно из соображений, по которому мы предпочитаем работать с полем С. Поэтому если мы рассматриваем матрицы как комплексные (что мы можем делать, даже если все элементы вещественные), то каждая матрица имеет собственное значение. Действительно, по следствию 1.29, каждый многочлен полностью расщепляется на произведение линейных множителей над С. Следовательно, если А есть матрица размера η χ η над полем С, мы можем записать det(AJ - А) = (А - λι)(λ - А2)... (А - Ап), (1.38) где Х{ могут повторяться. (Здесь нет константы перед произведением, потому что коэффициент при Ап равен единице.) Эти Ai, A2,..., λη являются всеми корнями характеристического многочлена, т. е. собственными значениями матрицы А. Чтобы уметь обращаться с ситуацией, когда некоторые А* в соотношении (1.38) повторяются, дадим следующее определение. Определение 1.79. Пусть А есть матрица размера пхп над полем С. Пусть Αι, Аг,..., А^ — различные собственные значения А. Тогда характеристический многочлен А может быть записан в виде det(AJ - А) = (А - Аг)Ш1(А - А2)Ш2... (А - А*)ш*, (1.39) где каждое щ есть положительное целое число, называемое алгебраической кратностью собственного значения Xj.
82 Глава 1. Комплексные числа и линейная алгебра Если А — матрица размера η χ η, то характеристический многочлен А имеет степень п, поэтому сумма алгебраических кратностей собственных значений А равняется п. По следствию 1.70 сумма геометрических кратностей самое большее равняется п. На самом деле справедливо даже больше: для каждого собственного значения его геометрическая кратность меньше или равна его алгебраической кратности. Этот факт нам далее не понадобится, поэтому не будем его доказывать. Однако заметим, что он дает другой критерий диагонализуемости: матрица диагонализуема тогда и только тогда, когда геометрическая кратность каждого собственного значения равняется его алгебраической кратности (так как это единственная возможность, чтобы сумма геометрических кратностей равнялась п). Упражнение 1.5.8 показывает, что этого может и не быть. Заметим: тот факт, что матрица должна иметь (комплексное) собственное значение, говорит о том, что линейное преобразование Г: V —► V на конечномерном векторном пространстве V над полем С должно иметь собственное значение, так как его представление матрицей в любом базисе имеет собственное значение. Ниже мы увидим, что характеристический многочлен и алгебраические кратности собственных значений матрицы инвариантны относительно преобразования подобия. Лемма 1.80. Пусть А и В — подобные матрицы. Тогда det{XI -A)= det(AJ - В). В частности, алгебраические кратности собственных значений мат- риц А и В одинаковы. Доказательство. Пусть Ρ такая матрица, что В = Р~1АР. Тогда XI - В = XI - Р~1АР = Р~1Х1Р - Р~1АР = Р~1(Х1 - А)Р, так как Ρ коммутирует с/ис умножением на скаляр А, а также PP~l = J. По теореме 1.76, п. 2, имеем: det Ρ"1 det Ρ = det{P~lP) = det / = 1. Поэтому det(AJ - В) = detfP-^AJ - Α)Ρ) = = det(P_1) det(AJ - A) det Ρ = det(AJ - A). Утверждение об алгебраических кратностях теперь очевидно, потому что они определяются характеристическим многочленом. ■
1.5. Диагонализацйя линейных преобразований и матриц 83 Теперь мы готовы рассмотреть пример и некоторые применения. Пример 1.81. Пусть А = -2 -1 -2 0 6 1 2 О 5 Определим, диагонализуемая ли матрица А, и если да, то найдем обратимую матрицу Ρ и диагональную матрицу D такие, что D — Р~1АР. Решение. Начнем с вычисления характеристического многочлена матрицы А: det(A/ - А) = det λ+ 2 1 2 О -6 ' λ-1 -2 О λ-5 = (λ + 2)(λ - 1)(λ - 5) + (-6)[0 - 2(λ - 1)] = = (λ - 1)(λ2 - 3λ + 2) = (λ - 1)2(λ - 2). Откуда 1 есть собственное значение алгебраической кратности 2, и 2 есть собственное значение алгебраической кратности 1. Сначала вычислим собственное пространство Е\ значения 1, которое состоит из всех векторов υ таких, что (1Ι — Α)υ = 0, это все решения системы уравнений '3 0 1 0 2 0 -6" -2 -4 α Ь с_ = , Ό1 0 oj Все эти уравнения приводят к равенству a = 2 с. Поэтому мы можем произвольно задать Ъ и с и затем положить a = 2 с. Поэтому подпространство Е\ состоит из всех векторов вида 2с Ъ с = Ь 0 1 0 + с 2 0 1 для некоторых скаляров Ъ и с. Это показывает, что Е\ — двумерное пространство, которое является линейной оболочкой двух линейно независимых векторов го" 1 L° и "21 0 _lj Теперь мы видим, что А — диагонализуемая матрица. Аналогичный анализ показывает, что собственное пространство, соответствующее соб-
84 Глава 1. Комплексные числа и линейная алгебра ственному значению 2, есть линейная оболочка вектора Гз1 Поэтому по лемме 1.74 мы имеем Р = Вычисления дают нам р-* = ГО 2 1 0 L° ι 3] 1 2\ D = Γι 0 L° 0 0] 1 0 0 2\ 1 1 2 0 -1 0 -2" -3 2 Мы можем это проверить: прямое вычисление показывает, что Р~1АР = D. Ш С диагонализуемой матрицей А вычисления проводить легче. Для примера рассмотрим вычисление больших степеней матрицы А. Если P~lAP = D, то А = PDP~l. Для любого положительного целого к Ак = PDP-lPDP-lPDP~l... PDP~l = PDkP~\ так как средние произведения Р~1Р пропадают. Но Dk есть диагональная матрица с диагональными элементами, которыми являются к-е степени соответствующих диагональных элементов D. В некоторых случаях мы можем также найти корни матриц. Пример 1.82. Пусть А есть матрица из примера 1.81. 1) Вычислить А20. 2) Найти матрицу В такую, что В2 = А. Решение. 1) Как показано выше, А20 = PD2QP~l = 0 2 3 1 0 1 0 1 2 "О 2 3" 1 0 1 0 1 2 10 0 0 1 0 0 0 220_ " 1 1-2 2 0-3 -220 0 221 1 1 2 0 -1 0 Τ = -2 -3 2 •4-3-220 0 -6 + 3-221 1 - 220 1 -2 + 221 2 - 221 0 -3 + 222
1.5. Диагонализация линейных преобразований и матриц 85 2) Так как диагональные элементы матрицы D неотрицательны, то легко найти матрицу С такую, что С2 = D, а именно С = 10 0" 0 1 0 0 0 у/2 Тогда В = РСР 1 удовлетворяет равенствам В2 = PCP-lPCP~l = PC2P~l = PDP-1 = А. Вычисление дает Г4-3\/2 0 -6 + 6λ/2Ί В= \-у/2 1 -2 + 2У2 . ■ [2-2\/2 0 -3 + 4\/2j Следующие два примера позволяют нам более глубоко осмыслить возможности диагонализации. Второй пример используется для решения разностного уравнения. Пример 1.83. Определим по индукции последовательность {хп}™=^ положив xq = 1, χι = 1 и для η ^ 0 Хп+2 = 2жп+1 + Зжп. Найти явную форму выражения для хп. Решение. Для любого η ^ 0 определим вектор (1.40) ^n = L Ж" . • Из соотношения (1.40) получаем Un+l = где Sn+2 = 2xn+\ + Зжп Л = "2 1 = 3] "2 1 3' 0 = Аип, Следовательно, un = ^п_1 = А2пп_2 = ... = Апио. Так как условия хо = ж χ = 1 дают нам по, то нам нужно вычислить только Ап. Вычисления показывают, что собственные значения матрицы А — это А = 3 с собственным вектором [3 1] и А = —1 с собственным вектором [—1 1]. Поэтому А = PDP'1 = Гз -ι" L1 ι "3 0" 0 -1 1 4 " 1 1] -ι з]
86 Глава 1. Комплексные числа и линейная алгебра Из этого следует, что Ап = PDnp-i = '3 -1] [Зп 1 10 0 (-1)«J 1 1 -1 3 3"+i - (-l)^1 3n+1 + 3(-l)n+1 3" - (-l)n 3n + (-l)n Откуда Xn+l = it„ = Auuq = Γ3η+ι _ (_i)n+i 3n+i + 3(_!)n+i [ 3n-(-l)n 3n + (-l)n 2·3η+1 + 2(-1)' 2-3' H + 2(_i)n+i-| }n + 2(-l)n J В частности, Xn — _ 3n + (-l)n (Заметим, что нет необходимости выписывать первый элемент вектора Апщ.) Можно непосредственно проверить, что хп удовлетворяет начальным условиям хо = х\ = 1 и что выполняется рекуррентное соотношение (1.40). ■ Этот метод можно использовать, чтобы получить формулу для п-го числа Фибоначчи (упр. 1.5.6). Следующий пример показывает, как может быть использована диа- гонализация при решении систем дифференциальных уравнений. Пример 1.84. Найти общее решение системы дифференциальных уравнений . Ух = -2yi + 6у3, 2/2 = -01 + У2 + 2уз, (1.41) Уз = -2yi + 5у3. Решение. Обозначим через у вектор с компонентами уьУ2,Уз· Здесь Л —та же самая матрица, что в примерах 1.81 и 1.82. Для полученных там PhD мы можем записать данные уравнения в виде у' = Ау = PDP~ly. Это эквивалентно уравнению Р-У = DP~ly.
1.5. Диагонализация линейных преобразований и матриц 87 Пусть ζ = P~ly и пусть компоненты ζ — это ζι, 32,23· Тогда (используя линейность производной) наше уравнение приобретает вид z1 = Dz, откуда: Ζι = Z\, Z2Z=Z Z2 И ^з = 2^з· Из теории дифференциальных уравнений мы знаем, что общие решения последних уравнений имеют вид z\{t) = С\е*^2{1) = С^ и z^(t) = Сзе2*, соответственно (общее решение уравнения /' = kf есть f(t) = Сеы, где С — произвольная константа). Но у = Pz, поэтому решение есть '2С2е< + ЗС3е2*Ч Cie* + С3е2< С2е< + 2С3е2< Можно убедиться, что y\{t), У2 (t) и ys(t) удовлетворяют системе (1.41). ■ [Ы<)1 И2(«) Lws(*)J = "0 2 з" 1 0 1 0 1 2 "Cie*" С2е* Lc3e2iJ = В этом примере диагонализуемость матрицы А приводит нас к изменению базиса (переход к z-координатам), в результате чего система разбивается на одномерные уравнения. В этом состоит основная идея диагонализации: большая проблема разбивается на более простые, независимые проблемы. Не каждая матрица или линейное преобразование диагонализуемы (упр. 1.5.8). Возникает вопрос, насколько близко в общем случае можно подойти к диагонализуемости. Это значит, что если мы рассматриваем все подобные матрицы для произвольной матрицы А, насколько близка к диагональной «наилучшая» из них? На это имеется один ответ, что всегда существует матрица, в которой на главной диагонали стоят собственные значения матрицы А (которые повторяются в блоках, соответствующих алгебраической кратности), а также нули или единицы на супердиагонали (более короткая диагональ как раз над главной диагональю) в зависимости от геометрической кратности собственных значений, и нули всюду на остальных местах матрицы. Эта матрица называется жордановой канонической формой матрицы А; она полностью подобно инвариантна А в том смысле, что каждая матрица подобна только одной матрице в жордановой канонической форме (с точностью до перестановки собственных значений), и две матрицы подобны, если они имеют одну и ту же жорданову форму. Это является теоретической кульминацией линейной алгебры, но мы здесь не нуждаемся в таком общем и мощном результате. Мы будем иметь дело с более простым случаем диагонализуемых матриц.
88 Глава 1. Комплексные числа и линейная алгебра Упражнения 1.5.1. Пусть А и В —матрицы размера η χ η над полем F, где либо F = R, либо F = С. Предположим, что А ~ Б, т. е. В = Р~1АР. Пусть А —скаляр и г; —вектор (в Rn, если F = R, и в Сп, если F = C). 1) Доказать, что равенство Αν = Аг; справедливо тогда и только тогда, когда Β(Ρ~ιν) = ΧΡ~ιν. 2) Дать прямое доказательство следствия 1.68, т. е. доказательство без использования леммы 1.67 или следствия 1.64. Подсказка: аналогично упр. 1.4.8(1), доказать, что умножение векторов на обратимую матрицу сохраняет их линейную независимость. 1.5.2. Пусть А — матрица размера пхп над полем R или С. Доказать, что А обратима тогда и только тогда, когда столбцы матрицы А, рассматриваемые как векторы, линейно независимы. Подсказка: пусть Г есть линейное преобразование, определенное равенством Т(х) = Ах. Пусть Vj есть j-й столбец матрицы А, рассматриваемый как вектор. Доказать, что span{i;i,i;2,... ,vn} = range Г (применяя упр. 1.4.8(2) с щ = е$), а также вспомнить лемму 1.57 и теорему 1.42. 1.5.3. Доказать лемму 1.74, п. 2): если Ρ есть обратимая матрица со столбцами vi, V2,... ,vn,D = [dy] есть диагональная матрица и P~lAP = D, то столбцы матрицы Ρ линейно независимы (это как раз следует из обратимости Ρ и упр. 1.5.2) и Av\ = daVi для каждого г = 1,2,..., η (т. е. v% есть собственный вектор А с собственным значением, равным г-му диагональному элементу D). 1.5.4. Пусть L1 О J · 1) Рассматривая А как матрицу над полем R, показать, что она не имеет вещественных собственных значений. 2) Рассматривая А как матрицу над полем С, найти комплексные собственные значения А и соответствующие собственные векторы для каждого собственного значения. 3) Найти обратимую матрицу Ρ над полем С и диагональную матрицу D над С такие, что P~lAP = D. 4) Используя п. 3), вычислить А". 5) Убедиться, что А2 = —I. Использовать это для вычисления А" и сравнить с ответом из предыдущего пункта.
Упражнения 89 1.5.5. Пусть xq = 1 и χι = —1. Для η ^ О определим по индукции #п+2 = Xn+i + 6жп- Найти формулу для хп. 1.5.6. Последовательность Фибоначчи определяется по индукции значениями xq = 0, х\ = 1 и для η ^ О равенством жп+2 = #η+ι + #η· Найти формулу для η-го числа Фибоначчи хп. (Ответ: яп = 5"1/2 2"п((1 + \/5)п - (1 - \/5)п).) 1.5.7. Пусть Л есть матрица размера ηχ η над полем С. 1) Доказать, что det(—А) = (—l)ndet А Подсказка: использовать индукцию. 2) Предположим, что Αι, Α2,..., А& — собственные значения матрицы А и алгебраическая кратность А$ равна га* для каждого г. Доказать, что детерминант А есть произведение собственных значений, взятых в степенях, равных кратности, т. е. ά<Α(Α)=\γι >$*... \%к. Во многих книгах это используется как наиболее элегантный способ определения детерминанта, но такой подход требует, в первую очередь, существования собственных значений. Подсказка: выберете нужным образом А в соотношении (1.39). Замечание: это означает, что детерминант матрицы инвариантен относительно преобразования подобия (так 2ке, как собственные значения и их алгебраические кратности). Это можно непосредственно увидеть, используя теорему 1.76, п. 2). 1.5.8. Пусть А = 3 1 О 3 Показать, что число 3 есть собственное значение А, которое имеет алгебраическую кратность 2, но геометрическую кратность 1. Сделаем вывод, что А не имеет базиса из собственных векторов и, следовательно, не диагонализуема. 1.5.9. Пусть А = 1) Найти диагональную матрицу D и обратимую матрицу Ρ такие, что P~lAP = D. 2) Найти матрицу В такую, что 1.5.10. Пусть Л —матрица размера пхп над полем С. Если Л— диагонализуема и к — положительное целое число, то доказать, что Ак также диагонализуема. Как собственные значения и собственные Г2 0 3 2 [з о 0] 1 3J
90 Глава 1. Комплексные числа и линейная алгебра векторы Ак связаны с собственными значениями и собственными векторами А? 1.5.11. Найти общее решение системы дифференциальных уравнений у[ = 8yi - 15у2, У2 = 2yi - Зу2. 1.5.12. Мы говорим, что матрицы АиВ одновременно диагонализуемые, если они диагонализуемы одной и той же матрицей; это значит, что существует обратимая матрица Ρ такая, что P~lAP = D\ и P~lBP = D2 для некоторых диагональных матриц D\ и D2. Доказать, что если Аи В одновременно диагонализуемы, то они перестановочны (коммутируют): АВ = В А. Подсказка: заметьте, что любые две диагональные матрицы перестановочны. 1.5.13. В предположении, что матрица А размера η χ η имеет η различных собственных значений, доказать утверждение, обратное утверждению упр. 1.5.12: если В есть матрица размера η χ η, перестановочная с А, то А и В одновременно диагонализуемы (определение дано в упр. 1.5.12). Подсказка: если Vj есть собственный вектор А с собственным значением λ^, используйте коммутативность АиВ, чтобы показать, что Bvj есть собственный вектор А с собственным значением Aj, следовательно, кратный Vj. Замечание: этот результат справедлив без предположения о том, что А имеет η различных собственных значений: если АиВ диагонализуемы и коммутируют, то А и В одновременно диагонализуемы. Этот результат широко применяется в квантовой механике. 1.6. Скалярные произведения, ортонормированные базисы и унитарные матрицы Такие рассмотренные нами понятия как линейная независимость и базисы, имеют смысл для любого векторного пространства. Однако наши основные примеры Rn и Сп так же, как некоторые бесконечномерные векторные пространства, обладают дополнительной структурой, связанной со «скалярным произведением». В общем случае скалярное произведение есть обобщение скалярного произведения векторов в Rn. Оно дает обобщенное понятие перпендикулярности, называемое ортогональностью. Это приводит к ортонормированным базисам и унитарным матрицам, которые особенно удобны в использовании.
1.6. Ортонормированные базисы и унитарные матрицы 91 Для векторов χ и у в Rn с компонентами а^, Ж2,..., жп и уы/г* · · · > Уп> соответственно, скалярное произведение χ иу есть вещественное число η В комплексном случае имеет место следующий аналог. Определение 1.85. Пусть векторы z,w € Сп, т. е. ζ = Ζη u w = ttfl ί!72 % Скалярным произведением (комплексным) векторов ζ и w называется выражение п где wj есть число, комплексно-сопряженное Wj. Вскоре мы увидим причины, по которым в определении 1.85 вводится комплексное сопряжение. Определение 1.86. Пусть V — векторное пространство над полем С. Скалярное (комплексное) произведение есть отображение (·,·): V х V —► С со следующими свойствами: Ш (аддитивность), (и + v, w) = {и, w) + {υ, w) для всех и, ν, w € V. Π2 (однородность относительно умножения на скаляры), (αη, υ) = α(η, ν) для всех a Ε С и всех ц, г; 6 V. ПЗ (сопряженная симметрия), (и, г;) = (υ, и) для всех u,v £ V. П4 (положительная определенность), {и, и) ^ 0 для всех и € V, и (η, и) = О тогда и только тогда, когда и = 0. Векторное пространство V с комплексным скалярным произведением так и называется пространством с (комплексным) скалярным произведением. Аддитивность (П1) по первой переменной вместе со свойством ПЗ означает (упр. 1.6.1) аддитивность по второй переменной: (и, υ + w) = {и, υ) + (u, w) для всех и, ν, w € V. (1-42) Однако однородность (П2) по первой переменной и свойство ПЗ дают (упр. 1.6.1) сопряженную линейность по второй переменной: (и, αν) = а (и, υ) для всех α € С и всех и, υ € V. (1-43)
92 Глава 1. Комплексные числа и линейная алгебра Пример 1.87. Для z,w € Сп определим (z,w) = ζ - w. Тогда (·, ·) есть комплексное скалярное произведение в Сп (упр. 1.6.2(1)). При проверке этого факта можно видеть, что сопряжение в определении скалярного произведения для векторов из Сп необходимо для выполнения свойства положительной определенности П4. Это объясняет необходимость в свойстве ПЗ. Для векторного пространства V над R мы определяем вещественное скалярное произведение аналогичным образом за исключением того, что (и, υ) есть всегда вещественное число, и мы рассматриваем только a € R в П2. В этом случае ПЗ принимает вид (и, г;) = (г;, и). В качестве примера определим (ж, у) = χ у для всех ж, у € Rn. Тогда (упр. 1.6.2(2)) (·, ·) есть вещественное скалярное произведение в Rn. Далее мы будем в основном рассматривать пространства с комплексным скалярным произведением. Почти все результаты, которые мы будем обсуждать, выполняются также и для пространств с вещественным скалярным произведением в тех случаях, когда они будут определены надлежащим образом. Чтобы избежать неточностей в обозначениях, мы рассматриваем только комплексный случай, потому что это нам будет нужно позже. Пример 1.88. Пусть ^2(N) — множество всех суммируемых с квадратом последовательностей: ί ^2(Ν) = < {zj}f=l: Zj Ε С для всех j и ]Г \zj\2 < оо С обычным покомпонентным сложением и скалярным умножением ^2(N) есть векторное пространство над полем С (упр. 1.6.3(2)). Для ζ = {Zj}f=l e £2(N) nw = {Wj}f=l e e2(N) пусть oo {z,w) = ^m- (Как следует из упр. 1.6.3(3), этот ряд абсолютно сходится.) Тогда (·, ·) есть комплексное скалярное произведение в ^2(N) (упр. 1.6.3(4)). Пример 1.89. Пусть С([0,1]) —множество непрерывных комплексно- значных функций, определенных на отрезке [0,1]: С([0,1]) = {/: [0,1] -> С, / непрерывна на [0,1]}. (Комплекснозначная функция / на [0,1] непрерывна, если ее вещественная и мнимая части и(х) = Re f(x) и υ(χ) = 1т/(ж), соответственно, непрерывны.)
1.6. Ортонормированные базисы и унитарные матрицы 93 С поточечным сложением и умножением на скаляры (как в примере 1.33), С([0,1]) есть комплексное векторное пространство. Для f>9 € С([°> Ч) определим ι о (Интеграл по [0, 1] комплекснозначной функции f(x) = u(x) + iv(x), где ι ι и и υ — вещественные функции, определяется как J u(x)dx + г J v(x)dx.) о о Тогда (·,·) есть комплексное скалярное произведение в С([0,1]) (упр. 1.6.4). Скалярное произведение всегда определяет норму (упр. 1.6.5) следующим образом. Определение 1.90. Пусть V — векторное пространство над полем С с комплексным скалярным произведением (·,·). Для υ Ε V определим и = у/м- (Квадратный корень вычисляется из неотрицательного вещественного числа в силу свойства П4 в определении 1.86.) Мы называем ||ν|| нормой вектора υ. Заметим, что для пространства Rn эта норма совпадает с обычным понятием длины вектора. С этого момента, когда мы говорим, что V есть пространство с комплексным скалярным произведением, мы предполагаем (если не делается специальное замечание), что (·,·) определяет скалярное произведение в V, а || · || обозначает норму в V, полученную с помощью произведения, как в определении 1.90. Лемма 1.91 (неравенство Коши—Шварца). Пусть V есть про- странство с комплексным скалярным произведением. Тогда для любых и, υ 6 V справедливо неравенство |(п,г;)|^|Н||Н|. Доказательство. Пусть %υ е V. Если υ = 0, то (и,υ) = (%0υ) = = 0(и, υ) = 0, поэтому результат получается автоматически. Теперь предположим, что υ φ 0. Для любого А € С из положительной определенности скалярного произведения (свойство П4 в определении 1.86) следует соотношение 0 ^ (и + \v,u + \v).
94 Глава 1. Комплексные числа и линейная алгебра Раскроем правую часть неравенства (используя свойства линейности Ш и П2, а также формулы (1.42) и (1.43)); получим О ^ {щ и) + {и, λυ) + {λυ, и) + (Αν, λυ) = = \\u\\2+\(u,v) + \(u,v) + \\\2\\vf; в нижней строке мы применили свойство ПЗ. Возьмем (u,v) А~~йГ Подстановка этого значения в предыдущее выражение дает о < и»»2 - 2 |(ц,")|2 +|(ц,г,)|2 imp - iidi2 - K",t,)|2 откуда следует Л Л Kn,v>|2^N|2iHi2. Взяв квадратный корень из обеих частей неравенства, получим утверждение леммы. ■ Следствием этой леммы является обобщение неравенства треугольника. Следствие 1.92 (неравенство треугольника в пространстве со скалярным произведением). Пусть V есть пространство с комплексным скалярным произведением. Тогда для и, υ Ε V ||« + νΚΝ + Ν|. Доказательство. Применяя определения и неравенство Коши— Шварца, получим \\и + υ\\2 = (и + υ, и + υ) = (и, и) + (и, υ) + (υ, и) + (υ, υ) <Ν|2 + 2|Η||Η| + |Η|2 = (ΗΙ + ΙΗ|)2. Возьмем теперь квадратный корень от обеих частей неравенства. ■ Напомним, что для векторов χ и у в пространстве R2 или R3 спра- ведливо равенство x-y=\\x\\\\y\\cose, где θ есть угол между χ и у. В частности, ненулевые векторы χ и у перпендикулярны тогда и только тогда, когда χ · у = 0. В случае пространства со скалярным произведением большей размерности, которое не допускает визуального описания, скалярное произведение можно использовать для определения обобщенного понятия перпендикулярности. Определение 1.93. Пусть V — пространство с комплексным скалярным произведением. Мы говорим, что векторы η, υ 6 V ортогональны (и пишем u -L г;), если (и, г;) = 0.
1.6. Ортонормированные базисы и унитарные матрицы 95 Заметим, что если u J_ v, то разложение скалярного произведения дает ||« + vf = ||u||2 + <«, ν) + (ν, и) + \\vf = \\uf + \\vf. (1.44) Это — обобщенный вариант теоремы Пифагора. Определение 1.94. Пусть V — пространство с комплексным скалярным произведением и В — некоторая совокупность векторов в V. Множество В называется ортогональным, если любые два различных элемента в В ортогональны. Множество В является ортонормированным, если В есть ортогональное множество и ||v|| = 1 для всех υ Ε В. Ортогональные множества ненулевых векторов линейно независимы. Лемма 1.95. Пусть V — пространство с комплексным скалярным произведением, а В —ортогональное множество векторов в V и О ^ В. Тогда В есть линейно независимое множество. Доказательство. Предположим, что ηι, U2,..., щ € В и существуют скаляры αϊ, α2,..., α^ такие, что ot\U\ + QL2U2 + ... + afcUfc = 0. Вычислим скалярное произведение от обеих частей равенства с элементом щ, где j 6 {1,2,..., к} — произвольное целое число. В предположении ортогональности {щ, щ) = 0 для / φ j. Мы получаем Так как щ φ 0 (0 ^ В по предположению), то {uj,Uj) = ||u||2 φ 0 (по свойству П4), следовательно, ctj = 0. Так как j произвольное, то это доказывает, что В — линейно независимое множество. ■ Лемма 1.96. Пусть V — пространство с комплексным скалярным произведением, и В = {iti, 1*2, · · ·, t*n} — ортогональное множество в V с Uj φ 0 при всех j. Если υ 6 span В, то ιι = έτ^· (1.45) Доказательство. Так как υ Ε span В, то существуют скаляры αχ, СК2,..., otn такие, что ν = a\U\ + (X2U2 + ... + апип. Для каждого j вычисление скалярного произведения обеих частей этого уравнения с щ и использование ортогональности элементов В дают Выразив из этого равенства а^, получим формулу (1.45). ■
96 Глава 1. Комплексные числа и линейная алгебра Для произвольного элемента и, принадлежащего линейной оболочке конечного множества, можно решить систему линейных уравнений и найти коэффициенты в разложении и. Лемма 1.96 демонстрирует основное преимущество ортогональности: для ортогонального множества В и υ Ε span В легко определить коэффициенты разложения элемента υ. Заметим, что если мы предположим ортонормированность элементов В, то формула (1.45) еще более упрощается: η v = ^2(v^uj)uj- (1-46) Выражение (1.45) приводит нас к понятию ортогональной проекции. Определение 1.97. Пусть V — пространство с комплексным скалярным произведением, и В = {щ, щ,..., г^} —ортогональное множество в V с Uj\ф О при всех j. Пусть S = span В. (Вследствие упр. 1.3.3 S есть подпространство V.) Для υ 6 V определим ортогональную проекцию Ps{v) элемента υ на S равенством Оператор ортогональной проекции Ps обладает следующими свойствами. Лемма 1.98. Пусть V,B,S и Ps —me же, что и в определении 1.97. Тогда 1) Ps есть линейное преобразование. 2) Ps{v) € S ля каждого ν € V. 3) Если s e S, то Ps(s) = s. 4) (Свойство ортогональности). Для любых υ eV и s € S (ν - Ps(v)) ± s. 5) (Свойство наилучшей аппроксимации). Для любых υ EV us Ε S \\V-P8(V)\\*\\V-81 и равенство справедливо тогда и только тогда, когда s = Ps(v). Доказательство. Свойство 1 следует из аддитивности скалярного произведения (П1 в определении 1.86) и из соотношения (1.47). Выражение (1.47) показывает также, что Ps(v) Ε spanB = 5, поэтому выполняется 2. Из леммы 1.96 следует утверждение 3.
1.6. Ортонормированные базисы и унитарные матрицы 97 Для доказательства свойства 4 возьмем υ € V и заметим, что для каждого га ортогональность множества В означает, что п ( ■) Эквивалентно, (v-Ps(u),um) = 0, поэтому (г; — Р$(г>)) J_ um для га = 1,2,..., п. Так как любой элемент s e S есть линейная комбинация щ, П2,..., пп, то (г; — Ps(^)) -L *· Для доказательства свойства 5 рассмотрим υ EV и s € S. Тогда \\v-s\\2 = \\v-Ps(v) + Ps(v)-s\\2 = = ||V - Ps(v)f + \\Ps(v) - s\\2 > \\v - Ps(v)\\2, где предпоследний шаг следует из формулы (1.44): так как s и Ps{v) принадлежат подпространству 5, то Ps(v) — s € 5, и, ввиду 4, υ — Ps(^) ортогонально любому элементу 5. Взяв квадратный корень, получим утверждение 5. ■ Свойство 5 в лемме 1.98 говорит о том, что ближайшим элементом к υ в подпространстве S является его ортогональная проекция Ps(v). Это соответствует нашей геометрической интуиции в случае пространств R2 и R3. Следует отметить, что, несмотря на определение, Ps не зависит от выбора ортонормированного базиса В для S: для любых двух орто- нормированных базисов в S результирующая проекция одна и та же. Упражнение 1.6.8 дает более прямое доказательство этого факта. Имея линейно независимое множество векторов, мы можем получить ортонормированное множество с той же самой линейной оболочкой, выполняя процедуру Грама—Шмидта, как это показывает следующая лемма. Лемма 1.99 (процедура Грама—Шмидта). Пусть V —пространство с комплексным скалярным произведением, и {u\,U2, ..., ип} есть линейно независимое множество в V. Тогда существует ортонормированное множество {vi, г>2,..., νη} с той же самой линейной оболочкой. Доказательство. Для каждого к = 1,2,...,п положим Sk = = span{ui, ί/2,..., Uk}. Определим по индукции векторы w\, W2,..., wn так, что на каждом шаге множество Вь = {ttfi, W2,..., Wk} ортогонально (в конце оно будет нормировано) и spanBfc = Sk- Для начала пусть w\ = и\. Тогда В\ удовлетворяет требованиям. По индукции предположим, что Bfc-i = {w\, W2,..«, Wk-ι} — ортогональное множество и spanBfc_i = Sk-v
98 Глава 1. Комплексные числа и линейная алгебра Пусть Psfc_i —оператор ортогональной проекции на Sfc_i; положим wk = uk- Ps^Uk = u* - £ ~^p- wj9 (1.48) так как по предположению Bk-i есть ортогональное множество с линейной оболочкой Sk-i- Заметим, что wk φ О, так как если wk = 0, то из формулы (1.48) следует, что wk принадлежит Sfc_i, что противоречит (упр. 1.3.9(1)) линейной независимости {ί/ι,ί/2,... ,un}. По свойству 4) леммы 1.98 вектор wk ортогонален любому элементу в 5*_ι, в частности, wi, ιι>2,..., Wk-i- Поэтому множество Вк ортогональное. Теперь все w\,W2,... 9Wk-i принадлежат Bk-i С Sk-i Q Sfc. Также Psk-iU>k € Sfc_i С Sk и Uk € Sk', в соответствии с формулой (1.48) имеем Wk € Sfc. Из этого следует, что spanBfc С Sk- Чтобы доказать обратное включение, сначала заметим, что ui,t/2,... ,Uk-i Ε Sk-i = spanBk-i Q spanSfc. Также Psfc_i^Ar € Sk-i = = spanBfc_i С span Вk и Wk € spanBfc. Поэтому из формулы (1.48) следует, что щ € spanB^ и^С spanB^. Из двух включений получаем Sk = span В*., что завершает индукцию. После η шагов этот процесс дает нам ортогональное множество {wi,ti72,... ,И7П} с той же линейной оболочкой, что и у множества {щ, U2,..., un}. Ортонормированное множество {υχ, г>2,..., νη} в утверждении теоремы получается в результате нормирования: Vj = Wj/||wj|| для каждого j. Это не изменяет ортогональности или линейной оболочки. ■ Определение 1.100. Пусть V — пространство с комплексным скалярным произведением. Ортонормированный базис V — это ортонормированное множество в V, которое также является и базисом. Любое конечномерное пространство с комплексным скалярным произведением имеет ортонормированный базис. Действительно, оно имеет некоторый базис по определению; по лемме 1.99 существует ортонормированное множество, линейная оболочка которого совпадает с V и которое имеет такое же число элементов и, следовательно, также является базисом. Стандартный базис в Сп (определение 1.39) есть пример ортонормированного базиса. Мы легко можем вычислять скалярные произведения и нормы, используя компоненты векторов в ортонормированных базисах. Лемма 1.101. Пусть V есть пространство с комплексным скалярным произведением и с (конечным) ортонормированным базисом R = {ui,u2,...,un}.
1.6. Ортонормированные базисы и унитарные матрицы 99 1) Для любого υ € V ν = ^{v,u0)u0. (1.49) 3=1 2) (Равенство Парсеваля). Для любых v, w € V η (v,w) =J2{v,Uj){w,Uj). (1.50) i=i 3) (Формула Планшереля). Для любого υ € V ΙΗΙ2 = ΣΙ(^^)Ι2. (ΐ.5ΐ) Доказательство. Пункт 1 —это формула (1.46), которая применима к любому υ € V, так как R есть базис V. Чтобы доказать равенство Парсеваля, применим формулу (1.49) к векторам ν и w и запишем, используя линейность скалярного произведения: \j=l / j=l η = 5^<V,Uj>(tl7,lij>. Пункт 3 следует из п. 2, если положить w = υ. Ш Свойства 1, 2 и 3 делают ортонормированные базисы простыми в использовании. Далее мы рассмотрим унитарные матрицы, которые тесно связаны с ортонормированными базисами. Определение 1.102. Пусть А = [a,ij] — матрица размера тхп над полем С. Матрица А*, транспонированная к матрице А, есть матрица В = = [b{j] размера η χ га, определенная для всех г, j равенствами Ъц = αβ. Матрица А*, сопряженная матрице А> есть матрица С = [qj] размера η χ га, определенная равенствами Qj = α]ϊ для всех г, j. Другими словами, транспонированная матрица А* получается из матрицы А, если в ней поменять местами строки и столбцы. Сопряженная матрица А* получается взятием комплексно-сопряженных значений от всех элементов матрицы А*. Элементы комплексной матрицы А = [а^] размера тхп можно выразить через скалярное произведение по формуле Oij-iAe^ei), (1.52)
100 Глава 1. Комплексные числа и линейная алгебра где ej € Сп и е$ € Ст — это векторы евклидова базиса в определении 1.39. Чтобы убедиться в этом, заметим, что fc-я компонента вектора Aej есть J η (Aej)k = Y^aki(ej)i = akj, ι=ι так как (ej)/, 1-я компонента вектора ej равна 1, если / = j, и О для других значений / и j. Следовательно, га {Ае0, ei) = ^2 akj{ei)k = a>ij- Более общая формула дается в упр. 1.6.18. Лемма 1.103. Пусть А есть матрица размера πι χ η над полем С. Тогда {Az, w) = (ζ, A*w) для всех ζ Ε Cn и w 6 Cm. if тому же, А* есть единственная матрица, обеспечивающая выполнение этого свойства. Доказательство. Пусть ζ € Сп и w € Cm имеют компоненты ζχ,Ζ2, ..., ζη и U7i,ti72, ..., wm, соответственно. Пусть Л = [ajj] — матрица размера πι χ η, и пусть В = [ify] — матрица размера η χ т. Заметим, га что j-я компонента (Bw)j вектора Bw есть ^ Ь^ед. Поэтому г=1 η η ~га η га (ζ, Bw) = ς zj(Bw)j = Σ ^Σ ь^ = Σ Σ b#ziwi· j=l j=l г=1 j=l г=1 С другой стороны, га τη η (Az, w) = Y^{Az)iWl = Σ Σ ачг№' г=1 г=1 j=l Поэтому если В = А*, т. е. fyj = Щ% или, эквивалентно, Ь^^ = ^ij для всех г и j, то (Аг, w) = (ζ,Βΐΐ;). Чтобы показать единственность матрицы, обеспечивающей выполнение указанного соотношения, предположим, что В = [bij] удовлетворяет равенству (Az,w) = (г, Яш) для всех ζ € Сп и w € Cm. По формуле (1.52) % = (^Ц,·^) = (eJ9Bei) = {Веиеа) = 6^, что и требовалось доказать. ■ Определение 1.104. Пусть Л есть матрица размера η χ п. Матрица А называется унитарной матрицей, если А обратима и А~1 = А*.
1.6. Ортонормированные базисы и унитарные матрицы 101 Для матрицы над полем вещественных чисел сопряженная матрица—это то же самое, что и транспонированная матрица. Поэтому вещественная унитарная матрица А удовлетворяет равенству А~1 = Аг; такая матрица называется ортогональной. Унитарные матрицы обладают несколькими интересными свойствами. Лемма 1.105. Пусть А есть матрица размера пхп над полем С. Тогда следующие утверждения эквивалентны: 1) А есть унитарная матрица. 2) Столбцы матрицы А образуют ортонормированный базис пространства Сп. 3) Строки матрицы А образуют ортонормированный базис пространства Сп. 4) Матрица А сохраняет скалярные произведения, т. е. (Az, Aw) = {z,w) для всех z,w € Cn. 5) ||Аг|| = ||г|| для всех ζ € Сп. Доказательство. Сначала докажем, что свойства 1 и 2 эквивалентны. Пусть Vj есть j-й столбец матрицы А. По определению, г-я строка матрицы А* есть вектор щ с компонентами (u[)k, 1 ^ fc ^ η; это комплексно-сопряженные компоненты (vi)k вектора νι. По определению произведения матриц (i,j)-ft элемент матрицы А*А есть η (A*A)ij = ^2(vl)k(vj)k = (vj,Vi). Из упр. 1.4.12(2) следует, что А есть обратимая матрица с А~1 = А* тогда и только тогда, когда А* А = J. Следовательно, А есть унитарная матрица тогда и только тогда, когда (vj,Vi) = 1 при г = j и 0 в других случаях. Это справедливо тогда и только тогда, когда множество {vi, V2,..., νη} ортонормированно. Если так, то это множество автоматически есть базис Сп, так как это линейно независимое множество (лемма 1.95) из η элементов в n-мерном пространстве (теорема 1.42). Это доказывает, что свойства 1 и 2 эквивалентны. Применение аналогичных рассуждений к матрицы АА* доказывает, что свойства 1 и 3 эквивалентны (упр. 1.6.9). Далее мы докажем эквивалентность свойств 1 и 4 . По лемме 1.103, (Αζ,Αιυ) = (ζ, A* Aw). Если выполняется п. 1, то это означает, что А*А = J, и тогда выполняется п. 4. Обратно, если выполняется п. 4, то для любых ζ и w (ζ, w - A*Aw) = 0.
102 Глава 1. Комплексные числа и линейная алгебра Выбор ζ = w — A* Aw показывает, что A* Aw = w. Так как это выполняется для всех w, мы получаем (вследствие упр. 1.4.6(1)), что А*А = I. Мы оставляем читателю доказательство эквивалентности свойств 1 и 5 в качестве упражнения 1.6.7(4). ■ Если О есть ортонормированный базис, то матрицы преобразования координат вектора при переходе от базиса О к евклидову базису и обратно — унитарные. Лемма 1.106. Пусть Ε = {βι,β2,... ,en} — стандартный базис пространства Сп (определение 1.39) и О = {ui,U2j ··· ,v>n} —некоторый ортонормированный базис Сп. Пусть U есть матрица размера пхп, j-м столбцом которой является вектор Uj. 1) Тогда матрица U унитарна и является матрицей перехода от базиса О к базису Е, a U* есть матрица перехода от базиса Ε к базису О. 2) Предположим, что Г: Сп —► Сп есть линейное преобразование, представленное матрицей А в стандартном базисе (т. е. Τ (ζ) = Αζ). Тогда Τ представляется в базисе О матрицей ATi0 = U*AU. Доказательство . 1) Тот факт, что U есть унитарная матрица, следует из ортонор- мированности базиса О и леммы 1.105, так как любые η ορ- тонормированных векторов являются базисом пространства Сп (лемма 1.95 и теорема 1.42). Упражнение 1.4.15 показывает, что U есть матрица перехода от базиса О к базису Е. Из упр. 1.4.14 следует, что U~l — матрица перехода от базиса Ε к базису О, которая равна 17*, так как U — унитарная матрица. 2) Это следует из п. 1 и леммы 1.61. ■ Напомним главную тему разд. 1.5: мы имеем линейное преобразование Г, представленное в некотором базисе R матрицей А. Мы хотим выделить другой базис S так, чтобы матрица В, представляющая Г в 5, была по возможности более простой. Мы выбираем В среди всех матриц, подобных А, т. е. всех матриц таких, что существует обратимая матрица Р, обеспечивающая выполнение равенства В = Р~1АР. Если R — стандартный базис и S ортонормированный базис, то Ρ есть унитарная матрица. Этот случай особенно легок в использовании, так как, например, унитарная матрица легко обратима. Это приводит к специальным определениям в случае, когда Ρ есть унитарная матрица. Определение 1.107. Пусть А и Б —матрицы размера пхп над полем С. Мы говорим, что А и В унитарно подобные, если существует
1.6. Ортонормированные базисы и унитарные матрицы 103 унитарная матрица U такая, что В = U*AU. Если А унитарно подобна диагональной матрице, мы говорим, что А есть унитарно диагонализу- емая матрица. Замечательно, что существует простая характеристика унитарно диагонализуемых матриц. Доказательство - этого несколько запутано, поэтому мы оставляем его в ряде упражнений (упр. 1.6.11 и 1.6.16) для особо увлеченных студентов. Определение 1.108. Матрица А размера η χ η называется нормальной, если А* А = АА*. Заметим, что унитарные матрицы — нормальные матрицы. Термин «нормальная» вводит в заблуждение, так как большинство матриц не являются нормальными. Следующая теорема показывает, что нормальные матрицы унитарно диагонализуемы. Они должны были бы быть названы «исключительными» или «замечательными», а не «нормальными» матрицами. Теорема 1.109 (спектральная теорема для матриц). Пусть А есть матрица размера пхп над полем С. Тогда следующие утверждения эквивалентны: 1) А есть унитарно диагонализуемая матрица. 2) А есть нормальная матрица. 3) Существует ортонормированный базис Сп, состоящий из собственных векторов матрицы А. Доказательство. Тот факт, что из утверждения 1 вытекает утверждение 2, доказывается в упр. 1.6.11. То, что из п. 2 вытекает п. 3, доказать трудно. Набросок доказательства дается в упр. 1.6.12 с помощью упр. 1.6.16. Тот факт, что из п. 3 вытекает п. 1, следует из леммы 1.74: диагонализуемую матрицу можно построить, взяв столбцы, равные элементам ортонормированного базиса из собственных векторов А, следовательно, эта матрица унитарная по лемме 1.105. ■ Спектральная теорема — это главная теорема линейной алгебры. Ее обобщение на бесконечномерные векторные пространства является одной из ключевых теорем в функциональном анализе. Это обобщение гораздо более сложно, потому что в бесконечномерном случае спектр преобразования Г (некоторое обобщение множества собственных значений) не обязательно дискретный, поэтому нужно ввести на этом спектре нужную меру. Первый шаг в понимании этого глубокого результата — это понять случай матриц.
104 Глава 1. Комплексные числа и линейная алгебра Существует еще один более специальный тип матриц, которые мы будем рассматривать. Определение 1.110. Матрица А размера пхп называется эрмитовой, если А* = А. Другими словами, А = [ау] есть эрмитова матрица, если элементы, полученные при отражении матрицы относительно ее диагонали, являются комплексно-сопряженными элементам исходной матрицы: т. е. α,ρ = Щ для всех i,j. Заметим, что диагональные элементы эрмитовой матрицы должны быть вещественными. Если А имеет только вещественные элементы, то А эрмитова тогда и только тогда, когда А = А1. Такая вещественная матрица называется симметричной. Эрмитовы матрицы имеют следующие характеристики. Лемма 1.111. Пусть А —матрица размера η χ п. Тогда следующие утверждения эквивалентны: 1) А есть эрмитова матрица. 2) А есть нормальная матрица, и собственные значения А — вещественные числа. 3) Существуют унитарная матрица U и диагональная матрица D с вещественными элементами такие, что А = U*DU. Доказательство. (1 => 2): предположим, что А есть эрмитова матрица. Тогда А есть нормальная матрица: А* А = А2 = АА*. Предположим, что А есть собственное значение матрицы А с ненулевым собственным вектором υ. Тогда, используя лемму 1.103, имеем: Χ(υ, υ) = (Χυ,υ) = {Αν, υ) = (υ, Α*υ) = (υ, Αν) = (ν,Χυ) = \(υ,υ). Так как (υ, υ) φ 0, получаем Α = А; это означает, что А — вещественное число. (2 => 3): так как А есть нормальная матрица, то, по теореме 1.109, существуют унитарная матрица U и диагональная матрица D такие, что А = U*DU. Диагональные элементы матрицы D — это ее собственные значения —те же самые, что и собственные значения матрицы А (следствие 1.68), и поэтому вещественны по определению. (3 => 1): предположим, что А = U*DU, где U — унитарная матрица, a D — диагональная матрица с вещественными элементами. Тогда из упр. 1.6.10(1) следует, что А* = (U*DU)* = U*D*{U*)* = U*D*U по определению сопряженного транспонирования. Но так как D есть диагональная матрица с вещественными элементами, то D* = D. По-
Упражнения 105 этому Л* = U*DU = А. Следовательно, А есть эрмитова матрица. ■ Унитарные матрицы имеют характерные свойства аналогичной природы, см. упр. 1.6.19. Упражнения 1.6.1. Пусть V — векторное пространство над полем С и (·,·) есть (комплексное) скалярное произведение в V. Доказать формулы (1.42) и (1.43). 1.6.2. Проверить, что операция (·, ·), определенная в примере 1.87, есть комплексное скалярное произведение в Сп. 1.6.3. 1) Для z, w € С доказать, что 2\zw\ ^ |z|2 + |w|2, и сделать вывод, hto\z + w\2^2(\z\2 + \w\2). 2) Для последовательностей ζ = {zj}^, w = {wj}^ E ^2(N) (определенных в примере 1.88) и А € С определим ζ + w = {zj + Wj}f=i и \z = {\z0}f=l. Доказать, что ^2(N) с этими операциями есть векторное пространство над полем С. (Единственное требование в определении 1.30, которое не очевидно, есть (71, которое следует из п. 1.) 3) Для ζ = {za}f=l e e2(N) nw = {wa}f=l e £2(N) доказать, что oo ряд Σ ZjWj абсолютно сходится. i=i 4) Доказать, что операция (·,·), определенная в примере 1.88, есть комплексное скалярное произведение в ^2(N). 1.6.4. Доказать, что операция (·,·), определенная в примере 1.89, есть комплексное скалярное произведение в С([0,1]). 1.6.5. Нормированное векторное пространство есть векторное пространство V с отображением || · || (называемым нормой), определенным в V со следующими свойствами: HI (положительная определенность). Для любого υ € V норма || г; || есть неотрицательное вещественное число. Н2 (невырожденность). ||г;|| = 0 тогда и только тогда, когда г; = 0. НЗ (скалярная совместимость). ||Аг;|| = |А|||г;|| для любого скаляра А и любого υ € V. Н4 (неравенство треугольника). ||ι* + ν||^||ι*|| + ||ν|| для любых и, υ € V.
106 Глава 1. Комплексные числа и линейная алгебра 1) Пусть V — пространство с комплексным скалярным произведением. Определим || · || как в определении 1.90. Показать, что V с || · || есть нормированное векторное пространство. Замечание: упр. 1.6.6 показывает, что в этом случае существуют нормы, которые не порождены скалярным произведением. 2) Предположим, что V с || · || есть нормированное векторное пространство. Для η, υ € V определим d(u, υ) = \\u—υ\\. Доказать, что V с d есть метрическое пространство. (См. упр. 1.1.2 для определения метрического пространства.) Это пример различных уровней структуры в математике. Метрическое пространство есть более общий объект (т. е. менее структурированный), чем нормированное векторное пространство, которое, в свою очередь, является более общим, чем пространство со скалярным произведением. В общем случае полное пространство со скалярным произведением (называемое гильбертовым пространством) имеет ту же самую структуру, что и Сп, но, конечно, не обязательно является конечномерным. 1.6.6. 1) Пусть V — пространство с комплексным скалярным произведением и || · || — норма, полученная из скалярного произведения согласно определению 1.90. Доказать тождество параллелограмма: 2\\zf + 2\\wf = \\z + wf + \\z-wf для любых z,w € V. Разобраться, почему это называется тождеством параллелограмма: нарисовать два ненулевых вектора z,w € R2 с общей исходной точкой и рассмотреть параллелограмм со сторонами ζ и w. Показать, что сумма квадратов длин двух диагоналей равняется сумме квадратов длин четырех сторон. 2) Для ζ € С2 определим где ζ\ и Ζ2 — компоненты ζ. Доказать, что || · ||ι есть норма в пространстве С2 (она называется £1 -нормой). 3) Найти векторы z,w € с2 такие, что 2|ΜΙ? + 2|ΗΙ??ί||* + 4Ι? + ΙΙ*-«ΊΙ?. Доказать, что || · ||ι есть норма, которая не получается из скалярного произведения.
Упражнения 107 1.6.7. Пусть V есть пространство с комплексным скалярным произведением и Г: V —► V — линейное преобразование. 1) (Поляризационное тождество.) Доказать, что для любых u, vEV 4(T(u), υ) = (T(u + ν), u + υ) - (T(u - ν), u - г;)+ + г(Г(п + iv),u + iv) — i(T(u — iv), u — iv). 2) Доказать, что комплексное скалярное произведение определяется индуцированной им нормой; это значит, что если два скалярных произведения в V приводят к одной и той же норме, то эти два скалярных произведения должны быть одинаковыми. Подсказка: положить Г в п. 1 единичным оператором. 3) Пусть для всех и 6 V справедливо равенство {Т(и),и) = 0. Доказать, что Г есть нулевой оператор, т. е. T(v) = 0 для всех υ € V. Подсказка: применить п. 1 для доказательства того, что {T(u),v) = 0 для всех и, υ € V и затем положить υ = Т{и). 4) Доказать, что матрица А размера η χ η унитарна тогда и только тогда, когда для всех ζ € Сп справедливо равенство ||Аг|| = ||ζ||. Подсказка: применить п. 3 к А*А — I. 1.6.8. Пусть S есть подпространство конечномерного векторного пространства V. Пусть υ € V. Предположим, что w 6 S h(v — w) ± s для каждого s € 5. Доказать, что w = Ps(v), где оператор Ps задан в определении 1.97. Это дает характеристику Р$, которая не зависит от выбора базиса S и, следовательно, показывает, что Ps не зависит от выбора ортонормированного базиса, используемого в его определении. Подсказка: записать w — Ps{v) = (w — υ) + (υ — Ps{v)) и показать, что w — Ps{v) принадлежит 5, но также ортогонально любому элементу из 5. 1.6.9. Доказать эквивалентность п. 1 и п. 3 в лемме 1.105. 1.6.10. Пусть А и Б —матрицы размера η χ η над полем С. 1) Доказать, что {АВ)* = В*А*. (Подсказка: существует прямое доказательство этого утверждения, но легче использовать результат леммы 1.103, связанный с единственностью матрицы А*.) 2) Определим А « В, если существует унитарная матрица U такая, что В = U*AU. Доказать, что « есть отношение эквивалентности; т. е. а) А « А для любой матрицы А, б) если А « В, то В » А, и в) если А та В и В w С, то A w С.
108 Глава 1. Комплексные числа и линейная алгебра 1.6.11. В теореме 1.109 доказать, что из п. 1 следует п. 2. 1.6.12. Пусть Г: Сп —► Сп — линейное преобразование, и А есть матрица размера η χ η над полем С, которая представляет Г в стандартном базисе, т. е. Τ (ζ) = Αζ. Определим преобразование Г*, сопряженное преобразованию Г, как оператор Г*: Сп —► Сп, заданный равенством Г* (ζ) = Α*ζ. Мы говорим, что Т —нормальное преобразование, если Т*Т = 7Т*, т. е. Τ*Τ(ζ) = ΤΓ*(ζ) для всех ζ 6 С. 1) Доказать, что Г есть нормальное преобразование тогда и только тогда, когда А есть нормальная матрица. Подсказка: использовать упр. 1.4.6(2). 2) Показать, что для доказательства того, что из утверждения 2 в теореме 1.109 вытекает утверждение 3, в условиях этой же теоремы достаточно доказать, что если Г есть нормальное преобразование, то Сп имеет ортонормированный базис, состоящий из собственных векторов Г. 1.6.13. Пусть Г: Сп —► Сп —линейное преобразование. Доказать, что Τ есть нормальное преобразование (см. упр. 1.6.12) тогда и только тогда, когда ||Г*(^)|| = ||Г(г)|| для всех ζ Ε Сп. Подсказка: показать, что условие (Τ*(ζ),Τ*(ζ)) = (Τ(ζ),Τ(ζ)) эквивалентно равенству {ζ, (Т*Т — ΊΤ*)(ζ)) = 0 (использовать лемму 1.103) и применить упр. 1.6.7(3). 1.6.14. Пусть Г: Сп —► Сп — нормальное линейное преобразование (см. упр. 1.6.12) и А € С. 1) Доказать, что (А/ — Г)* = А/ — Г*. (Этот пункт не требует нормальности Г.) Подсказка: легко доказать соответствующее утверждение для матриц. 2) Доказать, что XI — Г есть нормальное преобразование. 3) Для υ € Сп доказать, что Г(г;) = Аг; тогда и только тогда, когда Τ*(υ) = \υ. Подсказка: применить упр. 1.6.13 к А/ — Г. 1.6.15. Пусть Г: Сп —► Сп — нормальное линейное преобразование (см. упр. 1.6.12), λ, μ 6 С и λ φ μ. Предположим, что η, υ € Сп — это собственные векторы Г с собственными значениями А и μ, т. е. T{u) = Xu и Г(г;) = μυ. Доказать, что и _Ι_ υ. Подсказка: заметьте, что из упр. 1.6.14(3) следует λ(η,ν) = (Τ(η),ν) = (u,T*(t;)> = (η,μυ)=μ(η,υ). 1.6.16. Пусть Γ: Cn —► Cn — нормальное линейное преобразование (см. упр. 1.6.12). Обозначим собственные значения Τ через
Упражнения 109 λι, λ2,..., Afc, а соответствующие собственные пространства через Е\1, Е\2,..., Е\к. Пусть mi есть размерность E\i. Пусть {^ij}^i ^ть ортонормированный базис E\v Из упр. 1.6.15 следует, что множество S = {^j}l<i<fc,l<j<mi ортонормированное. Пусть W = span 5. Определим W1- = {z eCn: z ±w для всех w € W}. 1) Доказать, что И^1- есть подпространство Сп. 2) Доказать, что если w € W, то T*(w) € W. Подсказка: использовать упр. 1.6.14(3). 3) Доказать, что если у 6 W-1, то Τ (у) € W-1. Подсказка: для υ € W1- nweW У (T(y),w) = (y,T*(w)). Применить п. 2. 4) Пусть Tw± есть сужение преобразования Τ на подпространство W^. Из п. 3 следует, что Tw± есть линейное преобразование из W1- в W-1. Однако любой ненулевой собственный вектор Tw± должен быть ненулевым собственным вектором Τ в W-1. Такого собственного вектора не может быть, потому что все собственные векторы Τ принадлежат W по определению. (Элемент, принадлежащий обоим пространствам W и W-1, должен быть нулевым, потому что он ортогонален самому себе.) Поэтому Tw± не имеет ненулевых собственных векторов, следовательно, не имеет и собственных значений. Но это невозможно, если W1- не равно {0} (по лемме 1.78, примененной к матрице, представляющей Тцг± в некотором базисе, и по основной теореме алгебры). Вывести, что W = Сп. Подсказка: для произвольного ζ € Сп записать ζ = ζ — Pw{z) + Pw{z)\ по лемме 1.98 имеем ζ — Pw(z) £ W^~. 5) Вывести, что Сп имеет ортонормированный базис, состоящий из собственных векторов Г. Вместе с упр. 1.6.12 это доказывает, что в теореме 1.109 из утверждения 2 следует утверждение 3. 1.6.17. Предположим, что А есть матрица размера η χ η такая, что А* есть многочлен от А; т. е. существует га 6 N и скаляры αο, α\,..., ат такие, что Л* = amAm + am-iAm-1 + ... + αλΑ + α0/. Доказать, что А есть унитарно диагонализуемая матрица.
110 Глава 1. Комплексные числа и линейная алгебра 1.6.18. Предположим, что R = {г>1,г>2>·· · ,vn} есть ортонормиро- ванный базис пространства с комплексным скалярным произведением, и Г: V —► V — линейное преобразование. Пусть At,r = [aij]i<i,j<n есть матрица, которая представляет Τ в базисе R. Доказать, что 1.6.19. Пусть А есть матрица размера η χ η над полем С. Доказать, что А унитарна тогда и только тогда, когда А есть нормальная матрица и все собственные значения А по модулю равны 1. 1.6.20. Пусть А = [a,ij] есть матрица размера πι χ η над полем С с векторами-строками iti,it2>··-, um € Сп и векторами- столбцами vi,V2,..., vn 6 Cm (т.е. щ есть вектор с компонентами α^ι,α^*··· jOi,n и vj есть вектор с компонентами ei,j, a2,j? · · · ? ^m,j)· Пространство строк матрицы Л есть U = span {«ι, n2,...,nm}, а пространство столбцов матрицы Л есть V = span{i>i,i;2,...,vm}. 1) Доказать, что V = {Αζ: ζ 6 Сп}. Подсказка: показать, что Az = ziV\+Z2V2 + - · -+ZnVn, где ^1,^2,..., ζη — это компоненты вектора г. Пусть для 2GCnc компонентами ζ\, Ζ2,..., ζη вектор ~ζ G Cn имеет компоненты ζι, 22 >..., ~ζη· 2) Пусть г € Сп. Доказать, что Az = 0 тогда и только тогда, когда ζ 1. U. (Утверждение, что ζ _L U означает, что ζ ортогонален любому элементу 17.) Определите Г: U —► V равенством Τ(ζ) = ΑΊ. Заметьте, что Τ {ζ) € V вследствие п. 1. 3) Доказать, что Г есть «1-1»-отображение. Подсказка: используйте упр. 1.4.7 и п. 2). 4) Доказать, что Г есть оператор «на»! Подсказка: пусть у Ε V. Из п. 1 следует равенство Az = у для некоторого ζ € Сп. Пусть w есть ортогональная проекция ζ на U. По определению (г — гу) _L U. Примените п. 2. 5) Доказать, что пространство строк и пространство столбцов матрицы А имеют одинаковую размерность, равную рангу А. Подсказка: используйте упр. 1.4.8(4). 6) Доказать, что ранг матрицы А* равен рангу матрицы А (rank Л* = rank Л). (Здесь А* есть матрица, транспонированная к матрице А; см. определение 1.102.)
Глава 2 Дискретное преобразование Фурье 2.1. Определение и основные свойства дискретного преобразования Фурье В гл. 1 мы рассматривали векторы в пространстве С^, т. е. последовательности N комплексных чисел. Сейчас мы изменим несколько обозначений. Во-первых, из соображений, которые будут более ясны позже, мы пронумеруем эти N чисел индексами j 6 {0,1,..., N — 1} вместо {1,2,... ,ΛΓ}. Во-вторых, вместо записи компонент вектора ζ в виде Zj мы будем записывать их как z(j). Это определяет новую точку зрения: мы рассматриваем ζ как функцию, определенную на конечном множестве п . н жу _ Ζαγ = {0,1,...,ΛΓ-1} (и это соответствует формальному определению последовательности как функции на множестве индексов). Для экономии места мы будем записывать такие ζ горизонтально, а не вертикально: ζ = (ζ(0),ζ(1),...,ζ(Ν-1)). Однако, когда это будет нужно, мы будем отождествлять ζ с вектором- столбцом ζ = *(0) *(2) (2.1) [ζ{Ν - 1)J Это позволяет нам записать произведение матрицы размера Ν χ Ν на, вектор ζ в виде Αζ. Наконец, для согласования с обозначением функций, используемым позже для бесконечномерного случая, мы будем писать £2(Ζν) вместо С^. Итак, формально, £2{ZN) = {z = (z(0), s(l),..., ζ(Ν - 1)): z(j) € С, 0 ^ j ^ N - 1}. С обычным покомпонентным сложением и скалярным умножением £2(Zn) есть JV-мерное векторное пространство над полем С. Одним из базисов £2(Zn) является стандартный, или евклидов, базис Ε = {ео, ei,..., ejv_i}, где ej(n) = 1, если η = j, и ej(n) = 0, если η φ j. В этом обозначении комплексное скалярное произведение в £2(Zn) есть JV-1 (z,w) = Y^z(k)w(k) к=0
112 Глава 2. Дискретное преобразование Фурье с определяемой им нормой 1/2 /N-1 \ ' \fc=0 / (называемой i2-нормой). Мы сохраняем понятие ортогональности: z±w тогда и только тогда, когда (z, w) = 0. Примем еще одно соглашение. Мы определили компоненты z(j) вектора ζ 6 £2(Ιιν) для j = 0,1,..., JV—1. Теперь мы продолжим определение г на все целые числа, требуя, чтобы вектор ζ был периодическим с периодом Ν: Аз + Ю = ζϋ) для всех э £ ζ· Следовательно, чтобы найти z(j) для j φ {0,1,..., JV—1}, добавим некоторое положительное или отрицательное целое число raiV, кратное JV, так, что j + mN € {0,1,..., Ν — 1}, затем положим z(j) = z(j + miV). Например, если N = 12, то ζ{-21) = ζ(-9) = ζ(15) = *(27) = ζ(3). Заметим, что значение z(j) зависит только от вычета j по модулю N. Можно рассматривать дискретную функцию ζ как определенную на классах эквивалентности Ζ mod N. В частности, мы можем рассматривать ζ как определенную на любом другом множестве N последовательных чисел вместо {0,1,..., N — 1}. Читатель, наверное, знаком с теорией рядов Фурье, согласно которой функция на интервале вещественных чисел представляется суммой синусов и косинусов (это обсуждается в гл. 4). Аналогичные явления имеют место и для функций на Ζ#. Определение 2.1. Определим Ео, £а,..., Ε^-ι € ^2(Ζ#) равенствами Ео(п) = -= для n = 0,l,...,JV-l; JE?i(n) = -±= e2™'N для n = 0,l,...,JV-l; E2(n) = J= e^2n/N дая n = 0,l,...,JV-l; EN-!(n) = JL e2^"1^ для η = 0,1,...,ΛΓ-1. Или более коротко £m(n) = -j= e2nimn/N для 0<m,n^W-l. (2.2)
2.1. Определение и свойства дискретного преобразования Фурье 113 Мы используем в качестве обозначения заглавное Е, говоря об экспоненциальной функции вместо использования маленького е, которое мы сохраняем для введенных ранее стандартных базисных векторов. Лемма 2.2. Множество {Eq, Εχ,..., Εν-ι} есть ортонормированный базис пространства £2(Zn). Доказательство. Пусть j, к е {О,1,..., N - 1}. Тогда ΛΓ-1 ΛΓ-1 п=0 п=0 ΛΓ-1 ΛΓ-1 _ J_ V^ -2nijn/N-2nikn/N _ J_ V^ .2m(j-k)n/N _ n=0 n=0 iV-1 n=0 где мы использовали равенства (1.14), (1.16) и (1.17). Если j = fc, то все члены внутри последней суммы равны 1, поэтому ΛΓ-1 {Ej,Ej) = Ν~ι Σ 1 = 1. Следовательно, ||#j||2 = 1 для каждого j=0 j, т. е. все Ej имеют норму 1. Если j φ fc, то e2™U~k)/N φ \ ддЯ 0 ^ j,k ^ Ν — 1, так как — iV < j — к < N. Поэтому сумма есть частичная сумма геометрической прогрессии и ψ {e^-k),NY = 1-(е"И-»>/")* Z^ VC / I _ e2ni(j-k)/N n=0 из формулы (1.5). Но из соотношения (1.17) следует, что /e2ni(j-k)/N\N = e2m{j-k) _ 1} так как j — fc есть целое число. Поэтому для j ^ fc получаем (£^, Е^) = О, т. е. Ej _L Ek- Таким образом, {Eq, Εχ,..., 2?λγ-ι} есть ортонормирован- ное множество и, следовательно, по лемме 1.95 линейно независимое множество. Поэтому {Ео, £а,..., Εν-ι} есть базис пространства £2(Ζν) (по теореме 1.42). ■ Пример 2.3. Пусть N = 2. Тогда Ео = (Ео(0),Е0(1)) = -^(1,1) JE?i = (JE?i(0),JS1(l)) = -^(l,-l),
114 Глава 2. Дискретное преобразование Фурье так как е2?гг0/2 = 1 и β2π*ι/2 = βνκ = _j по формуле Эйлера (теорема 1.22). Ясно, что {Εο,Εχ} есть ортонормированный базис £2(Ζ2). Значения векторов {Ej} в случае N = 3 не получаются так просто, поэтому мы переходим к N = 4. Пример 2.4. Пусть JV = 4. Тогда (упр. 2.1.1) J% = ±(1,1,1,1), £i = -(l,i,-l,-i), Е2 = \ (1,-1,1,-1), JEfe = i(l,-t,-l,t). Можно прямо проверить (упр. 2.1.2), что {Eq,E\,E2,Es} есть ортонормированный базис Р{Ъ±). Так как {Εο,ϋα,... ,Εν-ι} есть ортонормированный базис ^2(Ζ#), формулы (1.49), (1.50) и (1.51) приводят при всех z,w 6 ^2(Ζ#) к равенствам ЛГ-1 z=Y^(z,Em)Em, (2.3) ЛГ-1 (z,w) = J2(z,Em)(w,Em) (2.4) m=0 И N-l \\zf = J2\(z,Em)\2. (2.5) m=0 По определению ЛГ-1 — ЛГ-1 (ζ, Em) = Σ ^TTf β2πί7ηη/Ν = 77= Σ *Η*~2π™η/" (2.6) η=0 η=0 Хотя формулы (2.3) и (2.6) наиболее естественны с точки зрения ор- тонормированных базисов, на практике часто используются их перенормированные версии, в которых в формуле (2.6) множитель 1/V~N отсутствует. Определение 2.5. Пусть ζ = (ζ(0),ζ(1),... ,ζ(Ν - 1)) € i2(ZN). Для πι = 0,1,..., N — 1 определим ЛГ-1 ζ(πι) = Σ z{n)e-2*imn>N. (2.7) n=0
2.1. Определение и свойства дискретного преобразования Фурье 115 Пусть i = (i(OM(i),...,i(JV-i)). (2.8) Тогда ζ G £2(Zjv). Отображениел: I (Z#) —► ^2(Ζ#), которое связывает 2 и £, называется дискретным преобразованием Фурье; для него обычно используется аббревиатура DFT. Заметим, что если мы используем формулу (2.7) как определение ζ(га) для всех га € Ζ, то в результате получаем периодическую функцию с периодом Ν: Ν-1 ζ(πι + Ν)=Σ z{n)e-2^m+N^n'N = n=0 JV-1 = Σ z{n)e-2nimn/Ne-27riNn/N = i(ra), n=0 так как e-2™Nn/N = β-2πιη = j дЛЯ каЖдого η 6 Ζ. Поэтому использование формулы (2.7) для всех га согласуется с рассмотрением ζ как элемента £2(Ζν), определенного на множестве Ζ и имеющего период N. Имеется ряд преимуществ формулы (2.7) по сравнению с формулой (2.6). Во-первых, лучше избегать вычисления y/N. Во-вторых, как мы увидим позже, некоторые формулы (например, формула DFT для свертки в лемме 2.30) проще с нормализацией в формуле (2.7). Сравнение формул (2.7) и (2.6) дает z(m) = y/N(z,Em). (2.9) Это приводит к следующей переформулировке соотношений (2.3), (2.4) и (2.5). Теорема 2.6. Пусть ζ = (ζ(0),ζ(1),..., ζ(Ν - l)),w = (w(0),w(l),..., w(N-l))ee2(ZN). Тогда 1) (формула обращения преобразования Фурье) z{n) = ±Y^z{m)e2™mn'N для η = 0,1,... ,JV - 1. (2.10) га=0 2) {равенство Парсеваля) (*>w) = χ Σ 5μ*μ = ^ & ώ>· (2·η) m=0 3) (формула Планшереля) и2 = ^ Σ lf(m)l2 = jf РИ2· С2·12) m=0
116 Глава 2. Дискретное преобразование Фурье Доказательство. Из равенств (2.3), (2.9) и (2.2) имеем ΛΓ-1 ΛΓ-1 z(n) = ^2(z,Em)Em(n) = Σ N-l'2z{m)N-ll2e2*imnlN, ra=0 ra=0 откуда следует формула (2.10). Аналогично, из равенства (2.4) ΛΓ-1 ΛΓ-1 (z,w) = ^fe£m)M^= Y^N-ll2z{m)N-l'2Mri) га=0 га=0 следует формула (2.11). Тогда соотношение (2.12) получается либо в результате аналогичных рассуждений, либо если положить w = ζ в формуле (2.11). ■ Для дальнейшей интерпретации формулы обращения преобразования Фурье (2.10) дадим следующее определение. Определение 2.7. Для га = 0,1,..., JV — 1 определим Fm 6 ^2(Ζ#) формулой Fm(n) = ie2dmn/W для η = 0,1,..., ΛΓ-1. (2.13) Пусть F = {F0,FU...,FN-1}. (2.14) Мы называем F базисом Фурье пространства £2(Zn). Из формулы (2.2) следует равенство Fm = N~l/2Em. Следовательно, лемма 2.2 показывает, что F, в соответствии со своим названием, есть базис (на самом деле ортогональный базис) пространства £2(Zn). При таком обозначении формула (2.10) приобретает вид ΛΓ-1 ζ = ]Γ z{m)Fm. (2.15) 771=0 Другими словами, если мы раскладываем ζ по базису Фурье F, то коэффициент при базисном векторе Fm есть z(m). Поэтому вектор, представляющий ζ в базисе Фурье, есть £, т. е. ζ = [z]F (2.16) в обозначении определения 1.43. Поэтому формула обращения преобразования Фурье (2.10) есть формула перехода к базису Фурье. DFT компоненты z(m) — это компоненты вектора ζ в базисе Фурье. DFT может быть представлено матрицей (этого следовало ожидать, потому что формула (2.7) показывает, что отображение ζ на ζ есть линейное преобразование). Чтобы упростить обозначение, положим
2.1. Определение и свойства дискретного преобразования Фурье 117 Тогда ~—2πίπιη/Ν , .ran е — ωΝ В этом обозначении J2nimn/N , f—ran е — ωΝ . JV-l i(m) = J] *(η)ωΓ. η=0 (2.17) Чтобы согласовать с нашим обозначением для векторов, мы изменим обозначение для матриц, проводя индексацию строк и столбцов от О до N — 1 вместо от 1 до N. Определение 2.8. Пусть Wn есть матрица [u>mn]o<ra,n<w-i такая, что ^гап = иЩп- Записанная таким образом, она есть WN = 1 UN 1 ω ω ω ω Ν ω' Ν ω ω 1 Ν-1 Ν 2(Ν-1) Ν 3(Ν-1) 'Ν JV-1 ω 2(Ν-1) 3(Ν-1) Ν ω Ν ω (ΑΓ-1)(ΑΓ-1) Ν (2.18) Если рассматривать ζ, ζ € £ (Ζλγ) как векторы-столбцы (см. формулу (2.1), то m-я компонента (0 ^ m < N — 1) произведения W^z N-l N-l есть Σ ωτηηζ(η) = Σ -zfaVlv") что равняется £(m) из формулы (2.17). 71=0 71=0 Другими словами, ζ = WNz. (2.19) В п. 2.3 мы увидим, что существует быстрый алгоритм вычисления ζ. Сейчас мы рассмотрим простой пример, чтобы продемонстрировать определения. Для этого нужно было бы использовать формулу (2.9), но легче применить соотношение (2.19). Для удобства выпишем матрицы И^2 И WV· Fl 1 W2 = Пример 2.9. Пусть ζ = (1,0, -3,4) € £2(Ζ4). Найти ζ. 1 1 1 -i 1 -1 1 i 1 -1 1 1 -1 i 1 -1 -1 -i (2.20) (2.21)
118 Глава 2. Дискретное преобразование Фурье Решение. ζ = W4z = Γΐ 1 1 1 1 —г -1 г 1 -1 1 -1 1 " г -1 —г_ "1 " 0 -3 _4_ 4 ' 2 1 4 + 4г -6 4 — 4zJ Заметим, что ζ имеет комплексные компоненты, далее если все компоненты ζ — вещественные числа. ■ Формула обращения преобразования Фурье (2.10) показывает, что линейное преобразование Л: £2(Ζν) —> £2(Ζν) есть «1-1»-отображение: если ζ = г&, то ζ = w. Поэтому "—обратимое преобразование (упр. 1.4.8(5)). Более точно, соотношение (2.10) дает нам формулу для преобразования, обратного к преобразованиюЛ, которое мы обозначаем4'. Определение 2.10. Для w = (w(0),w(l),... ,w(N - 1)) € £2(Zn) определим N-l w(n) = j-Y^w(m)e2™mn/N для η = 0,1,... ,JV - 1. (2.22) m=0 Положим Отображение4': £2(Zn) —* £2(Zn) есть обратное дискретное преобразование Фурье или IDFT. В этих обозначениях из соотношения (2.10) следует, что для ζ е £2(ΖΝ) (z)(n) = z(n) для n = 0,l,...,JV-l (2.23) или, что то же самое, (ζ) = ζ. (2.24) Для произвольного w € £2{Ζχ) существует ζ 6 £2(Ζν) такое, что ζ = w (так какЛ: £2(Zn) —► ^2(Ζ#) есть преобразование «на»). Взятие DFT от обеих частей равенства (2.24) и замена £ на ω дают (i&)~=w. (2.25) Так как DFT есть обратимое линейное преобразование, то Wn есть обратимая матрица (лемма 1.55), откуда ζ = W^lz. Подстановка z = w и (эквивалентно) ζ = w в соотношение (2.19) дает w = W^w. (2.26) Хотя можно прямо определить матрицу W^1 (упр. 2.1.9), легче понять, чем должна быть матрица Wj^1, исходя из формулы (2.22). В обозначениях формулы (2.17) соотношение (2.22) принимает вид ЛГ-1 ЛГ-1 w(n) = Σ w(m)-uj^ = Σ Έ^™(™)· 771=0 771=0
2.1. Определение и свойства дискретного преобразования Фурье 119 Это показывает, что (п,т)-й элемент матрицы W^ равен величине u^/JV, которая выражается через комплексно-сопряженный (п, т)-й элемент матрицы Wn- Обозначим через Wn матрицу, элементы которой комплексно сопряжены элементам матрицы Wn- Тогда Для дальнейшего рассмотрения заметим, что Щ1 = ± И "Τ'-ΐ 1 1 1 1 1 г -1 —г 1 -1 1 -1 ■1 (2.27) (2.28) (2.29) Пример 2.11. Пусть w = (2,4 + 4г, -б, 4 - 4г) € Решение. По формулам (2.26) и (2.29) 4). Найти w. . 1 w=- 1 1 1 1 1 г -1 —г 1 -1 1 -1 Г —г -1 г " 2 " 4 + 4г -6 4-4г " 1 ] 0 -3 4 J Заметим, что мы получили тот же вектор ζ, что фигурировал в примере 2.9, для которого ζ = w, т. е. мы только что проверили, что (ζΥ=ζ. Ш Вспомним рассуждения, примененные к DFT, и рассмотрим вектор w как определенный на множестве Ζ формулой (2.22). Тогда w имеет период N: w(n + Ν) = w(n) для всех п. Исходя из этого, сравнивая формулы (2.7) и (2.22), мы видим, что win) = — w(—η). Так как гй имеет период JV, последнее соотношение можно записать в виде w(n) = ±w(N-n), (2.30) который нам больше подходит, так как η 6 {1,2,... ,JV — 1} тогда и только тогда, когда Ν—η € {1,2,..., JV—1}; исключительный случай — это η = 0, для которого Ν — η = N. Резюмируем основные факты, связанные с DFT. Отображение £2(Ζν) —► ^2(Zjv), определенное формулами (2.7) и (2.8), есть обратимое
120 Глава 2. Дискретное преобразование Фурье линейное преобразование. Обратным к нему является отображение ~, определенное формулой (2.22). Мы записываем формулу обращения преобразования Фурье (2.10) в виде (2.15): JV-1 га=0 где Fm есть m-й элемент базиса Фурье F: Fm(n) = ±e2™mn'N. Поэтому ζ (πι) есть коэффициент при векторе Fm, используемый для получения ζ. Рассмотрим простой пример. Пусть N = 128 и z(n) = cos (2π · ^) + 4cos (2π · i|) . Вектор ζ изображен на рис. 4, а. Его DFT ζ представлено на рис. 4, б, и в данном случае его легко посчитать. По формуле Эйлера (1.13) имеем: ζ(η\ = 1 /β2πί7η/128 , 6-2πί7η/128\ ι 4 1 (β2πί12η/128 ι β-2πί12η/128\ _ = J- (64e27ri7n/128 + 64β2πα21/128+ 128 + 256е27ГЙ2п/128 + 256е27гШ6п/128). Сравнивая это с формулами (2.13) и (2.15), мы видим, что £(7) = 5(121) = 64, 5(12) = 5(116) = 256 и i(m) = 0 для других значений га в {0,1,2,..., 127}. Это подтверждаг ется рис. 4, 5, который был получен с использованием программы DFT (называемой fft) в MATLAB'e. Чтобы получить интуитивное представление об используемых функциях, рассмотрим вектор e2mmn/N при фиксированных га как функцию η = 0,1,... ,ЛГ — 1. (Множитель 1/N — это масштабный множитель, который мы для удобства на время опустим.) По формуле Эйлера e2mmn/N = 0Ο8(2πτηη/ΛΓ) + ism(2nmn/N). Для простоты рассмотрим только вещественную часть ΰθ8(2π77ΐη/ΛΓ). При га = 0 —это постоянная функция, равная 1. При га = 1 —это функция cos(2nn/N). Если мы рассматриваем N — большое целое число и изображаем значения этой функции при n = 0,l,...,JV — 1, то мы проставляем N равномерно расположенных точек отсчета на графике одного периода функции косинуса. В частности, cos(2nn/N) проходит
2.1. Определение и свойства дискретного преобразования Фурье 121 j ι ι ι ι ι I "О 20 40 60 80 100 120 J"o 20 40 60 80 100 120 а) б) Рис. 4. а) Вектор ζ, 6) его дискретное преобразование Фурье ζ полный период, когда η изменяется от 0 до N — 1 (если мы продолжим до точки JV, то получим то же значение, что и при 0). Это проиллюстрировано рис. 5, α с N = 16. Теперь возьмем га = 2 и рассмотрим функцию cos(2n2n/N). Все будет аналогичным образом, только мы приходим к двум полным периодам косинуса, когда η изменяется от 0 до N — 1. Все это аналогично продолжается при возрастании га; функция cos(2nmn/N) пробегает га полных периодов косинусной волны, когда η изменяется от 0 до N — 1 (см. рис. 5, б). Итак, если га возрастает (как мы увидим, до некоторого значения), функция cos(2nmn/N) имеет все больше и больше колебаний на интервале 0 ^ η ^ N — 1; см. рис. 5, β (га = 3,JV = 16), г (га = 7,JV = 16) и д (га = 8,JV = 16). Мнимая часть функции e2mrnn/N — это синус-волна, которая ведет себя аналогичным образом. Члены, которые сильно осциллируют, называются высокочастотными компонентами или соответствующими более высоким частотам. Предположим, что z(n) есть звуковой сигнал, представленный в виде функции от времени (отсчитанный через равные интервалы времени). На слух высокочастотные звуковые сигналы звучат как высокие звуки. Так как векторы β2πιπιη/Ν содержат только один параметр осцилляции, мы рассматриваем их и, следовательно, их пронормированные версии Fm как частотные векторы. Здесь имеется одна техническая особенность, которая вносит небольшую путаницу. Функции e2mmn/N ? определенные только для целых п, имеют период N по переменной га так же, как и по переменной п. Поэтому большие значения га не могут увеличивать частоту сигналов для всех га, потому что, например, функция при га = N есть то же самое, что и функция при га = 0. Сигнал при N = 16 не может осциллировать быстрее, чем на рис. 5,^ (га = 8, N = 16). Заметьте, что вектор на 250 200 150 100 50 0
122 Глава 2. Дискретное преобразование Фурье а) б) Рис. 5. a) z(n) = cos(2nn/16), 6) 2(η) = (Χ)8(2π2η/16), β) 2(η) = (Χ)8(2π3η/16), г) ζ(η) =cos(2n7n/16), д) z(n) = cos(2nSn/16), е) z{n) = cos(2n9n/16) рис. 5, e (m = 9, N = 16) тот же самый, что и на рис. 5, г (πι = 7, N = 16). (Однако неверно, что Fj = Fg при N = 16: только их вещественные части одинаковы, а мнимые части имеют противоположные знаки.) Это является следствием рассмотрения этих функций только при значениях
2.1. Определение и свойства дискретного преобразования Фурье 123 η 6 Ζ. Если мы рассмотрим e2mmt/N как функцию вещественной переменной t, это даст нам все более высокие частоты при возрастании га (для га ^ 0). Но если мы рассматриваем только целые значения п, то мы не можем видеть осцилляционное поведение между целыми значениями, что объясняет, почему e2mn0/N может быть той же самой функцией по п, что и β2πτηΝ/Ν (а именно обе функции — это постоянная функция, равная 1 в целых точках, так как е2шп = 1 по формуле Эйлера). Это иллюстрируется рис. 6, который дает график cos(27rl5n/16) (рис. 6, а), график функции непрерывной переменной cos(27rl5t/16) (рис. 6, б) и их суперпозицию (рис. 6, в). Глядя на графики вещественной и мнимой частей, мы видим, что, когда га изменяется от 0 до N /2 (или до целого, ближайшего к ΛΓ/2), функция е2штп/м осциллирует все более и более быстро и поэтому представляет компоненту с более высокой частотой. Однако для N /2 ^ га ^ N—1 мы можем положить к = N — га и использовать периодичность, чтобы записать e2nimn/N = e2mn(N-k)/N = е~2шпк/м = cos(27rnfc/JV) - isin{2nnk/N). Этот вектор колеблется к раз на интервале 0 ^ η ^ JV—1. Поэтому число осцилляции (колебаний) функции e2mmn/N при η = 0,1,...,JV — 1 равно га при 0 ^ га ^ ΛΓ/2, но Ν—πι при JV/2 ^ га ^ JV — 1. Заметим, что когда га близко к ΛΓ/2, то к этому числу близко и JV — га, но если га возрастает по направлению к JV, то JV — га убывает по этому направлению к нулю. Поэтому мы видим, что β2πιπιη/Ν есть высокочастотный вектор для га около ΛΓ/2, т.е. посередине ряда чисел 0,1,...,JV — 1, и низкочастотный вектор для га около 0 и N — 1. Между прочим, вот почему иногда предпочитают рассматривать основной интервал для Ζ# как — Μ+1, —М+2,..., —1,0,1,..., М, когда iV = 2М есть четное число, и как — М, — М+1,... ,—1,0,1,... ,М —1,М, когда JV = 2М + 1 есть нечетное число, вместо 0,1,...,N — 1, как мы имели ранее. В случае нуль-центрированного варианта функции e2mmn/N низкочастотны при значениях га, близких к нулю, и высокочастотны, когда га около ±М. Возвращаясь к основной формуле JV-1 ζ = Σ z{m)Fm, m=0 заметим, что мы интерпретировали каждый Fm как частотный вектор. Поэтому |£(га)| можно рассматривать как интенсивность компоненты ζ при этой частоте. Аргумент комплексного числа 2 (га) гораздо труднее интерпретировать (что будет обсуждаться позже в этой главе), но его
124 Глава 2. Дискретное преобразование Фурье Рис. 6. a) 2(n) = cos(27rl5n/16), б) 2(n) = cos(27rl5f/16), β) суперпозиция рисунков 6, а и 6, б амплитуда измеряет, какую часть вектора ζ составляет частота Fm. Если ζ обладает тем свойством, что |£(га)| велик для значений га около JV/2, το ζ имеет большие высокочастотные компоненты. Если |£(га)| велик для га около 0 и N — 1, то ζ имеет большие низкочастотные компоненты. Например, если ζ есть надлежащим образом отсчитанный звуковой сигнал, создаваемый человеком, играющим на барабанах, то мы будем иметь относительно большие значения |£(га)|, когда га мало,
2.1. Определение и свойства дискретного преобразования Фурье 125 т. е. барабанщик слишком любит бить по бас-барабану. Если барабанщик любит ударять по цимбалам, то |£(га)| будет большим для значений га около середины области определения DFT. Поэтому ζ дает нам частотный анализ сигнала ζ. Это явление иллюстрируется на рис. 7, где N = 128. График вектора ζ(η) = βίη(πη2/256) на рис. 7, α осциллирует все более и более быстро при п, возрастающем от 0 до 127. (Такой сигнал называется «чирп».) На рис. 7,6 изображен аргумент (фаза) £, на рис. 7, β — вещественная часть ζ и на рис. 7, г — мнимая часть £. Кажется, что все эти три графика ведут себя беспорядочным образом и их трудно интерпретировать. Однако график \ζ\ амплитуды ζ на рис. 7, д явно показывает большие значения (между 5 и 9) \ζ(η)\ для всех значений п. Истолковать это можно следующим образом: большой диапазон частот требуется для восстановления ζ ввиду больших изменений скорости осцилляции в различных частях графика ζ. Сравнение рис. 7, 8 и 9 делает это поведение более ясным. Рисунок 8, α есть график ζ(η) = βίη(πη2/512). Это также чирп, но скорость осцилляции этого ζ меньше в соответствующих точках, чем для вектора на рис. 7, а. Это наводит на мысль, что в отношении высоких частот их требуется значительно меньше для синтеза ζ. Это демонстрируется графиком \ζ\ на рис. 8, б. Заметим, что только около половины значений \ζ(η)\ (соответствующих низким частотам) велики. Наша интерпретация далее продемонстрирована на рис. 9. На рис. 9, α нарисована функция ζ(η) = 8ΐη(πη2/1024). Это более низкочастотный чирп, чем на рис. 8, а. Амплитуды его DFT, изображенные на рис. 9, 5, показывают, что только четверть низких частот вносят существенный вклад в ζ. В упражнении 2.1.7 дается разложение ζ в терминах синусов и косинусов, которое эквивалентно формуле (2.10). С помощью такого разложения немного легче дать низкочастотные и высокочастотные интерпретации, которые обсуждались выше. Однако это разложение не обладает рядом ключевых свойств формулы (2.10), которые мы изучаем в следующих двух разделах. Далее мы рассмотрим, как ведет себя DFT при выполнении нескольких важных операций. Первая из них — это сдвиг. Определение 2.12. Пусть ζ € £2{%n) и fc € Ζ. Определим (Rkz)(n) = z(n — к) для η 6 Ζ. Мы называем последовательность RkZ сдвигом последовательности ζ на к, a Rk — оператором сдвига на к. Наверное, нам нужно было писать Rk(z), но это ведет к увеличению числа скобок, и поэтому мы пишем RkZ. Определение 2.12 требует
126 Глава 2. Дискретное преобразование Фурье и 1 1 г 20 40 60 80 100 120 в) г) Рис. 7. α) ζ(η) = 8ΐη(2πη2/256), б) фаза (угол) of ζ, β) вещественная часть ζ, г) мнимая часть (угол) ζ, д) амплитуда ζ некоторого пояснения. Для n,k 6 Z# может оказаться, что η — к £ Ζ#, т. е. ζ(η — к) не определено. Однако напомним, что мы рассматриваем ζ как продолженное на все Ζ таким образом, что ζ имеет период N. В таком толковании определение 2.12 имеет смысл. В качестве примера
2.1. Определение и свойства дискретного преобразования Фурье 127 Рис. 8. α) ζ(η) = 8ΐη(2πη2/512), б) амплитудам Рис. 60 80 100 120 б) 9. α) ζ(η) = 8ΐη(2πη2/1024), б) амплитудам предположим, что N = 6, к = 2 и ζ = (2,3 — г,2г,4 + г,0,1). Тогда, например, (R2z)(0) = *(0 - 2) = z(-2) = *(4) = 0. Аналогично, (Jk*)(l) = z(-l) = z(5) = 1, (ifc*)(2) = z(0) = 2 и т. д. Мы получаем Дг* = (0,1,2,3-i, 2i, 4 + 0· Таким образом, действие оператора R2 на г состоит в сдвиге компонент на две позиции вправо, за исключением двух последних, которые, как бы совершая поворот, занимают в прежнем порядке первые две позиции. Это может быть визуализировано как поворот на две позиции, если положения 0, 1, 2, 3, 4, 5 расположены на окружности. Из этих соображений эта операция иногда называется циклическим сдвигом или вращением, которые объясняют обозначение Д&.
128 Глава 2. Дискретное преобразование Фурье Как влияет сдвиг на DFT? Из интуитивных соображений ясно, что сдвиг не должен влиять на амплитуду различных частот, входящих в сигнал, но он может изменить их фазы (т. е. угол в полярном представлении гегв числа z(n)). Это подтверждается следующим результатом. Лемма 2.13. Пусть ζ € £2(Zn) u k Ε Ζ. Тогда для любого т € Ζ (Rkz)\m) = e-2"imk>N z{m). Доказательство. По определению JV-l JV-l {Rkz)\m) = ^2{Rkz)(n)e-27rimn/N = ]£ *(n - k)e-27rimn/N. n=0 n=0 В последней сумме изменим индекс суммирования, положив I = η — к (напомним, что к — фиксированное число и η есть переменная суммирования). Если η = 0, то I = —fc, в то время как для η = N — 1 мы имеем / = N — к — 1. Так как η = / + fc, получаем JV-fc-1 JV-fc-1 (Я**)*М = J] z^e-2nim(l+k)/N = e-2nimk/N J- ^^πίπύ/Ν l=-k l=-k Утверждается, что N-k-l N-l Σ z{l)e-2ni^N = J] z{n)e-2ni7nn/N = *(ro). (2.31) /=-fc n=0 Если это действительно так, то подстановка этой формулы дает нам конечный результат. Чтобы доказать формулу (2.31), заметим, что z(l) и e-2™ml/N — периодические функции переменной / с периодом N. Если к = 0, то доказывать нечего; предположим, что 0 < к ^ TV — 1. Тогда N-k-1 -1 N-k-l Σ z{l)e-2*imllN= Y^z{l + N)e-2«im«+NVN + £ z{l)e-2«iml>N. l=-k l=-k 1=0 В первой из этих двух сумм положим η = I + JV, а во второй —η = I. Это дает нам соотношение N-k-l N-l N-k-l Σ z(l)e-2niml/N = ^ z(n)e-2nimn/N + £ г(п)е-2^шп^ = Z=-fc n=N-k n=0 JV-l что и требовалось. Пусть теперь к 6 Ζ — произвольное число. Тогда найдется целое число г такое, что к' = к + rN 6 {0,1,2,..., N — 1}. Взяв
2.1. Определение и свойства дискретного преобразования Фурье 129 в качестве переменной суммирования V = / — vN, получим N—k—l N—k—rN—1 J2 z{l)e-2*iml'N = Σ ZV + rN)e-2*imV+rN>>'N = Z=—Ar V=-k-rN N-k'-l V=-k' ввиду периодичности с периодом N обеих функций: ζ и экспоненты. Поэтому так как мы пришли к случаю А/ 6 {0,1,2,..., N — 1}, рассмотренному выше, то последняя сумма равняется z(m). Ш Этот последний трюк с суммированием достаточно важен для того, чтобы стать общим принципом (см. упр. 2.1.8). Это показывает ограничение на DFT. Из леммы 2.13 и формулы (1.15) мы имеем, что \(Rkz) (га)| = \z(m)\ для каждого πι. Поэтому, рассматривая только амплитуду DFT, мы не можем отличить ζ от любого циклического сдвига RkZ. Расположение локальных особенностей ζ не определяется \ζ\. Эта информация содержится в фазе (или аргументе) £, но в этом виде ее очень трудно интерпретировать, как мы это отметили в случае рис. 7, б. Позже мы увидим, что с этой точки зрения вэйвлеты обладают преимуществом над DFT. Следующая операция, которую мы рассматриваем, есть комплексное сопряжение. Определение 2.14. Для ζ = (г(0), г(1),..., ζ(Ν - 1)) € £2{Ζν) пусть ζ есть вектор Z=(z(0),z(l),...,z(JV-l)), т. е. z(n) = z(n). Лемма 2.15. Для ζ € ί2(ΖΝ) (ζ) (m) = z(—m) = z(N — m) при всех га. Доказательство. Из свойства комплексного сопряжения (лемма 1.7) следует, что лг-1 ТГл (ζ)\πι) = Σ z{n)e-2*imn>N = Σ z(n)e2™™/N = f(-m). ■ n=0 n=0 Следствие 2.16. Вектор ζ € £2(Zn). ζ — вещественный (га. е. каждая компонента ζ есть вещественное число) тогда и только тогда, когда z(m) = z(N — т) для всех га.
130 Глава 2. Дискретное преобразование Фурье Доказательство. Заметим, что ζ есть вещественный вектор тогда и только тогда, когда ζ = Ί. Из обратимости DFT следует, что это имеет место только тогда, когда ζ = {ζ) . Ввиду леммы 2.15 это эквивалентно равенству z(m) = z(N — πι) для всех га. Ш DFT есть оператор перехода от евклидова базиса к базису Фурье. Мы интерпретировали элементы базиса Фурье как частотные векторы. Формула обращения преобразования Фурье (2.15) показывает, что в общем случае сигнал состоит из суперпозиции частотных векторов. DFT-компонента ζ(πι) измеряет интенсивность частотного вектора Fm в сигнале ζ. В следующих двух разделах мы рассмотрим два важных соображения в пользу использования базиса Фурье. Упражнения 2.1.1. Используйте определение 2.1 и формулу Эйлера для проверки значений, данных в примере 2.4. 2.1.2. Непосредственно проверить (не используя лемму 2.2), что множество {Eq,Ei,E2,Es} в примере 2.4 есть ортонормированный базис пространства ^2(Z4). 2.1.3. Пусть ζ = (1, ι, 2 -И, -3) € ^2(Ζ4). 1) Вычислить ζ. 2) Непосредственно вычислить (ζ) и проверить, что вы получили Ζ. 2.1.4. Непосредственным вычислением проверить формулу (2.10) (не используя лемму 1.101), т. е. подставить определение ζ(πι) и вычислить непосредственно, используя формулу (1.5). Предупреждение: измените один из индексов суммирования, поставив вместо η какой-нибудь другой индекс, чтобы избежать использования одной буквы для двух различных переменных. 2.1.5. Непосредственным вычислением (как в упр. 2.1.4) проверить соотношение (2.11). 2.1.6. Определим ζ 6 ^(Zsw) равенством ζ(η) = 38ίη(2π7η/512) - 4α)β(2π8η/512). Найти ζ. 2.1.7. (DFT в вещественном обозначении.) Предположим, что N — четное, обозначим N = 2М. Определим Co(n) = N-1/2 для n = 0,l,...,JV-l; (2.32) cM(n) = N~1'2 cos(2n(N/2)n/N) = iVr"1/2(-l)n (2.33)
Упражнения 131 для η = 0,1,..., N — 1 и Cmin) = {у/2/Ν) cos(2nmn/N) для η = 0,1,..., N - 1 (2.34) при га = 1,2,..., Μ—1. Так же при m = 1,2,..., Μ—1 определим 5m(n) = (y/2/N)sm(2nmn/N) для η = 0,1,... ,JV - 1. (2.35) 1) Доказать, что {со, ci,..., см-1, см, «ь · · ·, sm-i} есть ортонормированный базис £2(Ζν). Ввиду леммы 1.101, это означает, что М М-1 Ζ = Σ (*' °^)^ + Х^ <^, «m>5m. (2.36) m=0 m=l Это есть вариант DFT, записанный в вещественных обозначениях. Он имеет то преимущество, что если ζ вещественный вектор, то все вычисления включают только вещественные числа. Однако мы видим, что эта форма преобразования не обладает некоторыми ключевыми преимуществами, которые обсуждаются в следующих двух разделах. В любом случае, существуют простые преобразования, связывающие эти коэффициенты с коэффициентами DFT, и наоборот. 2) Доказать, что (z, Cm) = (2JV)"1/2(2(m) + z(N - m)) для m = 1,2,..., Μ — 1, {z,cM) = N-l'2z{M) (ζ, sm) = -i(2N)-^2(z(m) - z(N - m)) для m = 1,2,..., Μ — 1. 3) Обратно, доказать, что z(0) = VN{z,Co), z{m) = ^/Wj2{{z,Cm) -i{z,sm}) для m = 1,2,..., Μ — 1, z(M) = Vn(z,cm) z(m) = y/N/2{{z, cN-m) + i{z, sN-m)) для m = Μ + 1, Μ + 2,..., JV - 1.
132 Глава 2. Дискретное преобразование Фурье 4) Вывести соотношение (2.36) из формулы (2.10) и формулы Эйлера без использования п. 1. Подсказка: разбейте сумму в формуле (2.10) на четыре части: член с га = 0, член с га = М, сумма по га = 1,2,...,М — 1 и сумма по m = Af+1, М+2,..., JV — 1. Затем подставьте соотношения из п. 3. Измените индекс суммирования в последней сумме так, чтобы он пробегал значения 1,2,..., Μ — 1, объедините члены Cm и используйте формулу Эйлера. Замечание: если N — нечетное, обозначим его N = 2J + 1, тогда мы определяем со формулой (2.32); Сщ формулой (2.34) для га = 1,2,..., J и sm формулой (2.35) для га = 1,2,..., J. Это дает ортонормированный базис. Мы имеем ту же формулу, связывающую коэффициенты в этом ортонормиро- ванном разложении с коэффициентами DFT, приведенными выше, за исключением отсутствующего значения га = JV/2. 2.1.8. Предположим, что h есть функция на множестве Z, периодическая с периодом JV, т. е. h(n + Ν) = h(n) для всех п. Доказать, что для любого га Ε Ζ m+N-l N-l Σ цп) = ς ни). η=πι η—0 Другими словами, любая сумма по интервалу длины N дает один и тот же результат. 2.1.9. 1) Доказать, что N~1/2Wn есть унитарная матрица. Подсказка: используйте лемму 2.2 и лемму 1.105(2). 2) Используйте п. 1 для прямого доказательства того, что 2.1.10. Пусть ζ = (z(0),z(l),...,z(JV - 1)), w = (w(0),w(l),... .. .,w{N - 1)) € £2(Zn)· Доказать, что N2 = ~NI2. 2.1.11. Предположим, что ζ € £2(Ζν). Мы говорим, что ζ чисто мнимый вектор, если ζ = iw для некоторого вещественного ги; другими словами, если каждая компонента ζ есть чисто мнимое число. Доказать, что ζ чисто мнимый вектор тогда и только тогда, когда z(m) = — z(N — га) для всех га.
Упражнения 133 2.1.12. Предположим, что ζ 6 £2(Ζν). 1) Доказать, что ζ есть вещественный вектор тогда и только тогда, когда z(m) = z(N — т) для каждого m. 2) Доказать, что ζ есть чисто мнимый вектор (для определения см. упр. 2.1.11) тогда и только тогда, когда z(m) = — z(N — πι) для каждого m. 2.1.13. Предположим, что ζ € £2(Ζν). Определим ζ 6 ^2(Ζ#) равенством ζ(η) = z(JV — η) для η = 0,1,..., Ν — 1. Доказать, что (z)\n)=J(n) для всех п. 2Л.14. Пусть N и fc — положительные целые числа, при этом к < N и (fc,JV) = 1 (это значит, что к и N взаимно простые числа, т. е. они не имеют целых общих делителей, кроме ±1). Пусть u) = e2™k/Nt (Такое ω называется первообразным корнем степени N из единицы.) Доказать, что Ι,ω,ω ,ω ,...,ω — различные корни степени N из единицы. Подсказка: используйте тот факт, что если q\ab и (g, b) = 1, то q\a. Это легко увидеть, если рассмотреть простые делители. Замечание: это показывает, что мы можем определить DFT, исходя из любого первообразного корня степени N из единицы ω вместо е2пг/м, результатом будет перестановка элементов в DFT матрице. 2.1.15. Пусть JVi и Afe — положительные целые числа. Пусть £2(ΖΝι χ Ъщ) = {ζ: ΖΝι χ Ъщ - С}. Другими словами, если ζ € £2{Ζνχ χ Ζν2), то для каждых п\ и П2 таких, что 0 ^ п\ ^ Ν\ — 1, и 0 ^ η2 ^ ΛΓ2 — 1 компонента ζ(ηι,Π2) определена и является комплексным числом. С обычным сложением и скалярным умножением £2(Ζνι χ Ζ#2) есть векторное пространство над полем С (предположим это). Для z,w 6 ί2(^Νι х Zjv2) определим Ni-lJV2-l (z,w) = ]Г ]Г z(ni,n2)w(nbn2). щ=0 П2=0 Тогда (·,·) есть комплексное скалярное произведение в £2{Znx х Zjv2) (предположим это). Доказать, что £2(Ζνχ χ Zjv2) есть ЛГхЛГг-мерное пространство. Подсказка: что в этом случае играет роль стандартного базиса?
134 Глава 2. Дискретное преобразование Фурье 2.1.16. Пусть £ (TjNi x Ζ#2) — пространство, определенное в упр. 2.1.15. Предположим, что {Во, -Βι, ·.., Bjvi-i} есть ортонормированный базис £2{Ъ^Х) и {Со, С\,..., CW2-i} есть ортонормированный базис £2(Zn2). Для 0 ^ mi ^ ΛΓχ — 1 и 0 ^ Ш2 ^ Afc — 1 определим Dmum2 Ε £2{ΖΝι χ Ъщ) как Ani,m2(nbn2) = Bmi (ni)Cm2(n2). Доказать, что {^mi ,Ш2 jO^mi <iVi -l,0<ra2<iV2-l есть ортонормированный базис £2(Ζνι χ Ζ#2). Подсказка: доказать, что \Dmi )Ш2, Dkx ,fc2 ) == \Дп1 ? B/ci) \Cm2, Ck2 ) ? где скалярное произведение в левой части определено в ^2(Zjvi х Zjv2), в то время как в правой части оно определено в £2[Ъ^Х) и в ^2(Zjv2) соответственно. 2.1.17. 1) (Двумерный базис Фурье.) Для тп\ 6 Zjvx и Ш2 € Ζ#2 определим Emiim2 Ε £2(Zni x Zjv2) (для определения см. упр. 2.1.15) с помощью формулы Доказать, что {^mi,m2}o<mi<iVi-l,0<m2<iV2-l есть ортонормированный базис £2(Zni x Ζ#2). Как и в одномерном случае, обычно изменяют нормировку, положив F (пл ттгЛ — 2nimmi/Ni 2πίπΐ2Π2/Ν2 Γτηι,πΐ2\η1·>η2) — iV ΛΓ Мы называем F = {Fmbm2}0<mi<iVi-i,o<m2<iV2-i базисом Фурье пространства £2(Ънх χ Ζ#2). 2) (Двумерное DFT.) Для ζ € Ρ(Ζνι χ Zjv2) определим ζ € ^2(Zjvx x Zjv2) равенством iVi-lJV2-l z(mum2)= Σ Σ z(nun2)e-2nimini/Nle-2nim2n2/N2. щ=0 П2=0 Также для w € ^ (Z^ x Ζ#2) определим гй 6 £ (Ζ#χ x Ζ#2) равенством Νι-1Ν2-1 гй(ПьП2) = _±г ^ ^ ti;(m1,m2)e27rimini/iVle27rim2n2/iV2. 7711=0 7712=0
2.2. Линейные преобразования 135 Доказать, что ζ = (ζ)' для всех ζ € ^(Zj^ χ Ζ#2). Вывести, чтоЛ: £2(Ζνχ χ %ν2) ~~* —» ^2(Zjvx x Zjv2) есть «1-1»-преобразование, следовательно, обратимое, с обратным ~. Подсказка: используйте упр. 2.1.16 и проведите такие же рассуждения, как и для одномерного случая. 2.1.18. С определениями из упр. 2.1.16 и 2.1.17 докажите формулу Пар- севаля для z, w 6 ^2(Zjvi x Zjv2): /* ti;) = (£, w) и формулу Планшереля: Замечание: поскольку визуальные изображения — двумерные, то для обработки изображения необходимо использовать двумерные DFT, рассмотренные в упр. 2.1.15-2.1.18. 2.1.19. Сформулируйте аналоги упр. 2.1.15-2.1.18 для d-измерений и проведите доказательства. Может быть полезным использование векторных обозначений; например, для η = (ηι,η2,... ,η^) d и аналогично определенного т пусть η·πι= Σ nkmk- 2.2. Линейные преобразования, инвариантные относительно сдвига Большое количество электроинженерных факультетов имеют курс, озаглавленный «Сигналы и системы» или что-нибудь подобное. С нашей точки зрения «сигнал» есть именно функция. Он может быть функцией на интервале вещественных чисел (непрерывный или аналоговый сигнал), или функцией на конечном множестве точек, или функцией на бесконечном дискретном множестве, таком, как Ζ (дискретный или цифровой сигнал). Как показано в разд. 2.1, вектор в С^ можно считать функцией, заданной в N точках, следовательно, сигналом. Физически мы можем представить себе звуковой сигнал, например музыкальный фрагмент. Примеры «систем» включают в себя усилители, графические стабилизаторы, корректирующие устройства и другую аудиоаппаратуру. Система — это нечто, что преобразует входной сигнал в выходной
136 Глава 2. Дискретное преобразование Фурье сигнал. С математической точки зрения система —это преобразование. Какие предположения разумно наложить на систему, которую мы моделируем как преобразование Г? В идеальном случае усилители и большинство другой аудиоаппаратуры должны быть линейными. Во- первых, эффект действия усилителя на два сигнала вместе должен быть суммой эффектов действия на каждый сигнал в отдельности, т. е. T(u+v) = T(u)+T(v). Во-вторых, если мы умножаем входной сигнал на некоторую величину, то выходной сигнал должен быть умножен на эту же величину, т. е. T(au) = aT(u). Это идеальные характеристики усилителя. В реальных условиях это невозможно. Если сигнал умножается на достаточно большой множитель, то он отключает систему, и выходной сигнал становится равным нулю. Однако в пределах обычного диапазона осуществления операции хороший усилитель близок к линейному. Таким образом, линейность — это разумное предположение, наложенное на нашу математическую модель системы. Условия, которые мы здесь рассмотрели, таковы, что Г есть линейное преобразование в смысле определения 1.44. Другое естественное предположение состоит в том, что если мы задерживаем входной сигнал на некоторое время, то единственным эффектом на выходе будет задержка сигнала на то же время. Другими словами, система не ведет себя различно в различные моменты времени. Такая система называется инвариантной во времени или инвариантной относительно сдвига. Линейное преобразование, соответствующее такой системе, называется преобразованием, инвариантным относительно сдвига. Чтобы математически сформулировать свойство инвариантности относительно сдвига, напомним определение оператора сдвига Rk, заданного (определение 2.12) формулой (Rkz)(n) = z(n - fc), η e Ζ, для ζ € ^2(Zjv). Сдвиг сигнала вправо на к единиц дает сигнал Rk(z). (Напомним, что мы имеем дело с периодическими сигналами, определенными на всем множестве Z. Так что нельзя говорить, что сдвинутые сигналы начинаются раньше или позже; все значения лишь сдвигаются вправо на к.) Обозначим входной сигнал через ζ, а результирующий выходной сигнал —через w = Τ (ζ). Согласно нашей гипотезе о сдвиговой инвариантности, для нового входного сигнала Rk{z) сигнал на выходе должен быть сдвигом Rkw = Rk{T{z)). Но по определению Г сигнал на выходе есть T(Rkz). Поэтому наше формальное определение инвариантности преобразования относительно сдвига следующее.
2.2. Линейные преобразования 137 Определение 2.17. Линейное преобразование Τ: £2(Ζν) —► £2(Zn) инвариантно относительно сдвига, если T(Rkz) = ^Г(г) (2.37) для всех ζ € £2(Ζν) и всех fc 6 Ζ. Заметим, что формула (2.37) утверждает, что Г коммутирует с оператором сдвига i2fc· Возможно, единственным наиболее важным фактом, связанным с базисом Фурье F, является тот факт, что все линейные преобразования, инвариантные относительно сдвига (из £2(Ζν) β £2(Zn)), диагонализу- ются базисом F. Прежде чем доказать это, остановимся и дадим оценку этого факта. Мы отметили выше, что линейные преобразования, инвариантные относительно сдвига, наиболее естественны. В гл. 1 мы узнали, что диагонализуемые преобразования наиболее просты в использовании. Теперь мы поняли, что линейные преобразования, инвариантные относительно сдвига, все диагонализуемы фактически одним базисом! Более того, этот базис ортогональный (по лемме 2.2). Мы начнем с прямого доказательства этого главного результата. Напомним определение 1.71: линейное преобразование Г диагонализуемое, если его область определения имеет базис, состоящий из собственных векторов преобразования Т. Теорема 2.18. Пусть Τ: £2(Ζν) —► £2{Zn) —линейное преобразование, инвариантное относительно сдвига. Тогда каждый элемент базиса Фурье F является собственным вектором преобразования Т. В частности, Τ —диагонализуемое преобразование. ДОКАЗАТЕЛЬСТВО. Зафиксируем га € {0,1,..., N - 1}. Пусть Fm есть га-й элемент базиса Фурье (определенный формулой (2.13)). Тогда существуют комплексные скаляры ао, αϊ,..., α#_ι такие, что T(Fm)(n) = Σ akFk^ = Jf Σ *ke2*ikn/N (2.38) fc=0 fc=0 для всех η потому, что F есть базис в £2(Zn). Заметим, что (AiFm)(n) = Fm(n - 1) = 1 e2*M»-i>/" = _. _£_ p—2mm/N2mmn/N = p—2шт/Ν ρ fn\
138 Глава 2. Дискретное преобразование Фурье Так как е 2πιπι/Ν не зависит от п, то из линейности Г следует, что T(fliFm)(n) = e-2-™/*T(Fm)(n) = ЛГ-1 ЛГ-1 = е~2™ш'м У" afcFfc(n) = Σ ake-27rim/NFk(n) Ar=0 fc=0 в соответствии с равенством (2.38). С другой стороны, из равенства (2.38) вытекает также, что ЛГ-1 №T(Fm))(n) = (T(Fm))(n - l) = -L £ ^e2^(n-1)/iV = fc=0 = ^ Σ ake-2«iklNe2«ik»lN = £ α^-^/^ίη). fc=0 fc=0 Ho T(i2iFm)(n) = (RiT(Fm))(n) для всех п до предположению, что Г есть преобразование, инвариантное относительно сдвига. Сравнивая полученные выше выражения для этих двух величин и используя единственность коэффициентов разложения вектора по элементам базиса, получаем, что для каждого fc = О, l,...,JV — 1 справедливо равенство ake-2mm/N = ^^mk/N (2.39) Если к φ га, то e-2nim/N φ e-2nik/N^ так как 0 <ξ fc, га <ξ JV - 1. Поэтому равенство (2.39) может выполняться, если только а& = 0. Следовательно, мы доказали, что а& = 0 всякий раз, когда к φ т. Поэтому в равенстве (2.38) все слагаемые пропадают, за исключением члена с к = га, получается T(Fw)(n) = amFm(n), т. е. T(Fm) = amFm. Следовательно, Fm есть собственный вектор преобразования Г с собственным значением am. Так как m выбрано произвольно, это показывает, что каждый элемент базиса Фурье F есть собственный вектор преобразования Т. Поэтому Τ диагонализуемо. ■ Хотя доказано наше главное утверждение, этот результат так важен, что мы будем рассматривать его снова более подробно и подходить к нему с разных сторон. При этом нам встретятся различные ключевые понятия, такие как циркулянтпые матрицы, свертки и мультипликаторы Фурье. Наша цель — доказать следующую теорему, которую мы сформулируем пока без определения некоторых терминов. Теорема 2.19. Пусть Т: £2(Zn) —> ^2(Zjv) есть линейное преобразование. Тогда следующие утверждения эквивалентны:
2.2. Линейные преобразования 139 1) Г есть преобразование, инвариантное относительно сдвига. 2) Матрица Атуе> представляющая Τ в стандартном базисе Е, есть циркулянтная матрица. 3) Г есть оператор свертки. 4) Τ есть мультипликаторный оператор Фурье. 5) Матрица At,f, представляющая Τ в базисе Фурье F, есть диагональная матрица. Утверждение 5 — это другими словами сформулированное утверждение о том, что Г диагонализуется базисом Фурье. Стратегия доказательства теоремы 2.19 состоит в последовательном доказательстве 1 => 2 => 3 => 1, 34=^4 и, наконец, 4^5. Заметим, что теорема 2.19 дает не только теорему 2.18, но и обратную ей теорему, которая утверждает, что линейное преобразование, которое диагонализуется базисом Фурье, есть преобразование, инвариантное относительно сдвига. Как и в определении 2.8, индексы для матриц будут изменяться от О до N — 1 так же, как и в обозначении векторов, т. е. мы записываем матрицу А размера η χ η как [amn]o^m,n<;v-i· Когда мы умножаем матрицу А на вектор 2, как в выражении (2.1), результатом является вектор Az, га-я компонента которого (Az)(m)(0 ^ га ^ N — 1) есть N-1 (Αζ)(πι) = Σ °>mnz{n). (2.40) n=0 Мы также распространим на матрицы наше соглашение о периодичности, которое мы установили для векторов. Для заданной матрицы [»mn]o<m,n<iV-i мы определяем атп для всех га, η 6 Ζ, предполагая периодичность с периодом N по каждому индексу: Q"m+N,n = Q"mn и ^m^n+N = &гап для всех тип (здесь лишние запятые добавлены для ясности). Таким образом, a_i}jv+2 = α>Ν-ι,Ν+2 = ajv-i,2> где только в последнем выражении индексы принадлежат основному диапазону 0 ^ га, η ^ N — 1. Определение 2.20. Матрица А = [amn]o<m,n<iV-i, периодизирован- ная, как указано выше, называется циркулянтной, если (2.41) для всех га, п, к 6 Z. Заметим, что это эквивалентно требованию выполнения равенства Gm+ι,η+ι = am>n для всех га, η 6 Ζ, так как это равенство можно повторить fc раз и получить соотношение (2.41).
140 Глава 2. Дискретное преобразование Фурье Определение 2.20 утверждает, что мы получаем (га + 1)-й столбец циркулянтной матрицы сдвигом m-го столбца вниз (циклический сдвиг) на 1. Эквивалентно, мы получаем (га + 1)-ю строку сдвигом m-й строки вправо на 1. Поэтому циркулянтные матрицы легко определить на взгляд. Пример 2.21. Матрица 3 4г -1 2 + г 2 + г 3 4г -1 -1 2 + г 3 4г 4г -1 2 + 3 есть циркулянтная матрица. Матрица Г2 г 3" г 2 2 не циркулянтная, но если последней строкой была бы строка г 3 2, то она была бы циркулянтной. Напомним, что стандартный, или евклидов, базис Ε = = {ео?еъ-.. ,ejv_i} пространства £2(Zn) определен равенствами еп(га) = 1, если га = п, и еп(га) = 0, если га φ η, где 0 ^ га ^ N — 1. Полезно определить еп для всех η € Ζ, хотя это приведет к некоторой избыточности. Заметим, что так как мы рассматриваем еп как определенные на всем Ζ с периодом JV, то еп(га) = 1 тогда и только тогда, когда га = η + fciV при некотором к 6 Z. Имея это в виду, для каждого η 6 Ζ определим еп € £2(Ζν) по периодичности, т. е. положив для любого п. Из этого следует, что Rien = βη+ι (2.42) для всех п. Например, если η = JV — 1, то определение циклического сдвига показывает, что i2iejv_i = ео = е#, что согласуется с формулой (2.42). При умножении матрицы А на вектор еп получается n-й столбец матрицы А. Формальное доказательство этого факта таково: JV-1 (Aen)(m) = ]Г amken(k) = amn, (2.43) fc=0 где мы использовали соотношение (2.40) и то, что еп(к) = 0, если к φ η, и en(fc) = 1, если к = п. Однако, возможно, это легче увидеть,
2.2. Линейные преобразования 141 предварительно расписав еп(к). Это верно для всех п,га 6 Ζ в силу периодичности по определению. Напомним, что если матрица Ατ,ε представляет линейное преобразование Г в стандартном базисе, то Τ{ζ) = Ατ,ε* (так как ζ = [ζ]ε из выражения (1.24)). Мы теперь готовы доказать следование 1 => 2 в теореме 2.19. Лемма 2.22. Пусть Τ: £2(Ζν) —* £2C^n) —линейное преобразование и Атуе есть матрица, представляющая Τ в стандартном базисе Е. Если преобразование Τ инвариантно относительно сдвига, то Ат^е ~ циркулянтная матрица. Доказательство. Для всех га,п, последовательно применяя формулы (2.43) и (2.42), получим α,ϋ+ι,η+ι = (ATiEen+i)(m+l) = (T(en+1))(m+l) = (Г(Л1еп))(т+1) = = (RiT(en))(m+l) = T(en)(m+1-1) = T(en)(m) = = (ATiEen)(m) = am,n на основе предположения об инвариантности относительно сдвига преобразования Г. Как было раньше замечено, итерация этого равенства к раз дает соотношение am+k,n+k = <hn,n для любого к. Ш Для следующего этапа доказательства теоремы 2.19 мы определим свертку двух векторов. Определение 2.23. Для z,w € £2(!*ν) сверткой z*we £2(1*ν) называется вектор с компонентами * ΛΓ-1 ζ * w(m) = 2J ^(m ■" и)ги(п) n=0 для всех m. Пример 2.24. Пусть 2; = (1,1,0,2) и w = (г,0,1,г) —векторы в £2(Z4). Тогда, используя периодичность ζ, получим: з ζ * w(0) = Y^ г(—п)ги(п) = те=0 = *(0)ti;(0) + s(-l)ti;(l) + s(-2)ti;(2) + s(-3)ti;(3) = = z(0)w(0) + s(3)ti;(l) + z(2)ti;(2) + z(l)w(3) = = 1·» + 2·0 + 0·1 + 1·< = 2».
142 Глава 2. Дискретное преобразование Фурье Аналогично, з ζ * w(l) = ]Г z(l - n)w(n) = li + 10 + 21 + 0-i = 2 + i, n=0 3 2 * w(2) = ]P *(2 - n)ti;(n) = 0i + 10+ll + 2i = l + 2i n=0 И 3 ζ * w(3) = ]Γ ζ(* " η)™Η =2·» + 0·0 + 1·1 + 1·< = 1 + 3ι. η=0 Поэтому г * t£7 = (2г, 2 + г, 1 + 2г, 1 + Зг). Если зафиксировать один вектор в свертке, то свертку с этим фиксированным вектором можно рассматривать как линейное преобразование. Определение 2.25. Пусть Ь 6 £2(Zn). Определим отображение Тъ: 12{ZN) -» £2{ZN) равенством Tb(z) =b*z для всех ζ 6 £2(Ζν). Любое преобразование Г вида Г = Т& для некоторого Ъ 6 £2(Ζν) называется оператором свертки. Нетрудно видеть, что оператор свертки Ть есть линейное преобразование. Следование 2 =Ф· 3 в теореме 2.19 утверждает, что циркулянтная матрица приводит к оператору свертки. Это объясняет, почему свертка столь интересна для нас. Лемма 2.26. Пусть матрица А = [amn]o<m,n<N-i размерности NxN циркулянтна. Определим Ъ 6 £2(Zn) равенствами Ь(п) = αη,ο для всех п. (Другими словами, Ъ есть первый столбец матрицы А, представленный в виде вектора. Как следует из формулы (2.43), Ъ = Acq.) Тогда для всех ζ 6 £2(Ζν) Az = b*z = Tb(z). Доказательство. Так как А есть циркулянтная матрица, то Q>mn = Gm_n,0 = b(m ~ п) для любых га, n Ε Ζ. Следовательно, по определению умножения матрицы на вектор (формула (2.40)) Ν-1 ΛΓ-1 (Az)(m) = ^ amnz(n) = ^ Ь(т — n)z(n) = Ь * z(m). Ш η=ϋ τι=0
2.2. Линейные преобразования 143 Мы доказали импликации 1 =Ф- 2 =*► 3 в теореме 2.19, т. е. мы теперь знаем, что любое инвариантное относительно сдвига преобразование Г есть оператор свертки TJ>. Обратное утверждение, что оператор свертки инвариантен относительно сдвига, — относительно просто. Лемма 2.27. Пусть Ь 6 £2(Zn), u пусть Ть есть оператор свертки, связанный с Ъ по определению 2.25. Тогда Ть есть оператор, инвариантный относительно сдвига. Доказательство. Пусть ζ € £2(Ζν), и пусть k e Z. Тогда для любого т Ν-1 Tb{Rkz)(m) = Ъ * (Rkz)(m) = ^ Ъ{т - n)(Rkz)(n) = п=0 ΛΓ-1 = Y^ Ь(т — n)z(n — к). п=0 В последней сумме сделаем замену индекса I = η — к. Используя упр. 2.1.8, получаем N-1-k ΛΓ-1 Tb(Rkz)(m) = J^ b{m-k-l)z(l) = Y^b{m-k-l)z{l) = l=-k 1=0 = (b * z)(m - к) = Я*(Ь * z)(m) = Д*Ть(*)(го) для любого га. Другими словами, ТЦД^г) = RkTb(z)9 это значит, что оператор Ть инвариантен относительно сдвига. ■ Таким образом, мы доказали, что утверждения 1-3 в теореме 2.19 эквивалентны. Определение 2.28. Определим элемент δ 6 £2{^ν) равенствами с/ ч fl, если п = 0, д(п) = < 10, если n = 1,2,...,JV-1. Это дискретный аналог того, что иногда называется дельта-функцией Дирака. Она часто известна как единичный импульс. Заметим, что δ есть как раз ео, но, так как это обозначение стандартно, мы соглашаемся на такую избыточность. Лемма 2.29. Для любого w € ^2(Zjv) w * δ = w.
144 Глава 2. Дискретное преобразование Фурье Доказательство. Для каждого τπεΖν Ν-1 (w * δ)(πι) = 22 w(m ~~ ПЖП) = w(m), n=Q так как δ(η) = 0, если только η φ О, а в случае η = О имеем £(0) = 1. ■ Этому простому результату можно дать следующую интерпретацию. Предположим, что мы имеем систему, например усилитель или какую- нибудь другую аудиоаппаратуру. Как следует из приведенных выше рассуждений, мы моделируем эту систему как линейное преобразование Τ в ί2(Ζ), инвариантное относительно сдвига. Мы доказали, что Г есть оператор свертки Ть для некоторого 6 6 £2(Ζν). Если мы знаем 6, то мы знаем действие нашей системы на любой сигнал 2, так как Τ (ζ) = Ть(г) = 6 * ζ. Поэтому система полностью определяется вектором 6. Как можйо найти 6? Это легко сделать с помощью леммы 2.29: Г(й)=Гь(й) =6*5 = 6. Поэтому для восстановления 6 мы должны лишь измерить сигнал на выходе системы, когда входным сигналом является δ. Так как δ называется единичным импульсом, то 6 часто называют импульсным откликом системы. Теперь рассмотрим, как дискретное преобразование Фурье (DFT) взаимодействует со сверткой. Лемма 2.30. Пусть z,w 6 £2(Zn). Тогда для каждого т (ζ * w)\m) = z(m)w(m). Доказательство. По определению ΛΓ-1 Ν-1Ν-1 (ζ * w)\m) = Σ (ζ * w)(n)e-27rimn/N= £ £ z{n-k)w{k)e-27rimn/N= n=0 n=0 fc=0 JV-liV-1 = J]J]z(n- ^(Qe-2wim(n-k)/Ne-2Kimk/N = n=0 fc=0 JV-1 JV-1 = Σ w{k)e-2nimk/N Σ z(n - k)e-2nim{n-k)/N. k=0 n=0 В последней сумме мы изменим индекс суммирования, положив I = n—fc, и получим (вследствие упр. 2.1.8) N-l N-1-k N-l Σ Φ - fc)e-2*i"»(n-fc)/AT = ^2 z{l)e-2*inulN = £ z(l)e~2niml/N. n=0 l=-k 1=0
2.2. Линейные преобразования 145 Подстановка этой формулы дает ЛГ-1 ЛГ-1 (ζ * w)\m) = ^ w{k)e-2*imk'N J] г(1)е~27гМ/м = 5(m)t&(ro). ■ fc=o i=o Таким образом, DFT преобразует относительно сложную операцию свертки в простую операцию умножения. Пример 2.31. В примере 2.24 для ζ = (1,1,0,2) и w = (г, 0,1, г) мы вычислили свертку ζ * w = (2г, 2 + г, 1 + 2г, 1 + Зг). Поступая так же, как и в примере 2.9, можно получить, что £ = (4,1 + г,-2,1-г) и г& = (1 + 2г,-2 + г,1,г). Аналогично находим (ζ * wY= (4 + 8i, -3 - i, -2,1 + <). Теперь можно проверить, что (ζ * ги)Л (n) = z(n)w(n) для η = 0,1,2,3 (например, £(1) ώ(1) = (1 + г)(—2 + г) = — 3 — г = (г * г^)Л (1)). Теперь мы рассмотрим линейные преобразования, полученные вычислением DFT, умножением результирующих компонент на некоторые числа и вычислением обратного преобразования IDFT. Определение 2.32. Пусть т 6 £2(Ζν). Определим Т(шу. £2(Ζν) —► —► £2(Ζν) равенством T(m)(z) = (mzy, (2.44) где mz есть вектор, полученный покомпонентным умножением га на £, т. е. (mz)(n) = m(n)z(n) для каждого п. Любое преобразование такого вида называется мулыпипликаторным оператором Фурье. Заметим, что мы пишем Т(т), чтобы отличить мультипликаторные операторы Фурье от операторов свертки (обозначенных Т&) в определении 2.25. Нетрудно видеть, что любой мультипликаторный оператор Фурье задает линейное преобразование. Другой способ описать Г(т) в определении 2.32 состоит в учете того, что для каждого к справедливо соотношение (Tim)(z)№=m(k)z(k), (2-45) получаемое применением DFT к обеим частям равенства (2.44). Чтобы это понять, напомним, что с помощью обратного преобразования Фурье (2.15) ΛΓ-1 Σ к=0 ш Σ 2(№·
146 Глава 2. Дискретное преобразование Фурье Применяя формулу обращения (2.15) к T(m)(z) и используя равенство (2.45), получим ЛГ-1 ЛГ-1 r(m)(*) = ^(T(m)(z))\k)Fk = Σ m(k)z(k)Fk. k=0 k=0 Таким образом, эффект от действия Г(т) на ζ состоит в умножении fc-ro DFT-коэффициента z{k) на m(k). Это объясняет название мультишга- каторного оператора Фурье. Элемент аудиоаппаратуры, известный как графический стабилизатор, моделируется мультипликаторным оператором Фурье. Цель графического стабилизатора состоит в усилении или ослаблении отдельных частотных компонент аудиосигнала. Напомним, что интенсивность частоты е2шкп/м в сигнале пропорциональна модулю его fc-ro DFT- коэффициента. В соответствии с равенством (2.45) оператор Г(т) умножает к-й DFT-коэффициент на тп(к). Настройка графического стабилизатора соответствует различным частотным компонентам сигнала. Каждый может быть вручную усилен или ослаблен, соответственно, увеличением или уменьшением величины мультипликатора для этой частоты. Эквивалентность п. 3 и 4 в теореме 2.19 легко следует из леммы 2.30. Лемма 2.33. Пусть Τ: £2(Ζν) —* £2(Ζν) есть линейное преобразование. Тогда Τ есть оператор свертки тогда и только тогда, когда Τ есть мультипликаторный оператор Фурье. Более точно, пусть задан оператор свертки Ть, и пусть т = Ъ, тогда Ть = Т^ту Обратно, пусть задан мультипликаторный оператор Фурье T(m) ub = rh. Тогда Т(т) = Ά- Доказательство. В любом случае мы имеем т = Ъ (по формуле обратного преобразования Фурье во втором случае). Тогда по формуле обратного преобразования Фурье и лемме 2.30 Tb(z) = Ь * ζ = ((Ь * zfj = (ίζ}= (πιζ}= T{m){z) для любого ζ 6 £2(Ζν). Ш Последний этап доказательства теоремы 2.19 состоит в демонстрации эквивалентности п. 4 и 5. Так как мы знаем, что п. 1-4 эквивалентны, то мы должны применить теорему 2.18, которая показывает, что из п. 1 следует п. 5. Однако нам требуется и обратное утверждение, и поэтому мы установим прямое соотношение между п. 4 и 5 в следующей лемме. Напомним, что в соответствии с формулой (2.16) ζ — это вектор, представляющий ζ в базисе Фурье: ζ = [ζ]ρ- Тогда равенство (2.45)
2.2. Линейные преобразования 147 показывает, что Г(т) ведет себя как умножение на диагональную матрицу в базисе Фурье. Доказательство эквивалентности п. 4 и 5 как раз и требует подтверждения этого замечания. Лемма 2.34. Пусть Г: £2(Zn) —* £2(%ν) есть линейное преобразование. Тогда Τ есть мультипликаторный оператор Фурье Т(т) для некоторого т 6 £2(Ζν) тогда и только тогда, когда матрица, представляющая Τ в базисе Фурье F = {i*b,i*i,... ,Fjv_i}, есть диагональная матрица D. Более того, если Τ = Т(т) есть мультипликаторный оператор Фурье, то диагональная матрица D = [dmn]o<m,n<iV-i удовлетворяет равенствам dnn = т(п) для η = О,1,..., N — 1. Доказательство. Пусть Т(т) —мультипликаторный оператор Фурье. Определим диагональную матрицу D = [dmn]o<m,n<iV-b положив dnn = т(п) для 0 ^ η ^ N — 1. Из равенства (2.45) (Г(т)(г))л = mz и поэтому, используя формулу (2.16), получим dooz(0) 1 dnz(l) dN-iyN-iz(N - 1)J [4 о о _ 0 dn 0 ... О L 0 О ds-ι,Ν-ι, = Dz = D[z]F. Следовательно, мультипликаторный оператор Фурье Т(т) представляется в базисе Фурье диагональной матрицей D. Обратно, предположим теперь, что диагональная матрица D = = [dmn]o<m,n<;v-i представляет Г в базисе Фурье F. Пусть т(п) = dnn для 0 ^ η ^ JV — 1 и Т(т) есть соответствующий мультипликаторный оператор Фурье. Тогда из вышеприведенных вычислений следует [T(z))F=D[z)F = [T{m)(z)]F. Поэтому Г = Г(го). ■ Это завершает доказательство теоремы 2.19. Полученные результаты могут быть практически использованы при вычислениях. Предположим, что Τ есть линейное преобразование, инвариантное относительно сдвига. Из его определения мы можем выписать матрицу -А = [отп]о<т,п<лг-1) представляющую Г в евклидовых координатах [T(m)(z)]F = m(0)f(0) m(l)f(l) [m(N - l)z(N - 1) J(0) 1 «(1) l(JV - 1)1
148 Глава 2. Дискретное преобразование Фурье (т. е. такую матрицу Д что Τ(ζ) = Αζ). Эта матрица должна быть циркулянтной. Пусть Ь € £2(Ζν) — первый столбец матрицы А. Тогда по лемме 2.26 получаем, что Г есть оператор свертки Т&. Пусть га = Ъ. По лемме 2.33 Г есть мультипликаторный оператор Фурье Т(т). Образуем диагональную матрицу D с диагональными элементами с^п = га(п). Тогда D представляет Г в базисе Фурье F, т. е. [T(*)]F = D[z)F. Чтобы понять это на матричном уровне, напомним, что из формулы (2.19) мы имеем ζ = Wnz, где Wn есть матрица (2.18). Поэтому WNAz = (AzJ= [Az]F = [T(^)]F = D[s]F = D* = DWNz. Умножение слева на W^1 дает Αζ = W^DW^s и, следовательно, A^W^iWjv, или H^W^^i). (2.46) Это явная диагонализация матрицы А. Заметим, что диагонализую- щая матрица Wn одна и та же для любой циркулянтной матрицы. Напомним, что диагональные элементы D — это собственные значения матрицы А; мы видим здесь, что если А есть циркулянтная матрица, то эти значения являются как раз компонентами вектора га, определенного выше. Для циркулянтной матрицы это гораздо более легкий способ найти собственные значения, чем стараться разложить на множители характеристический многочлен. Пример 2.35. Определим Г: £2(Ζ*) —► £2{Ъ±) равенством T(z)(n) = ζ(η) + 2ζ(η + 1) + ζ(η + 3). Найти собственные значения и собственные векторы преобразования Г и диагонализовать матрицу Д представляющую Г в стандартном базисе, если это возможно. Решение. Можно проверить, что Г —преобразование, инвариантное относительно сдвига: T{Rkz) = (Rkz){n) + 2(Rkz){n + 1) + (Rkz){n + 3) = = z(n -k) + 2z(n + 1 - k) + z(n + 3 - k) = = Rk(z(n) + 2z(n + 1) + z(n + 3)) = RkT(z). Можно также записать матрицу Л, которая представляет Г в стандартном базисе (т. е. удовлетворяющую равенству Τ (ζ) = Αζ), рассматривая
2.2. Линейные преобразования 149 Τ(ζ)(0),Τ(ζ)(1),Τ(ζ)(2) и Т(*)(3), получим Л = 12 0 1' 112 0 0 112 2 0 11 4 0 0 0 0 1 + г 0 0 0 0 -2 0 0 ' 0 0 1-г которая есть циркулянтная матрица. Тогда Ъ = (1,1,0,2). В примере 2.31 мы вычислили Ь (Ь называлось в этом примере ζ) и получили га = Ь = (4,1 + г, —2,1 — г). Эти компоненты являются собственными значениями А, и собственные векторы — это векторы базиса Фурье F. В частности, матрица D = удовлетворяет равенству W\AW± 1 = D. Ш Преобразование, рассматриваемое в следующем примере, — это разностный оператор второго порядка, который используется для аппроксимации второй производной / при численном решении дифференциальных уравнений, удовлетворяющих периодическим краевым условиям. Пример 2.36. Определим оператор Δ: £2(Zn) —► ^2(Zjv) равенством (Δ(ζ))(η) = ζ(η + 1) - 2ζ(η) + ζ(η - 1). Найти собственные значения Δ. Решение. Как и в примере 2.35, мы можем проверить, что Δ есть оператор, инвариантный относительно сдвига. По определению (Δ(*))(0) = *(1) - 2ζ(0) + ζ(-1) = ζ{ΐ) - 2ζ(0) + ζ(Ν - 1). Поэтому первая строка матрицы А оператора Δ в стандартном базисе есть (—2,1,0,..., 0,1). Так как А должна быть циркулянтной матрицей, то -2 1 0 0 1 1 -2 1 0 0 0 1-2 1 0 ... 0 А = (2.47) 1 0 0 1 -2| Поэтому Ь есть первый столбец матрицы А, т. е. Ъ = (—2,1,0,..., 0,1).
150 Глава 2. Дискретное преобразование Фурье Собственные значения Δ — это компоненты вектора га = 6. Мы получаем ЛГ-1 b{k) = Σ b{n)e-2*ikn'N = (-2) · 1 + 1 · e-2*ik'N + 1 · е-2^(лг-1)/лг = n=0 = _2 + e-2^/JV + e2.ifc/iv = _2 + 2 cos (^) = ~<(Н~(¥))~«-,(2) Это собственные значения оператора Δ. Матрица D с диагональными элементами dkk = —4βίη2(πΑ:/ΛΓ) удовлетворяет равенству H^v-AWj^1 = = Ζλ ■ Упражнения 2.2.1. Для ζ 6 £2(Ζν) определим Τ(ζ) 6 £2(^ν) равенством (Τ(ζ))(η) = ζ(η-1) для всех п. 1) Доказать, что Г — преобразование, инвариантное относительно сдвига. 2) Пусть w(n) = cos(2nn/N) для η Ε Ζ#. Для каждого N ^ 3 показать, что w не является собственным вектором Г. Замечание: это показывает, что ортонормированный базис из синусов и косинусов в упр. 2.1.7 не диагонализует Г. 2.2.2. Определим Г: £2(ZN) -> ^2(Zjv) равенством (Γ(ζ))(η) = Зг(п - 2) + iz(n) - (2 + i)z(n + 1) для всех п. 1) Доказать, что Г — преобразование, инвариантное относительно сдвига. 2) Записать матрицу, которая представляет Г в стандартном (евклидовом) базисе для случая N = 4. 3) Для случая N = 4 показать прямым вычислением, что векторы Ео,Е\,Е2И Ез из примера 2.4 — собственные векторы Г. 2.2.3. Определим Г: ^2(Ζ4) -> ^2(Ζ4) равенством T(s) = (2г(0) - s(l), te(l) + 2*(2), 2(1), 0). 1) Пусть ζ = (1,0, —2, г). Вычислить T{R\z) и /?ιΤ(ζ). Заметьте, что эти значения не одинаковы. Следовательно, Τ не есть преобразование, инвариантное относительно сдвига.
Упражнения 151 2) Найти матрицу, представляющую Г в стандартном базисе. Заметьте, что она не циркулянтная, как мы и ожидали в соответствии с п. 1. 3) Показать, что (1, г, —1, —г) не есть собственный вектор преобразования Т. (Напомним: в соответствии с примером 2.4 вектор (1,г, —1, —г) —кратный элементу базиса Фурье F\.) 2.2.4. Пусть ζ = (2, г, 1,0) и w = (1,0,2г, 3). 1) Вычислить ζ и гЬ. 2) Вычислить непосредственно ζ * w. 3) Вычислить непосредственно (z * wj и убедиться, что оно совпадает с zw. 2.2.5. Пусть z,w e £2{ZN). 1) Доказать, что Ζ * W = 117 * г непосредственно, исходя из определения свертки. 2) Используя лемму 2.30 и формулу обратного преобразования Фурье, доказать, что ζ * w = w * г. 2.2.6. Доказать, что свертка ассоциативна, т. е. (х * у) * 2 = χ * (у * ζ) для ж, у, г 6 ^2(Zjv). Подсказка: использовать наиболее легкий из двух методов в упр. 2.2.5. 2.2.7. Определим Т: £2{Ъ±) -► ^2(Z4) равенством (T(s))(n)=3s(n-l) + s(n). 1) Записать матрицу Ат^Еч которая представляет Г в стандартном базисе. Обратите внимание на то, что она циркулянтная. 2) Найти Ъ е ί2(Ζ4) такой, что T(z) = b*z. 3) Найти га € £2(Z4) такой, что Г = Г(т), т. е. что (T(z)J{n) = = m(n)z(n) для каждого п. 4) Найти матрицу At,f, которая представляет Г в базисе Фурье F. 5) Непосредственным вычислением убедиться, что Ατ,ε = = W±l x At,fW4, где W4 —матрица в (2.21). 2.2.8. Пусть А = [amn]o<m,n<JV-i есть циркулянтная матрица размера Ν χ N. Определим λ™ = Σ αο,ηβ2™/" η=0 для га = 0, 1,...,JV — 1. Непосредственно доказать, не используя теоремы 2.19, что собственные значения А — это Ао, λι,..., Ajv_i,
152 Глава 2. Дискретное преобразование Фурье которые могут повторяться в соответствии с кратностью (алгебраической или геометрической, здесь это одно и то же потому, что А — диагонализуемая матрица). Подсказка: для ra = 0,l,...,iV—1 определите векторы ВШ Ε £2(Ζν) равенствами Bm(n) = e2™mn>N для η = 0,1,... ,JV — 1. Они кратны элементам базиса Фурье, следовательно, по теореме 2.18 каждый Вш есть собственный вектор А. Заметьте, что Вт(0) = 1 для всех га, и величины Ат, определенные выше, это нулевые компоненты векторов А Вт. Замечание: обратим внимание, что, если мы изменим индекс суммирования в вышеприведенном выражении для Ат, положив к = —п, и будем использовать циркулянтность матрицы А, мы получим Аго - ^оо,-^-2*-*/" = |>,ое-2™*/" = b(m) fc=0 к=0 для Ь таких, как в лемме 2.26. Это выражение соответствует ранее полученным результатам. Проведенное выше доказательство несколько более прямое, чем доказательство теоремы 2.19, но мы предпочли в этой теореме показать связь с циркулянтными матрицами, операторами свертки и мультипликаторными операторами Фурье. 2.2.9. Определим оператор Г: £2(Zn) -+ £2(%n) равенством {T{z)){n) = z{n + l)-z{n). Найти все собственные значения Г. 2.2.10. Пусть Т(т): ^2(Ζ4) —► £2(%4>) — мультипликаторный оператор Фурье, определенный равенством Т(т) = (mz]Г, где га = (1,0, г, —2). 1) Найти Ь € ί2(Ζ4) такой, что Т(т) есть оператор свертки Ть (определенный равенством Ть{г) = 6*2;). 2) Найти матрицу, которая представляет Т(т) в стандартном базисе. 2.2.11. 1) Предположим, что Т\,Т2Л. £2(&ν) -+ £2{Ι*ν) — преобразования, инвариантные относительно сдвига. Доказать, что композиция Гг о Γι есть преобразование, инвариантное относительно сдвига. 2) Пусть А и В — циркулянтные матрицы размера Ν χ N. Непосредственно доказать (например, используя только определение циркулянтной матрицы и не используя теоремы 2.19),
Упражнения 153 что АВ есть циркулянтная матрица. Показать, что из этого результата и теоремы 2.19 следует п. 1. Подсказка: выписать (га+1, п+1)-й элемент АВ, используя определение умножения матриц, сравнить с подсказкой к упр. + 2.2.12(1). 3) Предположим, что 6i,&2 € £2(Zn)· Доказать, что композиция 2&2 о Тьх операторов свертки Г^ и Тьх есть оператор свертки Ть с Ь = &2 * Ъ\. Подсказка: использовать упр. 2.2.6. 4) Предположим, что τηι,πΐ2 € £2(Ζν). Доказать, что композиция T(m2) oT(mi) мультипликаторных операторов Фурье Г(Ш2) и Г(Ш1) есть мультипликаторный оператор Фурье Г(т), где m(n) = πΐ2(η)πΐι(ή) для всех п. 5) Предположим, что ГьГг: ^2(Ζ#) -* £2(Zn)— это линейные преобразования. Доказать, что если Γι представлено матрицей Αχ в базисе Фурье F (т.е. [7i(2)]f = ^iMf) и Г2 представлено матрицей Аг в базисе F, то композиция Г2 о Γι представлена матрицей А2А1 в базисе F. Снова доказать п. 1. Замечание: по теореме 2.19 мы доказали одно и то же пять раз. Это может казаться не очень разумным, но, по крайней мере, мы видели, как интерпретируется заданная информация в каждой из этих пяти формулировок. На практике полезно иметь эти пять подходов потому, что для каждой данной проблемы можно выбрать формулировку, которая кажется самой простой. Упражнение 2.2.12 —еще один пример этого явления. 2.2.12. Предположим, что ГьГг: (?{Ζν) —► ί2(Ζ;ν) — линейные преобразования, инвариантные относительно сдвига. В этой задаче мы доказываем четырьмя различными способами, что Т\ и Г2 коммутируют. Это значит, по определению, что для любого ζ е e2(zN) Τ2(Τ1(ζ))^Τι(Τ2(ζ)). 1) Предположим, что А и В —это циркулянтные матрицы размера Ν χ N. Непосредственно доказать, исходя из определения умножения матриц и их циркулянтности, что АВ = ВА. Вывести (из теоремы 2.19), ^то Γι и Гг коммутируют. Подсказка: ДЛЯ А = [awn](Km,n^JV-l И В = [bmn]o<m,n<N-l (га, п)-й элемент матрицы АВ есть ΛΓ-1 /] Qmkbkn fc=0
154 Глава 2. Дискретное преобразование Фурье по определению умножения матриц. Но amk = am+n-fc,n и bfcn = bm,m+n-b так как Аи В циркулянтные матрицы. Теперь измените индекс суммирования и примените упр. 2.1.8. Замечание: это упражнение и упр. 1.5.13 объясняют, почему все циркулянтные матрицы диагонализуются одним базисом. 2) Доказать, что Т\ и Гг коммутируют, используя упр. 2.2.5 и 2.2.11(3). 3) Доказать, что Т\ и Гг коммутируют, используя упр. 2.2.11(4). 4) Доказать, что Т\ и Τ<ι коммутируют, используя упр. 2.2.11(5). 2.2.13. Предположим, что Г: (?(Zn) —► £2(Ζν) есть линейное преобразование, инвариантное относительно сдвига, и z,w 6 ^2(Ζ#). 1) Доказать, что Τ(ζ * w) = Т(г) * w = w * T(z). 2) Доказать, что Τ(ζ) = Г(ео) * 2;, где ео есть первый элемент стандартного базиса. Подсказка: заметьте, что ео = £, затем примените лемму 2.29 и п. 1. Заметьте, что вследствие равенства (2.43) Т(ео) = Ъ для Ъ такого, как в лемме 2.26. Это дает другое доказательство леммы 2.26. 2.2.14. Пусть Г: £2(Ζν) —* £2(Ζν) есть линейное преобразование. Доказать, что Г инвариантно относительно сдвига тогда ΛΓ-1 и только тогда, когда Τ(z) = ^ o,kRk{z) для некоторых k=o αο,αχ,... jQN-i € С. Так как Rk равняется Д*, fc-й итерации ϋι, то это утверждение означает, что Г есть многочлен от R\. Подсказка: рассмотрите оператор свертки Т&, где b(k) = α&. 2.2.15. Пусть А есть циркулянтная матрица размера Ν χ N. Доказать, что Л —нормальная матрица (определение 1.108). Это может быть доказано непосредственно или следовать из теоремы 1.109, леммы 2.2 и теоремы 2.18. 2.2.16. Пусть Г: £2(Ζν) —► £2(Ζν) — линейное преобразование, инвариантное относительно сдвига. 1) Предположим, что и есть собственный вектор Г с собственным значением А. Доказать, что RkU для каждого к 6 Ι*ν есть также собственный вектор Г с собственным значением λ. 2) По теореме 2.18 каждый элемент базиса Фурье Fm есть собственный вектор Г. Из п. 1 следует, что это верно для каждого RkFm, где O^fc, ra^JV — 1. Объяснить, каким образом Г может иметь так много собственных векторов.
Упражнения 155 2.2.17. Показать, что существуют z, w 6 £2{Ъ±) такие, что ζ φ О и w Φ О, но г * it; = 0, где 0 есть нулевой вектор (0,0,0,0). 2.2.18. Вспомним определения в упр 2.1.15 и 2.1.17. Для ζ 6 ί2{Ί*Νι х Ζ#2) определим z(ni,ri2) так, что при всех (ni,ri2) € Ζ χ Ζ вектор г периодичен по первой переменной с периодом Νχ и по второй переменной с периодом Л^, т. е. z(ni + jiiVi, n2 + J2N2) = z(nu η2) для всех ni,n2,ji,J2 € Ζ. Для произвольных чисел к\,к2 € Ζ определим инвариантное относительно сдвига преобразование Rkxto: ^C^Ni х Zjv2) —► ^2(ZjVi x Zjv2) равенством (Л*1,*2*)(ПЬП2) = z(nl - fcbn2 - к2). Мы говорим, что Г: £2(Zni x Zjv2) —► ^2(Zjvi x Zjv2) есть преобразование, инвариантное относительно сдвига, если для всех fei, к.2 ΕΖπ всех ζ € (^(Ζνχ x Zjv2) T(RklMz) = Λ*ιΛΓ(ζ). Если Γ: ^2(Zjvx χ Ζ#2) —► ^2(Zjvi x Ζ#2) есть преобразование, инвариантное относительно сдвига, то доказать, что каждый FmiiTn2 (определенный в упр. 2.1.17) есть собственный вектор Г. Подсказка: следовать доказательству теоремы 2.18. 2.2.19. Для элементов z,w 6 £2{Zni x Ζ#2) (см. упр. 2.2.18) определим их свертку z*w € £2(Zni x Zjv2) равенством ΛΓι-1ΛΓ2-1 ζ *w(mi9m,2) = 2^ 2J ^(wii — ^1,1712 — fi2)ti;(ni,n2) m=o n2=o для всех mi,rri2. 1) Доказать, что (z*tt;J(roi,m2) = 5(mi,ra2)t&(mi,m2) для всех mi,rri2. 2) Определим преобразование Τ&: ^2(Zjvx x Ζ#2) —> ^2(Zjvx χ Ζ#2) для b 6 ^2(Zjvx χ Ζλγ2) равенством Tb(z)=b*z. Любое линейное преобразование такого вида называется оператором свертки. Доказать, что Т& есть оператор, инвариантный относительно сдвига. 3) Для т е £2(%Νι χ Zjv2) определим Т(ту. £2(Zni x Zjv2) —► —► £2(Ζνι χ Ζλγ2) равенством T{m){z) = (™>zj,
156 Глава 2. Дискретное преобразование Фурье где (m£)(ni,n2) = га(пьП2)£(п1,П2) для всех (ηι,η2). Любое линейное преобразование такого вида называется мулъггш- пликашорным оператором Фурье. Доказать, что любой оператор свертки Ть есть мультипликаторный оператор Фурье Т[т) с га = Ь. 2.2.20. Предположим, что Г: £2(Ζνι χ Zjv2) —► ^2(Zjvi x Zjv2) есть линейное преобразование. Доказать, что следующие утверждения эквивалентны: 1) Г есть преобразование, инвариантное относительно сдвига. 2) Г есть мультипликаторный оператор Фурье. 3) Г есть оператор свертки. Подсказка: импликация 1 =Ф- 2 следует из упр. 2.2.18, 2 => 3 —из упр. 2.2.19(3) и обратного преобразования Фурье, а следование 3 =Ф- 1 было доказано в упр. 2.2.19(2). Замечание: такой метод позволяет избежать операций с матрицами, которые более сложны, хотя их можно записать следующим образом: ΛΓι-l JV2-1 (Αζ)(ηι,η2)= Σ Σ M^un2;rnum2)z(mi,m2). mi =0 7712=0 В данном упражнении нужно повторить все этапы доказательства, имеющиеся в тексте для одномерного случая, но в этом случае предпочтительнее выполнить матричные операции в явном виде. 2.3. Быстрое преобразование Фурье В разд. 2.2 мы увидели главное достоинство базиса Фурье F (определение 2.7): все линейные преобразования, инвариантные относительно сдвига, диагонализуются базисом F. В этом разделе мы обсуждаем второе характерное свойство базиса F: DFT может быть вычислено с помощью быстрого алгоритма, известного как быстрое преобразование Фурье или FFT. Без FFT использование DFT при анализе речевых или видеосигналов было бы весьма ограниченным. Рассмотрим количество вычислений, требуемых в общем случае при переходе от одного базиса к другому. Предположим, что ζ G £2(Zn)· Если В есть базис £2(Ζν), то можно получить компоненты [ζ]в вектора ζ в базисе В из евклидовых компонент ζ = [ζ] ε умножением ζ на матрицу перехода от базиса Ε к базису В, которую мы обозначим буквой А, т. е. [ζ]β = Α[ζ]ε = Αζ.
2.3. Быстрое преобразование Фурье 157 N-1 Так как га-я компонента вектора Az есть ]Г) amnz(n), то требуется N 71=0 комплексных умножений для вычисления каждой компоненты Az. Так как Az имеет N компонент, то требуется iV2 умножений для вычисления всего вектора Az = [ζ]в- Для базиса Фурье ситуация не кажется чем-то отличающейся от общего случая: мы имеем ζ = [z]f = Wnz, где Wn есть матрица в формуле (2.18). Поэтому прямое вычисление ζ требует Ν2 комплексных умножений. Чтобы быть более точными, мы должны также сосчитать и число сложений. Однако, так как умножение — это значительно более медленная операция на компьютере, чем сложение, мы будем иметь хорошее представление о скорости вычисления, рассматривая именно число требуемых комплексных умножений. Когда мы говорим комплексное умножение, мы имеем в виду умножение двух комплексных чисел. Это должно потребовать четырех вещественных умножений, но если использовать «трюк» из упр. 2.3.1, это требует только трех вещественных умножений. При обработке сигналов и изображений рассматриваемые векторы могут быть очень большими. Например, для сохранения всей нужной информации телевизионного сигнала требуется хранение около 10000000 значений (пикселей) в секунду (Проакис и Манолакис, 1996, стр. 29-30). Поэтому сигнал, выбранный в течение одной секунды, есть вектор длины 10000000. Изображение отпечатков пальцев (см. пролог) в цифровом виде представляется разбиением каждого квадратного дюйма изображения на решетку из 500 х 500 пикселей, каждый из которых задает значение шкалы яркости (почернения). Такие значения являются компонентами большого вектора. Для видеоизображения нужно иметь 20-30 векторов примерно такого же размера каждую секунду. Вычисление DFT от таких векторов в режиме реального времени выходит за рамки возможностей аппаратных средств. Поэтому необходимы быстрые алгоритмы. Мы начнем с простейшего варианта FFT, в котором длина вектора N предполагается четной. Этот случай демонстрирует главную идею, лежащую в основе FFT. Лемма 2.37. Предположим, что Μ € N и N = 2М. Пусть ζ € £2(Ζν). Определим %v Ε £2(Ъм) равенствами u(k) = z(2k) для k = 0,1,..., Μ - 1 и v(k) = z{2k +1) для k = 0,1,..., Μ - 1.
158 Глава 2. Дискретное преобразование Фурье Другими словами, и = (z(0), *(2),*(4),..., z(JV - 4), z(N - 2)) t; = (z(l), z(3), z(5),..., z(JV - 3), z(JV - 1)). Пусть ζ означает DFT вектора ζ, определенное в N точках, т. е. ζ = Wnz. Пусть и и ν означают DFT, соответственно, и и υ, определенные в Μ = Ν/2 точках, т. е. й = Wm^ ti v = Wmv. Тогда для га = 0,1,..., М- 1 £(га) = U(ra) + e-27riw/Ni(m). (2.48) Так же для πι = Μ, Μ + 1,Μ + 2,..., TV — 1 пусть I = га —М. Заметим, что соответствующие значения I — это / = О,1,..., Μ — 1. Тогда S(m) = £(J + Μ) = u(i) - e~27ril/Nv{l). (2.49) Доказательство. Для любого га = 0, l,...,JV-l JV-1 z(m) = Σ z(n)e-27rimn/N n=0 по определению. Сумма по η = 0,1,..., N — 1 может быть разбита на сумму по четным значениям η = 2k, k = 0,1,..., Μ — 1 и сумму по нечетным значениям η = 2к + 1 для fc = 0,1,..., Μ — 1: М-1 М-1 5(то) = Σ z{2k)e-2^i2km'N + ^ z(2k + l)e-2^2k+^m'N = fc=0 fc=0 M-l M-l = V" u(k)e~2nikm^N/2) + e-27rim/N V v(k)e~27rihn^N/2) = fc=0 fc=0 M-l M-l = Σ u(k)e-27rihn/M +e~27rirn/N Σ v(k)e-2nikm/M. В случае га = 0,1,..., Μ — 1 последнее выражение есть u(ra)+e"27rim/N xt)(ro), т.е. мы получили формулу (2.48). Предположим, что га = Μ, Μ + 1,..., Ν — 1. Записывая теперь га = / + М, как в утверждении теоремы, и подставляя это значение m в последнее выражение для £(га), мы получим М-1 М-1 z(m) = ]Г n(fc)e-27ri^+M)/M + е-2^+м)/лг £ у{к)е-2шк«+м)/м = fc=0 fc=0 М-1 М-1 = J] и(А0е"27гШ/М - e~2*il/N ]Г г,(А0е"27гШ/м, fc=0 fc=0
2.3. Быстрое преобразование Фурье 159 так как экспоненты е 2шк1/м периодичны с периодом Μ и е 2шМ/м = = е~ш = — 1 для JV = 2М. Это приводит к равенству (2.49). ■ Пример 2.38. Пусть ζ = (1,1,1, г, 1, —1,1, —г). Найти 5. Решение. Следуя лемме 2.37, мы получаем и = (1,1,1,1) и ν = (1, г, -1, -г). Заметим, что u = 4i<b и г; = 4i*\ (следует из примера 2.4 и из того факта, что Fm = N~l/2Em). Следовательно, из упр. 2.3.3 (или с помощью прямого вычисления, используя выражения (2.19) и (2.21)) ϋ = (4,0,0,0) и ν = (0,4,0,0). Итак, из равенства (2.48) имеем: 5(0) = й(0) + 10(0) =4 + 0 = 4, 5(1) = й(1) + e-2nil/sv(l) = 0 + 4е"™/4 = 2\/2 - 2\/2 г, 5(2) = й{2) + e~27ri2/sv(2) =0 + 0 = 0 и f(3) = fi(3) + e"27ri3/8i(3) =0 + 0 = 0. А из равенства (2.49) мы получаем 5(4) = й(0) - 1г)(0) =4-0 = 4, 5(5) = й{1) - е"27ГЙ/8г)(1) = 0 - 4е"^/4 = -2\/2 + 2л/2 г, 5(6) = й(2) - e-2ni2/sv(2) =0-0 = 0 5(7) = й(3) - е"27Г*3/8г)(3) = 0-0 = 0. Следовательно, 5 = (4,2л/2 - 2\/2 г, 0,0,4, -2л/2 + л/2 г, 0,0). ■ Главный шаг в этой процедуре начинается со значений й(т) и v(m) и дает 5(га) и 5(т + М) в соответствии с диаграммой на рис. 10, называемой бабочкой. Это вычисление играет настолько значительную роль, что компьютерные аппаратные средства часто оцениваются тем, сколько бабочек может быть вычислено за одну секунду. Заметим, что одни и те же значения используются в равенствах (2.48) и (2.49), а именно й(1) и v(l) для 0 ^ Ι ^ Μ — 1. Чтобы применить формулы (2.48) и (2.49), мы сначала вычисляем й и v. Так как каждая из этих величин есть вектор длины Μ = Ν/2, то он может быть непосредственно вычислен за М2 комплексных умножений. Мы
160 Глава 2. Дискретное преобразование Фурье z(m) = * =u(m)+e-2wim/NS(m) z(ra+M) = * =u(m)-e~27rim/7Vt)(m) также вычисляем произведения e~2™m/Nv{m) для m = 0,1,..., Μ — 1. Это требует дополнительно Μ умножений. Остальное выполняется с использованием только сложения и вычитания полученных величин, это мы не принимаем в расчет. Итак, общее число комплексных умножений, требуемых для вычисления ζ с помощью формул (2.48) и (2.49), равняется самое большее 2M2 + M = 2(f)2 + f = \(N* + N). Для больших N главный член этого выражения есть ЛГ2/2, в то время как число комплексных умножений, требуемых для прямого вычисления ζ, есть N2. Итак, лемма 2.37 уже сокращает почти в два раза затраченное время вычислений. Мы можем пойти дальше, если N делится на 4 вместо 2. Так как и и υ также имеют четное число компонент, мы можем применить тот же метод для сокращения времени, требуемого для вычисления й и v. Если N делится на 8, мы можем продолжить эту процедуру еще на один шаг, и так далее. Наиболее общий способ описания этой процедуры состоит в определении для любого положительного целого N значения #N — наименьшего числа комплексных умножений, требуемых для вычисления DFT вектора длины N. Если N = 2М, то равенства (2.48) и (2.49) сводят вычисление ζ к вычислению двух DFT размера Μ плюс Μ дополнительных комплексных умножений. Следовательно, #iV<2#M + M. (2.50) Наиболее предпочтительный случай — это когда N есть степень числа 2. Лемма 2.39. Пусть N = 2П для некоторого η G N. Тогда #;v^iVlog2JV. Доказательство. Доказательство проводится индукцией по п. Когда η = 1, вектор длины 21 имеет вид ζ = (a,b). Тогда по определению й(т) v(m) + χ ρ—2πίπι/Ν χ(-1) + Рис. 10
2.3. Быстрое преобразование Фурье 161 (см. равенства (2.19) и (2.20)) ζ = (α + Ь, a — Ь). Заметим, что это вычисление не требует комплексных умножений, поэтому #2 = 0 < 1 = (21og2 2)/2. Итак, в этом случае утверждение справедливо. По индукции предположим, что оно справедливо для η = к — 1. Тогда для η = к мы имеем из формулы (2.50) и индукционной гипотезы, что #2* < 2#2fc-i + 2*"1 ^ 212к~\к - 1) + 2*"1 = = fc2fc-1 = ±fc2* = ±JVlog2JV. Это завершает шаг индукции и, следовательно, устанавливает справедливость утверждения. ■ В качестве примера заметим, что для вектора длины 262144 = 218, FFT сокращает число комплексных умножений, необходимых для вычисления DFT с 6.87 χ 1010 до 2359296, делая вычисление более чем в 29000 раз быстрее! Поэтому если для прямого вычисления DFT требуется 8 часов, то с помощью FFT на это будет истрачено около 1 секунды. Это отношение все более возрастает с ростом N до такой степени, что некоторые вычисления, которые могут быть выполнены FFT за разумные интервалы времени, не могут быть непосредственно выполнены за всю человеческую жизнь. Эта коренная разница в скорости является главным в современной цифровой обработке сигналов. Что, если N не есть четное число? Если N есть простое число, метод FFT не применим. Однако если N — составное число, например N = pq, то можно использовать обобщение леммы 2.37. Лемма 2.40. Предположим, nmop,q € N и N =pq. Пусть ζ 6 £2(Ζν). Определим wq, wi, ..., wp-\ E £2(Zq) равенствами wt(k) = z(kp + £) для к = 0,1,... ,</ — 1. Для 6 = 0,1,...,</ — 1 определим Уь € ί2(Ζρ) равенствами vb{l) = e-2"ibl'Nwi{b) для ί = 0,1,...,ρ-1. Тогда для α = 0,1,... ,р— 1 и 6 = 0,1,... ,д — 1 z(aq + b) = vb(a). (2.51) Заметим, что, согласно алгоритму делимости, каждое т = 0,1,..., JV — 1 имеет вид aq + Ь для некоторых а € {0,1,... ,р — 1} и Ъ G {0,1,..., q — 1}, m. е. формула (2.51) дает полное DFT вектора ζ.
162 Глава 2. Дискретное преобразование Фурье Доказательство. Мы можем записать каждое η = О,Ι,.,.,ΛΓ — 1 единственным образом в виде кр + £ для некоторого к 6 {0,1,..., q — 1} и 2 € {0,1,... ,р — 1}. Следовательно, z(aq + Ь)= Σ z(n)e-2™^+bWN= £ £ z(kp + 1)е-2™^+ъ)^)/Ы). n=0 1=0 к=0 Заметим, что —2ni(aq+b)(kp+l)/(pq) ___ —2mak—2nial/pp—2nibk/q—2mbl/(pq) Так как е-27гга* = 1 и pg = JV, то, используя определение ti^(fc), получаем Z(aq + b) = ^6-2πίαί/Ρβ-2πί6^^^(Α.)6-2πί6^ = 1=0 k=0 ρ—Ι ρ—I = Σ е-2™1/ре-27гШ/Мщ(Ь) = Σ e"27riaZ/*4(/) = ί6(α). ■ ί=0 /=0 Это доказательство демонстрирует главное свойство FFT. При вычислении z(aq+b) одни и те же значения vt(l), 0 ^ I ^ р—1 используются для всех а. Алгоритм FFT учитывает это свойство и вычисляет эти значения только один раз. Прямое вычисление ζ неявно осуществляет повторное вычисление этих промежуточных значений каждый раз, как они появляются. Рассмотрим число умножений, требуемое для алгоритма в лемме 2.40. Сначала мы вычисляем векторы щ для ί = 0,1,... ,р — Ι. Каждый из них есть вектор длины q, поэтому вычисление каждого щ требует #q комплексных умножений, т. е. этот шаг требует всего рфч комплексных умножений. Следующий шаг состоит в умножении каждого щ(Ь) на е~2шЫ/м, чтобы получить векторы ι;&(ί). Это требует всего ρ q комплексных умножений: одно умножение на q значений Ъ и ρ значений I. В конце мы вычисляем векторы щ для Ь = 0,1,... ,д — 1. Каждый Уь есть вектор длины р, поэтому каждый из q векторов щ требует #р комплексных умножений; всего это составит q#p комплексных умножений. Складывая все вместе, мы получаем оценку числа умножений, требуемых для вычисления DFT размера N = pq, а именно, #pq^P#q + q#P+pq- (2.52) Эта оценка может быть индуктивно использована с тем, чтобы получить различные оценки времени, требуемого для вычисления FFT (см. упр. 2.3.7 и 2.3.8). Преимущество от использования FFT тем
2.3. Быстрое преобразование Фурье 163 больше, чем более составной характер (разбивается на большее число простых сомножителей) числа N. Во многих приложениях мы можем разбить поток данных на сегменты произвольной длины. В этом случае мы обычно берем N равным степени числа 2, и поэтому можем применить лемму 2.39. Если мы не можем выбрать вектора нужной длины, иногда его можно наполнить некоторым количеством нулей в конце с тем, чтобы вектор был достаточно составным. Хотя неравенства (2.50) и (2.52) могут быть использованы для оценки полного числа комплексных умножений, необходимых для вычисления ζ, они не показывают, как организовать все вычисление. Леммы 2.37 и 2.40 показывают, как выполнить каждый шаг, но не дают представления о том, как организовать итерационный процесс. Мы еще раз обсудим алгоритм FFT, чтобы показать, как могут быть выполнены все вычисления. Для простоты сузим процесс до случая, когда N есть степень числа 2, т. е. N = 2П. Тогда мы можем разложить любое га € {0,1,..., N — 1} по степеням 2 в виде га = гао + 2rai + 22га2 + ... + 2n_1ran_i, где гао, rai,..., ran_i 6 {0; 1}. Пусть ζ 6 ^2(Ζ#), обозначим z(m) = 2(ran_i, ran-2,..., mb ra0). Тогда для любого к = ко + 2к\ + 22&2 + · · · + 2n_1fcn_i, где fco, &ъ · · ·» fcn-i £ {0; 1}, получим ΛΓ-1 z(k) = Σ z(m)e-2nikm/N = га=0 1 1 1 = ]Γ ]P ... ]Г z(ran_i,ran_2,...,rai,ra0)x mo=Omi=0 mn_i=0 '-2тгг(А;о + 2fci + ... + 2η_1Α;η_ι)(7Πο + 2mi + ... + 2n_1m, x exp I 2n где exp(i) означает е*. Имеем '-27ri(fco+2fci+... +2n-1fcn-i)(mo+2mi+... +2n-1mn_i) =«*), exp 2n / -27rc(fco + 2fci + . ·. + 2Λ~1Α;Λ-ι)2"-1?ηΛ-ι \ - exp ^ ψ J x / -2^(fcp + 2fci + ■ ■ · + 2n-1kn.1)2m1 \ w χ βχρ ι ™ j x )= χ exp 2n '-27rt(fco + 2fci +... + 2n-xfcn-i)iTio 2" )
164 Глава 2. Дискретное преобразование Фурье В каждой экспоненте можно удалить все произведения в числителе, которые равны произведению целого числа на 2πί2η, так как после деления на 2П аргумент есть целое число, умноженное на 2π. Поэтому ( -2ni(ko+2ki+... +2n-1fcn-i)(m0+2mi+... +2n"1mn-i) ^ _ βΧρ V 2» ) ~ _ (-2mkQ2n-lmn-i\ ( -2m(kp + 2ki)2n~2mn-2 \ "exp V ¥ )exp V ¥ )x f-2m(ko + 2fci + 22к2)2п-3тп-з\ v x exp ^ — j χ ... f-2m(kp + 2fci + 22fc2 + ■ ■ ■ + y^-Qmo^ X exp V 2s / ' Подстановка этого выражения в предыдущее равенство дает 1 1 1 *(fc)= Σ Σ'" Σ ^n-b...,mi,m0)x mo=Omi=0 mn_i=0 xexp(-2"fco22n;lw-1) xexp(-2^ + 22y2"-2mn-2^ χ xexp(-2"(fco + 2fcl+2n- + 2n"lfc"-l)m°). (2.53) Заметим, что внутренняя сумма зависит от внешних переменных суммирования mo, mi,..., тп_2 и fco, но не от fci,..., fcn_i. Поэтому определим 2/1 (&(Ь mn_2, mn_3,..., m0) = ι = ]Ρ ζ(πιη-ι,mn_2,...,mi, m0) βχρ(-2πίΑ:ο2η"^η-ι/2η) = ran-i=0 = z(0,mn_2,..., mi,m0) · 1 + г(1, mn_2,...,mbm0) exp (—^ J . Вычисление у ι (ко, mn_2, mns,..., mo) требует только одного комплексного умножения для каждого из 2П значений fco,ran_2jWin-3>·· ·> ^о € {0,1}, т. е. всего 2П комплексных умножений для вычисления всех 2П возможных значений у\. На следующем шаге определим 2/2(^0, fci,mn_3,..., mo) = Σ/, ч f-2ni(k0 + 2λ!)2η-2?ηη_2\ yi(fc0,mn_2,mn_3,... ,m0)exp (^ * ^T ) · mn_2=0 Требуется также одно комплексное умножение для вычисления каждого из этих значений и, следовательно, всего 2П умножений для вычисления всех возможных значений $/2- Мы продолжим далее таким же образом, каждый раз заменяя оставшееся m с наибольшим индексом переменной к со следующим индексом. Поэтому вычислительная схема состоит
2.3. Быстрое преобразование Фурье 165 в выполнении последовательности преобразований ^К-1,%-2, · · · , ΤΠι,πίο) -> 2/l(fc(), mn-2, ™>n-3, . . . , ™θ), yi(fc0, mn_2, mn_3,..., m0) -* 2/2(^0, &ъ ™n-3> · · ·, ^0), 2/n-l(&(b fel, fe, · · · , K-2, ™θ) -* 2/η(&0, fcl, *&, · · · , &n-2, fcn-l)· Как следует из формулы (2.53), конечный вектор уп(&(Ь &ъ &2> · · ·> &п-2> fcn_i) есть z(k). На каждом шаге мы вычисляем следующий вектор yj для всех 2П возможных значений его переменных. Поэтому каждый шаг требует, самое большее, 2П комплексных умножений, и так как всего имеется η шагов, то полное число комплексных умножений п2п = N log2 N. (По лемме 2.39 это число в 2 раза превосходит минимальное число умножений. Упражнение 2.3.9 объясняет это различие в оценках.) Заметим, что как только вектор yj вычислен, yj-\ больше не нужен и может быть забыт. Поэтому вычисление может быть выполнено «на том же месте», т. е. на каждом этапе предыдущие данные могут быть заменены новыми данными. Это приводит к уменьшению объема памяти, необходимой для выполнения вычислений. Существует много вариантов алгоритма FFT, иногда приводящих к незначительному улучшению основного алгоритма, приведенного выше. Но основной момент состоит в том, что DFT вектора длины N = 2П может быть вычислен не более чем за n2n_1 = (N/2)log2N комплексных умножений в противоположность N2 = 22п умножений прямого алгоритма. Что можно сказать об обращении DFT, преобразовании IDFT? Как следует из равенства (2.30), w(n) = —w(N-n), поэтому алгоритм FFT может быть также использован для быстрого вычисления IDFT самое большее за (ЛГ/2) log2 N комплексных умножений, если N есть степень числа 2. (Мы не считаем деление на JV, потому что деление на целое число — относительно быстрая операция.) Так как DFT и IDFT могут быть вычислены быстро, то из этого следует, что мы также можем быстро вычислить свертку. А именно, мы можем записать z*w = (zwY (применяя обратное преобразование к результату леммы 2.30). Если z,w € £2(Zn), то для числа JV, равного степени двойки, потребуется самое большее N log2 N умножений для вычисления zVlw,N умножений для вычисления zw (покомпонентного произведения этих векторов)
166 Глава 2. Дискретное преобразование Фурье и самое большее (N/2) log2 N умножений для вычисления IDFT от zw. Поэтому всего потребуется не больше чем N + (3JV/2) log2 N умножений для вычисления свертки ζ * w. В разд. 2.2 мы видели, что любое линейное преобразование в пространстве £2(Zn), инвариантное относительно сдвига, может быть записано как оператор свертки. По теореме 2.19 это преобразование включает в себя операцию умножения циркулянтной матрицы на вектор. Таким образом, умножение циркулянтной матрицы размера Ν χ Ν на вектор длины N может быть вычислено с использованием FFT, самое большее за N + (3JV/2) log2 N умножений вместо обычных ΛΓ2 умножений. Другими словами, когда Г есть линейное преобразование, инвариантное относительно сдвига, DFT не только диагонализует Г, оно также дает (через FFT) быстрый практический способ вычисления Г. Упражнения 2.3.1. Заметим, что (а + ib)(c + id) = (a-b)d+(c-d)a + [(a-b)d+(c + d) b] i. Это значит, что для вычисления произведения двух комплексных чисел нам требуется вычислить только 3 вещественных произведения, а именно (а — b) d, (с — d) a и (с + d) b. 2.3.2. Пусть η = (1,3),г; = (0,4) и ζ = (1,0,3,4). 1) Вычислить йи v. 2) С использованием п. 1 и равенств (2.48) и (2.49) вычислить ζ. 3) Непосредственно вычислить ζ и сравнить ответ с вашим ответом для п. 2. 4) Пусть w = (0,1,4,3). Использовать равенства (2.48) и (2.49) для вычисления г&. 2.3.3. Пусть {βο,βι,... ,ε^ν-ι}—евклидов базис в £2(Ζν), и пусть {Fo,Fi,..., Fn-i} есть базис Фурье. 1) Показать, что em(k) = e~2mmk/N для всех к. Заметьте, что ёт (с точностью до отражения и нормировки) — элемент базиса Фурье. 2) Показать, что Fm = em. 2.3.4. Пусть w = (1,0,1,0,1,0,1,0). Вычислить w. Подсказка: рассмотрите ζ = (1,1,1,1). 2.3.5. Пусть u = (l,i, —1,—i),v = (1,-1,1,-1) и ζ = (1,1,г,-1,-1,1, -Ч -1). 1) Вычислить й и v. Подсказка: использовать упр. 2.3.3.
Упражнения 167 2) Вычислить ζ. 2.3.6. Предположим, что u = (a,b,c,d), υ = (α,β,%δ) и ζ = (α, α, 6, /?, с, 7> d,£). Если й = (2, i, -1,0) и δ = (3, -2,0,4t), найти 5. 2.3.7. Предположим, что ρ есть простое число и N = рп для некоторого положительного целого п. Доказать, что #pn^npn+2=p2N\ogpN. Подсказка: использовать индукцию и применить неравенство (2.52) с q = рп при переходе от η κ η + 1. 2.3.8. Предположим, что N = р™гр™2р™3.. .р™п для некоторых положительных целых чисел ρι,Ρ2> · · · >Рп и тъm2> · · · ? mn. Доказать, что существуют константы C(pi,p2> · · · >Рт)> зависящие от РъР2> · · · >Рп> но не зависящие от mi, тг,..., mn такие, что #лг ^ C(pi,p2, · · · ,Pm)Nlog2 Ν. Подсказка: напомним, что logb(x) = loga(x)/loga(6); используйте упр. 2.3.7, неравенство (2.52) и индукцию по п. 2.3.9. Показать, что число комплексных умножений, требуемое для вычисления выражения (2.53), не превосходит (ЛГ/2) log2 N. Подсказка: в общем случае при выполнении шага от yj к j/j+i мы должны вычислить I/j+i(*u» · · ·»kj,mn-j-2,..., m0) = ι = z2 2/j(^oJ-.-,fcj_i,mn_J_i,...,mo)x mn-j-i=0 X exp ^ ^ J · Очевидно, что это требует одного умножения (только одного потому, что нет умножений при mn_j_i = 0) для каждого возможного значения &о, · · ·, kj и mn_j_2,..., mo- Выделите член e-2m2Jkj2n-i-1mn-j-i/2n и покажите, что он всегда +1 или —1. Поэтому на два значения kj требуется одно умножение. 2.3.10. (Вычисление числа операций для двумерного DFT.) Пусть ζ € £2(Ζνι χ %ν2) (определено в упр. 2.1.15). Прямое вычисление двумерного DFT i(mi,m2) (определенного в упр. 2.1.17),
168 Глава 2. Дискретное преобразование Фурье кажется сначала требующим N\N2 комплексных умножений для каждого из N1N2 значений (mi,m2), что дает всего N2N2 комплексных умножений. Однако определим ЛГ2-1 »(П1,Ш2)= £ ζ(ηΐ,η2)β-2*™™/Ν\ П2=0 Тогда по определению JVi-l z(mum2) = Σ у{път2)е-2™т^1м\ ηι=0 1) Показать, что прямое вычисление всех значений у{п\,т2) требует ΝχΝ^ комплексных умножений, после чего прямое вычисление всех значений ζ{πΐι,πι2) требует Ν2Ν2 умножений. Итак, всё вычисление может быть выполнено за ΝχΝ2(Ν\ + Ν2) умножений. Замечание: причина этого преимущества состоит в том, что вычисление двумерного DFT состоит, по его определению, в вычислении одного преобразования размера Ν2 (внутренняя сумма) с последующей второй суммой размера Νχ. Любое вычисление, которое может быть разбито на суммирования меньшего размера, называется параллелизуемым. Как показывает формула (2.53), FFT в принципе возможно потому, что DFT параллелизуемо. 2) Предположим, что Νχ и Ν2 — степени числа 2. Используя FFT вместо прямого вычисления на каждом из двух этапов, отмеченных выше, показать, что ζ может быть вычислено самое большее за - iViJV2log2(iViiV2) комплексных умножений.
Глава 3 Вэйвлеты на множестве Ъ^ 3.1. Построение вэйвлетов на ZN: первый этап В этой главе мы продолжаем рассматривать дискретные сигналы ζ 6 £2(Ζν). В гл. 2 мы отметили два основных преимущества базиса Фурье F: 1) линейные преобразования, инвариантные относительно сдвига, диагонализуются базисом F и 2) координаты в базисе Фурье можно быстро вычислить с помощью FFT. Однако для многих целей при анализе сигналов и в других областях базис Фурье имеет серьезные недостатки. Многие из них проистекают из того факта, что элементы базиса Фурье не локализованы в пространстве. Это понимается в следующем смысле. Мы говорим, что вектор ζ € £2(Ζν) локализован в пространстве около по, если большинство компонент ζ(η) вектора ζ равны нулю или по крайней мере относительно малы всюду, за исключением нескольких значений п, близких к по. Элемент Fm базиса Фурье не локализован в пространстве, потому что его компоненты Fm(n) = — е2штп/м имеют одинаковую амплитуду (а именно 1/N) при всех η € Ζ#. Эта ситуация противоположна локализации: векторы базиса Фурье распределены настолько «равномерно», насколько это вообще возможно. Предположим, В = {νο,υχ,... ,vn-i} есть базис £2(Zn), такой что все его элементы локализованы в пространстве. Для вектора ζ мы можем записать жг , Ν—1 *= Y^anvn, (3.1) п=0 при некоторых αο,αχ,... ,адг-1· Предположим, мы хотим сосредоточиться на значении ζ около какой-нибудь точки по- Члены, включающие базисные векторы, которые равны 0 или пренебрежимо малы около по, могут быть удалены из формулы (3.1) без значительного изменения ζ в окрестности uq. Поэтому мы можем заменить всю сумму из N членов гораздо меньшей суммой, рассматривая только значения ζ около по. В более общем случае пространственно локализованный базис полезен, потому что он гарантирует локальный анализ сигнала: если какой- либо коэффициент в разложении ζ велик, то мы можем идентифицировать ту локальную область, с которой связан этот большой коэффи-
170 Глава 3. Вэйвлеты на множестве Ζ ν циент. Мы можем тогда, например, сосредоточиться на этой области и проанализировать ее более подробно. Одним из примеров, для которого это полезно, является обработка медицинского изображения, для того чтобы, например, внимательно рассмотреть возможную опухоль. Другой случай — это радарное или сонарное изображение при исследовании нефтеносных слоев для определения границы их нахождения или в археологии для локализации артефактов. Другой пример характерен для анализа видеоизображений. В настоящее время использование видеотелефонов не является широко распространенным, потому что высококачественные видеоизображения не могут быть переданы по телефонной линии за реальное время из-за того, что такая последовательность изображений превосходит возможность телефонной линии. Если видеоизображения можно представить меньшим количеством данных без серьезного ухудшения изображения, видеотелефоны могут стать широко распространенными. Соответствующее поле исследований, посвященных этой и аналогичным проблемам, называется сжатием данных. Наличие локализованных базисов может помочь сжатию изображений по следующим причинам. В случае телевизионных видеоизображений обычно каждый кадр лишь незначительно отличается от предыдущего: например, общий фон остается тем же самым, но, возможно, движется рука какого-то персонажа. Вместо того чтобы передавать весь новый кадр, может быть передана только разница между одним кадром и следующим. В локализованном базисе коэффициенты базисных векторов, которые сконцентрированы вне окрестности движущейся руки, не будут затронуты этим движением. Эти коэффициенты не будут значительно изменяться от одного кадра к другому и поэтому не требуют пересчета. Пересчет потребуется только для небольшого числа коэффициентов векторных базисов, локализованных около руки, и его можно выполнить с помощью относительно малого числа бит информации, что приводит к большому уровню сжатия. Это нельзя достичь, если для представления наших данных мы используем базис Фурье. Так как ЛГ-1 ζ(πι) = Σ z(n)e-2nimn/N, η=0 и e-2™mn/N имеет амплитуду, равную 1 при каждом п, изменение в z(n) для одного значения η может значительно изменить все значения z(m). Аналогично, локализованное в пространстве движение руки может существенно изменить все DFT-значения. Изменение изображения
3.1. Построение вэйвлетов на Zn'- первый этап 171 в базисе Фурье может требовать большого числа бит информации даже тогда, когда изображение меняется только локально. (Для примера видеоизображения можно рассмотреть двумерное DFT из упр. 2.1.17, принципы те же самые.) У нас есть один пример локализованного базиса, а именно стандартный, или евклидов, базис. Он локализован наилучшим возможным образом: каждый базисный вектор имеет только одну ненулевую компоненту. Однако нам хотелось бы также добиться преимуществ базиса Фурье, которые обсуждались в гл. 2, в частности, быстрого вычисления линейных преобразований, инвариантных относительно сдвига. Для этого нам хотелось бы, чтобы этот базис был частотно-локализованным. Под этим мы понимаем, что DFT наших базисных векторов были пренебрежимо малы всюду, за исключением некоторой области. Это значит, что базисные векторы должны состоять из очень малых групп частот. Заметим, что вектор стандартного базиса ет не локализован по частоте: из упр. 2.3.3(1) следует, что |em(fc)| = 1 для всех к. Векторы базиса Фурье отлично локализованы по частоте: в соответствии с упр. 2.3.3(2) Fm(ri) отлично от нуля только при одном п, а именно η = т. Так как базис Фурье, который отлично локализован по частоте, точно диагонализует линейные преобразования, инвариантные относительно сдвига, мы ожидаем, что базис, который локализован по частоте, будет в некотором смысле почти диагонализовать эти преобразования. Использование частотно-локализованных базисов позволяет нам также имитировать общую технику фильтрования. Например, может быть, что высокочастотные компоненты сигнала имеют очень маленькие коэффициенты, так что эти значения можно удалить без значительного изменения сигнала. Или может быть, что эти высокочастотные компоненты не воспринимаются человеческими органами чувств, и их удаление не влияет на восприятие изображения. (Это соответствует, например, случаю видеосигналов.) Это может быть даже тогда, когда эти высокочастотные составляющие определяются шумом, накладываемым на сигнал, так что сигнал становится более чистым, когда эти члены удаляются. При использовании частотно-локализованных разложений мы знаем, какие члены в нашем разложении нужно удалить, чтобы исключить высокочастотные компоненты сигнала. Если в результате сигнал удовлетворительно представляется уменьшенным числом бит информации, то мы достигли сжатия. Таким образом, наша конечная цель — это получить базис, элементы которого пространственно и частотно локализованы. Тогда коэффициенты разложения векторов в этом базисе будут давать пространственную и частотную информацию. Поэтому мы сможем осуществить
172 Глава 3. Вэйвлеты на множестве Ζ ν одновременно частотный и пространственный анализ такого вектора. Вэйвлеты дадут нам такой базис. Когда мы говорим об аудиосигнале, то в качестве переменной рассматриваем время (т. е. ζ(η) есть амплитуда сигнала в момент времени п). В то же время, когда мы говорим о двумерном видеоизображении, мы рассматриваем в качестве переменной координату двумерной точки (т.е. z(ni,ri2) есть потемнение изображения в точке (ni,ri2); см. упр. 2.1.15-2.1.18). В любом случае DFT-переменная — это частота (т. е. в одномерном случае z(m) есть коэффициент при частотной компоненте Fm в сумме для представления ζ). Поэтому мы можем говорить о частотно-временном анализе или о частотно-пространственном анализе, в зависимости от физического контекста; математический смысл остается одним и тем же. Мы также хотели бы, чтобы переход от стандартного базиса Ε к новому базису В вычислялся с помощью быстрого алгоритма, потому что в противном случае В будет бесполезен для аудио- и видеосигналов реального размера. Остановимся на вопросе о быстром вычислении. Мы можем вычислить быстро DFT с помощью FFT, но базис Фурье не является пространственно-локализованным. Однако мы отметили в разд. 2.3, что мы можем использовать FFT также для быстрого вычисления свертки с помощью формулы ζ * w = (zidy. Можем ли мы использовать эту формулу для быстрого изменения базиса? Чтобы ответить на этот вопрос, установим сначала соответствие между сверткой и скалярными произведениями. Определение 3.1. Для любого w € £2(%n) определим w € £2(I*n) равенством w(n) = w{—ri) = w(N — η) для всех п. (3.2) Мы называем w сопряженным отражением w. (Это будет для нас стандартным обозначением: с этого момента w, z и т. д. без комментариев предполагаются определенными формулой (3.2).) Из упр. 2.1.13 следует, что (wY(n) = Щп) (3.3) для всех п. Напомним определение циклического сдвига вектора ζ: (Rkz)(n) = z(n — к) (определение 2.12). Лемма 3.2. Пусть z,w 6 £2(Zn). Для любого к € Ζ справедливы равенства ζ * w(k) = {z, Rkw) (3.4)
3.1. Построение вэйвлетов на Zn- первый этап 173 и ζ * w(k) = (z, Rkw). (3.5) Доказательство. По определению JV-1 JV-l (ζ, Rkw) = 22 z(n)Rkw(n) = yj z(n)w(n — к) = n=0 n=0 JV-1 = Y^ z(n)fi;(fc — n) = г? * ^(fc) = 2 * w(fc) n=0 из коммутативности свертки (упр. 2.2.5). Это доказывает формулу (3.4). Тогда соотношение (3.5) следует заменой w на w в формуле (3.4) с учетом того, что w = w. Ш Можно ли использовать лемму 3.2 для получения базиса, который можно быстро вычислить? Предположим, что w € £2(Zn) таков, что В = {Rkw}k=o есть ортонормированный базис £2(Zn). Тогда коэффициенты разложения вектора ζ по базису В — это скалярные произведения (z,Rkw) (лемма 1.101(1)). Как следует из формулы (3.4), эти коэффициенты как раз являются компонентами вектора ζ * w, т. е. [ζ]β = z*w. При использовании FFT эта свертка может быть быстро вычислена. Итак, для ортонормированного базиса В, порожденного сдвигами единственного вектора w, переход от базиса Ε к базису В может быть быстро вычислен (Е — евклидов базис). Стандартный базис Е — это только очевидный пример ортонормированного базиса вида {Rk^}^=o- Замечательно, что в терминах DFT существует простое условие на w, которое характеризует все такие базисы. Лемма 3.3. Пусть w Ε £2(Ζν). Множество {Rk^}^=o есть ортонормированный базис в £2(Zn) тогда и только тогда, когда \w(n)\ = 1 для всех η 6 Zjv. Доказательство. Напомним функцию Дирака δ Ε £2(Ζν), определенную равенствами δ(η) = Г, если η = 0, δ(η) = 0, если п = 1,2,... ,Ν — 1. Из упр. 2.3.3 и того факта, что δ = ео (или простого вычисления), следует что δ(η) = 1 для всех п. Как следует из упр. 3.1.1(2), {RkW^Zo есть ортонормированный базис 12(Zn) тогда и только тогда, когда «ί1. Ιο, (w,Rkw) = !in и л о at л ι3'6) если к = 1,2,..., Ν — 1.
174 Глава 3. Вэйвлеты на множестве Zn Из формулы (3.4) получаем (w,Rkw) = w*w(k), поэтому соотношение (3.6) эквивалентно равенству w*w = δ. Применив преобразование Фурье, лемму 2.30 и формулу (3.3), получим, что это равенство эквивалентно тому, что 1 = 8(п) = (w * wY(n) = w(n)(wY(n) = w(n)w(n) = |w(n)|2 для всех п. ■ Иметь такое простое условие того, что базис В является ортонор- мированным, довольно неплохо. Однако утверждение леммы 3.3 носит с нашей точки зрения весьма разочаровывающий характер. Оно говорит, что мы не можем получить частотно-локализованный ортонормиро- ванный базис вида {RkW^Zoi так как w(n) будет иметь амплитуду, равную 1 для всех п. В соответствии с леммой 2.13 \(RkwY(n)\ = |w(n)|, и поэтому каждый элемент RkW обладает тем же свойством. Мы видим, что ситуация для любого ортонормированного базиса такого вида аналогична случаю базиса Евклида. Это наблюдение не настолько обескураживающее, как кажется, потому что из него следует, что незначительная модификация исходной идеи приводит к основополагающим результатам. Вместо того чтобы рассматривать один вектор w, полное множество сдвигов которого образует ортонормированный базис, мы рассмотрим два вектора unv такие, что множество их сдвигов на четные числа образует ортонормированный базис. Для этого результата мы должны сузить наше рассмотрение до четных значений N. Определение 3.4. Предположим, что N есть четное целое число, N = 2М для некоторого Μ 6 N. Ортонормированный базис £2(Ζν) для некоторых η, υ € £2(Ζν) называется вэйвлегп-базисом первого этапа £2(Ζν). Мы называем и и υ порождающими векторами вэйвлет-базиса первого этапа. Мы иногда также называем и отцовским вэйвлетом, а υ — материнским вэйвлетом. Наша цель состоит в определении того, когда пара и, υ порождает вэйвлет-базис первого этапа. В теореме 3.8 мы характеризуем такую пару векторов в терминах условий на й и v. Сначала мы построим некоторую основу для наших рассуждений. Лемма 3.5. Предположим, что Μ 6 Ν, Ν = 2М и ζ 6 £2(Ζν)· Определим ζ* € £2(Ζν) равенством ζ* (η) = (-1)ηζ(η) для всех п. (3.7)
3.1. Построение вэйвлетов на Ъ^: первый этап 175 (ζ*Υ(η) = ζ(η + Μ) для всех п. (3.8) Доказательство. По определению Ν-1 ΛΓ-1 (ζ*Υ(η) = Σ z*(k)e-2nihn/N = Y^{-l)kz{k)e-2*ikn'N = A;=Q fc=0 JV-1 JV-1 = J] г{к)е-™ке-2™ы'м= Σ z{k)e-2«ik(n+MVN k=0 Ar=0 =z(n + M). Ш Заметим, что для любого ζ 6 £2(%ν) с четным N / *\, \ , ч/„ / ^«\ {2ζ(η), если η четное, /л лЧ (г + **)(п) = *(*)(! + (-1Г) Η η (3.9) tO, если п нечетное. По формуле (3.9) мы можем судить о полезности вектора ζ*: он дает возможность сузить данные до четных значений п. Это проявляется в доказательстве леммы 3.6. Лемма 3.6. Предположим, что Μ 6 Ν, Ν = 2М и w € ^2(Ζ#). Тогда {^fcw}^!"^1 есгаъ ортонормированное множество из Μ элементов тогда и только тогда, когда \w(n)\2 + \w(n + M)\2 = 2 при п = 0,1,...,М-1. (3.10) Доказательство. Из формулы (3.4) и упр. 3.1.1(3) следует, что {R2kw}k=<^ есть ортонормированное множество из Μ элементов тогда и только тогда, когда если к = 0, если к = 1,2,..., Μ — 1. В соответствии с равенством (3.9) / ~ / ~^*^, ч (2w*w(n), если η четное, /л „лЧ (w*w + (w*w)*){n) = < v " ' (3.12) (Д если η нечетное. Следовательно, для четных п, т. е. η = 2fc, равенство (3.11) справедливо тогда и только тогда, когда {w*w + {w*w)*)(2k) = 2w * w(2fc) = \ ' еСЛИ " ' (0, если fc = 1,2,... , Μ — 1. Для нечетных значений η в соответствии с формулой (3.12) компонента (w*w+(w*w)*)(n) автоматически равна нулю. Поэтому равенство (3.11) справедливо тогда и только тогда, когда w*w + (w* w)* = 2δ. „.«Μ-^ι^-β - :-?„ ., . ,,π,
176 Глава 3. Вэйвлеты на множестве Ζ ν Так как δ(η) = 1 для всех п, то формула преобразования Фурье показывает, что соотношение (3.11) выполняется тогда и только тогда, когда (w*wy{n) + ((w*w)*Y(n) = 2 для n = 0,l,...,JV- 1. (3.13) С учетом леммы 2.30 и равенства (3.3) (w * wY(n) = w(n)(wY(n) = w(n)w(n) = |й;(п)|2. Используя это равенство и равенство (3.8), получаем ((w * w)*Y(n) = (w * гй)Л(п + Μ) = |w(n + M)|2. Подставляя два последних тождества в формулу (3.13), мы видим, что ее левая часть равняется \w(n)\2+\w(n+M)\2. Заметим, что это выражение периодично с периодом М: \w(n + М)\2 + \w(n + M + М)\2 = \w(n + М)\2 + \w(n)\2, потому что w имеет период N = 2М. Следовательно, |г5(гг)|2 + + \w(n + М)\2 равняется 2 для η = 0,1,...,М — 1 тогда и только тогда, когда оно всегда 2. Поэтому равенство (3.10) эквивалентно соотношению (3.13), которое, как мы заметили, эквивалентно (3.11) и, следовательно, ортонормированности {/fcfcw}^1. ■ Слова «множество из Μ элементов» в формулировке леммы 3.6 приведены для гарантии того, что элементы /?2fcW различны для к = 0,1,..., Μ — 1. Например, если w = JV-1/2(1,1,..., 1), то формально множество {R2kw}k^ol ортонормировано, так как оно состоит из одного элемента. Заметим, что лемма 3.6 имеет другое доказательство, основанное на равенстве Парсеваля и обратном преобразовании Фурье (упр. 3.1.1(5)). Определение 3.7. Предположим, что Μ 6 Ν, JV = 2М, %υ € £2(Ζν). Для η € Ζ определим А(п) — систему матриц из и и υ, равенством Г й(п) ν(η) [й(п + Μ) ν(η + Μ)\ Теперь мы можем характеризовать ортонормированные базисы, порожденные четными целочисленными сдвигами двух векторов. Теорема 3.8. Предположим, Μ 6 Ν,Ν = 2М. Пусть u,v E £2(Zn)· Т°гда В = {R2kv}^ U {R2ku}^ = = {*>> #2^> R4V, . . . , Rn-2V, U, R,2U, R4U, . . . , R]y-2U} есть ортонормированный базис £2(Zn) тогда и только тогда, когда система матриц А(п) из и и υ унитарная для каоюдого η = 0,1,..., Μ—1. Μη) = -L (3.14)
3.1. Построение вэйвлетов на Ъ^: первый этап 177 Эквивалентно, В есть вэйвлет-базис первого этапа пространства £2(Zn) тогда и только тогда, когда \й(п)\2 + \й(п + М)\2 = 2, (3.15) \v(n)\2 + \v(n + M)\2 = 2 (3.16) и u(n)v(n) + й(п + M)v(n + Μ) = О (3.17) для всех η = 0,1,..., Μ — 1. Доказательство. Напомним (лемма 1.105), что матрица размером 2x2 унитарна тогда и только тогда, когда ее столбцы образуют ор- тонормированный базис в С2. Из леммы 3.6 следует, что множество {R2ku}kJ^1 ортонормировано тогда и только тогда, когда выполняется равенство (3.15). Это значит, что первый столбец матрицы А(п) имеет длину, равную 1, для каждого η = 0,1,.,.,Μ— 1. Аналогично, множество {R2kv}kJ^ ортонормировано тогда и только тогда, когда выполняется равенство (3.16); это значит, что второй столбец матрицы А(п) имеет длину, равную 1, для η = 0,1,...,М — 1. Далее, утверждается, что (И2кЩ R2jv) = 0 для всех j, к = 0,1,..., Μ — 1 (3.18) тогда и только тогда, когда выполняется равенство (3.17). Заметим, что соотношение (3.17) означает, что столбцы матрицы А(п) ортогональны. Из предположения справедливости этого утверждения моментально следует, что В есть ортонормированное множество, следовательно, ортонормированный базис £2(Ζν) (потому что оно имеет N элементов), тогда и только тогда, когда матрица А(п) унитарна для каждого η = 0,1,..., Μ — 1. Чтобы доказать эквивалентность равенств (3.17) и (3.18), сначала заметим, что соотношение (3.18) эквивалентно равенствам и * v(2k) = (и, R,2kv) = 0 для всех к = 0,1,..., Μ — 1, что следует из формулы (3.4) и упр. 3.1.1(4). Соотношение (3.9) для ζ = и * ν эквивалентно равенству и * ν + (и * ϋ)* = 0, потому что значения при нечетных индексах автоматически равны 0. С учетом DFT и IDFT это эквивалентно равенству (и * ϋ)Λ+ ((и * #)*)л= 0. Из леммы 2.30 и соотношения (3.3) мы имеем (и * vY(n) = u{n)v{ri).
178 Глава 3. Вэйвлеты на множестве Zn Поэтому из формулы (3.8) следует ((и * ϋ)*Υ(η) = й(п + Μ)ν(η + Μ). Заметим, что левая часть равенства (3.17) периодична с периодом М, следовательно, она равна нулю для η = О,1,..., Μ — 1 тогда и только тогда, когда она ноль при всех п. Поэтому равенства (3.18) и (3.17) эквивалентны. ■ Существует обобщение теоремы 3.8 на случай / функций (упр. 3.1.11), которое включает лемму 3.3 как частный случай при I = 1. В общем случае показать непосредственно, что {i^u}^1 U U {R2k^}k=(^ есть ортонормированный базис £2(Zn), не очень легко (хотя один случай, для которого это возможно, — это дискретный базис Хаара, определенный в упр. 3.1.2). Однако нетрудно построить и и ϋ такие, что матрицы А(п) унитарны для всех η = 0,1,..., Μ — 1. По теореме 3.8, как только это сделано, мы можем вычислить IDFT (обратное дискретное преобразование Фурье) от й и ν и получить пример вэйвлет- базиса первого этапа. Перед тем как построить пример, сравним условия леммы 3.3 и теоремы 3.8. В лемме 3.3 на |w(n)|2 наложено условие равенства единице при каждом п. В теореме 3.8 единственное ограничение на |й(п)|2 и \й(п + М)\2 состоит в том, что их среднее равно 1. Например, это позволяет взять |й(п)|2 = 2 и \й(п + М)\2 = О для некоторого п. Тогда равенство (3.17) приводит к соотношению ν(η) = 0, которое вследствие равенства (3.16) дает \ν(η+Μ)\2 = 2. В этом случае компонента ν(η) при JV-1 Fn в разложении υ = Σ #(η)^η есть нуль; таким образом, υ не имеет п=0 компоненты в направлении Fn. Это позволяет нам, например, выделить и, содержащий низкочастотные компоненты, и вектор υ, содержащий только высокочастотные компоненты (см. ниже пример 3.10). Мы замечаем, что когда высокие и низкие частоты разбиты на некоторые диапазоны, порождающиеся векторами вэйвлет-базиса первого этапа, стандартное обозначение состоит в том, что и — это вектор, содержащий низкие частоты (низкочастотный фильтр), а г; —вектор, содержащий высокие частоты (высокочастотный фильтр). По соглашению базис В в теореме 3.8 упорядочен, начиная со сдвигов вектора г;,—для выполнения итерационных шагов в разд. 3.2. Это демонстрирует обоснованность терминов «материнский вэй- влет» и «отцовский вэйвлет». Преимущество вэйвлет-базисов первого этапа, порожденных двумя родителями, по сравнению с базисами, порожденными одним родителем, как в лемме 3.3, состоит (как и в биологии) в том, что приводит к большему разнообразию в результатах.
3.1. Построение вэйвлетов на Zn : первый этап 179 Пример 3.9. Пусть и = (>/2,1,0,1) и ν = (0,1, л/2, -1). Тогда А(0) = л/2 А(1) = [л/2 о" О л/2 = / V2 1 1 1 -1 Ясно, что матрицы А(0) и А(1) унитарны. По теореме 3.8 система {v,R2V,u,jR,2u} есть ортонормированный базис ^2(Z4). Проделывая вычисления, аналогичные проведенным в примере 2.11, получим и = (йу= W^u = i (2 + л/2, л/2, -2 + \/2, л/2), Отсюда v = 1 (л/2, -л/2 + 2г, л/2, -л/2 - 2г). R2u = i (-2 + л/2, л/2,2 + л/2, л/2), Д2г, = I (л/2, -л/2 - 2г, л/2, -л/2 + 2г). Можно прямо проверить ортонормированность множества {u,R2%v,R2v}. Далее мы рассмотрим пример, общий для всех N и предназначенный для разбиения на высокие и низкие частоты. Напомним, что высокие частоты —это векторы Fm в базисе Фурье с номерами га в середине множества 0,1,... ,ЛГ — 1, в то время как низкие частоты —это Fm с номерами га около 0 или N — 1. Пример 3.10 (базис Шеннона первого этапа). Предположим, N делится на 4. Определим й, ν € £2(Ζν): й(п) = < и г)(п) = < ГА о, о, если если если если η = 0,1,..., j 3N 3N Λ 1 или η = —— , —- + 1,. 4 4 _ Ν Ν 3Ν 3Ν η- *4"'*4" + 1'···'Τ" 'Τ" ' η = 0,1,..., — - 1 или η = —-, — + 1,. 4 4 4 ,tf-i, ,iV-l, 3ΛΓ ЗЛГ 'Χ~2'ΊΓ L Заметим, что при каждом η либо й(п) = 0, либо ν{η) = 0, так что выполняется равенство (3.17); таким образом, столбцы матриц А(п) ортогональны. Также для каждого η либо й(п) = у/2 и u(n+JV/2) = 0, либо наоборот, так что выполняется (3.15); таким образом, первый столбец матрицы А(п) имеет длину 1 для каждого п. Такое же рассуждение
180 Глава 3. Вэйвлеты на множестве Ъ^ выполняется для г), поэтому второй столбец матрицы А(п) также имеет длину 1. Таким образом, матрица А(п) унитарна при всех п, поэтому по теореме 3.8 {R2kv}k=o~ U R2k^}k=o~ есть вэйвлет-базис первого этапа. Вэйвлет-базис Шеннона аналогичен базису, проистекающему из теоремы выборки Шеннона1) (см. упр. 5.3.2 и 5.4.17). Заметим, что мы определили и и υ через их DFT; чтобы получить значения η и г;, мы должны вычислить IDFT от и и г). Результирующие суммы можно вычислить в явном виде (упр. 3.1.8). Мы получаем «(0)=«(0) = -^, (3.19) . /πη\ tt(n) = 2^ e-W* —\JLL, (3.20) Ν sin 1ПЫ тЫ «(η) = ^ (-1)»β-«*»/Ν VjW j (3.21) sin Ι для η = 1,2,..., JV — 1. Заметим, что для вектора υ имеем |г)(га)| = л/2 для JV/2 высоких частот N/4 ^ га ^ 3JV/4 — 1 и |г)(га)| = 0 для оставшихся JV/2 низких N-1 частот. Так как υ = Ν~ι Σ v(m)Fm, то это значит, что υ не содержит 771=0 частот из нижней половины диапазона частот. Сдвиги R^kV обладают тем же свойством в силу леммы 2.13. Таким же образом и и его сдвиги не имеют частот в верхней части диапазона. Поэтому в представлении (JV/2)-l (N/2)-l Ζ= Σ {z,R2kV)R2kV+ Σ (z,R2kV>)R2kU k=0 k=0 для вектора ζ € £ (Ζν) более высокая половина частот в ζ содержится в первой сумме, в то время как более низкая половина содержится во второй сумме. Иногда бывает предпочтительным иметь ортонормированный базис, состоящий полностью из вещественных векторов. Например, предположим, что сигналы ζ, которые мы хотим разложить, все веществен- ^ Рассматриваемая теорема была открыта несколькими авторами. Наиболее широкое распространение получило доказательство этой теоремы, сделанное К. Шенноном в 1949 г. (для приложений по теории связи). Первоначально она была доказана Дж. Уиттекером в 1915 г. в книге по теории интерполяции. В отчетливой и современной форме доказательство этой теоремы было дано в 1933 г. В. А. Котельниковым.— Прим. перев.
3.1. Построение вэйвлетов на Ъ^: первый этап 181 ные; это часто имеет место в приложениях (например, видеосигналы или изображения). Если элементы базиса также вещественные, то коэффициенты в разложении ζ будут вещественными, потому что они являются скалярными произведениями ζ с элементами базиса. Поэтому в этом случае мы должны хранить компоненты ζ в этом базисе как вещественный вектор. Это упрощает вычисления и экономит место в компьютерной памяти, потому что комплексные векторы хранятся как пары вещественных векторов. Заметим, что базис Шеннона в примере 3.10 не является вещественным. Из следствия 2.16 вытекает, что вектор ζ имеет вещественные значения тогда и только тогда, когда его DFT удовлетворяет условию симметрии z(m) = z(N — га) для каждого га. Рассматривая й, мы видим, что это условие удовлетворяется для m = 0,1,..., (ЛГ/4) — 1 и для га = (3JV/4) + 1,..., ЛГ — 1, где все значения равны л/2, и для га = (ЛГ/4) + 1,..., (3JV/4) — 1, где все значения равны 0. Однако это условие не выполняется при га = ЛГ/4 (эквивалентно, га = ЗЛГ/4) потому, что й(ЛГ/4) = 0 и й(ЗЛГ/4) = \/2. Аналогичные факты имеют место и для v. Однако мы можем изменить ϋ и ν для этих значений таким образом, чтобы выполнялось условие симметрии (следовательно, и и ν будут вещественными), в то время как также удовлетворяются условия теоремы 3.8. Пример 3.11 (вещественный базис Шеннона первого этапа). Предположим, ЛГ делится на 4. Определим й, ν Ε £2(Zn) равенствами ,Ν-1, (η) = < (n) = j Замети \V2, Г' -г, 0, ч 1, V2, если если если если если если если П 1 Ν Λ 3Ν , 1 η = 0,1,..., -— 1 или η = -— + 1, 4 4 Ν η=τ. 4 3iV η = ~4~' η = 7 + 1'···'"Τ-1' η = 0,1,..., —— 1 или η = — + 1, Ν 3iV η = — или η = —— , 4 4 η=τ + 1,...,-Γ-1. [м, что для ЛГ/4 или ЗЛГ/4 справедливс ,ΛΓ-1, равенство ν(Ν/Α) = г)(ЗЛГ/4), потому что оба этих значения равны 1, в то время как й(ЛГ/4) = г = — г = й(ЗЛГ/4). Другие значения η и г; соответствуют условиям на базис Шеннона и, следовательно, удовлетворяют условию
182 Глава 3. Вэйвлеты на множестве Ън а) б) Рис. 11. Графики векторов а) ЯюЩ б) R32V для случая ЛГ = 64 симметрии. Поэтому и и υ — вещественные векторы. При η = Ν/Α системная матрица имеет вид МИ/*) = £ г 1 -г 1 и является унитарной. (Заметим, что, выбрав г), мы были вынуждены взять и чисто мнимыми при N /А и 3JV/4, чтобы добиться одновременно условия симметрии и условия унитарности матрицы.) Для других значений системные матрицы те же самые, что и для базиса Шеннона, и потому унитарны. Поэтому, согласно теореме 3.8, {R2kv}klQ~ V{R2ku}k=o~ есть вэйвлет-базис первого этапа, такой что и иу — вещественные векторы. Из этого следует, что все элементы базиса вещественные, потому что они являются сдвигами и и υ. Заметим, что низкие и высокие частоты распределены между и и υ, как в примере 3.10, за исключением наличия перекрытия частот при η = Ν/Α и η = 3JV/4. В этом случае записать в явном виде выражения для unv несколько более сложно. На практике для конкретного N следует использовать программу IDFT для вычисления η и г; и хранить их для последующего использования. Графики R^u и /2з2^ в случае N = 64 показаны на рис. 11 (мы использовали сдвиги на 32, чтобы отцентрировать графики на отрезке 0 ^ η ^ 63). Аналогично на рис. 12 приведены графики векторов i?256^ и #256^ в случае N = 512. Заметим, что эти функции локализованы в окрестности центральных точек (32 в случае N = 64 и 256 в случае N = 512). Это может показаться удивительным, потому что мы специально к этому не стремились. Однако мы могли ожидать, что υ должен иметь максимум при η = 0 (и, следовательно, -Й25б^> в случае N = 512, должен иметь
3.1. Построение вэйвлетов на Zjy: первый этап 183 максимум при η = 256), потому что из обращения Фурье ЛГ-1 υ(η) = ^ Σ v(m)e2irimn/N га=0 ЛГ-1 υ(°) = jr Σ *(т) т=0 Так как в этом случае v(m) ^ 0 для всех т, то в сумме для г;(0) нет сокращений. Для η φ 0 имеются сокращения, поэтому мы получим меньшие значения, чем г;(0). Функции e2mmn/N близки к линейной при п, близких к нулю. Когда η удаляется от 0, экспоненты становятся менее линеаризованы до тех пор, пока в конце концов они становятся более или менее независимыми. Это значит, что величины в сумме стремятся к сокращению, что дает в результате малые значения υ(η) при п, далеких от центральной точки. 50 100 150 200 250 300 350 400 450 500 б) Рис. 12. Графики векторов a) i?256^> б) i?256^ Для случая ЛГ = 512
184 Глава 3. Вэйвлеты на множестве Ζ ν N-l Заметим также, что Σ υ(η) = ϋ(0) = О по своей конструкции, что п=0 объясняет, почему кажется, что υ имеет равное количество положитель- ΛΓ-1 ных и отрицательных значений. Однако Σ u(n) = й(0) = л/2, и по- п=0 этому и имеет больше положительных, чем отрицательных значений. Заметим, что график R32V на рис. 11, б кажется симметричным относительно η = 32. Это можно вывести из упр. 2.1.12(1): г; —вектор, симметричный относительно нуля, потому что ν — вещественный. Аналогично, и не симметричный относительно нуля, потому что и не вещественный, следовательно (как мы можем видеть на рис. 11,6), Лз2^ несимметричный относительно η = 32. Такие же рассуждения справедливы и для рис. 12. Так как унитарные матрицы размера 2x2 легко охарактеризовать, то теорема 3.8 может быть использована для явного описания всех вэйвлет- базисов первого этапа (см. упр. 3.1.6). Позже мы увидим, что следующий результат очень полезен. Он говорит о том, что каждый потенциальный отцовский вэйвлет и имеет соответствующий материнский вэйвлет ν такой, что ии υ порождают вэйвлет-базис первого этапа. Лемма 3.12. Предположим, Μ 6 Ν, Ν = 2М, и пусть и 6 £2(Ζν), такой, что {i?2fc^}fc=o есть ортонормированное множество из Μ элементов. Определим υ € £2(Ζν) равенством v(k) = {-1)к~1и{1 -fc) (3.22) для всех к. Тогда {R2kv}$?J^1 U {R2ku}^=^ есть вэйвлет-базис первого этапа пространства ί2(Ζ#). Доказательство. Используя соотношение (3.22) и подстановку к = 1 — п, получим N-l N-l v(m) = ^ v(n)e-2nimn/N = ^(-l)n-yi - n)e-2*imn/N = n=0 n=0 JV-1 = Σ ^)(-l)~ke-2nim{l-k)/N = N-l = e-2ni7n/N Σ uffc)(e"i7r)"fce27rim^N = fc=0 N-l = e-^rn/NJ2 u(k)e-2m{m+M)k/N = ^mm/N^ + щ k=0
3.1. Построение вэйвлетов на Zn : первый этап 185 Поэтому v(m + M) = e-2^m+M^Nu(m + 2М) = Так как 2М = JV, то, очевидно, справедливы равенства u(m + 2M) = u(m + N) = й(га) и e~2niM/N = e~in = -1. Следовательно, \υ(πι)\2 + \v{m + Μ)\2 = \u(m + М)\2 + \u(m)\2 = 2 для m = 0,1,..., Μ—1 по лемме 3.6 и ортонормированности {ife***}]^1. Поэтому выполняются равенства (3.15) и (3.16). Окончательно u(m)v(m) + u(m + M)v(m + Μ) = = u{m)e27rim/Nu{m + Μ) - u{m + M)e27rim/Nu(m) = О, т. е. справедливо соотношение (3.17). По теореме 3.8 пара и, ν порождает вэйвлет-базис первого этапа пространства £2(Ζν). Ш Предположим, что В = {-йг*^}^1 U {Дг***}]^1 есть вэйвлет-базис первого этапа. По лемме 1.106(1) матрица перехода от базиса В к Ε есть матрица U со столбцами из векторов v, R2V, ..., Rn-2V, n, R,2U, ..., Rn-2U, в указанном порядке. Так как В есть ортонормирован- ный базис, U есть унитарная матрица (лемма 1.105), поэтому матрица перехода от Ε к В есть С/-1 = 17*. Однако вычисление [ζ] в путем прямого умножения U*z медленное, требующее N2 умножений. Чтобы вычислить быстро переход от одного базиса к другому, мы должны использовать тот факт, что коэффициент при Ft2kV в разложении ζ есть {z, R2kV) = ζ * v{2k), и аналогично для и. Поэтому ζ * ν(0) ζ * ϋ(2) [ζ}β = ζ * ν(Ν - 2) ζ * й(0) ζ * й(2) (3.23) [ζ * u(JV - 2)J Мы можем представить вычисление этого вектора как результат двух сверток ζ с последующей в каждом случае операцией отбрасывания компонент с нечетными индексами. Определение 3.13· Пусть отображение Μ 6 N и N = 2М. Определим D : ί2(ΖΝ) -> 12{Ъм), положив для г Ε ^2(Z#) £>(z)(n) = z(2n) при η s= 0) 1,..., Μ — 1.
186 Глава 3. Вэйвлеты на множестве Ζ ν ζ*ϋ(0) 1 ζ*ν(2) ζ*ϋ(Ν-2) Γ Ί **u(0) "Wb z*u(2) z*u(N-2) J Рис. 13 Оператор D называется оператором сгущающей выборки или децимации. Другими словами, если ζ = (г(0), ζ(1), ζ(2), ζ(3),..., z(iV — 1)), то D(z) = (z(0),z(2),z(4),...,z(N-2)). В диаграммах оператор децимации часто имеет обозначение [2. Вычисление вектора [ζ] в представлено на рис. 13. Это простой пример набора фильтров. В общем случае набор фильтров есть любая последовательность сверток и других операций. Изучение наборов фильтров есть целая область в инженерии, называемая многоскоростным анализом сигнала или поддиапазонным кодированием. Термин «фильтр» используется для обозначения оператора свертки, потому что такой оператор может обрезать различные частоты, если соответствующий мультипликатор Фурье равен нулю (или достаточно мал) для этих частот. Мы видели, что можно осуществить быстрый переход от базиса Ε к базису В. Как обстоит дело с выполнением обратной операции — вычислением перехода от матрицы В к матрице ΕΊ Конечно, это может быть достигнуто умножением на матрицу £7, но умножение матриц размером Ν χΝ медленное. Речь идет о быстрой процедуре, основанной на применении набора фильтров. Определение 3.14. Пусть Μ 6 N и N = 2М. Определим отображение U : 12(%м) —► i2(Zjv), положив для ζ € 12{%м) U(z)(n) = /*(п/2)' еСЛИ П ЧеТН°' tO, если η нечетно. Оператор U называется оператором разрежающей выборки. Он обозначается ]2. *ν ζ*υ 12 -*- D(z*v) = *и z*u 12 »D(z*u) = ζ*ϋ(0) ζ*ϋ(2) ζ*ϋ(Ν-2) z*u(0) z*u(2) I z*u(N-2) J
3.1. Построение вэйвлетов на Ъ^: первый этап 187 1 τ *г) *й ζ*ϋ z*u 12 12 D(z*v) D(z*u) Τ2 |2 U(D(z*v)) U(D{z*u)) *t *s t*U(D{z*v)) A 4 τ S*i/(.D(z*u))I фаза анализа фаза синтеза Рис. 14 Оператор разрежающей выборки удваивает размер вектора вставкой нуля между двумя смежными значениями. Например, если ζ = (2,5,-1,0, то [/(г) = (2,0,5,0,-1,0, г, 0). Заметим, что если мы разрежаем выборку, а затем ее сжимаем, то мы снова получаем то, с чего начали, т. е. D(U(z)) = ζ для любого ζ. Однако если мы сначала сжимаем выборку, а затем ее разрежаем, то мы сначала удаляем значения с нечетными индексами, а затем ставим на их место 0. Поэтому композиция U о D означает обнуление всех значений с нечетными индексами и, следовательно, не является тождественным преобразованием. Сравнивая U о D с формулой (3.9), мы видим, что UoD{z) = \{z + z*). (3.24) Этот пример показывает, что, в отличие от случая квадратных матриц в упр. 1.4.12(2), одностороннее обратное не всегда является двусторонним обратным. Чтобы получить ζ из результатов левого набора фильтров на рис. 13, мы применяем правый набор фильтров, как в правой части рис. 14. Здесь s,t 6 ^2(Zjv) неизвестны. Результат на выходе верхней ветви рис. 14 есть i * U(D(z * #)), и результат на выходе нижней ветви есть s*U(D(z*u)). Лемма 3.15 дает условия, при которых сумма этих двух результатов на выходе всегда равняется значению на входе ζ. Когда это происходит, мы говорим, что имеем точное восстановление с помощью набора фильтров. Заметим, что мы не обязательно предполагаем выполнение условий теоремы 3.8. Поэтому мы имеем более общий результат, касающийся набора фильтров, которые не обязательно соответствуют ортонормированным базисам. Хотя мы не будем останавливаться на этом далее, этот более
188 Глава 3. Вэйвлеты на множестве Ζχ общий случай приводит к обобщению ортонормированных вэйвлетов, называемых биоргпогоналъными вэйвлетами. Лемма 3.15. Пусть Μ € Ν, Ν = 2М, u,v,s,t 6 £2(Zn). Обозначим через А(п), η = 0,1,..., Ν — 1, системные матрицы (определение 3.7) для и, v. На рис. Ц мы имеем точное восстановление, т. е. t * U{D{z * ν)) + s * U(D(z *u))=z для всех ζ 6 £2(Zn), тогда и только тогда, когда «-> [f] - [f] <з-25) для всех n = 0,l,...,JV — 1. В случае когда А(п) унитарная матрица, это соотношение упрощается до t(n) = v(n) и s(n) = й(п). Если при всех η матрицы А(п) унитарны (эквивалентно, по теореме 3.8, если {^к^У^о1 ^ {Яг*^}^1 есть ортонормированный базис £2(Zn)), то t = ϋ и s = й. Доказательство. Из формулы (3.24) следует, что U(D(z * ν)) = \ (ζ * ν + (ζ * δ)*), и аналогично при ν, замененном на и. Поэтому, как при доказательстве эквивалентности соотношений (3.17) и (3.18), имеем 1 /«/ (U(D(z * v))Y(n) = ^ (ζ(η)ν(η) + ζ(η + Μ)ν(η + Μ)) для любого η, и аналогично для ν, замененного на и. Из этого следует [ί * U{D(z *v)) + s* U(D(z * ΰ))]"(η) = 1 = t(n) - (ζ(η)ϋ{η) + z(n + M)v(n + M))+ + s(n) - (z(n)u(n) + z(n + M)u(n + M)) = 1 = - (t(n)v(n) + s(n)u(n))z(n)+ Δ + τ; (t(n)v(n + M) + s(n)u{n + M))z{n + M). (3.26) С помощью обратного преобразования Фурье мы имеем такое восстановление тогда и только тогда, когда для всех η и ζ € £2(Ζν) каждое выражение в равенстве (3.26) совпадает с ζ(η). Мы утверждаем, что это справедливо тогда и только тогда, когда 8(п)й(п) + i(n)v(n) = 2 (3.27)
3.1. Построение вэйвлетов на Ъ^: первый этап 189 и s{n)u{n + Μ) + i(n)v(n + Μ) = 0. (3.28) Докажем это. Подстановка соотношений (3.27) и (3.28) в равенство (3.26) показывает, что они дают достаточные условия для точного восстановления. Обратно, если мы предполагаем точное восстановление, то зафиксируем η и возьмем ζ такой, что ζ(η) = 1 и ζ(η + Μ) = 0. Используя условие точного восстановления для этого ζ, получим, что выполняется равенство (3.27), тогда как другое ζ с ζ(η) = 0 и ζ(η + Μ) = 1 приводит к равенству (3.28). Разделив на д/2 и переписав равенства (3.27) и (3.28) в матричном обозначении, получим формулу (3.25). В случае когда А{п) унитарная матрица, А{п) обратима и А{п)~1 = А(п)*, поэтому решение уравнения (3.25) дает: s(n) = й(п) и t(n) = v(n). Если А{п) унитарная для всех п, то обращение Фурье и соотношение (3.3) дают: s = u nt = v. Ш В случае когда {-йг*^}^1 U {-йг*^}^1 есть ортонормированный базис £2(Zn), существует более простое доказательство (упр. 3.1.13) того, что s = u и t = δ, но мы представили здесь более общий результат, так как он имеет самостоятельное значение. Это говорит нам о том, как мы можем восстановить г, используя рис. 14 в случае, когда и и υ порождают вэйвлет-базис первого этапа. Мы берем s = и и t = ϋ (или эквивалентно, s = u и t = υ). В частности, шаг восстановления требует только в два раза больше сверток и, следовательно, может быть вычислен быстро. Чтобы реализовать этот способ вычисления перехода от базиса В к базису Е, возьмем на входе первую половину [ζ]в вверху правой части рис. 14 и вторую половину внизу, ct = vns = u. На выходе мы получим [z]e = ζ. Пока мы нашли условия, которые позволяют нам построить орто- нормированные базисы, при которых изменения базисов и их обращения могут быть быстро вычислены через свертки, используя диаграммы наборов фильтров. На примерах базиса Шеннона и вещественного базиса Шеннона мы видим, что можно получить некоторую степень частотной локализации таких базисов, потому что υ и его сдвиги содержат высокие частоты, в то время как и и его сдвиги содержат низкие частоты. При эксперименте мы также видели, что можно получить достаточно высокую степень пространственной локализации. Далее мы будем итерировать такой тип расщепления. Это даст нам базис, который естественным образом отражает различные масштабы.
190 Глава 3. Вэйвлеты на множестве Ζτν Простейший путь понимания такой итерации с точки зрения диаграмм набора фильтров будет дан в разд. 3.2. Упражнения 3.1.1. Пусть z,w,u,v € £2(ΖΝ). 1) Доказать, что (Rkz,Rjw) = {z.Rj-kw) = {Rk4z,w) для любых к, j 6 Ζ. 2) Доказать, что {Rk^}^=o есть ортонормированный базис £2(Zn) тогда и только тогда, когда выполняется соотношение (3.6). 3) Пусть Μ е N и N = 2М. Доказать, что {^и}^1 есть ор- тонормированное множество из Μ элементов тогда и только тогда, когда выполняется равенство (3.11). 4) Пусть Μ 6 N и N = 2М. Доказать, что равенство (3.18) справедливо тогда и только тогда, когда (u, R2kv) = 0 для всех к = 0,1,..., Μ — 1. 5) Провести следующее альтернативное доказательство леммы 3.6. Из равенства Парсеваля (2.11) и леммы 2.13 следует, что (w, R2kw) = 1 £ Hm)|V«™*/("/2). 771=0 JV-1 M-l 2M-1 Запишите Σ как Σ + Σ и замените m во второй сумме 771=0 771=0 771=М на m — М, в результате М-1 <u/, R2kw) = JL Σ (Wm)l2 + Wm + M)|2)е2-™*/м. m=0 Рассмотрите |г&(га)|2 + |г&(га + М)|2 как вектор пространства £2(Zjv) и примените обратное преобразование Фурье. 3.1.2. (Базис Хаара первого этапа.) Пусть N = 2М для Μ 6 N. Определим векторы и, υ Ε £2(Ζν) равенствами "=(^·-^·ο·ο····'°)
Упражнения 191 1) Доказать, что {R>2kv}^i1 U {/fefcu}^1 есть ортонормиро- ванный базис £2(Zn), прямо из определений и и υ, т. е. не используя DFT или теорему 3.8. 2) Вычислить и и v. Проверить, что системные матрицы А(п) (определение 3.7) унитарны при всех п. 3) Для ζ € £2{Ζν) определим М-1 P(Z) = Y^(z>R2kU>)R2kU И Μ 1 Μ—1 Q(Z) = Σ ^' R2kV)R2kV. Из п. 1 и леммы 1.101(1) следует, что ζ = P(z) + Q(^). Доказать, что для m = 0,1,...,М — 1 справедливо равенство P(z)(2m) = P(z)(2m + 1) = (z(2m) + z(2m + l))/2. Другими словами, P(z) получается из ζ заменой значений ζ при 2m и 2m + 1 их средним. Это можно рассматривать как вектор ζ, взятый с разрешением 2. Тогда Q{z) определяет «деталь», необходимую для перехода от разрешения 2 к разрешению 1. 4) Для N = 8 предположим ζ = (4,2,3,7,10,8,10,14). Найти Ρ(ζ) и Q(z), затем графически воспроизвести ζ,Ρ(ζ) и Q(z). 3.1.3. Пусть и € ^2(Z4) таков, что й = (1,л/2,*,0). Найти некоторый элемент ν такой, что {v,R,2V, и, R2U} есть ортонормированный базис пространства ^2(Z4). 3.1.4. Предположим, что и, υ € £2(Ζν). 1) Доказать, что {u,R2kv) = {v,R2ku). 2) Пусть Μ € N и N = 2М. Вывести из п. 1 и упр. 3.1.1, что η и г; порождают вэйвлет-базис первого этапа пространства £2(Ζν) тогда и только тогда, когда это справедливо для и и v. 3) Получить результат п. 2 исходя из теоремы 3.8. 3.1.5. Предположим, и = (\/2, \/2,0,0) и Ό = (0,0, \/2, \/2). 1) Проверить, что матрицы А{п) (определение 3.7)—тождественные, и поэтому унитарны, для η = 0,1. Вывести, что {v,R2Vyu,R2u} есть ортонормированный базис £2(%4).
192 Глава 3. Вэйвлеты на множестве Zn 2) Используйте IDFT для вычисления η, υ. 3) Прямо проверить (т. е. без использования теоремы 3.8), что {v,R2V,u,R2u} есть ортонормированное множество в i2(^L±). 3.1.6. Предположим, что Μ 6 N и N = 2М. 1) Пусть {^(п)}^^1 —вещественные числа такие, что О ^ г(п) ^ л/2 для всех η = 0,1,..., Μ — 1. Пусть {θ(η)}%Γ0\ Mn)}f=-0\ {(7(n)}£i-0\ Mn)}^1 -веще- ственные числа такие, что если η € {0,1, ..., Μ — 1} и 0 < г(п) < 1, то 0(п) + р(п) - ¥>(п) - σ(η) = (2fe + 1)π для некоторых к = fc(n) 6 Ζ. (Если r(n) = 0 или г(п) = \/2, то θ(η),φ(η),σ(η),ρ(η) — любые вещественные числа.) Определим u,v € l2(Z;y), положив U(n) = г(п)е^(п),й(п + ЛГ/2) = д/2-(г(п))2е^<п>, δ(η) = д/2 - (r(n))2eia(n) и г)(п + JV/2) = г(п)е**п> для η = 0,1, ..., Μ — 1. Определим u,v 6 ^2(Ζ#) как η = (й)~ и υ = (г))~. Доказать, что {ifov}^1 и {^fc^}^1 есть орто- нормированный базис £2(Ζν). 2) Доказать, что для любого вэйвлет-базиса первого этапа {R2kv}%rJji1 U {ДгАг^}^1? векторы и и ν имеют вид, определенный в п. 1, при некоторых вещественных τ(η),θ{η)^φ{η)^ σ(η),ρ(η), η = 0,Ι,.,.,Μ — 1, удовлетворяющих условиям 0 ^ г(п) ^ у/2 и θ + ρ — φ — σ = (2fc + 1)π для некоторого к = fc(n) 6 Ζ, для каждого η = 0.1,...,Ν — 1. Подсказка: по теореме 3.8 это как раз получается при параметризации унитарных матриц размера 2x2. 3.1.7. Предположим, Μ € Ν, Ν = 2М, ζ € £2(ΖΝ) и w € ^2(ZM). Доказать, что {D{z),w) = {z,U{w)). Заметьте, что скалярное произведение в левой части определено в ^2(Zm), в то время как скалярное произведение в правой части —в ^2(Zjv). 3.1.8. Проверьте формулы (3.19), (3.20) и (3.21). Подсказка: измените индексы суммирования так, чтобы каждая сумма начиналась с нуля, и примените соотношение (1.5). 3.1.9. В случае N = 2М и Μ 6 N показать, что из теоремы 3.8 вытекает лемма 3.3. Примените теорему 3.8 с ν = R\u.
Упражнения 193 *u z*u 12 D(z*u) >— T2 tf(I}(s*u)) —> *S s*U(D(z*u)) Рис. 15 3.1.10. Пусть Μ e Ν, JV = 2M и η, 5 6 ^ (Zjv). Рассмотреть набор фильтров только с одной ветвью, показанной на рис. 15. Показать, что не важно, как выбраны и и s, такой набор фильтров не может дать точного восстановления. 3.1.11. (Обобщение теоремы 3.8 на I функций.) Пусть I 6 N и l\N (напомним, это означает, что существует q 6 Ζ такое, что N = gi). 1) Предположим, г, v, it; € ^2(Ζ#). Доказать, что есть ортонормированное множество из N/I элементов тогда и только тогда, когда 1-1 У^ \z(n + kN/l)\2 = / для всех п. fc=0 Доказать также, что (Л^г;, Лугу) = 0 для всех j, fc тогда и только тогда, когда 1-1 У2 Hn + kN/l)w(n + kN/l) = 0 для всех п. к=0 Подсказка (метод 1): докажите, что V^ e-2mnm/l = П> «УШ / | П, ^о Ь, если 1\п. Следовательно, Г1, если к = 0 и υ = w, {υ, Rikw) = г; * w(ifc) = < 0, если fc = l,2,...,(JV//)-l ИЛИ V φ W тогда и только тогда, когда 1-1 - у^ e~27rinm/l^ * «7ϊι υ * щп) = < ) для всех п, если υ = w, m_Q Kyj для всех п, если υ φ w. Возьмите DFT от обеих частей. Докажите, что (e-2nimn/lv # ~)-до = ^fc + mN/l)w(k + mN/l).
194 Глава 3. Вэйвлеты на множестве Ън Подсказка (метод 2) (сравните с упр. 3.1.1(5)): из равенства Парсеваля (2.11) и леммы 2.13 следует, что Λ Ν~ι (v,Rtow) = 1 Σ Hrn)e2"ilk™/Nw(m) = m=0 1-1 (ΛΓ/Ι)-1 = Jf Σ Σ e2*ilk(n+iNMNv(n + jN/l)w(n + jN/l) = j=Q n=0 J^ e2mkn/(N/i) iJ2v(n + jN/l)w(n + jN/I). n=0 j=0 (N/l) Примените обратное преобразование Фурье в ί2(Ζ^/ι). 2) Предположим, щ, Ui,..., Щ-\ € ^2(Ζ#). Доказать, что {iwSM и №mSm и... и {лап^а^-1 есть ортонормированный базис когда матрица ύι(η) Чп+т) щ йо(п) (п+-) uo{n + —) ν) тогда и только тогда, ύι-ι(η) «ι(η + —) . / _,_(/ —1)JV\ . / , (l-l)N\ Ui-i{n+ у) Щ-Лп+—) Ui-4n+ ι") унитарная для η = 0,1,..., (iV/ί) — 1. 3.1.12. (Двумерный аналог теоремы 3.8.) Предположим, что Μι, М2 € N, JVi = 2Μι и JV2 = 2М2. Вспомните упр. 2.1.15, 2.1.17, 2.2.18 и 2.2.19 как основу для следующей задачи. 1) Пусть ζ 6 ί2{Ί*Νι х Zjv2). Определим последовательности ζ*, ζ** и г*** 6 ^2(Zjvx x Zjv2) равенствами z*(ni,n2) = (-l)niz(nbn2), г**(п1,п2) = (-1)П2г(п1,п2) и г***(пьп2) = (-1Г+"^(п1,п2). Доказать, что s(*bfc) + z*(kuk2) + z**(kuk2) + z***(h,k2) = f4z(fci,fc2), если к\ и k2 четные, ,0, если к\ или fc2 нечетные. -{;
Упражнения 195 2) Пусть uo,ui,U2,us € ί {Ί*Νχ χ Ζ#2). Пусть Α{η\,η2) — матрица, m-й (га = 0,1,2,3) столбец которой равен Um(^b^2) Um ( П1 + —,П2 I - ( ι ΝΑ Um ( П1,П2 + у I Um ( П1 + —,П2 + — 1 Доказать, что {#2*ι,2*2^θ}θ<*ι<Μι--1,(Κ*2<Μ2-ΐυ U{#2*i,2*2^l}o<*i<Mi-l,0<*2<M2-lU U{#2*i,2*2^2}o<*i<Mi-l,0<*2<M2-lU U{-R2Ari,2Ar2W3}o<Ari<Mi-l,0<Ar2<M2-l есть ортонормированный базис ί (%Ni x Ζ#2) тогда и только тогда, когда матрицы Α(ηι,η2) унитарны для всех щ=0,1,..., (ЛГ1/2)-1ип2 = 0,1,...,(ЛГ2/2)-1. 3) (Произведение вэйвлетов первого этапа для двумерного случая.) Простейший способ порождения базиса типа рассмотренного в п. 2 состоит в образовании произведения вэйвлетов. Пусть {R2kVi}Jk=ol U {#2*^1 }j£oг есть вэйвлет-базис первого этапа пространства ^2(Zjvi) и {#2*^2}j£o* u {#2*^2}j£o г есть вэйвлет-базис первого этапа пространства £2(Zjv2). Определим wo{ni,n2) = υι(ηι)υ2{η2), m(ni,n2) = ui(ni)i;2(n2), W2(ni,n2) = vi(ni)u2(n2), и ^з(пьп2) = ui(ni)u2(n2). Доказать, что {#2*ι,2*2™θ}*ι,*2 U {^Ατχ,2Ar2wl}Α?ι,Ar2U U {#2*ι,2*2^2}*ι,*2 U {#2*ι,2*2^3Ηι,*2 есть ортонормированный базис ^2(Zjvx χ Ζ#2), где в каждом случае к\ пробегает от 0 до М\ — 1 и к2 пробегает от 0 до М2 — 1. Подсказка: простейший способ сделать это — заметить, что #2*1,2*2^0(^1,^2) = #2fci ^1(^1)^2*2^2(^2),
196 Глава 3. Вэйвлеты на множестве Zn и аналогично для w\, w2 и W3. Тогда результат следует из общего результата о произведении базисов в упр. 2.1.16. Другой способ, который более труден, но поучителен, состоит в использовании теоремы 3.8 и п. 2. Пусть Αι{η{) есть системная матрица с и = щ, υ = νχ, η = п\ и Μ = М\ и пусть А2(п2) есть системная матрица для u2,v2,n2 и -ОДг· По предположению и теореме 3.8 матрицы А(п{) и ^(пг) унитарны для всех п\ и П2- Используйте это для демонстрации того, что матрицы А{п\,п2), определенные, как в п. 2, но с Wj на месте ty для j = 1,1,2,3, — унитарные при всех ni, П2. Заметим, что не все ортонормированные базисы, такие как в п. 2, — это произведения базисов. 3.1.13. Предположим, Μ 6 Ν, Ν = 2М и η, ν, 5, ί, г € £2(ΖΝ). 1) Доказать, что M-l ί * £/(£>(* * δ)) = J^ {z,R2kv)R2ki M-l S * J7(D(^ * u)) = ^ (2:, R2ku)R2ks. 2) Предположим, что {Λ^ν}*!^1 U {-Яг***}*^)1 есть ортонорми- рованный базис £2(Zn). Используйте п. 1, чтобы дать простое доказательство того, что мы имеем точное восстановление на рис. 14 тогда и только тогда, когда s = и и t = ϋ. Подсказка: рассмотрите ζ = и или υ. 3.1.14. (Точное восстановление для двумерных наборов фильтров.) Предположим, М\,М2 G Ν,ΛΓχ = 2М\ и Ν2 = 2Мг. Определим двумерный оператор сжимающей выборки D : £2{Ϊνι χ %ν2) ~"* —► ^2(Ζμι χ ^м2) равенством D(z)(kuk2) = z(2ku2k2) для fci = 0,1,..., Μι — 1, к2 = 0,1,..., Μ2 — 1 и для любых г 6 ^2(Zjvx xZjv2). Определим двумерный оператор разрежающей выборки U: £2{Ζμι χ %м2) —* ^2(ZjVi x %n2) равенством = {z(ki/2,i lo, rrt \tu 1 \ ) ~vi/-,*fc/2), если кг и fc2 четные, U(z)(kuk2) = {^ . . если fci или «2 нечетные. Заметим, что U ставит три нуля для каждой ненулевой компоненты, которая содержится в области значений этого оператора.
Упражнения 197 1) Предположим, ζ € £2(Ζνι χ %ν2)- Доказать, что U(D(z)) = ±(z + f + 3r + z"*), где используются определения из упр. 3.1.12(1). 2) Основной набор фильтров в двумерном случае имеет четыре ветви, точно так же, как наш вэйвлет-базис первого этапа в упр. 3.1.12(2) имеет четыре порождающие ветви. Предположим, uo,ui,U2,U3,so,si,S2,S3 € £2(Zni x Zjv2). В j-й ветви набора фильтров с входным вектором ζ € £2(Ζνι χ %ν2) мы вычисляем ζ * uj. Затем мы применяем оператор D. Это — на этапе разложения. На этапе восстановления мы берем вектор, полученный ранее на выходе j-й ветви, применяем оператор U и выполняем свертку с §j, дающую в результате 8j*U(D(z*uj)). Мы имеем точное восстановление, если сумма всех ветвей равняется ζ, τ. е. если з j=o для всех ζ Ε ί2(Ί*Νλ х %Ν2)- Пусть A{n\,ri2) есть матрица, определенная в упр. 3.1.12(2). Доказать, что мы имеем точное восстановление тогда и только тогда, когда ро' г1 «2 1*3. = "2] 0 0 0J для всех П1,П2. 3) На выходе этапа разложения в п. 2 получен вектор, компоненты которого имеют вид {ζ * uj)(2ku 2к2) = (ζ, #2fci,2fc24/) для к\ = 0,1,..., М\ — 1 и &2 = 0,1,..., Мг — 1. Предположим, что А(п1,П2) есть унитарная матрица при всех ηι,Π2, так что множество в упр. 3.1.12(2) есть ортонормированный базис i2(bNx х Zjv2). Тогда на выходе этапа разложения получается вектор, компоненты которого — коэффициенты в разложении ζ по этому ортонормированному базису. Доказать, что в этом случае мы имеем точное восстановление тогда и только тогда, когда Sj = uj для j = 0,1,2,3.
198 Глава 3. Вэйвлеты на множестве Zn 3.2. Построение вэйвлетов на ZN: итерационный этап До сих пор мы строили ортонормированные базисы £2(Zn) вида {^.^-^{^η}^-1, (3.29) которые назвали вэйвлет-базисами первого этапа. Теорема 3.8 накладывает необходимые и достаточные условия на й и г), чтобы такая совокупность образовывала ортонормированный базис. Как мы видели в примерах 3.10 и 3.11, высокие частоты можно сконцентрировать в членах, содержащих ν в формуле (3.29), а низкие частоты в членах, содержащих и. Таким образом достигнута некоторая степень частотной локализации. Как показано на рис. 11 и рис. 12, мы добились также некоторой степени пространственной локализации. Мы видели, что для вэйвлет-базиса первого этапа переход от одного базиса к другому может быть вычислен с помощью схемы набора фильтров на рис. 13. Обратный переход может быть также вычислен с помощью определенных наборов фильтров, а именно фильтров в правой части рис. 14. Вычисления при переходе от одного базиса к другому можно произвести быстро, потому что они выполняются с помощью пары сверток, которые могут быть реализованы через FFT. Организация набора фильтров на рис. 14 наводит на мысль о возможности итераций. А именно к каждому или обоим векторам на выходе в левой части мы можем снова применить ту же процедуру. Можно пропустить вектор на выходе каждой ветви через другую пару фильтров и снова осуществить децимацию выборки в каждой новой ветви. Аналогично в правой части рисунка мы можем пропустить сигнал каждой из двух новых ветвей через оператор разрежения выборки и новый фильтр. Если фильтры на этом втором этапе совместимы, как на первом этапе, мы получим точное восстановление. Таким образом можно осуществить итерацию. В принципе, мы можем итерировать каждую ветвь, но в стандартном вэйвлет-анализе мы итерируем только одну из двух ветвей предыдущего этапа, обычно ветвь, идущую от свертки с низкочастотным фильтром и. (Более сложные, адаптивные процедуры итераций выполняются в так называемой теории вэйвлет- пакетов.) В данном разделе мы изучим эту итерационную процедуру и, в частности, увидим, что она приводит к некоторому типу ортонормиро- ванного базиса, который назовем вэйвлет-базисом пространства £2(Ζν). Сначала прокомментируем, почему мы хотим итерировать. Рассмотрим сначала вэйвлет-базис Шеннона первого этапа в примере 3.10. Напомним, что unv выбираются в этом случае для расщепле-
3.2. Построение вэйвлетов на Ъ^: итерационный этап 199 ния пополам частотного диапазона. Но из теории музыки мы знаем, что более естественно рассматривать частоты в логарифмическом масштабе, по октавам. Это наводит на мысль, что мы должны сохранить члены, содержащие верхнюю половину частотного диапазона, но при этом должны разбить на две равные части частоты из нижней половины диапазона — четверть наиболее низких частот и следующую четверть. Затем мы должны снова расщепить четверть диапазона из самых низких частот, и т. д. Таким образом наш базис разложения даст нам более детальный частотный анализ сигнала. Другая мотивация возникает при рассмотрении первого поколения дискретного базиса Хаара в упр. 3.1.2. В п. 3 этого упражнения мы расщепили ζ на Ρ(ζ) и Q(z), где P(z) соответствует членам, определяемым сдвигами и, и Q(z) соответствует членам, определяемым сдвигами υ. В этом же пункте мы видели, что P(z) получается из ζ заменой значений ζ при 2га и 2га + 1 их средним. Это можно рассматривать как выравнивание ζ в масштаб 2 вместо масштаба 1. Этого достаточно, чтобы определить общее широкомасштабное поведение ζ, если подробности масштаба 1, которые содержатся в Q(z), не играют большой роли в наших рассмотрениях. Если мы хотим рассматривать только P(z), то мы можем сжать исходные данные в два раза, потому что P(z) определяется N/2 коэффициентами. Однако мы можем пойти и дальше. Возможно, тип поведения сигнала, с которым мы имеем дело, становится понятным при масштабе 4 или 8, или каком-нибудь большем масштабе. Тогда мы могли бы взять наше приближение P(z) при масштабе 2 и расщепить его на две части: одна представляет собой приближение с масштабом 4, другая — подробности, необходимые для перехода от масштаба 4 к масштабу 2. Мы можем продолжить таким образом и дальше, так чтобы данные с масштабом 21 определялись Ν/21 числами. Это может, например, позволить нам передать грубую аппроксимацию сигнала очень быстро и затем добавить нужные подробности. Если мы можем определить заранее то, что нам не нужно рассматривать во всех деталях, то тем самым можем сохранить время, энергию, или то и другое. Это подходит для случая радарного или сонарного поиска, когда наша первая забота состоит в определении того, имеется ли что-нибудь в нашем сигнале; если имеется, то мы более подробно смотрим детали, чтобы их идентифицировать. Такой подход дает нам также естественное понятие различных масштабов поведения сигнала. Это важно во многих применениях, например в изучении потоков жидкости, таких как океанские волны. Создается полная картина, когда при изучении мелкомасштабные члены
200 Глава 3. Вэйвлеты на множестве Zn \*4*Vi[ +~fUi 12 12И *Vd +*-*и$-*· фаза анализа 12 D(z*vi) » D(D(z*ui)*V2) Т2 12 D(D(z*ui)*U2) Τ2 Рис. 16 T2l· ΦκΐΜ-*, +~тщ +-ή*11<*·^ ФНТ2 *-рот ©-►=2: фаза синтеза в разложении указывают на мелкомасштабное поведение, такое как малые пульсации в волне; крупномасштабные члены описывают основную волну. Чтобы описать шаг итерации, рассмотрим диаграмму набора фильтров рис. 14, обозначив теперь фильтры в левой части через й\ и ϋ\ вместо и и v. Предположим, что щ и v\ порождают вэйвлет-базис первого этапа, т.е. что системные матрицы А(п) для и\ и v\ (определение 3.7) унитарны при всех п. Лемма 3.15 устанавливает, что для точного восстановления фильтры в правой половине рис. 14 должны быть и\ и νχ. Пусть на входе диаграммы имеется некоторый вектор ζ Ε ^2(Ζ#), где N — четное. Для второго этапа, который мы будем описывать, N должно делиться на 4. На выходе левой половины рис. 14, в фазе анализа, получается пара векторов D(z * v\),D{z * ui) 6 ^2(Zjv/2)· Мы считаем, что v\ соответствует высокочастотной части, хотя, строго говоря, дело не в этом (фактически в этой точке unv перестановочны). Как следует из вышеприведенных примеров, мы оставляем вектор D(z * ϋχ) без изменения. При этом мы оперируем с другим вектором D(z * ui) таким же образом, как мы это делали с вектором ζ. А именно, мы выберем два вектора ii2,V2 € ^2(Zjv/2)> системные матрицы которых (определение 3.7 с JV, замененным на N/2) унитарная для всех п. Мы проводим D{z*u\) через фильтры, соответствующие #2 и &2, с последующим применением в каждом случае оператора децимации выборки. Эти векторы плюс вектор на выходе верхней ветви становятся выходом второго этапа процедуры анализа. Другими словами, на выходе получается множество векторов D(z * v\),D{D{z * й\) * #2) и D(D(z * ui) * U2). Это показано в левой части рис. 16. Для фазы синтеза или восстановления необходимо только ввести новую пару ветвей в правой части, соответствующих двум ветвям слева, введенным на втором этапе. Каждая ветвь состоит из оператора раз-
3.2. Построение вэйвлетов на Ъ^: итерационный этап 201 г>1 Й1 V2 U2 w vs us * ^3 us V2 U2 ^ Vi Ul фаза анализа фаза синтеза Рис. 17 режения выборки с последующей сверткой, соответственно с V2 для верхней ветви и с U2 для нижней ветви, как на рис. 16. Затем мы складываем результаты этих двух сверток. По теореме 3.15 точным эффектом от всех ветвей, введенных на втором этапе, будет тождество. Поэтому из результатов первого этапа следует, что полный эффект всей диаграммы также есть тождество, и мы имеем точное восстановление. Если N делится на 2Р, мы можем повторить этот процесс до ρ раз. Каждый раз мы подразбиваем только нижнюю ветвь, используя при этом фильтры щ,Уи удовлетворяющие условиям теоремы 3.8, которые характеризуют точное восстановление. Рисунок 17 показывает этот процесс для трех этапов. На фазе анализа этого рисунка (левая половина) каждый квадрат представляет свертку входного сигнала с двумя фильтрами с последующей децимацией выборки каждого результата. Например, на выходе первого квадрата получается пара D(z * ϋχ), D(z * ui), аналогично рис. 13. В фазе синтеза каждый квадрат представляет разреженную выборку двух входных сигналов и последующие свертки с двумя фильтрами, как в правой части рис. 14. Мы формализуем этот процесс в виде следующего определения. Определение 3.16. Предположим, что N делится на 2Р. Последовательность вэйвлет-фильтров р-го этапа есть последовательность векторов ui, vi, ί/2, г>2,..., Up, vp таких, что для каждого I = 1,2,... ,р uuvi ee2(ZN/2i-i) и матрицы Чп) = -L унитарны для всех η = 0,1,..., (Ν/21) — 1. Для входного вектора ζ € ^2(Zjv) определим χι = D(z * ϋι) € e2(ZN/2) (3.31) щ{п) ϋι(η) (3.30)
202 Глава 3. Вэйвлеты на множестве Ζ ν Χι ι - *- i У1-Г+- \ ι *ϋι > [2 xi=D(yi-.i*vi) r *щ > ϋ yi=D{yi-1*ui) k у 1 Рис. 18 *U+1 *W|+i w μ 12 > xl 1 ъ» Xl ъ. Τ/1 ι ъ. ?// ι ι И y1=i)(2;*u1)€^2(Ziv/2). Определим по индукции #2> У2> · · · > #р> 2/р равенствами ^ = z%i_!*i;i)€^(zN/2o и (3.32) (3.33) (3.34) y^z^-i^ertz^) для / = 2,...,р. На выходе фазы анализа набора вэйвлет-фильтров р-го этапа получается вектор {х\,Х2,...,Хр, Ур}· Рекуррентные формулы (3.33) и (3.34) можно лучше понять при рассмотрении ί-го этапа последовательности фильтров, как в левой части рис. 18. Заметим, что УьУ2> · · · >Ур-1 отсутствуют на выходе фазы анализа. Для I < ρ вектор yi используется только для определения χι+χ и yi+\. Если явно выписать х\ и у и мы получим χι = D(D(... D(D(z * й\) * U2)... * Щ-\) * ад) (3.35) и у/ = D(D(... D(D(z *ui)*U2)...* Щ-ι) * uj). (3.36) Заметим, что сумма числа компонент всех векторов на выходе этапа анализа есть * * Τ ... Τ Λρ_! * ορ * <yp Iy J 2 4 гР"1 2Ρ 2Ρ как и ожидалось. Фаза восстановления может быть описана следующей последовательностью шагов. На первом этапе восстановления мы вычисляем (и(ур)) * ир и (и(хр)) * υρ. Из-за свойства точного восстановления нижнего блока набора фильтров (фаза анализа и синтеза, соответствующая
3.2. Построение вэйвлетов на Ъ^: итерационный этап 203 Хр-2 Хр-2 -Ь.Хр-2 Τ 1 Λρ— 1 T.L ^-. Л Ур -*- |2 ж p-l *^р (p(xp))*vp ( *мр {U(yp))*upl f 2/ρ-ι \ |2 -►- T2 —►- *Vp-i *Up-i > a, d \ w 7 ► tl Рис. 19 фильтрам υρ и Up) мы имеем (и(Ур)) * up + (^ (*р)) * vp = 2/ρ-ι· Продолжим аналогично эту операцию с yp_i и жр_ь чтобы получить ур_2. Затем используем ур_2 и жр_2, чтобы получить ур_з, и т. д., как подтверждается рис. 19. Формально Ур-2 = (t/(yp_i)) * up_i + (t/(a;p_i)) * г;р_ь ур_3 = (U(yp-2)) * Up_2 + {U(xp-2)) * Vp-2, и так далее до У1 = (ЩУ2)) * ^2 + (ί^(«2)) * *>2· Затем еще один шаг дает вектор ζ, τ. е. г = (U(yi)) * ui + (C7(a?i)) * г>ь Оценим теперь число умножений, необходимое для вычисления на выходе фазы анализа последовательности набора вэйвлет-фильтров. Вычисления на фазе восстановления выполняются за то же число умножений (упр. 3.2.4). Лемма 3.17. Предположим, что N = 2п, 1 ^ ρ ^ η и щ, ν\, и2, ν2, ..., иру υρ образуют р-этапную последовательность вэйвлет-фильтров. Пусть ζ 6 £2(Ζν). Тогда вектор {#ι, х2,..., хр, ур} на выходе фазы анализа, соответствующего р-этапному набору фильтров, может быть вычислен не более чем за AN + N\og2N комплексных умножений. (Мы предполагаем, что векторы й\, ϋ\, ..., йр, ϋρ вычислены заранее и хранятся в машинной памяти. Мы определяем только последовательное вычисление, требуемое для любого ζ.)
204 Глава 3. Вэйвлеты на множестве Zjv Доказательство. Используем тот факт (лемма 2.39), что DFT вектора длины 2к может быть вычислено не более чем за к2к~1 комплексных умножений с помощью FFT. Сначала вычислим ζ, что требует п2п-г = ijVlog2JV умножений. Начиная с этого момента и до конечного шага мы находимся в частотной области, т. е. мы на каждом этапе работаем с DFT. На первом этапе мы вычисляем (ζ * ϋ\Υ = ζν\ (из леммы 2.30 и равенства (3.3)) за N умножений и аналогично для {ζ * й\У. Теперь, вместо того чтобы применить IDFT для вычисления ζ * ϋ\ и осуществить децимацию выборки, мы применяем упр. 3.2.1(1) для получения х\ = (D(z*vi)Yh3 (ζ*ϋιΥ6β3 умножений. Также определим j/i = D{z*u\) и вычислим таким же образом у\. В результате мы получили х\ и у\ за 2N дополнительных умножений. Переходя ко второму этапу, напомним, что Х2 = D{y\ * #2) и у2 = D(yi * U2). Так как мы уже вычислили yi, мы можем вычислить {у\ * #2)А= У\Щ за N/2 умножений, так как эти векторы имеют длину JV/2. Затем мы используем упр. 3.2.1(1), чтобы осуществить децимацию выборки полученного преобразования, что дает #2· Аналогично мы вычисляем у2 за N/2 умножений. Мы продолжаем таким же образом. Каждый шаг кончается децимацией выборки, которая уменьшает размер векторов в 2 раза. Шаг j дает пару векторов Xj и у у, Xj сохраняется до конца, a yj используется на следующем этапе для получения Xj+i и 2/j+i· Каждый j-ft этап требует всего 2(iV/2i~l) умножений. После ρ этапов мы имеем #ι, #2, · · · > %р и ур, и всего мы использовали »(*+?+?+...+£)<« умножений для этих этапов. Чтобы вычислить {#ι,#2) · · · >#р?2/р}> нам необходимо вычислить IDFT от #ι,#2, ..., &р и ур. Так как х\ 6 £2(ΖΝ/2);Χ2 € £2{Ζν/α)\ ..., хр € ^2(Zjv/2p) и Ур € ^2(^λγ/2ρ)? το это требует самое большее \ ((п - ΐ)2η~ι + (η - 2)2П"2 + ... + (п - р)2п"Р + (п - р)2п"р) ^ <n2n"1 = iiVlog2JV умножений (см. упр. 3.2.3 для доказательства неравенства). Поэтому полное число умножений не превосходит числа 2-ijVlog2JV + 4JV = 4JV + JVlog2JV. ■
3.2. Построение вэйвлетов на Ъ^: итерационный этап 205 Итак, рекурсивную процедуру набора фильтров можно провести довольно быстро, при этом требуется от двух до трех раз больше умножений, чем для алгоритма FFT при больших N. Если фильтры щ, ад,..., %» vi, г>2,..., vp в совокупности имеют не больше К ненулевых компонент, мы можем вычислить векторы на выходе фазы анализа, используя не больше чем AKN умножений (упр. 3.2.12). Хотя рекурсивное описание в определении 3.16 полезно для вычислительных целей, не ясно, как оно связано с нашим главным намерением построить ортонормированные базисы £2(Zn). Существует эквивалентная нерекурсивная новая формулировка нашей структуры наборов фильтров, которая дает нам большее понимание и приводит к ортонормированным базисам. Мы начнем с леммы. Для определенности в обозначениях укажем, что, когда мы пишем D(z) * w, мы имеем в виду {D(z)) * ад, а не D(z * w). Лемма 3.18. Предположим, что N —четное, N = 2М, ζ € £2{Ζν) и х,у, w € £2(ΖΝ/2)· Тогда D(z) *w = D(z* U(w)) (3.37) и U(x)*U(y) = U(x*y). (3.38) Доказательство. Для доказательства равенства (3.37) заметим, что w(m) = U(w)(2m) для каждого га. Следовательно, (N/2)-l D(z) * w(n) = ^2 D(z)(n — m)w(m) = ra=0 (N/2)-l = Σ z(2n - 2m)U(w)(2m) = ra=0 N-l = Σ z(2n - k)u(w)(k) =z* U(w)(2n) = = D(z*U(w))(n), так как U(w)(k) = 0 при нечетных значениях fc, и можно добавить их к сумме по га без ее изменения. При доказательстве равенства (3.38) тот факт, что U(y)(m) = 0, если га — нечетное, и U(y)(m) = у (га/2), если га —четное, показывает, что ΛΓ-1 (ΛΓ/2)-1 U(x) * U(y)(n) = 53 ^ (*)(" - rn)U(y)(m) = J] tf (*)(n - 2%(fc). m=0 fc=0
206 Глава 3. Вэйвлеты на множестве Ζ ν Если η нечетное, то таким же является η — 2fc, следовательно, U(χ) (η — 2k) = 0 для всех к. Тогда в этом случае U(x) * U(y)(n) = 0 = Щх * у)(п) по определению. Если η четное, например η = 2ί, то £/(ж)(п — 2к) = = {/(#)(2ί — 2k) = χ (I — fc), и с учетом вышесказанного получаем (AT/2J-1 tf(a:)*E%)(n) = 5Z »(ί-fe)y(fc) = ж *»(/) = (t7(»*y))(n). ■ к=0 Когда мы пишем Dl(z), мы имеем в виду ί-кратное произведение D на себя, примененное к ζ. Более формально, D1 = D, и по индукции мы определяем Dl(z) = (Do Dl~1)(z) для Ζ > 1. Таким же образом мы определяем Ul(z) = (U о С/'"1)^). Заметим, что Dl : ^2(Zjv) -> t2{%N/$) дается формулой Dl(z)(n)=z(2ln), в то время как U£ : ί2(ΖΝ/2ι) —► #2(%ν) пин = ί"(η/2Ζ)' если 2!|η> ν Α ' \θ, если 2*|η. Следствие 3.19. Предположим, Ν делится на 2l,x,y,w € £2(%ν/21) и ze £2(ZN). Тогда D\z) *w = Ό\ζ * £/z(w)) (3.39) и £/*(* * у) = i/^r) * U\y). (3.40) Доказательство. Упражнение 3.2.5. ■ Теперь мы введем нерекурсивное определение, которое будет эквивалентным рекурсивному определению 3.16. Определение 3.20. Пусть N делится на 2Р. Предположим, что векторы Щ, νι, ί/2, V2,..., Up, vp задаются так, что для каждого I = 1,2,...,ρ uhviE 12(ΖΝ/2ι-ι). Положим /ι = ν\ и #1 = u\. Далее определим по индукции fi,gi 6 £2(Zn) для I = 2,3,... ,р равенствами Λ = Λ-ι*^,"1(ι;«) (3.41) Я=Я-1*^|"1(ЭД)· (3.42)
3.2. Построение вэйвлетов на Ъ^: итерационный этап 207 Выпишем первые из этих формул: /2 = щ * U(v2), 92 = Щ * £/(и2), /3 = щ * J7(n2) * С72(^з), 9s = ^l * £^2) * U2(us), и далее, в общих обозначениях /z = Ul * U(u2) * f/2(n3) * ... * Ul~2(ui-i) * t/z(i;z) (3.43) и gi = Ul * j7(n2) * £/2Ы * ... * ί7ζ-2(ηζ_!) * £/z(uz). (3.44) Заметим, что все операции свертки в определениях // и д\ включают в себя Uj-фильтры, за исключением последней свертки в случае //, которая содержит νχ. Для дальнейших ссылок выпишем формулы из упр. 3.2.2: h = (9i-i * Е/^ЫГ = 91-1 * (υ'-ΗνΟΓ = Λ-ι * и1~\щ), (3.45) 5ζ=5/-ι*^_1№). (3.46) Следующая лемма позволяет нам описать сигнал на выходе фазы анализа р-этапного рекурсивного набора фильтров как множество одиночных (нерекурсивных) сверток. Это также позволяет описать тем же способом фазу восстановления. Лемма 3.21. Предположим, N делится на 2Р, ζ 6 £2(Ζν) и t*i, νχ,..., Up,vp таковы, что uuvi e£2(ZN/2i-i) для каждого I = 1,2,..., р. Зададим #ι,#2> · · · >#р>Уъ2/2> · · · >Ур равенствами (3.31)-(3.34), a fi, f2,-·· ,fpi91,92,---,9р—определением 3.20. Тогда для I = 1,2,..., ρ Χι = ΙΪ(ζ*ϊι), (3.47) yi = &(z*gl). (3.48) Доказательство. Мы докажем равенства (3.47) и (3.48) вместе индукцией по I. Когда I = 1, равенства (3.47) и (3.48) следуют из формул (3.31) и (3.32) и определений векторов /ι и #ι. Теперь предположим, что равенства (3.47) и (3.48) выполняются для I — 1. Из равенства (3.33), с применением индукции, а также из равенства (3.39) следует, что χι = D(yi-i * щ) = D(Dl~l(z * gi-i) * vt) = = DoDl-l(z^gi-i^Ul-l(vi)) = = D\z * Й-1 * и1~\щ)) = D'(s * /,),
208 Глава 3. Вэйвлеты на множестве Ζχ ι i i *· ι У —►— i { f > > Г */l *Л */з I *Л */р *0р —►- —►- —*- 12 |4 18 xi=D(z*/i) Ж2=^2(^*/2) Ж3 = 1»3(2*/з) T2 T4 Τ8 -*—- -*— -►— ; ; —►- —>- —►- 12' J2" |2" xi = Dl(z*fi) xp=DP(z*fp) yp = DP(z*gp) Т2г |2ρ |2ρ -*-— -►— ->■— */ι */2 */з fl*U(Xl) f2*U2{X2) h*U3(x*) \ 1 f г Φ ► *Λ */ρ *0ρ fi*Ul(xt)' ι fp*UP(Xp) 9p*Up(yP)' ь i { фаза анализа фаза синтеза Рис. 20 с учетом равенства (3.45). Аналогично, используя формулу (3.34) вместо соотношения (3.33), получаем ух = D(yi-i * щ) = D(Dl~l(z * й_г) * щ) = = i)oZ)/-1(^*5/_i*t7/-1(u/)) = = Ι?'(ζ * gi-ι * l/1"1^!» = Dl(z * a), с учетом равенства (3.46). Это завершает шаг индукции и, следоваг тельно, доказательство. ■ Поэтому на выходе 1-й ветви фазы анализа последовательности наборов фильтров получается Dl(z * //) для I = 1,2,... ,р. На выходе же последней ветви Dp(z * др). Это показано в левой половине рис. 20. Существует аналогичное описание фазы восстановления с помощью последовательности наборов фильтров. Лемма 3.22. Предположим, N делится на 2Р. Рассмотрим р-этапную последовательность наборов фильтров ui,vi,... ,up,vp, как в опреде-
3.2. Построение вэйвлетов на Zn : итерационный этап 209 лении 3.16 {за исключением того, что β данном случая, мы не требуем унитарности системных матриц β формуле (3.30)). Возьмем /ъ· ··?/?>#? из определения 3.20. Если сигнал на выходе 1-й ветви (1 ^ I ^ р) фазы восстановления (га. е. ветви, для которой следующая операция есть свертка cvi) есть х\, и все остальные входные сигналы равны нулю, то на выходе фазы восстановления получается fi*Ul(Xl). Если входной сигнал последней ветви (для которой следующая операция есть свертка сир) есть ур, и все другие выходные сигналы равны нулю, то на выходе фазы восстановления получается 9Р * Up(yp). Доказательство. Упражнение 3.2.6. ■ Поэтому полная рекурсивная р-этапная последовательность вэйвлет- фильтров может быть представлена нерекурсивной структурой, показанной на рис. 20. Напомним нашу исходную цель построения ортонормированных базисов пространства £2(Zn). Наломним также из определения 3.16, что на выходе фазы анализа нашего набора фильтров получается множество векторов Ж1, д?2? · · · > xp-i,xp, ур. По лемме 3.21 для каждого I = 1,2,... ,р xl(k) = Dl(z*fl)(k)=z*fl(2lk) = (z,R#kfi) (3.49) для к = 0,1,..., (Ν/21) — 1 по формуле 3.4. Аналогично ур(к) = Dp(z * gp){k) = ζ * gp(2pk) = (z, R2Pkgp) (3.50) для к = 0,1,..., (Ν/2Р) — 1. Как мы отметили выше, полное число компонент жъЖ2> · · · >#р,ур жтъ N. Можно надеяться, что это (по теореме 3.27) — компоненты разложения ζ по ортонормированному базису. Определение 3.23. Предположим, что N делится на 2Р, где р — положительное целое число. Пусть В есть множество вида для некоторых /ι,/г,... ,fp,9p € £2(Zn). Если В образует ортонорми- рованный базис £2(Zn), мы называем В р-этапным вэйвлет-базисом пространства £2(Zn). Мы говорим, что Д, /г,..., fp,gp порождает В. Наша цель — показать, что /ъ/г,·· · ,/р)<?Р, полученные согласно определениям 3.16 и 3.20, порождают р-этапный вэйвлет-базис. Ключевой шаг содержится в следующей лемме. Лемма 3.24. Пусть N делится на 2l, <#_χ 6 £2(Zn) и {^-^СГ1*-1 (3-51)
210 Глава 3. Вэйвлеты на множестве Zn -С 1-1> , С353) — оршонормированное множество, состоящее из Ν/21 * элементов. Предположим, что Щ,У1 6 ^(^n/21-1) u системные матрицы Αι(ή) в формуле (3.30) унитарны для всех η = 1,2— , (Ν/21) — 1. Положим h=9i-i*Ul-l{vi) и gi = gi-i*Ul-l{ui). ™ία {ЯлЛСГ'-'и^СГ-' (352) есгаъ ортонормированное множество из Ν/2ι~ι элементов. Доказательство. Из формулы (3.4) и предполагаемой ортонормиро- ванности множества (3.51) следует, что 5г-1 *№-i(2i_1fc) = (si-ь fltf-ijbfll-i) = Ί, если fc = О, 10, если Λ = 1,2,..., (ΛΓ/21"1) — 1 Вследствие теоремы 3.8, примененной к ^(Ζ^'-1)* наше предположение, что матрицы Αι(η) унитарны, гарантирует, что множество Mff'-'UMB'1-1 (3-54) есть ортонормированный базис ί2(ΖΝ/2ι-ι)' В частности, используя равенство (3.4), имеем vl*vl(2k) = (vl,R2kvl) = \1> еСЛИ к = °> (3.55) t0, если к = 1,2,...,(ЛГ/2') - 1, vi * u/(2fc) = (υι, В,2кЩ) = 0 для всех fc (3.56) и если к = 0, если fc = l,2,...,(JV/2')-l. Для доказательства ортонормированности множества (3.52) используем равенство (3.4), записанное для к = 0,1,..., (JV/2Z+1) — 1, (fi,R2'kfi) = fi*№lk) = = <й_! * Ul-\vi) * ΰ-ι * ^'"Ч^ХЗ1*) = = (91-1 * 9l-i) * (и1-г(щ * vt))(2lk), где мы использовали равенство (3.45), коммутативность и ассоциативность свертки, а также формулу (3.40). Выписывая последнюю свертку векторов, заключенных в скобки, получим ΛΓ-1 ifi,R*kfi) = Σ(9ΐ-ι *gi-i)(2lk-n)Ul-1(vl *щ)(п). n=0 ui*ul(2k) = {ui,R2kui) = l^ °"" " "'n /АГ/л1ч , (3.57)
3.2. Построение вэйвлетов на Ъ^: итерационный этап 211 Заметим, что Ul~l{vi * щ){п) = (vj * vi)(j), когда η = 2i_1j, и 0 в других случаях. Следовательно, сумма по всем η сводится к сумме по η вида 2i_1j, т. е. к сумме по j (после подстановки): Из формулы (3.53) следует, что fli-i*a-i(2,fc-2,"1j) = i-i/OI .^ /1, если j = 2fc, -^.*.l(2«(«-i))-{J; _ -W/2' i-l. Поэтому если fc = О, если fc = l,2,...,(JV/2*)-l (fi,R*kfi) = (vi*WU) = {10 в силу соотношения (3.55). Как и в упр. 3.1.1, из этого следует, что множество {R2lkfifk=o ортонормированное. Применение той же процедуры, но с д\ вместо /j, приводит к равенству (flb &Xk9i) = Ы * δ|)(2*) = < ' если к = О, если fc = l,2,...,(JV/2*)-l в силу соотношения (3.57). Это доказывает, что множество {R&kulJkJo является ортонормированным. Аналогично, из равенства (3.56) мы получаем </|,Л**Л> = (ч*й|)(2*) = 0 для всех к. Это доказывает, что {R^kfh^kSl) = 0 для всех j,fc, как и в упр. 3.1.1. Следовательно, множество в соотношении (3.52) — ортонормированное. ■ Этот результат может быть доказан с помощью DFT (упр. 3.2.7). Лемма 3.24 показывает, что мы можем разбить подпространство, порожденное сдвигами на 21~1 единиц одного вектора, на два ортогональных подпространства, каждое порожденное сдвигами другого вектора на 21 единиц. Здесь имеем обобщение теоремы 3.8, которое показывает, как это сделать в случае, когда исходное подпространство есть все пространство £2(Zjv), рассматриваемое как порождение всех сдвигов δ. Наиболее
212 Глава 3. Вэйвлеты на множестве Ζτν общий результат в лемме 3.24 дает нам возможность итерировать такое расщепление. Для описания этого удобна следующая терминология. Определение 3.25. Пусть X — пространство со скалярным произведением, U и V — подпространства X. Предположим, что U J_ V (т. е. для всех и € U и всех ν 6 V справедливо равенство (и, г;) =0). Определим С/Θ V = {и + υ : и € U,v € V}. (3.58) Мы называем U®V прямой ортогональной суммой U и V. В частности, если 17 Θ V = X, то £7 и V — подпространства Х,£/ J_ V, и каждый элемент χ е X может быть представлен в виде χ = и + υ для некоторых и е U и υ е V. Лемма 3.26. Пусть N делится на 2l,gi-i 6 £2(Zn) и {R2i-ik9l-l}k=0 — ортонормированное множество, состоящее из Ν /2ι~ι элементов. Предположим, что ui^vi € ^{^n/21-1) u матрицы Αι(η) в равенстве (3.30) унитарны для всех η = 0,1,..., (Ν/21) — 1. Пусть fi=9i-\*Ul-l(vi) и 9i =gi-i* Ul~l(щ). Определим пространства V.l+1 = spani^,-!^-!}^/2'"1)-1, (3.59) W-t = spm{R2,kfl}iNJ02l)-1 (3.60) V_, = spanii^jS2')-1. (3.61) и Тогда V_i0W-i = V-i+i. (3.62) Доказательство. По лемме 3.24 каждый базисный элемент i^^pz пространства V-i ортогонален каждому базисному элементу -R^j/i пространства W-i. Из линейности следует, что каждый элемент пространства V-i ортогонален каждому элементу пространства W-i. Это доказывает, что V-i J_ W-i. Покажем далее, что V-i и W-i являются подпространствами Vlf+i. Для этого заметим, что при к = 0,1,..., (Ν/21) — 1 Д**я(п) = т(п - 2*fc) = я_х * t/'-^zXn - 2*fc) = JV-1 = 53 Λ_ι(η - 2lk - m^MM. m=0
3.2. Построение вэйвлетов на Ъ^: итерационный этап 213 Так как U1 1(щ)(тп) = щ(т/21 1),если2г 1\т и О в других случаях, то сумма по т сводится к сумме по т вида 2l~lj и &fik9l(n) = Σ 9l-i(n - 2zfc - 21-1з)щ{э) = (Ν/21-1)-! = Σ UlU)R>2i-i(j+2k)9l-l{n)· j=0 Так как это справедливо для любого п, мы имеем (л^/г1-1)-! #2<fc№ = Σ UlU)R2^(j+2k)9l-l- j=o Таким же образом получаем, что (ΛΓ/ί-1)-! #2'*/* = Σ vlU)R2*-4j+2k)9l-l- (3.64) i=o Поэтому R2ik9l и fhlkfi принадлежат Vlj+χ, так как правые части равенств (3.63) и (3.64) —это линейные комбинации сдвигов <#_ι на целые числа, кратные 2'"1. Это означает, что они —линейные комбинации базисных элементов пространства VLj+i. Таким образом, базисные элементы R2ik9l пространства V-i и A^/i пространства W-i принадлежат пространству Vlj+i и, следовательно, это справедливо для всех элементов их линейных оболочек. Итак, V-i и W-χ — это подпространства VLf+i. Однако мы видели, что каждое из пространств V-i и W-i имеет размерность N/21, поэтому V-i Θ W_j имеет размерность N/2l~l — ту же, что и размерность VLj+i. Из этого следует, что V-i®W-i = Vlj+i. ■ Может показаться странным, что мы определяем пространства V-\ с отрицательными индексами. Это делается частично для того, чтобы пространства возрастали с увеличением индекса (т. е. VI j С Vlj+i), и частично для соответствия обозначению, которое мы будем использовать позже при рассмотрении вэйвлетов на множестве R. Лемма 3.26 содержит главный результат, требуемый для доказательства того, что на выходе фазы анализа р-этапной системы наборов вэйвлет-фильтров с вектором ζ на входе получаются коэффициенты ζ в р-этапном вэйвлет-базисе. Теорема 3.27. Пусть N делится на 2Р и щ, νι, U2, г>2>..., ир, υρ есть р-этапная последовательность вэйвлет-фильтров (определение 3.16). (3.63)
214 Глава 3. Вэйвлеты на множестве Ζτν V-p— W-/ fcl7 y-P+i w.p^ У ^ \т . / wY Рис. 21 —^У_2— γ0 W-/ 7V— ~^2(Z„) Введем /ι, /г,·· ·,/ρ,<7ъ #2> · · · > <7ρ как β определении 3.20. Тогда последовательность /ι, /г,..., /ρ, 5ρ порождает р-этапный вэйвлет-базис (определение 3.23) пространства £2(Ζν). Доказательство. Наша цель —доказать ортонормированность множества в определении 3.23. При ее наличии тот факт, что это множество содержит N элементов, означает, что оно является ортонормированным базисом пространства £2(Ζν). Так как /ι = ν\ и g\ = щ, теорема 3.8 гарантирует, что множество {i?2Ar/i}^=o U{^2fc<7i}L=o ^~ ортонорми- рованное. Тогда рассуждения по индукции и лемма 3.24 показывают, что множество {R24cfiJk=o ортогонально для каждого I = 1,2,...,р, а множество {i22Pfc#p}jk=o ортонормировано. Поэтому, чтобы доказать ортонормированность полного множества, единственное что остается, — это доказать ортогональность элементов из различных подпространств. Рассмотрим сначала некоторые элементы A^/j и i?2mj/m? где мы можем предположить, что т < I. Из леммы 3.26 следует (в терминах пространств V-i и W-i, определенных выше), что JWl 6 W-i С VLZ+1 С ... С V_m и R2rnjfm € W^_m. Также в соответствии с леммой 3.26 имеем VLm J- И^_т, откуда ii^/i ортогонален /22mj/m· Аналогично, для любого ί ^ ρ любой элемент R2Pk9p принадлежит пространству VLP С V-i и, следовательно, ортогонален любому R^kfl € W^-l· И Лучший способ понять то, что мы сделали, — это рассмотреть рис. 21, на котором изображены подпространства, определенные в лемме 3.26. Стрелки обозначают включение. Начиная справа, мы разбиваем £2(Zn) на два ортогональных подпространства: V-ι и W-χ. Мы сохраняем W_i, но разбиваем VI ι на ортогональные подпространства V_2 и 1У_2. Далее сохраняем W-2 и продолжаем процесс с V-2- Таким образом мы двигаемся до р-го этапа, где мы сохраняем оба подпространства: W-p и V-p. В гл. 4 и гл. 5 мы увидим, что такой подход может быть применен для построения вэйвлетов на множествах Ζ и R. Из равенств (3.49) и (3.50) следует, что на выходе фазы анализа р-этапного набора фильтров на рис. 20 с вектором на входе ζ получается
3.2. Построение вэйвлетов на Ъ^: итерационный этап 215 множество векторов, компоненты которого —это компоненты разложения ζ в р-этапном вэйвлет-базисе теоремы 3.27. В частности, согласно лемме 3.17, вэйвлет-коэффициенты вычисляются с помощью быстрого алгоритма. Для сравнения с последующими результатами введем такое определение: Определение 3.28. Пусть N делится на 2Р и ιΐι,νι, ...,up,vp есть р-этапная последовательность вэйвлет-фильтров (определение 3.16). Пусть последовательность /i,#i,..., /р, др такая же, как в определении 3.20. Для j = 1,2,... ,р и к = 0,1,..., (N/V) - 1 определим il>-j,k = R#kfj> (3·65) и <P-j,k = R&k9j- (3-66) Тогда в этих обозначениях р-этапный вэйвлет-базис, порожденный /ι, /2, · · ·, /ρ, 9ρ (теорема 3.27) имеет вид -νΙΨ-,*}^-1^*-,,^-1- (3-67) Элементы этого ортонормированного базиса называются вэйвлетпами на множестве Ζ#. Заметим, что в этой терминологии V-j = epan^-^Cfbi (3.68) W4 = span{^· „}W*)"1. (3.69) Мы предупреждаем читателя, что термин «вэйвлеты» в общем употреблении предназначен для вэйвлетов на множестве R. Вариант, рассмотренный в этой главе, который мы назвали вэйвлетами на множестве Zjv, есть его аналог для конечномерного случая. Этот случай может представлять независимый интерес и служит более простым введением к рассуждениям гл. 5. Упражнение 3.2.10(2) показывает, что определение термина «вэй- влет» в определении 3.28 не носит ограничивающего характера, но мы оставили его из эвристических соображений. Суммируя наши результаты, приведем следующий способ для создания вэйвлет-базиса пространства £2(Zn). Следствие 3.29. Предположим, что 2P\N. Пусть щ, v\,..., ир, υρ — р-этапная последовательность вэйвлет-фильтров {определение 3.16).
216 Глава 3. Вэйвлеты на множестве Zn Введем /ь /2, · ·., /р, <7ь#2? · · · >Яру как ранее в определении 3.20, и φ-j^y Ψ-p.k —как в равенствах (3.65) и (3.66). Тогда множество (3.67) есть р-этапный вэйвлет-базис пространства £2(Ζν). Оказывается, что все вэйвлет-базисы пространства £2(Ζν) получаются таким способом с помощью некоторой последовательности вэй- влет-фильтров (упр. 3.2.9.) Мы видели что для любого такого вэйвлет-базиса компоненты вектора ζ 6 £2(Ζν) в этом базисе могут быть вычислены быстро (грубо говоря, за iVlog2 N умножений, если N есть степень 2), исходя из фазы анализа диаграммы набора фильтров. Обратное преобразование также может быть вычислено с такой же скоростью через фазу восстановления диаграммы набора фильтров (упр. 3.2.4). Иногда полезно взглянуть на вэйвлеты с точки зрения DFT. Взяв DFT от обеих частей равенств (3.43) и (3.44) и применяя упр. 3.2.1(2), мы получаем ψ-ί,ο(η) = fj(n) = ui(n)u2(n)... uj-i(n)vj(n) (3.70) и <i>-jfl{n) = gj(n) = ύι(η)ύ2(η)... uj-i(n)uj(n). (3.71) Заметим также, что </>_,·,* = Rvkfi = R^k^-jfi (3.72) и Ψ-p.k = R>2Pk9p = #2Pfc¥>-p,0· (3.73) По лемме 2.13 DFT этих сдвигов даются равенствами фч>к(т) = e-a**n2i*/^_i,o(m) (3.74) φ-jjfyn) = e-«ma**/^_Jf o(m) (3.75) для всех j, к. Для уточнения обозначений заметим, что φ-j^ обозначает (Ψ-j^Yk, аналогично, ψ-^к обозначает (ip-j^Y· До сих пор мы не требовали взаимосвязи между фильтрами u^vi на различных этапах. Может далее показаться, что между ними нет никакой связи, потому что они —векторы различной длины. Однако следующая лемма дает способ получения фильтров щ,У1, удовлетворяющих критерию унитарности матриц Αι(η) в определении 3.16 для всех п, прямо из фильтров ui, vi, удовлетворяющих этому свойству для Αχ. Лемма 3.30 (лемма наложения). Предположим, что N делится на 2 ищ е £2(ΖΝ). 1) Определим и2 € £2(Ζ^/2) равенством и2(п) = щ(п) + щ (п + у) . (3.76)
3.2. Построение вэйвлетов на Ъ^: итерационный этап 217 {Заметим, что правая часть соотношения (3.76) периодическая с периодом N/2.) Тогда для всех т й2{т) = ui(2m). (3.77) 2) Предположим, N делится на 21. Определим щ € t2{%N/21-1) равенством щ(п)= Σ uJn+™). (3.78) fc=o ^ ' Тогда щ(т) = ui(2l-lm). (3.79) Доказательство. Чтобы доказать п. 1, запишем (N/2)-l й2(т)= J2 u2(n)e-2irinmKNM = п=0 (ЛГ/2)-1 (ЛГ/2)-1 n=0 n=0 по определению и2- В первой сумме последней строки пусть к = п, а во второй сумме пусть fc = η + JV/2. Мы получаем (АГ/2)-1 JV-1 Й2(т)= £ щ(А:)е-27Г^2т^ + £ m(fc)e-27ri^2m)/N=Ui(2m), fc=0 fc=JV/2 как требовалось. Пункт 2 следует из п. 1 по индукции (упр. 3.2.11). ■ Мы называем это леммой наложения, потому что U2 получается из и\ усечением щ как раз перед JV/2, наложением второй части на первую и суммированием. Она имеет следующее следствие. Следствие 3.31. Предположим, что N делится на2р и и, υ 6 £ (Ζ#) таковы, что матрицы А(п) в определении 3.7 унитарны для всех п. Пусть и\ = и и ν\ = υ. Для всех I = 2,3,...,ρ определим щ равенством (3.78), и νι аналогичным образом с ν\ на месте и\. Тогда til, vi, ί/2, г>2> · · · > ^р? ^р есгаъ р-этапная последовательность вэйвлет- фильтров.
218 Глава 3. Вэйвлеты на множестве Ζ ν Доказательство. Из равенства (3.79) следует, что 1-я матрица системы имеет вид ύι(η) ΰι(η) Μη) = Т2 ' ηχ{2ι-λη) νχ{2ι-ιη) Τϊ [ul(2^n+f) щ(2^п + ^) = A1(2i-1n), следовательно, она автоматически унитарна для всех п. ■ Поэтому если нам даны и и υ, удовлетворяющие условию теоремы 3.8, то мы можем получить ui, vi,..., up, vp автоматически, в соответствии со следствием 3.31, и тогда получим вэйвлет-базис с помощью способа 3.29. В этом случае мы говорим, что мы имеем вэйвлет- базис с повторяющимися фильтрами. Заметим, что для повторяющихся фильтров равенства (3.70) и (3.71) принимают, соответственно, вид, $-jfi{n) = u(n)fi(2n)u(4n)... u(2j-2n)v(2j-ln) (3.80) (p-j^n) = u(n)u(2n)u(4n)... u(V 2n)u[QP ln). (3.81) Вэйвлет-базисы такого типа особенно легко построить потому, что они требуют построения только одной пары η, ν таких, что системные матрицы унитарны. Упражнения 3.2.1. Предположим, ζ 6 £2(Ζν). 1) Если N — четное, доказать, что (D(z)y(n) = 1-(z(n) + z(n + ^)) для всех п. Подсказка: показать, что DFT по N/2 точкам вектора D(z) совпадает с DFT по N точкам (ζ + ζ*)/2 при ζ*(η) = (-1)ηζ(η). 2) Доказать, что (U(z)y(n) = z(n) для всех п. Заметим, что DFT в левой части принадлежит £2(1*2ν), в то время как в правой части — £2(Ζν). Несмотря на это, справедливо, что эти векторы (или их периодические продолжения) совпадают при каждом п. Подсказка: использовать равенства (2.48) и (2.49).
Упражнения 219 3.2.2. Предположим, z,w 6 £2(Zn). 1) Доказать, что (ζ * w)~= z*w. 2) Предположим, что N четное. Доказать, что (D(z))~= D(z). 3) Доказать, что (U(z))~= U(z). 3.2.3. Предположим, 1 ^ ρ ^ п. Доказать, что (п - 1)2η_1 + (η - 2)2п"2 + ... + (η - ρ + 1)2п_р+1+ + (η - р)2п"р + (η - ρ)2η~ρ ^ ηΤ. Подсказка: использовать индукцию по п. 3.2.4. Предположим, Ν = 2η, 1 ^ ρ ^ η. Доказать, что фаза восстановления р-этапного рекурсивного набора вэйвлет-фильтров может быть вычислена за не более AN + N log2 N комплексных умножений. Подсказка: так же, как и в фазе анализа, выполнить все в области Фурье. Вначале необходимо вычислить (£/(χι))Λ, (U(x2)Y, ..., (U(xp)Y и (U(yp)y. Но так как х\ 6 ^2(Zjv/2)> мы можем использовать упр. 3.2.1(2) для вычисления {U{x\)Y за не более чем ((п — 1)2п_1)/2 умножений; аналогично и для других векторов. Поэтому требуется такое же число умножений, как при вычислении IDFT от х\, Х2,..., хр и ур в лемме 3.17. Умножения, требуемые для вычисления DFT при операциях фильтрации, те же самые, что и для фазы анализа. DFT каждого U(yj) получается из yj без умножений, с помощью упр. 3.2.1(2). После этого мы имеем 5; чтобы найти ζ, мы выполняем IDFT. Итак, полное число вычислений то же самое, что и в лемме 3.17. 3.2.5. Доказать равенства (3.39) и (3.40). Подсказка: использовать индукцию. 3.2.6. Предположим, N делится на 2Р, и ui, vi,..., up, vp такие, что для каждого I = 1,2,..., ρ uhvi Εί2(ΖΝ/2ι-ι). Зададим /ь /2,..., /р, д\, дъ,..., др так же, как в определении 3.20. Для / = 1,2,...,ри wE t2(ZN/2i) определим Ai(w) = (U(... (U(U(w) * v{) * Щ-ι)...) * U2) * щ и Sj(w) = (£/(... (U(U(w) * uj) * n/_i)...) * U2) * tti. 1) Доказать, что для I = 1,2,... ,ρ
220 Глава 3. Вэйвлеты на множестве Ζτν Bt(w) = Ul(w) * 91- Подсказка: заметьте, что Ai(w) = Bi-\{U{w) * vfi и Bi(w) = = Bi-i(U(w) * щ), и примените индукцию. 2) Доказать лемму 3.22. Подсказка: проверьте, что если х\ — вектор на входе 1-й ветви фазы восстановления набора фильтров, и все остальные векторы на входе равны нулю, то на выходе получится Αι(χι). Аналогично: проверьте, что если ур — вектор на входе последней ветви и остальные векторы на входе равны нулю, то на выходе получится Вр(ур). 3.2.7. Доказать лемму 3.24, вычислив DFT и используя критерий в упр. 3.1.11(1). Подсказка: запишите 2*-l 2Z-1 £ |/Kn + fciV/2<)|2 = £ \Ы-1{п + кМ/21)\2\щ{п + кМ/21)\\ используя упр. 3.2.1(2). Разбейте сумму на сумму по к четным и сумму по к нечетным. Заметьте, что так как щ имеет период ЛГ/2^1, члены, содержащие г), постоянны в каждой из этих двух сумм. Вынесете постоянную за знак суммы и примените предположения леммы 3.24. Это даст ортонормированность множества {R2ikfi}kJQ . Аналогичные рассуждения используйте и в остальных случаях. 3.2.8. Предположим, X есть пространство со скалярным произведением, с подпространствами £7, V и W. Предположим, U ±V,U ±W hU®V = U®W. Доказать, что V = W. 3.2.9. Пусть N делится на 2Р и есть вэйвлет-базис пространства £2(Zn). Положим для I = 1,2,...,ρ л V-p = span{R2Pk9P}(kL^P)~1 ■ Также определим для I = 1,2,... ,р — 1 V-i = W-i-! Θ W-i-2 Θ. ·. Θ W-p θ V-p.
Упражнения 221 Доказать по индукции, что существуют д\ для ί = 1,2,... ,р — 1 и щ, vi для I = 1,2,... ,р — 1 такие, что 1) щ,У1 е ^C^n/21'1) Λ™ каждого ί; 2) матрицы Αι(η) в равенстве (3.30) унитарны при всех η и I; 3) fi=vugi =щ; 4) /z = да_х * Ul~l{vi),gi = й_х * £/г_1(иг) для 2 ^ / < р; 5) V-i =span{ii2i%z}i=o2 )_1 для / = 1,2,... ,р - 1. Замечание. Это доказывает приведенное в основном тексте утверждение о том, что каждый вэйвлет-базис получается из последовательности вэйвлет-фильтров с помощью способа 3.29. Подсказка: для / = 1 положим υ\ = /ι и получим щ, как в лемме 3.12, но с чередующимися и и υ. Тогда п. 1 справедлив для I = 1, отсюда справедлив п. 2, по теореме 3.8. Тогда положим д\ = и\. Если взять (Ν/2)-ι Χ-ι = span{iJ2^i}Lo то по теореме 3.8 получим W-\ J_ X-\ и 1У_! Θ Χ_ι = /2(Ziv) = W-i Θ VLi. Тогда из упр. 3.2.8 следует, что Χ-ι = V-i и п. 5 справедлив для / = 1. Теперь предположим, что результат справедлив для I — 1. Чтобы доказать это для ί, заметим, что fi 6 W_j С Vlj+i- Тогда, согласно предположению индукции (п. 5 для I — 1), существуют такие коэффициенты vi(k), к = 0,1,..., (JV/2l~l) — 1, что (JV/2'-1)-! fl = 5^ vi{k)R2i-.ikgi-i. k=0 Это определяет vj € ^(Zjy^-1) так> что /ί = fll-i * ^i-1(vj)· Из этого и из упражнений 3.2.1(2) и 3.1.11(1) мы получаем Разобьем эту сумму на две: с членами к = 2j и членами fc = 2j+l. Так как г); имеет период N/21"1, то множитель, содержащий щ, постоянен в каждой сумме, со значением |г)г(п)|2 в первой сумме и со значением \щ(п + N/2l)\2 во второй. Вынося общие множители и применяя к <#_χ упр. 3.1.11(1), мы приходим к равенству к>г(«)12ф(«+|) 2 = 2.
222 Глава 3. Вэйвлеты на множестве Ζτν Это позволяет нам выбрать щ так, что матрицы Αι(ή) унитарны для всех η по лемме 3.12 с переставленными и и υ. Для I < ρ определим дх = дХ-Х * и1~1(щ) и Х_г = span{%^j^2 )_1. (Когда I = р, элемент др всегда задан. Тогда ир может быть получено из др тем же способом, каким υι было получено из ft.) Тогда по лемме 3.26 получаем Vlj+i = Χ-ι Θ W-ι. Однако по определению VLj+i = V-i Θ W-ι. Из упр. 3.2.8 следует, что Х-1 = V-i. Это завершает индукцию. 3.2.10. 1) Пусть N кратно 2Р и U U Р· Предположим, / G £2{ZN). Доказать, что существует р-этапный вэйвлет-базис такой, что fi = f (обозначение как и в определении 3.23) тогда и только тогда, когда множество {R2tkf}kl0 ~ ортонормированное. Подсказка: утверждение «только тогда» следует непосредственно. Чтобы доказать это утверждение, пусть Σο = / и для j = 1,..., I определим 1/2 Σ, (-)-(έΣ|/(-^) \ к=0 ' Ч 7 Заметим, что T,j имеет период Ν/2β. Если {R2ikf}kll~1 ортонормированное множество, то из упр. 3.1.11(1) следует, что Σι(η) = 1 для всех п. Определим ui,... ,Щ-\ и v\ так, что uj = Ej_i/Ej,j = 1,2,..., ί — 1, и β| = Σ|_ι/Σ|, когда знаменатель не равен нулю. (Заметим, что, когда знаменатель равен нулю, числитель также должен быть равным нулю. В этом случае положим отношение равным единице.) Заметим, что uj — периодический вектор с периодом JV/2·7-1 и щ имеет период Ν/2ι~ι. Проверьте, что для всех п, и аналогично для v\. Это позволяет нам выбрать vi, V2i ..., vi-i, щ так, что матрицы Aj(n) унитарны для всех j = 1,2,...,/ по лемме 3.12. Мы можем выбрать некоторые допустимые фильтры tij+i, vj+i,..., up) vp и получить вэйвлет- базис, как в теореме 3.27. Заметим, что наши определения дают нам, используя равенство (3.70) и упр. 3.2.1(2), что ρ л л /ч Σο fl=UiU2...Ut-iVl = — после сокращения. Но Σο = / по определению, и Σ; = 1, как отмечено выше. (Заметим, что если T,j(n) = 0 для некоторых
Упражнения 223 j и η, то f(n) = 0 и по крайней мере одно Σ^_ι(η)/Σ^(η) равно нулю, поэтому мы имеем равенство и в этом случае.) 2) Предположим, N = 2П. Доказать, что если / 6 £2(Ζν) удовлетворяет равенству ||/|| = 1, то существует п-этапный вэйвлет-базис такой, что /п = /. Это означает, что по нашему скорее слабому определению каждый вектор длины единица есть вэйвлет. 3.2.11. Доказать лемму 3.30, п. 2. 3.2.12. Предположим, N делится на 2Р и ι*ι,νι,ιΐ2,^2? · · · ,up,vp есть р-этапная последовательность вэйвлет-фильтров, таких что для каждого I = 1,2,... ,р оба вектора щ и νι имеют самое большее К ненулевых компонент. Доказать, что компоненты ζ € £2(Ζν) в соответствующем вэйвлет-базисе могут быть вычислены за не более чем ΑΚΝ комплексных умножений. Подсказка: вычислите все прямо, без использования DFT. Каждая компонента каждой свертки требует для вычисления не больше К умножений потому, что фильтр имеет самое большее К ненулевых элементов. В рекурсивной структуре набора фильтров необходимо вычислить две свертки длины JV, две —длины ΛΓ/2, две —длины N/4 и далее до двух длины N/2Р. Замечание: Это показывает, что вэйвлет-преобразование в случае ограниченной длины фильтра может быть вычислено за число умножений JV, умноженное на фиксированную константу, что быстрее, чем FFT! Однако по сравнению с леммой 3.17 это дает преимущество, только если AKN < AN + N log2 JV, т. е. если К < 1 + (1/4) log2 N. Например, если все фильтры имеют самое большее 4 ненулевых элемента, это требует N > 212, для того чтобы это было предпочтительным. Однако если все фильтры имеют вещественные значения, и ζ также вещественный, то все эти вычисления — это вещественные умножения, что соответствует 1/3 комплексного умножения (упр. 2.3.1). 3.2.13. (Итерация в двумерном случае.) Предположим, 2*|iVi и 2*|]V2. Предположим, что для каждого I = 1,2,...,р мы задали Чо, ЧьЧ2, Чз € ^2(ΖΝ!/2'-ι х ZjNfc/tf-1)· Для 1 = 1.2,...,ρ определим -Αι(ηι,Π2), как в упр. 3.1.12(2), только с щу7П вместо nm, m = 0,1,2,3, iVi/2* вместо JVi и N2/2l вместо JV2. Предположим, что для каждых ίι, η\ и η<ι матрица А(пъп2) унитарна. (Такая последовательность фильтров называется двумерной последовательностью фильтров.) Определим /ι,ο = t*i>0, /ι,ι = tii,!, /1,2 = tii,2 и 0χ = tti>3. По индукции опреде-
224 Глава 3. Вэйвлеты на множестве Ζτν лим fij = gi-i * Ul 1(uiij), для j = 0,1,2 и дг = ^_ι * С/г Ч^м)· Положим для ί = 1,2,... ,р 2 В* = U^l*b2lfe/wbi=0^>...>(Ari/20-l>fe^,l,..M(JV2/2l)-l· j=0 Также определим Ср = {R2Pkii2Pk29p}k1=0ili...i(N1/2P)-lik2=0ili...i(N2/2P)-l· Доказать, что Si U В2 U ... U Вр U Ср есть ортонормированный базис Р(Ънх χ Ζ#2). Такой базис называется двумерным (дискретным) вэйвлет-базисом. 3.2.14. (Лемма наложения в двумерном случае.) 1) Предположим, Ν\ и JV2 — четные и щ 6 (?(Zni x Zjv2). Определим u2 € £2№ni/2 x ^N2/2) равенством ^2(ni,n2) =^i(nbn2) + ni (ni + -y 1^2) + + ni (ni,n2 + -yj + + tii ^ni + —,n2 + —J. В более общем случае предположим 2p|]Vi и 2Р| JV2. Определим uj 6 £2{%Ni/21-1 x Zjvj/2'-1) Для 1 ^ ' ^ Ρ равенством 2<-1_12<-1_1 ^ ^ Ari=0 Ar2=0 V ' Доказать, что u;(mi,m2) = ui(2i"1mi,2i"1m2) для всех 2 = 1,2,... ,р. 2) Предположим, 2V\N\ и 2p|iV2. Пусть ui,o,ui,i,ui,2 и ui,3 таг ковы, что матрица А\{п\, п2) (определенная, как в упр. 3.2.13) унитарна для всех (ηι,η2) 6 Zjvx χ Ζ#2. Для ί = 2,...,ρ определим 14,0,14,1,1*1,2 и г^,з, как в п. 1, но с щ^ вместо щ, для каждого j = 0,1,2,3. Доказать, что Αι{η\,η2) унитарная для всех ί,ηι и п2; это значит, что результирующие щ^ для j = 0,1,2,3 и I = 1,2,... ,р образуют двумерную последовательность вэйвлет-фильтров.
3.3. Примеры и применения 225 3.3. Примеры и применения Обобщим наш алгоритм построения вэйвлет-базисов пространства £2(Zn). Предположим, N делится на 2Р. Мы начнем с последовательности вэйвлет-фильтров щ, νι, U2, V2,..., Up, vp, т. е. с такой последовательности (определение 3.16), что для каждого / = 1,2,... ,р uuvi €ί2(ΖΝ/2ι-ι) и матрицы Г щ{п) ϋι(η) у/2 |М*+2Г) Vl[n+2[) унитарны для η = 0,1,..., (Ν/21) — 1 (или, что эквивалентно, для всех п). Если мы имеем ιΐι,νι € £2(Zn) такие, что А\(п) унитарная для всех п, мы можем получить последовательность вэйвлет-фильтров с повторяющимися фильтрами, определив 2/1-1 / kN \ 21'1-! , ч Щ(п) = Σ Ul ( п + ψΛ ) и ^(п) = Σ Vl ( п + 2^ ) " (3·82) Затем мы возьмем (определение 3.20) /ι = νι,</ι = tii, и по индукции для 2 ^ / ^ ρ Λ=α-ι*^|-1(*ι) и №=№-1*^"1Ы. (3.83) Это дает равенства (3.43) и (3.44). Мы определяем Φ-j^^R^kfj и ¥>-,·,* = Яа**ф (3.84) для j = 1,2,...,р. Тогда есть ортонормированный базис £2(Ζν), называемый р-этапным вэйвлет- базисом. Заметим: если мы имеем р-этапный вэйвлет-базис и 1 < j ^ р, то ( [j№-l,k}o<fc<(N/2l)-l J U {V>-i,*}o<*<(JV/2J)-l (3·85) образует j-этапный вэйвлет-базис. Фактически этот вэйвлет-базис в точности то же самое, что мы получили из j-этапной последовательности вэйвлет-фильтров щ, υχ,..., Uj, Vj с помощью приведенного выше алгоритма. Предположим, j 6 {1,2,... ,р}. Заметим, что г β г(АГ/2^)-1 _ rn . X(N/V)-1
226 Глава 3. Вэйвлеты на множестве Zn есть ортонормированный базис подпространства V-j (ортонормиро- ванность следует из того, что множество (3.85) ортонормированное и V-j = span{/22jfc0j}fc=o по определению). Следовательно, ортогональная проекция P-j{z) вектора ζ 6 £2(Ζν) на V-j (см. определение 1.97) есть (Ν/2ή-1 Ρ-,(ζ)= Σ {*>Ψ4*)ψ-ά* (3·86) k=o Мы называем P-j(z) частичным восстановлением на уровне —j вектора ζ. Оно представляет аппроксимацию ζ, использующую только N /2J членов в полном разложении ζ по значениям j-этапного вэйвлет-базиса. Как можно было ожидать, это приближение все более и более грубое для больших значений j. Мы рассматриваем P-j(z) как приближение ζ «на уровне — j>. Ортогональная проекция Q-j(z) вектора ζ на W-j = spaniV'-j,*}^2^"1 = spani^^}^/2^"1 определяется как (ΛΓ/2')-1 q-j(z)= ς μ-μ)ι>-μ· (3·87) Напомним (лемма 3.26), что есть ортонормированный базис пространства V-j+i (так же, как и {^-j+i^j^2^""1); следовательно, (N/2i)-l (Ν/2ή-1 для г € £2(Zn). Отсюда P4+1(z) = P-j(z) + Q4(z) (3.88) для j = 2,3,...,p. Для удобства положим Vo = ^ (Ζ#), и пусть Pq есть тождественный оператор (т. е. Po(z) = г для всех ζ). Тогда (3.88) справедливо даже для j = 1, так как {¥>-i,fc}*=o~ U {Φ-ι^}^ο~ = = {-R2fc^i}fc=o~ ^{^2Ar^i}fc=o~ есть ортонормированный базис ^2(Zjv) по
3.3. Примеры и применения 227 теореме 3.8. Мы рассматриваем Q-j(z) как содержащую «подробности на уровне —j + 1», необходимые для перехода от P-j(z), приближения к ζ на уровне —j, к P-j+i(z), приближению уровня — j + 1. Пусть 1=1 Тогда, применяя равенство (3.88) по индукции, мы получаем ζ = Ρο(ζ) = = Ρ-ι(ζ) + Q-i(z) = P-2(z) + Q-2(z) +Q-\(z) и так далее, до тех пор, пока з ζ = P4{z) + Y^Q-i{z) = P4{z) + R4{z) 1=1 для каждого j = 1,2,... ,p (это также видно из того факта, что множество (3.85) есть ортонормированный базис £2(Ζν)). Поэтому R-j(z) есть погрешность аппроксимации ζ ортогональной проекцией P-j(z). В этом разделе мы сначала рассмотрим некоторые примеры вэйвлет- базисов. Позже мы дадим описание некоторых основных примеров сжатия информации. Пример 3.32 (система Хаара). В упр. 3.1.2 мы рассмотрели систему Хаара первого этапа. Здесь мы рассматриваем общую р-этапную систему Хаара, полученную из первого этапа с помощью описанной процедуры, использующей повторяющиеся фильтры. Предположим, N делится на 2Р. Определим "'ЧтгТг0'0··-0) И "1 = (^·-75·°·° °) Мы видели в упр. 3.1.2, что щ, υ\ образуют вэйвлет-базис первого этапа. Определим ηι,νι формулами (3.82) для 2 ^ I ^ р. Можно показать (упр. 3.3.1(1)), что u/(0) = -^=, ut(l) = -5= и щ(п) = 0 при г^п^^П-!, 1 /ί\ ! (3.89) -д , υι(1) = - -д и νι(η) = О при 2 ^ η ^ ( ^гт J - *· (3.90)
228 Глава 3. Вэйвлеты на множестве Ъщ Тогда равенства (3.83), (3.89), (3.90) и метод индукции (упр. 3.3.1(3)) приводят к сотношениям ί2-'/2, η = 0,1,...,2|-1-1, fi(n) = | -2-*/2, η = 21"1,21-1 + 1,..., 2х - 1, (3.91) [θ, η = 2ι,2ι + 1,...,Ν-1 и 9/ (пч = /2_1/2' « = 0,1,...,2г-1, W \θ, п = 2г,2' + 1,...,ЛГ-1 (3.92) для I = 1,2,...,р. Следовательно (упр. 3.3.1(4)), для к = 0,1, ..., (Ν/21) - 1 f 2-'/2, η = 2^,2'*: + 1,... ,21к + 21~1 - 1, ф-1>к(п) = < -2~г/2, п = 21к + 2'"1,2гА; + 2'"1 + 1,..., 21к + 21 - 1, [θ, n = 0,l,...,2lk-l;2lk + 2l,...,N -1 (3.93) Г2"г/2, n = 2lk,2lk+l,...,2lk + 2l-l, Ψ-ιΜη) ~ jQ n = 0,l,...,2/A;-l;2iA; + 2i,2i + l,...,iV-l. (3.94) Для системы Хаара восстановление на уровне I имеет простую интерпретацию. Можно показать (упр. 3.3.1(5)), что для 21к^п^21к + 21-1 P-i(z)(n) = i \z{2lk) + г(2гА; + 1) + ... + z{2lk + 21 - 1)]. (3.95) Другими словами, Ρ-ι(ζ) получается из ζ заменой 21 последовательных значений ζ в точках η = 21к, 21к+1,..., 21к+21 — 1 их средним значением. Мы рассматриваем P-i(z) как ζ, взятое с разрешением 21. Из равенства (3.88) Q-i содержит информацию, необходимую для уточнения приближения с разрешением от 21 до 2'-1. Пример 3.33 (вэйвлеты Шеннона). В примере 3.10 мы рассмотрели базис Шеннона первого этапа. Обозначив здесь и и υ через щ и νχ соответственно, определим щ,щ 6 ^2(Ζ#/2»-ι) формулами (3.82). Тогда равенство (3.79) и его аналог для щ дают нам равенства Мп) - { ( /о N . . ΖΝ Λ 0, 2<+1 -* ^ 2|+1 Л^ . N , W . . Ν Λ 2/+ι 2ΐ+ι
3.3. Примеры и применения 229 щ(п) = < ( /о п^ ^ N л 3N ^ ^ N 1 О, 2ι+ι х' 2г+1 лг злг ^ η ^ -ггг — 1. 2*+ 2ι+ι Так как щ и г); имеют период Ν/21 *, то эти формулы определяют их при всех п. Определим ft и <# формулами (3.83), и ^-j,fc и Ψ-j.k формулами (3.84) для j = 1,2,... ,р (где JV делится на 2Р+1). Тогда ^-ι,ο = #1 и £_i,o = tii. Для / ^ 2 упр. 3.2.1(2) приводит (упр. 3.3.2) к следующим соотношениям: 2</2 JL < п < К _ ι $-l,o(n) = < 2И1 Ν Ν ЛГ-гГ<п<ЛГ--ит-1, о, 2' _/v_ 21+Γ 2«+ι > 2ι 21 - 1 (3.96) £-|,о(п) = ·{ (2г/2, O^n^^-l.JV-^^n^JV-l, (3.97) 2i+i 2ί+ι Поэтому -0—1,0 отлично от нуля только для JV/2 наивысших частот, ^>_2,о отлично от нуля только для следующих N /А наивысших частот и т. д.; φ-pja равняется нулю всюду, кроме самых низких N/2Р частот. По лемме 2.13 аналогичные замечания справедливы для сдвигов ф-j^k и ¥>-p,fc. Поэтому частичное восстановление P-P(z) состоит точно из N/2Р наименьших частот ζ,Ρ-ρ+ι(ζ) из наименьших JV/2P_1 частот и т. д. В этом случае частичные восстановления даются отфильтрова- нием высоких частот различной степени. Пример 3.34 (вещественные вэйвлеты Шеннона). В примере 3.11 мы построили вещественный вэйвлет-базис Шеннона первого этапа. Это была незначительная модификация базиса Шеннона первого этапа, которая имела то преимущество, что все базисные векторы были вещественными. Применяя к этому базису ранее описанную итерационную процедуру, мы можем получить р-этапный вещественный вэйвлет-базис, структура которого очень близка к структуре базиса Шеннона. Пусть щ и υι — это unv в примере 3.11. Определим щ и υι формулами (3.82), fi и gi — формулами (3.83), а φ-j^ и ψ-j.k — формулами (3.84). Тогда V>-i,o = ν и ^-ι,ο = й такие, как приводятся в примере 3.11. Для I > 1 вычисление (упр. 3.3.3), аналогичное вычислению для вэйвлетов
230 Глава 3. Вэйвлеты на множестве Ζχ Шеннона в примере 3.33, показывает, что '2(*-ΐ)/27 2'/2, Ψ-ι,ο(η) = { О, Ν Ν п - 2«+1 '" 2ι+1 ' Ν Ν . N 21 ' AT N 2' ' Ν 2ТЙ (3.98) и φ-ΐ,ο(η) = { 2ι'\ _2('-ΐ)/2<, О, Ν 0 < η < 2Ί+Ϊ ~ 1> °<η< ЗГИ"1' JV JV- η = 2i+i JV_ 2г+1 ' + 1 <ηί$ JV-1, (3.99) η = Ν- N 2'+ ι ' Ν , Λ ^ ^ AT N -1. На рис. 22 приводятся графики нескольких 4-уровневых функций из вещественного базиса Шеннона ij)-j,k, 3 = 1,2,3,4 и (р~4,к для N = 512. На каждом уровне параметр сдвига к был выбран так, что базисная функция отцентрирована в середину графика. Заметим, как хорошо пространственно локализована высокочастотная базисная функция ^-1,128 (рис. 22, о). Соответственно ^-2,64 относительно хорошо локализована (рис. 22, б), ψ-з,32 менее локализована (рис. 22, в), a ·0_4,ΐ6 (рис. 22, г) и <£>-4,ΐ6 (рис. 22, д) и того меньше. Заметим, что вэйвлет- базис 4-го уровня состоит из 256 сдвигов на 2 функции V'-i.Oi 128 сдвигов на 4 функции ф-2,о, 64 сдвига на 8 функций ^-з,о> 32 сдвига на 16 функций ^_4,о- На рис. 22, е мы нарисовали амплитуду DFT вэйвлетов "ф-\,к первого поколения (так как они связаны один с другим сдвигом, по лемме 2.13 их DFT имеют одинаковую амплитуду в каждой точке). Мы уже узнали, что график должен выглядеть именно таким образом, по определению вектора ν = ψ-\$ в примере 3.11, но мы включили этот график для сравнения с примером 3.35.
3.3. Примеры и применения 231 На рис. 23 изображен пример сигнала ζ и его амплитуды DFT. Сигнал ζ (рис. 23, а) есть fO, (Кп^127, 1.7 sin z(n) = < 0, 256 ^ η ^ 383, (3.100) вт(Ц|^), 384 ^n ^447, t0, 448 ^n^ 511. На первом из интервалов, где ζ не равно тождественно нулю (128 ^ η ^ 255), частота колебаний ζ возрастает, если мы движемся слева направо. Также колебания ζ более быстрые на втором нетривиальном интервале (384 ^ η ^ 447). Поэтому мы ожидаем, что в ζ имеется существенный набор частот. Это отражается на амплитуде DFT сигнала ζ (рис. 23, б): две крайние возвышенности показывают существование низкочастотной компоненты (из первого интервала, хотя амплитуда DFT не говорит, какой вклад в сигнал вносит эта низкочастотная составляющая), а две внутренние возвышенности показывают, что существует высокочастотная компонента (из второго интервала). Рисунок 23 нужно сравнить с графиками на рис. 24, которые показывают 4-уровневые коэффициенты вещественного вэйвлета Шеннона сигнала ζ в равенстве (3.100) (ζ снова изображен на рис. 24, а). На рис. 24, е изображено значение (z, <£-4,fc) в точке 24fc, так как ψ-^k = В>2*к94 центрировано вокруг точки 24fc. Этот график показывает коэффициенты вэйвлетов с наименьшей частотой; заметим, что мы получаем довольно большие значения около левой части первого интервала 128 ^ η ^ 255, где встречаются значения ζ с наименьшей частотой. Рисунки 24, б-д показывают другие уровни вэйвлет-коэффициентов, каждый раз со значением вэйвлет-коэффициента {ζ,ψ-j^) над точкой 2Jfc, где соответствующий вектор вэйвлет-базиса отцентрирован. На рис. 24, д мы видим (изображение (ζ, ψ-^)), что следующие, более высокочастотные коэффициенты главным образом еще сконцентрированы в левой части первого интервала. Рисунок 24, г показывает в некоторой степени более высокочастотные коэффициенты {ζ, ^>_з,*), которые главным образом сконцентрированы в правой половине интервала, содержащего низкочастотную компоненту. Это следствие возрастания частоты в ζ в направлении слева направо в первом интервале. Два наиболее высокочастотных множества коэффициентов (ζ, ψ-ι^) и {z^-2,k) на Рис· 24,5 и 24, в принимают наибольшие значения на или около второго интервала 384 ^ η ^ 511. Исключение составляют несколько больших высокоча-
232 Глава 3. Вэйвлеты на множестве Ζ# 50 100 150 200 250 300 350 400 450 500 0.5 0.4 0.3 0.2 0.1 0 -0.1 -0.2 -0.3 -0.4 -0.5 1 - - - I I I 1 1 "ЮТИИИтЯЩЩЩуП I 1 I 1 1 1 1 1 L RF"* 1 1 1 1 1 1 - - - - - - - - 1 1 0 50 100 150 200 250 300 350 400 450 500 a) 6) 0 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 r) 0.25 0.2 0.15 0.1 0.5 0 -0.05 -0.1 -0.15 -0.2 -0.25 ( 1 - ι ) 50 1 1 1 1 1 1 1 1 II Λ 1 Π -j 1 1 1 All Ί V Η Η 4 ^ 1 1 1 1 1 1 1 1 ll 100 150 200 250 300 350 400 450 500 1.6 1.4 1.2 1 0.8 0.6 0.4 0.2 0 - - - - - - I I I I I I I I I I Ό 50 100 150 200 250 300 350 400 450 500 л) β) Рис. 22. α) V-1,128, 6) V-2,64, β) V-3,32, г) V-4,i6, д) y>-4,i6, е) |^-ι,*|
3.3. Примеры и применения 233 1 0.8 0.6 0.4 0.2 0 ■0.2 -0.4 ■0.6 -0.8 -1 "■' 1 1 "1 Г"" Л Л Л \ / ' 1 ' ■ у 1 1 1 1 1 Ι llllJIIIIIII IWHINIIIIIII llli 111 ill ι Rlllllllll 11 № III U1 Pi' -J 1 J -1 -J ^ I J ] Η ] V V V ι ' ι» «Ι ιί ι 1 1 1 1 ...J I 1 L I 1 50 100 150 200 250 300 350 400 450 500 β) 6) Рис. 23. a) ζ, б) амплитуда ζ стотных вэйвлет-коэффициентов около конечной точки η = 255 первого интервала; это следствие более быстрого скачка ζ в результате усечения графика при η = 255. Главным является то, что вэйвлет-коэффициенты означают не только, какие частотные уровни составляют сигнал, но какова локализация в сигнале различных частот. Поэтому вэйвлет- коэффициенты дают одновременно пространственную и частотную информацию о сигнале. Роль вэйвлет-коэффициентов на различных уровнях получает дальнейшее освещение на рис. 25, который показывает частичные восстановления в вещественном базисе Шеннона вектора ζ на рис. 24, а. Рисунок 25, а—это график вектора 31 ρ-*(ζ) = "%2(г,<Р-*,к)<Р-А,к, fc=0
234 Глава 3. Вэйвлеты на множестве Ζτν 50 100 150 200 250 300 350 400 450 500 -ι 1 1 г- _1 I I 1_ _ι ι ι ί- 0 50 100 150 200 250 300 350 400 450 500 а) б) 1 0.8 0.6 0.4 0.2 0 ■0.2 -0.4 -0.6 -0.8 -1 Ч — Ί Г Ι Τ 1 Г "Τ 1 - - .... -_ .. . · ч^ Г~~ '" "■"·"-' ·;.,·< - - - ι ι ι ι ι ι ι ι ι ι 0 50 100 150 200 250 300 350 400 450 500 50 100 150 200 250 300 350 400 450 500 ») г) 1 0.8 0.6 0.4 0.2 0 ■0.2 -0.4 ■0.6 ■0.8 -1 ;~~ _,,, I I I 1 о~^х. *' I I I 1 - - - • - '''"* - - _ 1 О 50 100 150 200 250 300 350 400 450 500 50 100 150 200 250 300 350 400 450 500 Д) е) Рис. 24. о) ζ, б) (z,t/>-i,fc), β) (г,ф-2,к), г) (г,ф-3,к), d) (z,tp-i<k), e) (ζ,ψ-^k)
3.3. Примеры и применения 235 J I I L О 50 100 150 200 250 300 350 400 450 500 |АД/\Л^*-^\ЛЛ/\^>АЛ] _1 I !__1 I I I ΙΟ 50 100 150 200 250 300 350 400 450 500 а) б) 1 0.8 0.6 0.4 0.2 π -0.2 -0.4 -0.6 -0.8 —1 I I I I I 1 " Г ;... / Lw Г 111! V III I I I I I 1 I 1 I 1 -| -| Η ν- 1 ™ΊΓ J -\ Η Ί 1 1 1 L 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 Β) Γ) 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 A) e) Рис. 25. a) P-a(z), 6) P-3(z), в) P-2(z), г) P-i(z), d) P0(z), e) E=z-P0(z)
236 Глава 3. Вэйвлеты на множестве Ζ ν определенного формулой (3.86). Поэтому рис. 25, α показывает долю вэйвлет-разложения ζ, соответствующую коэффициентам, изображенным на рис. 24, е. Грубо говоря, это члены в вэйвлет-разложении с наименьшей частотой. Вот почему доля вектора ζ, которая наилучшим образом восстановлена этой частью разложения, есть часть графика от η = 128 до η = 170, где ζ колеблется относительно медленно. Частичное разложение, соответствующее коэффициентам на рис. 24, <?, есть 31 как определено формулой (3.87). Из равенства (3.88) следует, что следующий уровень проекции есть P_3(z) = Q-4(z) + P-4(z). Вектор Р-з(г) изображен на рис. 25, 5; он состоит из членов вэйвлет- разложения ζ, соответствующих коэффициентам на рис. 24, д и 24, е. Поэтому он содержит информацию о двух низкочастотных уровнях вэйвлет-разложения. Это проявляется на рисунке как появление следующего низкочастотного уровня колебаний вектора ζ. На рис. 25, β мы изображаем вектор Р_2(г), соответствующий коэффициентам на рис. 24, г-е, который содержит следующий низкочастотный уровень. На рис. 25, г показан вектор Ρ_ι(ζ), содержащий все вэйвлет-коэффици- енты наивысшей частоты из рис. 24, б. Заметим, что наиболее медленно колеблющийся сегмент ζ (128 ^ η ^ 255) воспроизводится относительно верно, за исключением правого перепада (точки около η = 255), где разрыв требует для синтеза членов более высокой частоты. Несколько неожиданно Ρ-ι(ζ) лучше осуществляет аппроксимацию ζ около правой крайней точки области 384 ^ η ^ 447, чем около левой крайней точки. Это аналогично ситуации на рис. 6: хотя формула (3.100) говорит о более быстром колебании около крайней правой точки, это не может быть видно в дискретном масштабе η = 0,1,2,... ,511. В дискретном масштабе ζ фактически состоит из более низкочастотных значений около η = 447, чем около η = 384. Рисунок 25, <? изображает Pq(z), который мы определяем, как в формуле (3.88), равенством Pb{z) = Q-1{z) + P-1(z). Конечно, Ρο(ζ) дает полное восстановление ζ по всем его вэйвлет-коэф- фициентам, поэтому он должен быть равен ζ. Мы выполнили вычисления вэйвлет-коэффициентов и частичные восстановления в MATLAB'e, и рис. 25, д тестирует наш алгоритм. На первый взгляд создается впечатление, что он совпадает с оригиналом на рис. 24, а. Чтобы быть
3.3. Примеры и применения 237 более точными, мы используем MATLAB для изображения разности Ε = ζ — Pq{z) на рис. 25, е. Что наиболее важно отметить, на этом рисунке есть символ х10~14 над левым верхним углом квадрата, ограничивающего график. Он показывает, что шкала на оси у должна быть умножена на 10~14. Поэтому погрешность восстановления в каждой точке меньше, чем 10~14; эта погрешность есть следствие погрешности округления в результате невозможности компьютером производить вычисления с бесконечной точностью. Рисунок 25 дает нам почувствовать информацию о ζ, которая приносится каждым уровнем вэйвлет-коэф- фициентов. Пример 3.35 (вэйвлеты Добеши на Ζ#). Система вещественных вэйвлетов Шеннона была спроектирована для очень резкого разбиения частотного масштаба. Поэтому вещественные вэйвлеты Шеннона имеют хорошо локализованные DFT. Ингрид Добеши построила семейство вэйвлетов, которые очень хорошо локализованы в пространстве — лучше, чем по частоте. Ее построение первоначально было выполнено для множеств Ζ (см. разд. 4.7) и R (см. разд. 5.5), но здесь мы адаптируем это построение к Ζ#. Мы предполагаем, что N делится на 2Р при некотором целом положительном ρ и что Ν/2Ρ > 6. Пусть Μ = Ν/2. Наша цель — построить вектор и 6 ^2(Zjv) такой, что и имеет только б ненулевых компонент и удовлетворяет равенству (3.15). Тогда мы применяем лемму 3.12 для нахождения такого ν, что {R2kv}k^o U {^2k^}k^o есть вэйвлет-базис первого этапа пространства i2(Zjv). Начнем с тривиального тождества к cosz ^—J + sinz {-χ)) = 1 для всех п. скрывая его, имеем 308 Ы+5cos Ыsin Ы+10cos Ы8ш Ы+ +i0cos4 Ыsm Ы+5cos Ыsm Ы+sin (тг> Раскрывая его, имеем cos1 V7V/ WV / WV / V7V/ V/ (3.101) Определим Κ») = cos10 (_) + 5COS8 (_) sm2 (-) + lOcos* (-) sm4 (-) Заметим, что (7г(п + М)\ /πη , π\ . /πη\ ___j=cos(_-b-j=-sm(-)
238 Глава 3. Вэйвлеты на множестве Ζ ν и аналогично , % _ч . /7г(п + М)\ /πη\ sin I — 1 = cos I — ι . В результате 6(n + M) = 10cos4(^)sin*(^) + . *> 2 (πη\ . с /πη\ , . in /πη\ Поэтому из равенства (3.101) следует, что Ь(п) + Ь(п + М) = 1 для всех п. Выберем и 6 £2(Zn) так, что |й(п)|2 = 2Ь(п). (3.102) Тогда мы имеем |й(п)|2 + \й(п + М)\2 = 2 для всех η = 0,1,..., Μ - 1, что является условием (3.15). Мы могли бы получить равенство (3.102), положив и = (\/2Ь)~ (где у/ТЬ — это вектор, значение которого в точке η равно у/2Ь(п)), но это не даст нам вектор и, который не равен нулю только в шести точках. Вместо этого, следуя работе Стрихортца (1993), запишем: Мп) - cos« (=) [cos* (=) + W (=) sin2 (=) + W (=)] - -α* (=)[(«>(=)-,/**>· (=))' + + (5 + 2,/U>)cos2(=)sm2(=)]. Определим й 6 ^2(Ζ#) равенством «(η) = Var5"'»/"cos3 (=) [cos2 (22) - v/iOsin2 (22) + + 1У
3.3. Примеры и применения 239 В результате оказывается справедливым равенство (3.102). Применяя формулу Эйлера и тождества для двойного угла, мы можем записать . \/5 + 2νΊθ . /2πη\ + г 2 ""(-ДГ) Чтобы упростить обозначения, положим α = 1->/Ϊ0, 6=1 + >/Ϊ0 и с=у5 + 2</Н). Далее, используя формулу Эйлера, получаем й(п) = ^ 6-2πί4η/ΛΓ(62πίη/ΛΓ + χ)3χ χ Г^ + t ί62πιη/Ν + e-2nin/N\ + £ fgmn/N _ e-2nin/N\\ ^ Можно видеть, что о й(п) = J] ^(^)е"2^Ы/ЛГ (3. ЮЗ) для некоторых чисел u(0),u(l),... ,u(5). Перемножение и выполнение алгебраических операций дают u = (u(0), n(l), u(2), u(3), u(4), u(5), 0,0,..., 0) = Ц(6 + с, 2а + 36 + Зс, 6а + 46 + 2с, 6а + 46 - 2с, 2а + 36 - Зс, 6 - с, 0,0,..., 0). Следовательно, мы получаем u € £2(Zn) такой, что справедливо равенство (3.15). Определим υ € £2(Ζν) равенством v(k) = (—1)*_1η(1 — fc) для всех fc, что совпадает с (3.22), так как и — вещественный вектор. По лемме 3.12 векторы и и υ порождают вэйвлет-базис первого этапа для £2(Zn). В явном виде υ(0) = _u(l), υ(ί) = u(0), i;(JV - 4) = -u(5), ν(ΛΓ - 3) = u(4), г;(ЛГ - 2) = -u(3), г;(ЛГ - 1) = u(2) и г;(п) = 0 для 2 ^ η ^ Ν — 4, т. е. ν = (-u(l), u(0), 0,0,..., 0,0, -u(5), u(4),-u(3), u(2)). (3.104) Следовательно, г; также имеет шесть ненулевых компонент.
240 Глава 3. Вэйвлеты на множестве Zn Заметим, что эти рассуждения справедливы для любых N > 6, при этом η и г; на различных уровнях имеют ту же самую форму, единственное различие —это число нулей в векторах и и υ. Таким образом мы можем определить u\,v\ € £2(Zjv) такого вида, затем аналогично U2,V2 6 ^2(Ζ^/2) и далее до up,vp € £2(ZN/2p-i) (напомним, мы предположили, что N/2P есть целое число, большее 6). Это как раз то, что мы должны были получить по лемме наложения (лемма 3.30). Теперь мы следуем способу 3.29 для получения р-этапного вэйвлет- базиса: положим /χ =v\,gi = щ, затем определим fi и д\ для 2 ^ Ι ^ ρ с помощью формул (3.83) и ф^^,<Р-р,к с помощью формул (3.84). Мы называем результирующую ортонормированную систему вэйвлет- базисом Добеши D6 для £2(Ζν), где «6» означает количество ненулевых компонент векторов и и υ. Добеши построила аналогичный базис с 2L ненулевыми компонентами для каждого положительного целого L (см. упр. 3.3.4 для случая Д2, который есть вэйвлет Хаара, и упр. 3.3.5 для D4). Для различных значений L эти вэйвлеты обладают немного разными свойствами, как мы увидим, когда вернемся к этой теме с точки зрения множества R в гл. 5. Случай N = 512 и ρ = 4 иллюстрируется на рис. 26. Эти графики следует сравнить с соответствующими графиками для вещественного вэйвлет-базиса Шеннона на рис. 22. На рис. 26, а изображен вэйвлет первого поколения ψ-\^2%, который такой же, как /2256^1- Однако, так как вектор имеет только шесть ненулевых компонент, мы сузили графики до малого интервала 245 ^ η ^ 265, содержащего эти ненулевые компоненты. Графики имеют непрерывный вид, потому что мы использовали на рис. 26, а-д соединение точек прямыми линиями для логичного воспроизведения, потому что такие графики лучше смотрятся на шкале из 512 узлов. Однако на рис. 26, а мы обозначили на графике значения «ж», чтобы показать, что ф-\^2ъ имеет только шесть ненулевых компонент. Второе поколение вэйвлета, изображенное на рис. 26, б, имеет 16 ненулевых значений, третье поколение вэйвлета на рис. 26, β имеет 36 ненулевых компонент. Для этих случаев мы продолжили сужение до малой части всей области 0 ^ η ^ 511. Для рис. 26, г и 26, д, которые изображают ^-4,16 и ^-4,16 соответственно, мы нарисовали всю область так, чтобы ясно была видна степень локализации. Эти векторы имеют 76 ненулевых компонент. Проводя сравнение с рис. 22, мы видим, что вэйвлеты D6 гораздо более резко локализованы в пространстве, чем вещественные вэйвлеты Шеннона. С другой стороны, вэйвлеты D6 не так точно локализованы по частоте, как мы можем видеть, сравнивая рис. 26, е (показывающий амплитуду DFT первого поколения вэйвлета
3.3. Примеры и применения 241 270 0.5 0.4 0.3 0.2 0.1 0 -0.1 -0.2 -0.3 -0.4 -0.5 1 1 1 1 г till! Г |- ι г 1 - 1\ / \ / \ "i Ι Ί 1 -J 1 ί Ί Ι/ Ί ι ι. , ι ι ι 0.5 0.4 0.3 0.2 0.1 0 -0.1 -0.2 -0.3 -0.4 —Ι— 230 235 240 245 250 255 260 265 270 275 280 285 ο 50 100 150 200 250 300 350 400 450 500 Β) Γ) Ο 50 100 150 200 250 300 350 400 450 500 Ο 50 100 150 200 250 300 350 400 450 500 Д) β) Рис. 26. α) V-1,128, 6) V-2,64, β) V-3,32, г) V-4,i6, d) φ-4,ιβ, e) |t/>-i,fc|
242 Глава 3. Вэйвлеты на множестве Zn D6) с рис. 22, е (соответствующий график для вещественного вэйвлета Шеннона первого поколения). На рис. 27 изображены вэйвлет-коэффициенты D6 вектора я, предварительно определенного и изученного на рис. 24. Коэффициенты изображены в том же порядке, как и на рис. 24. Мы видим, что главные особенности двух наборов рисунков аналогичны; вэйвлет-коэффициенты наивысшей частоты (значения (г, ψ-ιιΤΙ)) наибольшие около наиболее быстро колеблющихся значений ζ, и когда мы движемся вниз по уровням (и, следовательно, по частоте), вэйвлет-коэффициенты чувствительны к более медленно колеблющимся областям ζ. Поэтому две различные вэйвлет-системы (вещественная система Шеннона и D6), хотя и построенные исходя из различных принципов, дают, грубо говоря, одну и ту же информацию. Основная разница в двух совокупностях состоит в том, что большинство вэйвлет-коэффициентов D6 равны нулю, вместо того чтобы быть малыми, как в случае вещественного базиса Шеннона. Это происходит потому, что вектор ζ имеет большие интервалы, на которых он равен нулю. Если мы имеем вэйвлет φ такой, что все его ненулевые значения встречаются на интервале, где ζ тождественно равен нулю, то вэйвлет-коэффициент <^^jfJb>=^^(n)^j,Jb(n) η должен быть равен нулю, потому что при каждом η либо ζ(η) = 0, либо Ψόι* = О· В этом состоит преимущество такого сильно локализованного базиса. На рис. 28, α изображен вектор (1-^, О^п^бЗ, , ч 0, 64^ п^ 255, ζ(η) = < 5 - ^ , 256 ^ η ^ 319, I 64 ΙΟ, 320 < η < 511. На рис. 28, б-е представлены вэйвлет-коэффициенты D6 вектора ζ на различных уровнях. Заметим, что вэйвлет-коэффициенты наивысшей частоты (соответствующие ф-\^ 0 ^ к ^ 255) имеют всего несколько существенно больших значений, соответствующих пикам двух клиньев ζ. По мере того как мы движемся вниз к низким частотам (которые имеют большее количество ненулевых компонент), мы видим более значительные величины в несколько более обширной области, чем область, где ζ отличен от нуля. Рассматривая этот пример, можно сделать два важных вывода. Первый состоит в том, что на рис. 28, е-е мы видим
3.3. Примеры и применения 243 и—ι—ι—ι—ι—ι—ι—ι—ι—г 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 а) б) 0 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 в) г) 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 Д) е) Рис. 27. α) ζ, б) (г,ф-1,к), в) (г,ф-2,к), г) {г,ф-3,к), d) (z,V>-4,k>, e) (z,<p-4,k)
244 Глава 3. Вэйвлеты на множестве Ζτν 50 100 150 200 250 300 350 400 450 500 а) ~1 i i i i i i i i Г _j ι ι l_ _j ι ι l 50 100 150 200 250 300 350 400 450 500 6) 0.5 0.4 0.3 0.2 0.1 0 0.1 ■0.2 ■0.3 -0.4 0.5 1 ι 1 ι r ι .j i.j i ... r ,— , ,— , ,, - - - * - - - - 1 1, I. 1 J- 50 100 150 200 250 300 350 400 450 500 50 100 150 200 250 300 350 400 450 500 r) 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 Д) e) Рис. 28. α) ζ, б) (г,ф-1,к), β) {г,ф-2,к), г) (z,i/>-3,k), д) (z,V>-4,k>> e) {ζ,ψ-^к)
3.3. Примеры и применения 245 ненулевые коэффициенты около правого пика картины (около η = 511), вопреки тому факту, что последняя ненулевая компонента ζ приходится на η = 319. Это потому, что мы работаем со множеством Ζ#, где каждый вектор следует рассматривать как периодический с периодом N. Поэтому мы должны предполагать, что ζ имеет другой клин точно справа от рисунка; это является обоснованием того, что вэйвлеты, локализованные около правого края, дают ненулевые коэффициенты. Этого случая больше не будет, когда мы рассмотрим вэйвлеты на Ζ в гл. 4. Второе главное заключение, которое мы делаем, рассматривая рис. 28, состоит в том, что очень мало вэйвлет-коэффициентов D6 существенно большие. Поэтому не нужно брать очень много членов в Бб-разложении для очень точной аппроксимации ζ. Основная информация о ζ может содержаться в небольшом числе значений вэйвлет-коэффициентов D6. Это приводит к одному из главных применений вэйвлетов, называемому сжатием. На рис. 29-34 приводятся результаты некоторых основных экспериментов по сжатию. На каждом рисунке левый верхний график —это сигцал 2, который принадлежит ^2(Zsi2) и, следовательно, полностью представляется 512 числами. Для любого ортонормированного базиса В = {vj}51J) мы имеем 511 Мы выбираем некоторое число К, количество членов разложения, которое мы будем использовать для нашего сжатого приближения z\ например, на рис. 29 положено К = 20. Мы сортируем коэффициенты {z>Vj) в порядке убывания амплитуды и используем только члены в разложении, соответствующие К наибольшим амплитудам. Другими словами, если S есть множество, состоящее из К значений j, для которых |(z, Vj)\ наибольшее, мы аппроксимируем ζ вектором ™ = !>>*>>;. (З.Ю6) (В случае «совпадений», когда более чем один коэффициент имеет одно и то же значение, мы выбираем для использования член с наивысшим индексом до тех пор, пока не получим точное число членов К. Различный выбор среди таких совпадений даст различную картину, но одинаковую относительную погрешность, как описано ниже.) Это наилучшая возможная аппроксимация, использующая только К членов в равенстве (3.105). Результаты такой процедуры сжатия для четырех различных базисов изображены на рис. 29-34. Четыре используемых базиса — это базис
246 Глава 3. Вэйвлеты на множестве Ъ^ и 1 1 1 г J I I I I I L 50 100 150 200 250 300 350 400 450 500 а) 0 50 100 150 200 250 300 350 400 450 500 б) —ι 1 1 1 1 1 1 1 1 г 50 100 150 200 250 300 350 400 450 500 j ι ι ι ϋ -0.2 I 1 1 ιι Λ J Ι Ι Ι L Ο 50 100 150 200 250 300 350 400 450 500 β) г) 1\. 0.8 0.6 0.4 0.2 Ο -0.2, 50 100 150 200 250 300 350 400 450 500 д) τ 1 1 1 τ- ι \ · Ι tl 100 150 200 250 300 Рис. 29. fc = 20, г) α) Исходный вектор, б) базис Фурье, А; = 20, в) вэйвлет Шеннона, вэйвлет D6, А; = 20, д) евклидов базис, А; = 20, е) относительная погрешность
3.3. Примеры и применения 247 1 0.8 0.6 0.4 0.2 0 П9 1 1 1 1 1 L \ ■\ А 1 ■\ ι 1 1 1 1 \ \ - \ \ ι ι ι ι ι ι ι ι ι ι 1 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 а) б) ι ι 1 1 1 1 1 1 1 г J I I L 1 0.8 0.6 0.4 0.2 0 л о ι ι г—ι—г \ 1 \ ■\ ■\ ■\ ι ι τ—τ—г \ \ \ - I I I I I I I I I 1 в) г) η 0.81 0.6 L 0.4 L 0.2 ί oL -0.2 L I 1 0.8 0.6 0.4 0.2 0 0? 1 1 1 1 1 [ \ -\ -\ ■ v , 1 | | | l ι ι 1 1 1 \ \ \ \ ; ι | | | l 0 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 д) «0 Рис. 30. а) Исходный вектор, б) базис Фурье, А; = 75, в) вэйвлет Шеннона, к = 75, г) вэйвлет D6, А; = 75, д) евклидов базис, А; = 75, е) базис Фурье, А; = 200
248 Глава 3. Вэйвлеты на множестве Zn О 50 100 150 200 250 300 350 400 450 500 О 50 100 150 200 250 300 350 400 450 500 б) 50 100 150 200 250 300 350 400 450 500 О 50 100 150 200 250 300 350 400 450 500 г) 1 0.8 0.6 0.4 0.2 0 ■0.2 -0.4 ■0.6 ■0.8 -1 А 1 " - - - - - - Ι Ι Ι Ι ίΐ'"'1 III I III I 111 1 II В III I 1 Ifll lUlU III III У 1 1 1 - - - - m 1 I 1 - - - - ¥ 1 I 1 ' Г 14 Π ι ι ι ι 50 100 150 200 250 300 350 400 450 500 A) 50 100 150 200 250 300 350 400 450 500 Рис. 31. α) Исходный вектор, б) базис Фурье, А; = 75, в) вэйвлет Шеннона, А; = 75, г) вэйвлет D6, А; = 75, д) евклидов базис, А; = 75, е) относительная погрешность
3.3. Примеры и применения 249 О 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 а) б) т 1 1 1 1 1 1 г О 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 ») г) 1.5 1 0.5 О -0.5 -1 -0.5 I I Г^ 1 I I I 1П ΙΎΓΙΙΙ Γ Ί Yl "=~Г I I I I I I I Г О 50 100 150 200 250 300 350 400 450 500 0 20 Д) Рис. 32. а) Исходный вектор, б) базис Фурье, А; = 50, в) вэйвлет Шеннона, к = 50, г) вэйвлет D6, А; = 50, д) евклидов базис, А; = 50, е) относительная погрешность
250 Глава 3. Вэйвлеты на множестве Zn 10 5 0 -5 -10 1 1 ■ г- ■ ι ι I I I I 1 1 1 1 1 г Л Л ■ IV 1 I I I I 1 -5l· -10 к 0 50 100 150 200 250 300 350 400 450 500 0 50 100 150 200 250 300 350 400 450 500 а) б) 1 1 1 1 г | 1 . 1 1 1 L 1 1 1 1 г ι ι ι ι ι -10 5 О -5| -10 О 50 100 150 200 250 300 350 400 450 500 л) Рис. 33. а) Исходный вектор, б) базис Фурье, А; = 8, в) вэйвлет Шеннона, А; = 8, г) вэйвлет D6, А; = 8, д) евклидов базис, А; = 8, е) относительная погрешность
3.3. Примеры и применения 251 О 50 100 150 200 250 300 350 400 450 500 О 50 100 150 200 250 300 350 400 450 500 б) 50 100 150 200 250 300 350 400 450 500 в) 50 100 150 200 250 300 350 400 450 500 г) τ^ι 1 1 1 1 1 1 1 г 50 100 150 200 250 300 350 400 450 500 w0 10 20 30 40 50 60 70 80 90 100 д) Рис. 34. а) Исходный вектор, б) базис Фурье, А; = 16, в) вэйвлет Шеннона, А; =16, г) вэйвлет D6, А; =16, 3) евклидов базис, А; = 16, е) относительная погрешность
252 Глава 3. Вэйвлеты на множестве Zn Фурье, вещественный базис Шеннона, базис Добеши D6 и евклидов базис. Для евклидова базиса это сжатие обнуляет все значения, меньшие К наибольших значений (по абсолютной величине). Для базиса Фурье возможно для аппроксимации w иметь ненулевую мнимую часть, но так как мы выбрали исходный вектор ζ вещественным, то мнимая часть есть часть погрешности в w. Поэтому мы рисовали только вещественную часть в аппроксимации w для базиса Фурье. Мы определяем погрешность аппроксимации ζ вектором w как || ζ — w ||, и относительную погрешность как \\ζ — HI/INI· В последнем случае погрешность нормируется модулем вектора ζ, задавая тем самым абсолютную шкалу, которая может использоваться для сравнения сжатия различных сигналов. На рис. 29, е, 31, е, 32, е, 33, е и 34, е мы дали относительную погрешность для каждого типа базисов как функцию К числа членов в аппроксимации. Четыре графика соответствуют четырем базисам следующим образом: • сплошная линия: базис D6, • пунктирная линия: вещественный базис Шеннона, • штриховая линия: базис Фурье, • штрих-пунктирная линия: евклидов базис. На рис. 29, α исходный вектор ζ — это тот же «двойной клин», что на рис. 28, а. Для рис. 29, б-д мы берем К = 20. Относительные погрешности для этих случаев таковы: • рис. 29, 5, базис Фурье: относительная погрешность 0.2431, • рис. 29, в, вещественный базис Шеннона: относительная погрешность 0.1694, • рис. 29, г, базис D6: относительная погрешность 0.1238, • рис. 29, <?, евклидов базис: относительная погрешность 0.7767. Рисунок 29, е изображает графики относительных погрешностей. В этом случае мы представляем только графики для 1 ^ К ^ 300, потому что для К > 300 графики совсем маленькие и их не видно. На рис. 30, б-е мы рассматриваем тот же исходный вектор ζ, но увеличиваем К до 75. Относительные погрешности равняются: • рис. 30, 5, базис Фурье: относительная погрешность 0.1223, • рис. 30, в, вещественный базис Шеннона: относительная погрешность 0.0650, • рис. 30, г, базис D6: относительная погрешность 5.55 χ 10~15, • рис. 30, <?, евклидов базис: относительная погрешность 0.2709. Эти результаты подтверждают наши интуитивные выводы из вида графиков, что базис Добеши D6 очень хорош при сжатии ζ. Это имеет место из-за сильной локализации вэйвлетов D6 и потому что ζ равен
3.3. Примеры и применения 253 нулю в большом числе точек. В результате многие из вэйвлет-коэффици- ентов D6 равны нулю или очень малы. Когда мы осуществляем сжатие, мы опускаем соответствующие члены из разложения (3.105), но так как эти коэффициенты очень малы, это производит малый эффект. С другой стороны, сжатие D6 не портит членов в частях графика, где ζ равен нулю. Интересно, что разложение D6 фактически точно при К = 75 членах, хотя вектор ζ имеет 128 ненулевых компонент. Это происходит потому, что многоуровневая структура вэйвлет-базиса позволяет одному низкочастотному вэйвлету сохранять информацию о значении вектора во многих точках. Вещественные вэйвлеты Шеннона, будучи до некоторой степени локализованы, достаточно хороши, но не так, как базис D6. Базис Фурье встречает трудности при наличии больших скачков, потому что базисные экспоненты е2штп/м — это очень гладкие функции. Требуется много больших высокочастотных членов для синтеза большого скачка, что приводит к слабому сжатию. Далее это продемонстрировано на рис. 30, е, где мы рассматриваем сжатие Фурье с К = 200 членами. Даже при наличии такого большого числа членов аппроксимация недостаточно хороша около больших скачков ζ, и относительная погрешность в этом случае есть 0.0512. Сжатие с помощью евклидова базиса дает очевидный результат: оно сохраняет К наибольших значений. Это дает точное восстановление этого конкретного ζ при К > 128, но при малых значениях К аппроксимация не очень хороша. На рис. 31 мы рассматриваем сигнал ζ рис. 23, 24 и 27. Этот сигнал более сложен для сжатия, поэтому мы взяли К = 75, и относительная погрешность на рис. 31, е показана на всем интервале 1 ^ К ^ 512. Для К = 75 относительные погрешности равняются: • рис. 31, б, базис Фурье: относительная погрешность 0.5889, • рис. 31, в, вещественный базис Шеннона: относительная погрешность 0.2062, • рис. 31, г, базис D6: относительная погрешность 0.0763, • рис. 31, <?, евклидов базис: относительная погрешность 0.5393. Вектор ζ характеризуется обеими локализациями — пространственной (будучи нулем на большей части своего графика) и частотной (будучи составлен в основном из двух главных частотных рядов), как показано на рис. 23, б. Поэтому оба вэйвлет-базиса хороши при его сжатии. Базис D6 имеет преимущество, будучи способным более эффективно игнорировать области, где ζ равен нулю. На рис. 32, а изображен сигнал z(n)=sin(nL5/64).
254 Глава 3. Вэйвлеты на множестве Zn Это —чирп с равномерно возрастающей частотой. Относительная погрешность для К = 50 равняется: • рис. 32, б, базис Фурье: относительная погрешность 0.4396, • рис. 32, в, вещественный базис Шеннона: относительная погрешность 0.1781, • рис. 32, г, базис D6: относительная погрешность 0.3473, • рис. 32, <?, евклидов базис: относительная погрешность 0.8972. Этот сигнал пространственно не локализован, поэтому базис D6 не дает очень хорошего сжатия. Вещественный базис Шеннона дает хорошее сжатие по причине его частотной локализации. Базис Фурье не очень плох по той же причине, и евклидов базис дает ужасный результат, как и следовало ожидать. Преимущества вэйвлет-базисов при сжатии некоторых сигналов с очень высокой нормой сжатия (т. е. при использовании очень малого числа членов разложения) показаны на рис. 33, где г(п) = (п-256)е-(п-256)2/512. Этот вектор (с точностью до постоянного множителя — производная функции Гаусса) хорошо локализован как по пространству, так и по частоте. Поэтому даже с К = 8 вэйвлет-базисы дают очень хорошее сжатие ζ. Относительные погрешности равняются: • рис. 33, б, базис Фурье: относительная погрешность 0.6399, • рис. 33, в, вещественный базис Шеннона: относительная погрешность 0.0168, • рис. 33, г, базис D6: относительная погрешность 0.0636, • рис. 33, <?, евклидов базис: относительная погрешность 0.8915. На рис. 34, α вектор ζ есть (1, 32^п^95, , ч 12, 132 ^п^ 259, zln) = < |4, 416 ^п^ 511, 1Д другие η между 0 и 511. В этом случае ζ пространственно не так хорошо локализован, и ввиду резких скачков в шагах, содержащих перепады он так же плохо локализован и по частоте. В результате вэйвлет-сжатия и сжатие Фурье обладают одинаковым качеством. Относительные погрешности для К = 16 равняются: • рис. 34, 5, базис Фурье: относительная погрешность 0.2389, • рис. 34, в, вещественный базис Шеннона: относительная погрешность 0.2406,
3.3. Примеры и применения 255 • рис. 34, г, базис D6: относительная погрешность 0.2566, • рис. 34, <?, евклидов базис: относительная погрешность 0.9374. Ни один базис не является наилучшим для всех типов рассмотренных сигналов. Однако если мы ожидаем, что сигнал, с которым мы имеем дело, обладает в некоторой степени обеими — пространственной и частотной — локализациями, то вэйвлет-базис будет весьма подходящим для сжатия такого сигнала. В частности, он лучше выявляет локальные особенности, чем базис Фурье, и также он лучше при распознавании частотных характеристик, чем евклидов базис. С приходом цифрового телевидения и с передачей цифровых рисунков через Интернет возник огромный интерес к сжатию изображений (т. е. двумерных сигналов). Как описано в Прологе при описании цифровых изображений отпечатков пальцев, изображение представляется маленькими квадратами, называемыми пикселями, каждый из которых задает значения шкалы яркости, описывающие потемнение этого пикселя (это справедливо для черно-белого рисунка; в случае цветного рисунка то же самое делается для каждого из первичных цветов, на которые раскладывается рисунок). Например, если изображение разбивается на решетку из 200 пикселей на 250 пикселей, то имеется 50000 пикселей значений шкалы яркости, так что изображение представляется в компьютере в виде вектора длины 50 000. Это большое количество данных, поэтому его необходимо сжать. Мы можем сделать это с помощью двумерных версий методов, которые мы рассмотрели. (Для описания двумерного DFT см. упр. 2.1.15-2.1.18. Для двумерного вэйвлет-базиса в случае Ζ^ χ Ζ#2 см. упр. 3.1.12 и 3.2.13.) Такой пример показан на рис. 35. В левом верхнем углу дается исходное изображение, портрет Саймона Занг. В верхнем правом углу мы видим результат сжатия с помощью вэйвлетов Добеши, сохраняющего в этом случае 10 процентов наибольших членов в вэйвлет-разложении. Портрет в левом нижнем углу дает результат, когда сохраняется 5 процентов наибольших вэйвлет-членов. Результат, сохраняющий 10 процентов наибольших членов в разложении Фурье, показан в нижнем правом углу. Странно выглядящие колебания — это, очевидно, отражения волн от резкого края рубашки Саймона. Этот портрет более размыт, чем остальные. Чтобы лучше почувствовать разницу, сконцентрируемся на некоторых локальных особенностях. Хороший пример дает пуговица на одежде Саймона (одна пуговица, около правой руки, другая пуговица не так ясно видна на исходном изображении). Пуговица гораздо более резко и ярко видна далее на портрете с 5-процентным вэйвлет-сжатием, чем на портрете с 10-процентным сжатием Фурье. Основное соображе-
256 Глава 3. Вэйвлеты на множестве Ζτν ние — это то, что элементы базиса Фурье не локализованы; они имеют постоянную амплитуду во всех точках. Поэтому для любого га скалярное произведение {z, Fm) (в качестве примера записанное для одномерного случая, но в принципе то же самое, что и для двух измерений) подвержено воздействию части ζ около локальной особенности (пуговицы). Поэтому, когда мы сжимаем изображение, удаляя члены в разложении Фурье, большая часть информации, касающаяся пуговицы, теряется; в результате пуговица получается размытой. В вэйвлет-базисе ввиду его пространственной локализации относительно малое число членов затронуто пуговицей, поэтому для ясного восстановления пуговицы достаточно лишь нескольких членов в разложении. Примеры на сжатие, которые мы здесь дали, имеют очень общую природу. Они достаточно просты для того, чтобы их воспроизвести (за исключением рис. 35) студенту, хорошо знакомому с вычислительными пакетами, такими как MATLAB или Mathematica (приведенные примеры были выполнены с помощью MATLAB'a). He предполагается, что это реальные примеры сжатия сигналов. Например, JPEG — обычно используемый технический стандарт для сжатия изображений — сначала разбивает картинку на более мелкие блоки. Затем разложение Фурье (фактически вариант, известный как разложение с помощью косинусного преобразования) сжимается в каждом блоке. Это дает возможность приобретения некоторой степени локализации в разложении Фурье. Наг пример, если весь блок в основном постоянный (как фон за Саймоном), он может быть представлен очень малым числом членов. Однако выбор размера блока в значительной степени произволен, в то время как при использовании вэйвлетов различные масштабы приобретают различные степени локализации естественным образом. Одна проблема, связанная с JPEG, состоит в том, что так как сжатия осуществляются независимо на прилежащих блоках, то они не обязательно гладко продолжаются при переходе через границы между блоками. Это соображение лежит в основе блочных артефактов стандарта JPEG при сжатии изображения отпечатков пальцев на рис. 2 в Прологе. Так как вэйвлет-разложение передает естественную многоуровневую структуру, изображение вэйвлет-сжатия отпечатка пальцев на рис. 3 не имеет блочных линий. Это было одним из соображений, чтобы контракт ФБР по сжатию отпечатков пальцев был присужден группе, использующей вэйвлеты. Более реалистичный пример сжатия изображения показан на рис. 36. Рисунок 36, α дает исходное несжатое изображение «Лена». Этот файл содержит 262159 байт данных. Рисунок 36, б дает то же самое изобраг жение, сжатое примерно в 10 раз с использованием JPEG (см. Пролог,
3.3. Примеры и применения 257 Рис. 35. (Любезно предоставлен Шанхьяном Зангом.) а) Несжатая фотография, б) вэйвлет-сжатие, с/= 0.10, в) вэйвлет-сжатие, с/=0.05, г) сжатие Фурье, с/= 0.10 где проводится дискуссия о JPEG). Файл для изображения на рис. 36, б содержит 26264 байт данных. При таком сжатии изображение представлено с хорошей визуальной точностью. Однако при более высоком коэффициенте сжатия возникают проблемы. Рисунок 36, в дает JPEG- сжатие примерно в 40 раз (используя 6646 байт данных), а рис. 36, г дает JPEG-сжатие примерно в 103 раза (2533 байт). Некоторая потеря качества изображения может быть видна на рис. 36, в, например, около женского плеча. На рис. 36, г потеря качества изображения очень серьезная. Программа JPEG не предназначена для качественной работы при таком экстремальном коэффициенте сжатия. Рисунок 36, д дает изображение Лены с сжатием примерно в 40 раз (6506 байт, по сравнимо с рис. 36, в), используя программу сжатия на основе вэйвлетов. Рисунок 36, е дает вэйвлет-сжатие примерно в 103 раза (2562 байт, сравнимо с рис. 36, г). Особенно при более высоких коэффициентах сжат тия методы вэйвлет-сжатия дают лучшие изображения. Рисунки 36, б-г были созданы с помощью коммерчески доступной программы WinJPG v.2.84. Рисунки 36, д и е были выполнены с использованием про-
258 Глава 3. Вэйвлеты на множестве Zn Д) е) Рис. 36. а) Исходное изображение, б) JPEG10-1, в) JPEG40-1, г) JPEG103-1, д) вэйвлет-сжатие 40-1 (любезно предоставлено Summus Technologies, Inc.), е) вэйвлет-сжатие 103-1 (любезно предоставлено Summus Technologies, Inc.)
Упражнения 259 граммы Summus 4U2C 3.0, предоставленной автору Бьорном Яавертом и Summus Technologies, Inc. Была проведена работа по включению методов вэйвлет-сжатия в коммерческий продукт цифровой обработки сигналов. Кстати, дама на рис. 36 — это Лена Сьёблом. Ее портрет был оцифрован и использован в одной из первых статей о сжатии изображения. Так как это изображение стало стандартным, то в более поздних статьях оно использовалось для сравнений. Многие специалисты в области сжатия изображений не знали о происхождении этой фотографии. На самом деле она — часть большой фотографии на развороте журнала Playboy за ноябрь 1972 г. Так как область анализа сигналов более ориентирована на людей разного пола, то были предложения по использованию и других изображений. (Отметьте, каким образом авторы настоящей книги избежали разногласий, поместив рис. 35.) Однако сделать это оказалось сложно, потому что часто хотелось бы сравнивать новые методы со старыми, которые использовали изображение Лены. Как сказал один студент, «является это политически некорректным или нет, изображение Лены должно оставаться на благо науки». Недавно Лена лично встретилась со специалистами по анализу сигналов и была почетным гостем на большом симпозиуме по цифровой обработке сигналов. Упражнения 3.3.1. 1) Доказать равенства (3.89) и (3.90). 2) Вывести, что Ul-1(vl)(n) = { 75' П = 0' - — η - 2ί_1 0, n = l,...,2/-1-l, 2*-1 + 1,..., Ν - 1 J7i"1(u/)(n) = { '^, »«0,2»-ι, 0, n = l,...,2i-1-l, 2,-1 + l,...,JV-l. 3) Доказать равенства (3.91) и (3.92). 4) Доказать равенства (3.93) и (3.94). 5) Доказать равенства (3.95).
260 Глава 3. Вэйвлеты на множестве Ζτν 3.3.2. Доказать равенства (3.96) и (3.97). Подсказка: применить индукцию по I. Из упр. 3.2.1(2) и равенств (3.83) мы имеем ψ-ι,ο(η) = fi(n) = gi-i(n)vi(n). По индукции 9i-i{n) отлично от нуля только для О ^ η ^ (Ν/21) - 1 и Ν - Ν/21 ζ η ^ Ν - 1, так что нам необходимо рассмотреть только эти области. Для 0 ^ η ^ (Ν/21) — 1 мы рассматриваем области 0 ^ η ^ (Ν/2ι+ι) - 1 и Ν/2ι+ι ζ ^ η ^ (Ν/21) — 1 отдельно и применяем формулы для щ иг)/, приведенные выше, вместе с индукционным предположением. Аналогично, мы разбиваем область N — Ν/21 ^ η ^ Ν — 1 на две: JV-JV/2* ^ η ^ JV-JV/2'+1-l и Ν-Ν/2ι+ι ^ η ^ ЛГ—1. В первой из этих областей г); есть \/2 и uj есть 0, и наоборот — во второй из этих двух областей. Простейший способ убедиться в этом — заметить, что щ и щ имеют период 2г_1 и, например, первая область эквивалентна по модулю 21~1 области Ν/21 ^ η ^ (ЗЛГ/2г+1) - 1, которая по формуле, приведенной в тексте, есть подмножество области, где щ есть у/2, и щ есть 0. 3.3.3. Доказать равенства (3.98) и (3.99). 3.3.4. Предположим, N — четное. Показать, что вэйвлеты Хаара (с точностью до умножения вектора на —1) могут быть получены, используя сначала тождество cos Ы+81п Ы = и продолжая дальше, как в примере 3.35. 3.3.5. Предположим, что N/2P есть целое, большее чем 4, где р — некоторое положительное целое число. Продолжая как в примере 3.35, но начав с тождества О»* (5)+** (*))'-'■ получить базис £2(Zn) р-го уровня, для которого щ и v\ имеют только четыре ненулевые компоненты. Единственный ответ: ui = ^(l + V3,3 + V3,3-V3,l-V3,0,0,0,...,0), о η = ^ (-з - \/з, ι + Vz,o,o,... ,ο,ο, -ι + \/з,з - л/з). о Это вэйвлеты Добеши D4 пространства £2(Ζν)·
Глава 4 Вэйвлеты на множестве Ζ 4.1. Пространство £2(Ζ) До сих пор мы рассматривали сигналы (векторы) конечной длины, которые мы периодически продолжали на все множество целых чисел. В этой главе мы будем оперировать бесконечными сигналами, которые в общем случае непериодические. Более точно, рассмотрим последовательности комплексных чисел, заданные на множестве целых чисел, вводя обозначение ζ = (... ζ(-2), ζ(-1), ζ(0), ζ(1), ζ(2),...), или, более кратко, ζ = (z(n))nez. Чтобы над последовательностями можно было выполнять осмысленные операции (такие, что рассматриваемые ряды будут сходиться), значения ζ не должны быть очень большими. Сосредоточим наше внимание на последовательностях, которые суммируемы с квадратом, это означает, что __ ^2\ζ(η)\2 < +оо. Сделаем следующие замечания, чтобы пояснить это свойство, так как ранее мы не рассматривали рядов, суммируемых на множестве Z. Определение 4.1. Ряд комплексных чисел ^ w(n) сходится, если nez последовательность симметричных частичных сумм +N SN= Σ W(n) n=-N сходится как последовательность комплексных чисел (см. определение 1.10). Мы говорим, что ряд Σιν(η) сходится абсолютно, если сходится ряд Σ |w(n)l· nGZ По многим соображениям более естественно требовать сходимость N О обеих сумм Σ w(n) и ^ w(n) при N —► +оо. Однако для нашей η=0 η=-ΛΓ последующей работы с рядами Фурье определение 4.1 более подходящее. Если члены ряда — неотрицательные вещественные числа, то два понятия сходимости совпадают (упр. 4.1.2(2)).
262 Глава 4. Вэйвлеты на множестве Ζ Если ряд Σ w(n) сходится абсолютно, то он сходится (упр. 4.1.1(3)). n€Z Если ряд состоит из положительных членов, как в случае ^ |^(η)|2, n€Z то его частичные суммы возрастают, и поэтому их последовательность либо стремится к +оо, либо сходится. Обозначим пространство всех суммируемых с квадратом последовательностей на множестве Ζ через ί2(Ζ). Формально ί2(Ζ) = < ζ = (*(η))η€ζ: ζ(η) Ε С для всех η € Ζ и ^ \ζ(η)\2 < +οώ. ^ η€Ζ J Можно проверить (упр. 4.1.3), что ί2(Ζ) образует векторное пространство над множеством С с естественными операциями покомпонентного сложения и умножения на скаляры. Для z, w € ί2(Ζ) определим (zyw) = \^z{n)w{n). (4.1) n€Z Из упр. 4.1.4 следует, что (·, ·) есть комплексное скалярное произведение в пространстве £2(Z). Мы говорим, что векторы ζ и w ортогональны, если (z,w) = 0. Таким образом, мы имеем понятие перпендикулярности в бесконечномерном смысле, которое трудно представить геометрически. В частности, приобретает смысл понятие ортонормированного множества векторов (элементов) пространства ί2(Ζ). Зададим норму в £2{Ζ) так же, как в определении 1.90. Это значит, что для ζ е £2(Ζ) 1/2 Ν = (Σι^η)ΐ2) · (4·2) ^ η€Ζ ' Как следует из упр. 1.6.5, это делает ί2(Ζ) нормированным пространством и, следовательно, метрическим пространством с расстоянием d(z,w) = \\z — w\\. Неравенство Коши—Шварца |(2,w)| ^ IMIIIHI (д°~ казанное для любого пространства с комплексным скалярным произведением в лемме 1.91) принимает здесь следующий вид: для z,w € ί2(Ζ) Ι Ι / \l/2/ \l/2 \j2z(n)w(n)\ < (Σ \z(n)\2) EMn)f . ' n€Z ' ^ n€Z ' ^ n€Z ' Мы можем применить это неравенство к последовательностям \z\ и |w|, значения которых в точке п — это \z(n)\ и |ги(п)| соответственно. Заметив, что || \z\ || = ||z|| и аналогично для w, и вспомнив, что \w(n)\ = |w(n)|, получаем / \ 1>2 / \ 1>2 J2\z(n)w(n)\ < ^Ип)|2 Г£ \w(n)\2) . (4.3) n€Z ^n€Z ' ^n€Z '
4.1. Пространство £2(Z) 263 Также, из следствия 1.92, мы имеем неравенство треугольника ||« + ι0||<||ζ|| + ΙΗ|βΙ(Ζ): / \!/2 / \1/2 / \1/2 ("£\ζ(η)+η,(η)\η <(5]И")12) + EW")i2 · (4·4) ^n€Z ' ^n€Z ' ^n€Z ' В следующем определении 4.2 не путайте Zk с z(fc): для каждого к запись Zk = (2fc(ft))nez обозначает последовательность из Определение 4.2. Пусть Μ 6 Ζ, ζ& 6 Г2(Ζ) для каждого fc 6 Ζ при fc ^ Μ и ζ е £2{Ζ). Последовательность {zk}^=M сходится κ ζ β £2(Ζ), если для любого ε > О существует положительное целое N такое, что 11**-*11<е для всех к > N. Также {zk}^=M есть последовательность Коти в если для любого ε > 0 существует положительное целое N такое, что для всех к,т> N. Теорема 4.3 (полнота пространства £2(Ζ)). Предположим, что &к}™=м есть последовательность Коши в £2(Ζ). Тогда существует элемент ζ 6 £2(Ζ) такой, что последовательность {zk}^M сходится к ζ в £2(Ζ). Доказательство. Упражнение 4.1.7. ■ Основная разница при обращении с векторным пространством £2(Z) вместо £2(Zn) состоит в том, что £2(Z) — бесконечномерное пространство. Естественные аналоги для £2(Z) стандартных базисных векторов в £2(Zn) — это векторы е* € £2(Z), определенные для j 6 Ζ равенством /1, если n = j, еЛп) = \п , . (4·5) |Д если ηψ3. Однако множество {ej}j^z не образует базиса £2(Z) в смысле определения 1.37, потому что мы не можем записать каждый элемент £2(Z) как конечную линейную комбинацию векторов {ej}j^z· Тем не менее ясно, что каждый элемент ζ = (ζ(η))η^ζ может быть записан как бесконечная сумма ζ = Σ z(j)ej. Так как далее мы рассмотрим несколько j€Z пространств такого типа, то в разд. 4.2 мы включили общее рассуждение о сходимости последовательностей и рядов в бесконечномерных пространствах со скалярным произведением.
264 Глава 4. Вэйвлеты на множестве Ζ Упражнения 4.1.1. Пусть Σ w(n) — ряд из комплексных чисел. 1) (Критерий Коши.) Доказать, что ряд ^ w(n) сходится тогда n€Z и только тогда, когда для любого ε > О существует целое N такое, что -к n=—m n=fc <ε для всех тп^ к > N. Подсказка: применить либо теорему 1.12 оо к частичным суммам, либо лемму 1.14 к рядам Σ ζη, где п=0 zo = w(0) и zn = ги(п) + w(—п) для всех η ^ 1. 2) (Признак сравнения.) Пусть {α(η)}η€ζ~ последовательность неотрицательных вещественных чисел таких, что \w(n)\ ^ а(п) для всех \п\ ^ N при некотором N 6 Z. Если 5^ α(η) сходится, то доказать, что ^ гу(п) также сходится. η€Ζ η€Ζ 3) Если 5Ζ ^(п) сходится абсолютно, то доказать, что Σ w(n) n€Z n€Z СХОДИТСЯ. 4.1.2. 1) Показать, что ряд ^ η сходится, но не сходится абсолютно. η€Ζ В частности, неверно, что сходимость ^ w(n) означает, что n€Z lim w(n) = 0. Это одно из соображений, по которому во мно- п—»оо гих работах требуется более сильное определение сходимости, чем в определении 4.1. 2) Доказать, что ряд Σ w(n) сходится абсолютно тогда и только n€Z оо оо тогда, когда сходятся абсолютно ряды Σ w(n) и Σ w(~~n)- п=0 п=1 3) Показать, что если ^ w(n) сходится абсолютно, то n€Z lim w(n)=0 и lim w(—n) = 0. η—>oo η—юо 4.1.3. Для г, гс; € £2(Z) и α 6 С определим г + w и αζ равенствами (г + w)(n) = г(п) + w(n) и (αζ)(η) = αζ(η) для всех η € Ζ. Доказать, что с такими операциями £2(Ζ) есть векторное пространство над С. Замечание: единственное свойство в определении 1.30, которое не очевидно, есть С1; см. подсказку к упр. 1.6.3(2).
Упражнения 265 4.1.4. Доказать, что (·, ·), определенное формулой (4.1), есть комплексное скалярное произведение в ί2(Ζ). (См. подсказку к упр. 1.6.3. Основной момент состоит в доказательстве абсолютной сходимости ряда в формуле (4.1).) 4.1.5. (Теорема о монотонной сходимости последовательности.) Предположим, что Μ € Ζ и для каждого к 6 Ζ такого, что к ^ М, Xk = {xk(n)}n€Z есть последовательность неотрицательных вещественных чисел (т.е. ж&(п) ^ 0 для всех fc,n). Предположим, что Xk(n) ^ Xk+i(n) для каждого пик; это значит, что {хк{п)}™=м есть неубывающая последовательность для каждого п. По лемме о монотонной последовательности lim Xk{n) cy- ществует для каждого η (хотя он и может быть равен +оо). Положим х(п) = lim Xk(n)· Доказать, что к-+оо У2х{п) = lim У2хк(п). (4.6) n€Z n€Z (Заметим, что ]Г ж^(^) возрастает по fc, поэтому предел в пра- вой части существует.) Здесь равенство интерпретируется в том смысле, что если одна часть равенства конечна, то другая часть также должна быть конечной, и их значения одинаковы, но мы также допускаем, что обе части равны +оо. Подсказка: так как хк(п) ^ ж(п)) то легко доказать, что левая часть соотношения (4.6) больше или равна правой части. Для доказательства обратного неравенства заметим, что для любого фиксированного целого J > О J J У2 х(п) = lim У2 хк(п) < ,lim У2хк{п). ^—' к-+оо *—' *-кх>*—*£ n=-J n=-J n€Z Теперь пусть J —► +оо. 4.1.6. (Лемма Фату для последовательностей.) Пусть Μ 6 Ζ и #fc = {#fc(n)}n€Z есть последовательность неотрицательных вещественных чисел для каждого fcGZcfc^ M. Предположим, что х(п) = lim Xk(n) существует для каждого η € Ζ. Доказать, что *-°° 7 ж(п) ^ liminf 7 xk(n)· (4.7) η€Ζ η€Ζ (По определению для любой последовательности {gaJ^m ве~ щественных чисел lim inf а& = lim (inf cu). Этот предел суще- fc—юо га—юо j^m ствует (он может быть бесконечным), потому что inf a,j возрас- j^ra
266 Глава 4. Вэйвлеты на множестве Ζ тают по га.) Подсказка: пусть ym(n) = inf Xj(n). Докажите, что Ут(п) возрастают до х(п) для каждого п. Поэтому из упр. 4.1.5 следует, что ΣΦ) = Ит У]ут(п). т—юо *-^ га—юо ' nGZ n€Z Теперь докажите, что 4.1.7. Предположим, что {^}^м есть последовательность Коши в пространстве ί2(Ζ) (определение 4.2). 1) Доказать, что {^(п)}^=м есть последовательность Коши в С для каждого η 6 Ζ. 2) Из п. 1 и полноты пространства С (теорема 1.12) предел z(n) = lim Zfc(n) существует для каждого η 6 Ζ. Пусть 2 = {z(n)}ngz. Доказать, что {^(п)}^м сходится к ζ в (определение 4.2). Подсказка: для достаточно больших, но фиксированных к примените упр. 4.1.6, чтобы получить нераг венства E\zk(n) - z(n)\2 ^ liminf У] \zk{n) - zm(n)\2. га—»оо *·—^ n€Z n€Z Замечание: используя соотношение (4.4), запишите неравенство ||ζ|| ^ ||2 — 2*|| + ||2fc||, вы получите, что ζ € £2(Ζ). Это доказывает полноту £2{Ζ). 4.1.8. 1) Предположим, что {z^^Lq есть последовательность элементов £2(Z), и ζ есть элемент £2(Ζ) такой, что {zk)kei сходится к ζ в £2(Ζ) (см. определение 4.2, это называется сходимостью по норме). Доказать, что lim Zk(n) = z(n) fc—»oo для каждого nGZ (это называется поточечной сходимостью). 2) Приведите пример последовательности {^}^0 элементов и элемента ζ € £2{Ζ) таких, что lim Zk(n) = ζ (η) к—юо для каждого η 6 Ζ, но {^}^ζ не сходится к г в ^2(Ζ). Это означает, что сходимость по норме в £2(Ζ) более сильная, чем поточечная сходимость.
4.2. Полные ортонормированные множества 267 4.1.9. Заметим, что {еп}™=о есть ограниченная последовательность в £2(Z) (это тривиально: ||еп|| = 1 для каждого п). Доказать, что не существует подпоследовательности {βη*.}]^, которая сходится в ί2(Ζ) (определение 4.2). Это ключевая разница между бесконечномерным и конечномерным случаями: по теореме Больцано—Вейерштрасса каждая ограниченная последовательность в Шп или Сп имеет сходящуюся подпоследовательность. 4.2. Полные ортонормированные множества в гильбертовых пространствах Пусть X — бесконечномерное пространство с комплексным скалярным произведением (·,·). (Все дальнейшее будет справедливо и в конечномерном случае по тривиальным соображениям, но нам будет проще рассматривать только бесконечномерный случай.) Определим норму в пространстве X так же, как в определении 1.90. Определение 4.4. Пусть Μ 6 Ζ. Последовательность {хп}™=м эле~ ментов пространства X сходится β X к некоторому χ 6 X, если для любого ε > 0 существует N 6 N такое, что \\хп — х\\ < ε для всех п> N. Последовательность {хп}™=м есть последовательность Коти в X, если для любого ε > 0 существует N € N такое, что ||жп — жт|| < ε для всех п,т> N. Если {%п}™=м сходится в X, то {#n}JJLM есть последовательность Коши (упр. 4.2.2). Определение 4.5. Пространство X с комплексным скалярным произведением называется полным, если каждая последовательность Коши в X сходится. Полное пространство с комплексным скалярным произведением называется гильбертовым пространством. Заметим, что для Η = ί2(Ζ) (которое есть гильбертово пространство, согласно упр. 4.1.3 и 4.1.4 и теореме 4.3) определение 4.4 совпадает с определением 4.2. Далее мы сосредоточимся именно на гильбертовых пространствах, потому что полнота будет необходима для последующей теории. При этом все интересующие нас пространства будут полными. Дадим следующее определение сходимости ряда в гильбертовом пространстве. Его не следует путать с определением 4.1, в котором рассматривались только ряды комплексных чисел. Здесь члены ряда — это элементы гильбертова пространства.
268 Глава 4. Вэйвлеты на множестве Ζ Определение 4.6. Пусть Η — гильбертово пространство и {wn}ngi — последовательность элементов Н. Пусть sn для N = 1,2,3,... есть симметричная частичная сумма +N SN = Σ ™{η). n=-N Мы говорим, что ряд Σ wn сходится β Η к некоторому s 6 ff, если по- следовательность {sn}^=1 сходится к s в Η (в смысле определения 4.4). Напомним (определения 1.93 и 1.94), что понятия ортогональности и ортонормированных множеств определены в любом пространстве с комплексным скалярным произведением. Следующий результат показывает, что суммируемые с квадратом последовательности играют естественную роль в изучении любого бесконечномерного пространства со скалярным произведением. Лемма 4.7. Пусть Η — гильбертово пространство, {aj}j^z—opmo~ нормированное множество в Η и ζ = (z(j))j^z 6 ί2(Ζ). Тогда ряд jez сходится в Η и Ijez " jez Доказательство. Пусть +N SN= Σ Z(j)*j j=-N есть частичная сумма для N = 1,2,3, Тогда при N > Μ (4.8) \\8N-SM\\ = Σ z(fiaj = Σ ι*ωι2' M<\j\^N потому что это конечная сумма и aj ортонормированы (см. упр. 4.2.3). Так как ряд Σ I^U)!2 сходится, то последовательность его симметрич- ных частичных сумм должна быть последовательностью Коши (теорема 1.12). Следовательно для любого ε > 0 существует К такое, что Σ \z(j)\2 ^ ε для всех Ν > Μ > К. Это доказывает, что M<\j\^N последовательность {sjvjiVeN есть последовательность Коши. Так как
4.2. Полные ортонормированные множества 269 Η есть полное пространство, то {sn}ngN сходится; это означает, что Σ z(j)a,j сходится в Н. jez Для доказательства равенства (4.8) см. упр. 4.2.4. ■ Лемма 4.7 устанавливает связь между обобщенным бесконечномерным гильбертовым пространством и пространством ί2(Ζ): если задано ортонормированное множество {aj}j^z и ζ € £2{Ζ), то ряд Σ z(j)a>j сходится к некоторому элементу из Я. Однако следующая лемма демонстрирует другой путь: если задан элемент / из Н, то, рассмотрев множество {(/,ttj)}j€Z? получим последовательность в £2(Z)n. Лемма 4.8. Пусть Η —гильбертово пространство, {aj}j^z —ортонормированное множество в Η и f € Η. Тогда последовательность {(/?aj)}j€Z принадлежит пространству £2(Z) и ΣΚ/,«;>Ι2^ΙΙ/ΙΙ2· (4·9) j€Z N Доказательство. Пусть sn = Σ (/, a,j)aj для iV = 1,2,3, Тогда j=-N II/ - SJVH2 = </, /) - </, SN) - (8N, f) + (8N, SN). Заметим (используя равенство (1.43)), что /Ν \ Ν Ν </,**> = (/, Σ </'α>;)= Σ tw</,^> = Σ κ/'*ί>ι2· \ j=-N I j=-N j=-N Из ПЗ в определении 1.86 j=-N j=-N так как последняя величина вещественная. Также из равенства (4.8) \ы\2 = Σ κ/,^)ΐ2. j=-N Подстановка этих трех выражений дает +N +N ii/-rf = imi2-2 Σ kjwi2+ Σ i</.«i>i2 = j=-N j=-N +N = ιι/ιι2- Σ Κ-Wi2· j=-N
270 Глава 4. Вэйвлеты на множестве Ъ Так как ||/ — sjv||2 ^ 0, то это означает, что +N Σ κ/.«ί>ι2<ιι/ιι2- j=-N Переходя к пределу при N —► оо, получим наше утверждение. ■ Если {a,j}j£z есть ортонормированное множество в Η и / 6 Н, то по лемме 4.8 последовательность {(/,uj)}j€Z принадлежит £2(Z). Тогда по лемме 4.7 ряд £) (/, aj)aj = / для любого / € Я, как и в случае ор- j€Z тонормированного базиса в конечномерном пространстве со скалярным произведением (лемма 1.101(1)). Определение 4.9. Пусть Η — гильбертово пространство и {dj}j£Z~ множество элементов в Н. Мы говорим, что {aj}j^z есть полное ортонормированное множество, или полная ортонормированная система, если {dj}jez — ортонормированное множество, обладающее следующим свойством: единственным элементом w € Я, для которого (w,aj) = О при всех j 6 Ζ, является w = 0. Заметим, что слово «полное» используется здесь в смысле, отличном от связанного со сходимостью последовательностей Коши. Теорема 4.10. Пусть Η — гильбертово пространство и {a>j}jez —ортонормированное множество в Н. Множество {dj}jez ~ полное ортонормированное тогда и только тогда, когда f = 5^(/, aj)a,j для всех / € Я. Доказательство. Сначала предположим, что {^jljez есть полное ортонормированное множество. Зададим / Ε Н, пусть g = Σ (/, aj)aj (как j€Z замечено ранее, этот ряд сходится в if по леммам 4.7-4.8). Тогда для всех га G Ζ (ff^m) = (/,Om), см. упр. 4.2.5. Поэтому (/ — #,am) = 0 для всех га 6 Z. Так как {aj}jez есть полное ортонормированное множество, то это значит, что / — <7 = 0, т. е. / = #, что и требовалось доказать. Обратно, предположим, что каждый элемент / 6 Η может быть записан в виде ^ (f,aj)aj. Если (f,aj) = 0 для всех j, то все коэффи- зеъ циенты равны 0, поэтому / = 0. Это доказывает полноту {aj}j€Z· И Возвращаясь к примеру пространства ^2(Z), легко видеть, что множество {ejljez? определенное равенством (4.5), есть полное ортонормированное множество в £2(Z). Поэтому по теореме 4.10 каждый элемент
4.2. Полные ортонормированные множества 271 ζ = (ζ(η))η€ζ € ί2(Ζ) может быть представлен рядом Σ z(j)ej, частич- ные суммы которого сходятся (к ζ) в ί2(Ζ). (Конечно, это видно и непосредственно, но наша цель — проиллюстрировать теорему 4.10.) Итак, хотя {ej}jzz не образует базиса в смысле векторного пространства, каждый элемент £2(Z) можно представить как «бесконечную линейную комбинацию» векторов из множества {ej}j£%. Поэтому во многих учебниках полное ортонормированное множество называют «ортонор- мированным базисом», используя термин «базис» в смысле, отличном от определения 1.37. Но мы предпочитаем избегать этой неточности, называя его полным ортонормированным множеством или системой. Приведем следующее полезное свойство. Лемма 4.11. Пусть {aj}j^Z ~~ ортонормированное множество в гильбертовом пространстве Н. Тогда следующие утверждения эквивалентны: 1) Множество {a>j}j£Z — полное. 2) (Равенство Парсеваля.) Для всех f,g € Η справедливо равенство (ί,9) = Σ,ν>αί)Μ· (4·10) 3) (Формула Планшереля.) Для всех f € Η справедливо равенство ιι/ιι2 = Σκ/'°;>ι2· (4·η) j€Z Доказательство. Включение 1 => 2 —это упр. 4.2.7. Мы получим импликацию 2 ==> 3, положив g = /. Для доказательства следования 3 => 1 см. упр. 4.2.6. ■ Гильбертово пространство с конечным или счетно бесконечным полным ортонормированным множеством называется сепарабельным. Существуют также «большие» гильбертовы пространства, в которых любое полное ортонормированное множество должно быть несчетным, но в этой книге мы не будем касаться таких несепарабельных пространств. В лемме 1.98 мы рассмотрели основные свойства оператора ортогональной проекции на конечномерное подпространство. Эти результаты могут быть распространены на случай бесконечномерного подпространства. Определение 4.12. Пусть А = {aj}jez — ортонормированное множество в гильбертовом пространстве Н. Определим множество Sa = {5>(J>,: * = i*U))i& e e2(Z)\. (4.12)
272 Глава 4. Вэйвлеты на множестве Ъ (Заметим, что ^ z(j)o>j сходится в Я при {z(j)}j^z £ £2(Z) no лемме 4.7.) Любое такое Sa есть подпространство Я (упр. 4.2.8). Определение 4.13. Пусть {dj}jez — ортонормированное множество в гильбертовом пространстве Я. Положим S = Sa из определения 4.12. Для / 6 Я определим ^(/) = Σ</,α>,- (4.13) j€Z (Этот ряд сходится в if по леммам 4.7 и 4.8.) Мы называем Ps{f) ортогональной проекцией f на S. Мы называем сам оператор Ps ортогональной проекцией (оператором ортогональной проекции) на подпространство S. Лемма 4.14. Пусть Н, S и Ps такие, как в определении 4.13. Тогда 1) Ps(f) € S для каждого f £ Я; 2) преобразование Ps: Я —► S — линейное; 3) если s £ S, то Ps(s) = s; 4) (свойство ортогональности) (/ — Ps{f), s) = О <?λλ любых f £ Я η 5 6 5; 5) (свойство наилучшего приближения) для любых f £ Η и s £ S \\f-Ps(f)\\<\\f-s\\, равенство имеет место только при s = Ps(f)· Доказательство. Упражнение 4.2.9. ■ Упражнения 4.2.1. Пусть {хп}^=1 —последовательность в пространстве X с комплексным скалярным произведением, и пусть χ £ X. Доказать, что {#n}JJLi сходится к χ в X тогда и только тогда, когда \\хп—х\\ сходится к нулю при η —» оо как числовая последовательность. 4.2.2. Пусть Μ £ Ζ, {жп}£1м —последовательность в пространстве X с комплексным скалярным произведением, и пусть {жп}^=м сходится в X к некоторому жб1. Доказать, что {жп}^=м есть последовательность Коши (определение 4.4). 4.2.3. Пусть X — пространство с комплексным скалярным произведением и {v\, V2,..., νη} — конечное ортонормированное множество η η в X. Доказать, что если ζ = ^ z(j)vj и w = ^ wU)vj Д™
Упражнения 273 некоторых скаляров z(l), г(2),..., ζ(η) и w(l), w(2),..., w(n), то η (z,w) =^2z{j)w{j), IWI2 = f>Wla· 4.2.4. Доказать равенство (4.8). Подсказка: пусть последовательность sjv такая же, как в доказательстве леммы 4.7. Из упр. 4.2.3 imi2= Σ ι*ωι2· j=-N Используйте сходимость sjv в Я к s = ^ z(j)aj и неравенство треугольника (4.4), чтобы показать, что ||з|| = lim ||$лН1· ЛГ-+00 4.2.5. Пусть Η — гильбертово пространство. 1) Предположим, что {fn}^=i есть последовательность в Н, которая сходится в Η к некоторому элементу / 6 Н. Доказать, что для любого д 6 Η lim (/n, g) = (f,g). n—*oo Подсказка: примените неравенство Коши—Шварца к(/п-/,£). 2) Предположим, что {aj}j^z есть ортонормированное множество в Η и ζ = (ζ(η))η£ζ 6 £2(Ζ). Доказать, что для любого ra€Z Y^z{j)aj,am\ =z{m). i i€Z / Подсказка: покажите, что это справедливо, когда ряд заменен его частичной суммой sn при N > га, и примените п. 1. 3) Предположим, что А = {ujIjgz- ортонормированное множество в гильбертовом пространстве Η, υ € Η и (ν,α^) = 0 для любого j € Ζ. Пусть 5д определено формулой (4.12). Доказать, что (г;, s) = О для всех s e Sa- 4.2.6. Пусть {ttj}j€Z — ортонормированное множество в гильбертовом пространстве Н. Доказать, что {aj}j^z есть полное ортонормированное множество тогда и только тогда, когда равенство (4.11) справедливо для всех / € Н. Подсказка: используйте неравенство, полученное в доказательстве леммы 4.8, и устремите ЛГ-> оо.
274 Глава 4. Вэйвлеты на множестве Ъ £.2.7. Пусть {dj}j£Z — полное ортонормированное множество в гильбертовом пространстве Н. Доказать, что равенство (4.10) справедливо для всех /,#€#. Подсказка: подставьте Y^{f,ej)ej з вместо / и используйте упр. 4.2.5, чтобы вынести знак суммирования за знак скалярного произведения. Это также следует из упр. 4.2.6 и поляризационного тождества (упр. 1.6.7(1)) с Τ = J. 4.2.8. Рассмотрим множество Sa из определения 4.12. Доказать, что Sa есть подпространство Н. 4.2.9. Доказать лемму 4.14. Подсказка: используйте 1) лемму 4.8; 2) линейность (·,·) и Jj 3) упр. 4.2.5(2), затем примените упр. 4.2.5(1); 4) докажите сначала для s = α, (используя упр. 4.2.5(2)); 5) посмотрите доказательство аналогичного утверждения в лемме 1.98. 4.2.10. Пусть Η — гильбертово пространство и Ε — подмножество Н. Мы говорим, что Ε замкнутое, если для любой последовательности {v,j}(jL1 элементов из Е, которая сходится в Η к некоторому u Ε Н, элемент и Ε Ε (τ. е. Ε содержит все свои предельные точки). Пусть А = {o>j}j£Z — ортонормированное множество в Η, и пусть Sa определено формулой (4.12). Доказать, что Sa есть замкнутое подпространство Н, т. е. является подпространством пространства Η и одновременно замкнутым множеством. Подсказка: из свойства наилучшего приближения (лемма 4.14(5)) вытекает, что для каждого j справедливо неравенство \\и - Ps(u)\\ ^ ||^ — Uj\\. 4.3. Пространство L2([—π, π)) и рад Фурье Ключевым примером бесконечномерного гильбертова пространства, отличного от ί2(Ζ), является пространство комплекснозначных функций / на интервале [—π, π) = {χ 6 R: — π ^ χ < π}, которые интегрируемы с квадратом, это означает, что π ί \№\2<Ю < +оо. —π (Для тех, кто хорошо знаком с применяемыми ниже терминами, дадим следующие пояснения. Использованный здесь интеграл —это интеграл Лебега, а не Римана. Мы считаем две функции f и g «одинаковыми»,
4.3. Пространство L2([—π, π)) и ряд Фурье 275 если они совпадают всюду, кроме множества «меры нуль», это записывается так: / = g п. в. (здесь «п. в.» есть аббревиатура слов «почти всюду»). Более точно, отношение f ~ g, если / = дп.в., есть отношение эквивалентности, и пространство, о котором идет речь, есть пространство классов эквивалентности функций, определяемое этим отношением эквивалентности. Условие / = дп.в. есть в точности условие того, что π 1\№-д(в)\м = о, —π поэтому оно здесь и используется. Если кто-то не знаком с этими терминами, их незнание не приведет к большим сложностям. Нужно лишь принять на веру несколько разумных свойств интеграла Лебега.) Формально мы определяем π £2([-π,π)) = j/: [-π,π) - С: J \/(θ)\2άθ < οο}. —π Определяя обычным способом поточечное сложение и умножение функций на скаляры (как в примере 1.33), можно показать (см. упр. 4.3.1(1)), что L2([—π,π)) есть векторное пространство. Для f,g Ε L2([—π,π)) положим π {f,9) = ^\mW)M- (4.14) —7Γ Можно показать (упр. 4.3.1(2)), что (·,·) есть скалярное произведение в пространстве L2([—π,π)). (Именно здесь необходимо отождествление двух функций, которые равны п. в., для получения свойства П4 в определении 1.86.) Задав норму || · || согласно определению 1.90, получим ■(si^м") · —π Неравенство Коши—Шварца (лемма 1.91) для f,g € L2([—π,π)) имеет вид Ι ι г Ι /, г \1/2/ л } Χ 1/2 ^ j №№м\ < (± J iw>i2d9J (έ J i»wi2d9J · —π —π —π Замена /и§ соответственно на |/| и |</| дает 7Г 7Г 1 /9 ^ 1/9 JL J |/(%(0)|<ю ^ (^ J i/wiW) (£ji*wi2*) · (415)
276 Глава 4. Вэйвлеты на множестве Ζ Неравенство треугольника (следствие 1.92) в L2([—π,π)) имеет вид /1 Г \1/2 —π * (έ ί |/(*)|2<ю) +{k\l9m2de) ·(4i6) —π —π Помимо пространства L2([—π, π)) рассмотрим следующий класс функций. Определение 4.15. Пусть π ^([-τ,π)) = {/: [-π,π) - С: | |/(0)|<Ю < +оо}. —π Если / Ε L1([—π, π)), то мы говорим, что / интегрируема, и полагаем π H/IU = J \т\м. —π Другими словами, для интегрируемости функции / мы требуем, π чтобы интеграл J /(θ)άθ сходился абсолютно. Чтобы понять значе- —π ние этого требования, предположим, что / — вещественная функция (в противном случае рассмотрим отдельно вещественную и мнимую части /). Если / не является интегрируемой, то / имеет либо бесконечное количество положительной массы, либо бесконечное количество отрицательной массы, либо то и другое вместе. Тогда интеграл может быть бесконечным, и в третьем случае он имеет неопределенное значение оо — оо. Чтобы этого избежать, мы рассматриваем только интеграл от комплексных функций, которые интегрируемы. Если / интегрируема, то π J ί{θ)άθ определен. Более того, справедливо (упр. 4.3.10) неравенство —π π π I J /(*)<ю| < J \№\άθ. (4.17) —π —π Если / интегрируема, то интеграл можно разбить на сумму нескольких интегралов. Это означает следующее. Пусть {Aj}j есть конечное или счетное множество непересекающихся «хороших» подмножеств промежутка [—π,π) таких, что [JAj = [—π,π). (Здесь «хорошие» означает з измеримые, термин из теории интеграла Лебега, которую мы здесь не рассматриваем. Заметим, что неизмеримые множества трудно построить, для этого требуется аксиома выбора, поэтому любое множество,
4.3. Пространство L2([—π, π)) и ряд Фурье 277 которое мы здесь рассмотрим, —измеримое.) Тогда π -π 3 Aj где интегрируемость / гарантирует абсолютную сходимость ряда в правой части равенства. Это не имеет места в случае неинтегрируемой функции, потому что ряд может расходиться или возникает проблема, связанная с рядами вещественных чисел, которые сходятся условно: после перегруппировки ряды могут сходиться к любому желаемому значению (см. упр. 1.2.4). Заметим, что если /,<? € L2([—π,π)), то f g € Ll([—π,π)), как это следует из неравенства (4.15). Полагая в нем g = 1, мы видим, что функции из L2 на [—π,π) интегрируемы; это значит, что L2([—π,π)) С Lx([—π,π)). Иными словами, L1([—π,π))—более широкое множество, чем L2([—π,π)) (упр. 4.3.3). Определения сходимости последовательности векторов и последовательности Коши в обобщенном комплексном пространстве со скалярным произведением (см. определение 4.4) применимы и к L2{[—π,π)). В частности, согласно упр. 4.2.1, последовательность функций {/η}^=ι сходится в L2([—π,π)) к некоторой функции / 6 L2([—π,π)) тогда и только тогда, когда ||/п — /|| сходится к нулю при η —► оо. Это определение кажется довольно естественным, но в действительности это — новая идея, так как не требуется поточечной сходимости функций fn к f (см. упр. 4.3.2, чтобы прояснить разницу). Важным фактом является то, что L2([—π, π)) —полное пространство. Это значит, что каждая последовательность Коши в L2([—π,π)) сходится. Это относительно глубокий факт, который является следствием использования интеграла Лебега (он неверен для интеграла Римана). Поэтому L2([—π,π)) есть гильбертово пространство. Следовательно, результаты, полученные в предыдущем разделе о полных ортонормированных множествах, применимы и здесь. Определение 4.16. Тригонометрической системой называется множество функций {егпв}П£%. Тригонометрическим многочленом будем называть конечную линейную комбинацию элементов тригонометрической системы, т. е. функцию вида N η=-Ν для некоторого N € N и некоторых комплексных чисел {cn}n=-N-
278 Глава 4. Вэйвлеты на множестве Ζ Лемма 4.17. Тригонометрическая система есть ортонормированное множество в L2([—π, π)). Доказательство. Заметим, что π π —π —π Если fc = j, то это единица. Если кф j, то интегрирование даят 1 (рКк-з)* _ P«(*-i)(-wh = η 2ni(fc-,·)1 ' ' потому, что е1(к~№ периодическая функция с периодом 2π. ■ Наша цель — доказать, что тригонометрическая система полна в L2([—π, π)). Следующая элементарная лемма играет решающую роль. Лемма 4.18. Пусть во € (—π, π) и а > О — достаточно малое число такое, что —π <0о — α<0ο + α:<7Γ. Определим интервалы I = {θο-α,θο + α), и J = (0О-а/2,0о + а/2)· Тогда существуют δ > О и последовательность вещественных тригонометрических многочленов {pn(0)}£Li таких, что 1) Ρη(θ) ^ 1 для θ Ε Г, 2) Ρη(θ) > (1 + ί)η для θ е J; 3) |Ρη(0)| < 1 Λ» * € [-π>π) \ L Доказательство. Положим t(6) = 1 + cos(0 - 0о) - cos α. Заметим, что а < π ввиду требования —π < 0о — α < 0о + α < π. Кроме того, cos ж —четная функция на [—π, π] и убывающая на [0, π]. Так как ί(0ο+α) = 1 = t(0Q—α), то видно, что ί(0) ^ 1 для 0 € /, и при некотором δ > О справедливо неравенство t{9) ^ 1 + δ для 0 € J. Глядя также на график £(0), мы видим, что 27г-периодичность cos ж дает, что ί(0) ^ 1 во всех точках 0 6 [—π, π) \ J. Однако ί(0) ^ — 1 во всех точках, потому что | cosa;| ^ 1 для всех х. Поэтому |£(0)| ^ 1 для 0 6 [—π, π) \ /. Определим ρη(θ) = (t(*))». Тогда пп. 1-3 следуют из свойств функции t. Ясно, что t(9) — вещественная функция, значит, и ρη(θ) также вещественная функция. Нам остается показать, что рп есть тригонометрический многочлен. Действительно, 1 — cos α есть константа (т. е. число,
4.3. Пространство L2([—π, π)) и ряд Фурье 279 умноженное на элемент тригонометрической системы ег(Ю = 1), а cos(0 - Θο) = I («*·"*> + e^-^o)) = ££- ё» + ^ e~i9. Δ Δ Δ Следовательно, ί(θ) есть тригонометрический многочлен. Но произведение тригонометрических многочленов есть также тригонометрический многочлен (это можно показать, перемножая их почленно и используя равенство егке · βιπιθ = ег(*+т)0 ддЯ любых fc,m). Поэтому рп есть тригонометрический многочлен для всех п. ■ Лемма 4.18 необходима для доказательства следующего утверждения. Лемма 4.19. Пусть /: [—π, π) —► С — непрерывная и ограниченная функция. Ограниченность означает, что |/(0)| ^ Μ при всех Θ. Если π (f,eine) = i- [ f{e)e~in9dB = О для всех η Ε Ζ, (4.18) —π mo /(0) = 0 для всех 0 Ε [—π, π). Доказательство. Сначала предположим, что / — вещественная функция. Проведем доказательство от противного. Предположим, что / не равна тождественно нулю. Тогда существует некоторая точка θο £ [—7г, 7г) и некоторое ε > 0 такое, что /(0о) > 2ε (или иначе /(0о) < —2ε, в этом случае можно заменить / на —/). Ввиду непрерывности мы можем предположить, что 0о 6 (—π, π). Также по непрерывности существует некоторое а > 0 такое, что -π<θ0-α<θο + α<ππ /(0) > ε для 0О - а < θ < θ0 + α. Определим J, J и {Pn (#)}££= ι как в лемме 4.18. Из равенства (4.18) и линейности следует, что / ортогональна любому тригонометрическому многочлену. Поэтому π —π = \ ϊ{θ)Ρη{θ)άθ + J ί(θ)ρη(θ)άθ + J* ί(θ)ρη(θ)άθ (4.19) [-7Г,7Г)\/ /V ·/ для всех η ^ 1. Так как |рп(0)| ^ 1 на [—π, π) \ J (лемма 4.18(3)), то ι ί{θ)ρη{θ)άθ Ί-*,*)\/ ^ 1 sup |/(0)| · 2π ^ 2πΜ
280 Глава 4. Вэйвлеты на множестве Ζ для любого п. Так как / и рп положительны на J\ J (лемма 4.18(1)), то J ί{θ)νη{θ)άθ > 0. I\J На интервале J функция / ограничена снизу величиной ε > 0, а многочлен рп ограничен снизу величиной (1 + δ)η (лемма 4.18(2)). Следовательно, г \/(θ)ρη(θ)άθΖε(1 + δ)ηα. J Объединив эти оценки, мы видим, что правая часть равенства (4.19) стремится к +оо при η —► оо. Но это противоречит равенству в формуле (4.19). Это противоречие показывает, что функция / должна быть тождественно равна нулю. Теперь предположим, что / есть комплекснозначная функция, т. е. f = u + iv, где и и υ — вещественные функции. Тогда для любого η € Ζ ί 7Ще-ш<Ю = [ ί{θ)β™Μ = 0 = 0 —π —π из равенства (4.18). Поэтому ввиду линейности функция и = (/ + /)/2 ортогональна всем элементам тригонометрической системы. Как в случае вещественных функций, рассмотренных выше, мы получаем, что и тождественно равна нулю. Аналогично, υ = (/ — /)/2 есть тождественный нуль. ■ Лемма 4.19 завершает доказательство полноты тригонометрической системы, потому что она утверждает, что непрерывная, ограниченная на [—π, π) функция, ортогональная всем элементам тригонометрической системы, тождественно равна нулю. Однако нам хотелось бы получить этот результат для всех функций из L2([—π, π)). На самом деле мы докажем его для всех функций в более широком классе L1([—π, π)). Для этого предположим справедливость следующего обобщения основной теоремы интегрального исчисления (ОТИС), примененной к интегрированию по Лебегу. Теорема 4.20. Пусть f 6 L1([—π,π)). Определим функцию F: [—π,π) —► С равенством θ F(9) = J f(t)dt. —к Тогда F — непрерывная на [—π, π) и дифференцируемая п. в. функция F'(0) = /(0) п. е. Теперь мы можем установить единственность ряда Фурье.
4.3. Пространство L2([—π, π)) и ряд Фурье 281 Теорема 4.21. Пусть f 6 Ll([—π,π)) η π </,е*»*) = ^ [ fW)e-inB<M = 0 для всех η € Ζ. —π Тогда /(β) = 0 η. β. 0 Доказательство. Положим F(9) = J /(£)<ft. По теореме 4.20 функ- —π ция F — непрерывна и F' = / п. в. Функция F также ограниченная: для всех 0 G [—π, π) из неравенства (4.17) следует соотношение θ π |F(0)|^ ||/(0)|<йК J|/(0)|d0, —π —π правая часть которого является конечной величиной, так как /€^([-π,π)). Дляп^О π π 0 [ F{9)e~in6dB = ί [ f(t)dte~in$d9. — 7Γ —7Г —7Г Меняя порядок интегрирования (что допустимо ввиду результата, касающегося интегрирования по Лебегу и называемого теоремой Фубини), получим, что последнее выражение равняется нулю: π π π f f(t) \e-ined0dt = [ /(*) -L (e-iwr - e"int)di = 0 —π ί —π из-за нашего предположения относительно /. Пусть π A=l\F<e)d9. —π ДЛЯ ΤίφΟ π [ (F(0) - Α)β-ίηθάθ = 0 —π ввиду полученного выше результата для F, так как А константа, и, следовательно, ортогональна е~гпв при η φ 0. Для η = 0 π π [ (F(0) - vl)e-ioi,d0 = [ F(9)d9 - 2πΑ = 0, —π —π по определению А. Поэтому F{9) — A — непрерывная и ограниченная функция, ортогональная всем элементам тригонометрической системы. Тогда F{9) — А = 0 по лемме 4.19 при всех 0, т. е. F(9) = А при всех 0. Следовательно, /(0) = 0 п. в., так как / = F9 п. в. ■
282 Глава 4. Вэйвлеты на множестве Ζ Следствие 4.22. Тригонометрическая система полна β L2([—π, π)). Доказательство. Это следствие вытекает из теоремы 4.21, так как £2([-π,7Γ))ς^([-7Γ,π)). ■ Определение 4.23. Пусть / 6 L1([—π, π)). Для η € Ζ величина (/, etrW) называется п-м коэффициентом Фурье функции /. Ряд £</,einVn* (4.20) называется рядом Фурье функции /, а п-й частичной суммой ряда Фурье функции / называется величина **(/)= E</,e-V"*. (4.21) n=-N Применяя результаты разд. 4.2, получаем следствие 4.24. Следствие 4.24. 1) Пусть последовательность ζ = (ζ(η))η^ζ € £2(Ζ). Тогда ряд η€Ζ сходится к некоторому элементу пространства L2([—π,π)). 2) (Формула Планшереля.) Пусть f 6 L2([—π,π)). Тогда последовательность {(/,ew^)}n€z € £2(Z), и π Σ \(fyne)\2 = ιι/ιι2 = h ί|/W|2^· (4·22) nez 3) (Равенство Парсеваля.) Пусть f,g € L2([—π,π)). Тогда </,5> = D/,ein*><^>. (4.23) n€Z 4) (Разложение в ряд Фурье.) Для любой функции f € L2([—π, π)) /(0) = Etf'ei"Vni> (4-24) η€Ζ β гаолс слшсле, что частичные суммы s/v(/) (определенные равенством (4.21)) ряда в правой части формулы (4.24) сходятся в пространстве L2([—π, π)) к функции /, га. е. 1МЯ-/Ц-0 при η-оо. (4.25) Доказательство. Пункт 1 следует из лемм 4.7 и 4.16. Пункты 2 и 3 следуют из леммы 4.11 и следствия 4.22. Пункт 4 следует из теоремы 4.10. ■ Равенство (4.24) следует сравнить с равенством (2.15) в конечномерном случае. Функцию егпв можно рассматривать как частотную,
4.3. Пространство L2([—π, π)) и ряд Фурье 283 потому что ее вещественная и мнимая части — это cos ηθ и sin ηθ соответственно. Заметим, что функции cos ηθ и sin ηθ совершают η колебаний на промежутке [—π, π). Поэтому с увеличением η частота функции егпв неограниченно растет. Эта ситуация сильно отличается от случая, рассмотренного в гл. 2, где имеется только конечное множество возможных частотных функций. Формула (4.24) разложения в ряд Фурье устанавливает, что любая функция из L2([—π, π)) может быть записана как суперпозиция частотных функций. Коэффициент Фурье (/, егпв) в формуле (4.24) характеризует интенсивность частотной функции егпв в /. Если рассматривать функцию / на [—π, π) как аудиосигнал, то при высоком звуке должно быть по крайней мере одно большое значение |п|, для которого (f,eme) велико по модулю. При низком звуке коэффициенты Фурье должны быть большими по модулю для некоторых малых значений \п\. Пункт 4 следствия 4.24 показывает, что любая функция / 6 L2([—π, π)) представляется своим рядом Фурье в смысле сходимости по норме в пространстве L2([—π, π)). Вопрос о поточечной сходимости 5jv(/) к /(0) гораздо более деликатный и был подробно изучен. Начнем с отрицательных результатов. В 1876 г. дю Буа Реймонд показал, что ряд Фурье непрерывной функции может расходиться в цекоторой точке (или в конечном числе точек). В. 1926г. А.Н.Колмогоров привел пример функции / 6 Ьг([—π, π)), ряд Фурье которой расходится всюду. К положительным результатам можно отнести следующий: если функция / достаточно гладкая, то несложно показать, что частичные суммы sjv(/) сходятся к / в каждой точке (упр. 4.3.16). Существует много более тонких результатов, чем этот, с более слабыми предположениями. Наконец, в 1966 г. Карлесон доказал, что ряд Фурье любой функции / € L2([—π,π)) сходится к / п. в. Этот последний результат крайне глубокий и сложный. Для наших целей нам нужен только основной результат в следствии 4.24(4). При обращении с линейными преобразованиями в бесконечномерных пространствах надо соблюдать осторожность. Например, оператор взятия производной — это линейное преобразование в классе дифференцируемых функций. В частности, |e^ = mein0. (4.26) По аналогии с конечномерным случаем можно думать, что использование линейности и формулы (4.24) позволяет вывести, что для любой / € Ь2([-7Г,7г)) и любого θ № = £</,ем) ± #* = £ m(/,e^V* (4.27) n€Z n€Z
284 Глава 4. Вэйвлеты на множестве Ъ Однако последний ряд может не сходиться (в I? или в точках 0), и / может не быть дифференцируемой во всех точках (например, функция из I? может быть разрывной во многих точках). (Заметим, что существует понятие обобщенной производной, возникающее в области математики, известной как теория распределений. Для обобщенной производной равенство (4.27) справедливо.) Причина этой проблемы в том, что оператор взятия производной не является ограниченным в пространстве L2([—π,π)). Определение 4.25. Пусть Н\ и #2 — гильбертовы пространства {Н\ может совпадать с #2) с нормами || · ||ι и || · ||2 соответственно (см. определение 1.90), и пусть Τ: Η\—* Η<ι — линейное преобразование. Мы говорим, что Τ — ограниченное преобразование, если существует С > 0 такое, что ||Г(*)||2 < CINIi (4.28) для всех χ Ε Hi. При этом нижняя грань множества всех С, удовлетворяющих неравенству (4.28), называется нормой оператора Τ и обозначается ||Г||. Лемма 4.26 показывает, какую роль играет свойство ограниченности преобразования (оператора). Лемма 4.26. Пусть Η есть гильбертово пространство иТ: Η —► Я — ограниченное линейное преобразование. Предположим, что ряд Σ χη сходится в Η (определение 4.6). Тогда Ης,*»)=ςτ(*»)' \»€Ζ ' η€Ζ где ряд в правой части сходится в Н. Доказательство. Упражнение 4.3.8. ■ Так же, как базис Фурье для £2(Ζν), тригонометрическая система диагонализует инвариантные относительно сдвига (ограниченные) линейные преобразования, которые определены ниже. Для этого и других определений мы продолжим / 6 L2([—π,π)) на все пространство R периодически с периодом 2π так, что ί(θ + 2π) = № (4.29) для всех θ Ε Κ. Определение 4.27. Определим оператор сдвига τφ: L2([—π,π)) —► —► L2([—π,π)) для φ G R равенством
4.3. Пространство L2([—π, π)) и ряд Фурье 285 Линейное преобразование Г: L2([—π,π)) —► L2([—π,π)) инвариантно относительно сдвига, если оно коммутирует с т^ для каждого φ еШ: Τ(τφ/)(θ) = τφ(Τ(/))(θ), τΆβτφ(Τ(/))(θ) = Τ(/)(θ-φ). Теорема 4.28. ПустьТ: Ζ,2([-π,π)) -► £,2([-7г,тг)) — ограниченное, инвариантное относительно сдвига линейное преобразование. Тогда для каждого ?71 G Ζ существует \т Ε С шокое, что T(eime) = Ameim*. (4.30) Доказательство. Зафиксируем m 6 Ζ. В соответствии со следствием 4.24(4) мы можем записать T(eime) = Y^Cneine, (4.31) n€Z где Сп = (Т(егт^),еш^). Пусть φ G R — произвольное. Тогда т (е^тв\ = 6ίπι(θ-φ) = ^ίπιφ^τηθ Следовательно, ввиду линейности Г и равенства (4.31) T(T<p(eim*)) = e-irMpT{eim$) = ^ce-^e*1*. n€Z С другой стороны, равенство (4.31) также означает, что η€Ζ η€Ζ Однако T(^(eirrW)) = τψΤ{βιπίθ) по предположению об инвариантности относительно сдвига преобразования Г. Следовательно, ввиду единственности коэффициентов Фурье (упр. 4.3.9), ρ-ίπιφ _ p-in<p для всех η и φ. Если η ф т, это означает, что с^ = 0. Возвращаясь к равенству (4.31), получаем, что T{e-ime) = с^е*1*. Так как га 6 Ζ — произвольное, это завершает доказательство. ■ Ранее мы встречали аналог ряда Фурье (т. е. равенства (4.24)), записанный в вещественных обозначениях (см. упр. 4.3.6). Он имеет то преимущество, что если / — вещественнозначная функция, то все коэффициенты разложения также вещественны. Однако это разложение обладает недостатком, касающимся основного свойства, описанного
286 Глава 4. Вэйвлеты на множестве Ъ в теореме 4.28 (см. упр. 4.3.13): функции sinn0 и cosn0 не диагонали- зуют линейные, инвариантные относительно сдвига преобразования. Заметим, что доказательство теоремы 4.28 аналогично доказательству теоремы 2.18. Отметим также, что теорема 4.28 показывает, что линейное преобразование на бесконечномерном пространстве может иметь бесконечное число собственных векторов. Так как в этом случае такие векторы — это функции, то они называются собственными функциями. Пусть Г: L2([—π,π)) —> L2([—π,π))—ограниченное, инвариантное относительно сдвига линейное преобразование. Записывая произвольную функцию / € L2{[—π, π)) в виде разложения в ряд Фурье где с(п) = (/, егпв), получаем (по лемме 4.26) T(f№ = £с(п)Г(е^) = £с(п)Апе-*. n€Z n€Z Поэтому с точки зрения коэффициентов Фурье (компонент вектора / в тригонометрической системе) действие Τ состоит в умножении n-й компоненты с(п) на λη. Это то же, что и умножение вектора на диагональную матрицу в конечномерном случае (и мы можем это сделать аналогичным образом, если построим теорию бесконечномерных матриц). Итак, мы видим, что преобразование Г диагонализуется тригонометрической системой. Заметим, что оператор дифференцирования инвариантен относительно сдвига: , ,. по правилу дифференцирования сложной функции. Однако оператор взятия производной определен не на всем пространстве L2{[—π,π)), а только на подпространстве дифференцируемых функций, и это неограниченный оператор даже на этом подпространстве. Следовательно, теорема 4.28 не применима, но тем не менее эвристически мы d понимаем, что оператор — диагонализуется тригонометрической систе- du мой, потому что ±eM = inein$. du Это показывает, что результат может быть верен в более широком смысле, чем в том, в котором мы можем его доказать или даже сформулировать. Формулировка модификации теоремы 4.28, которая включала бы оператор производной, потребует большого количества казуистических материалов, поэтому мы остановимся на нашей формулировке
Упражнения 287 теоремы 4.28 и отметим, что этот результат может быть обобщен. Диагонализуемость линейных преобразований, инвариантных относительно сдвига, является главной причиной эффективного использования рядов Фурье при изучении дифференциальных уравнений: тригонометрическая система диагонализует —, и в более общем случае —любой диф- du ференциальный оператор с постоянными коэффициентами, потому что он инвариантен относительно сдвига. Упражнения 4.3.1. Для /,р € L2([—π, π)) и α € С определим f + g и af равенствами (Г + 9)(0)=т + д(в) и (α/)(0) = α/(0), для —π ^ θ < π. 1) Доказать, что множество L2([—π, π)) с этими операциями есть векторное пространство. Замечание: все свойства в определении 1.30 очевидны, за исключением С1. Использовать упр. 1.6.3(1). 2) Доказать, что (·,·), определенное формулой (4.14), есть скалярное произведение в L2([—π, π)). Замечание: главный момент состоит в том, что интеграл в (4.14) абсолютно сходится, так что (/, д) определено. Мы не можем использовать неравенство (4.15) потому, что его доказательство зависит от знания того факта, что (·, ·) есть скалярное произведение в L2([—π, π)). Используйте неравенство из упр. 1.6.3(1). 4.3.2. 1) Для η € N определим функцию fn на промежутке [—π, π), положив /п(0) = у/п, если 0 < θ < 1/п, и /п(0) = 0 в других точках. Заметим, что /п 6 L2([—π, π)) для каждого п. Доказать, что последовательность {/η}η€Ν сходится поточечно к нулю; это значит, что lim /n(0) = 0 для каждого θ € [—π, π). η—*οο Докажите также, что {/η}η€Ν не сходится к нулю по норме, т. е. в пространстве L2([—π, π)) (вспомните определение 4.4). 2) Определим последовательность {gn}neN функций на [—π, π) следующим образом. Для η € N мы можем записать η = 2·?+k для некоторого к € {0,1,..., 2·* — 1} единственным образом с j Ε Ζ и j^ 0. Положим 02?+fc(0) = 1 Д™ 2~^π ^ |0| ^ ^ 2~i(k+l)n и д%>+к(0) = 0 в других точках. Доказать, что последовательность {gn}n€N сходится к нулю в L2([—π, π)) (τ. е. по норме), но в каждой точке θ 6 [—π, π) последовательность чисел дп(в) не является сходящейся при η —► оо (в частности, мы не имеем поточечной сходимости).
288 Глава 4. Вэйвлеты на множестве Ъ Замечание: это показывает, что в L2([—π, π)) сходимость по норме не означает поточечной сходимости (и обратно), в отличие от случая ί2(Ζ), рассмотренного в упр. 4.1.8. 4.3.3. Положим /(0) = 1/у/Щ для θ φ О и /(0) = 0. Показать, что /€^([-π,π)),Ηθ/^^([-π,π)). 4.3.4. 1) Определим функцию /: [—π, π) —► R равенством //т==/1' если °^0<7Г> ΙΟ, если -πζθ<0. Вычислить коэффициенты Фурье функции /. Заметьте, что их убывание имеет порядок только 1/|п|; это отражает разрыв / в нуле. Интуитивно кажется, что для синтеза разрыва требуются большие высокочастотные коэффициенты. 2) Определим д: [—π,π) —► R равенством д{6) = \θ\. Вычислите коэффициенты Фурье д. Заметьте, что они убывают как 1/п2. Это убывание быстрее, чем в п. 1, ввиду непрерывности д (или, более точно, ввиду непрерывности 27г-периодического продолжения д). 4.3.5. Для a > 0 определим a L2([-a,a)) = if: [-0,0) —♦ С Ι Γ |/(ί)|2Λ < ooj. —a Как и в упр. 4.3.1 и 4.3.2, L2([—a,a)) есть пространство с комплексным скалярным произведением a {f,9) = ^\f(t)W)dt —a Примем на веру этот факт, а также и то, что L2([—a,a)) есть гильбертово пространство. Доказать, что система {em7rt/a}n€z есть полное ортонормированное множество в L2([—α,α)). Подсказка: сделайте замену переменных, чтобы перейти к интервалу [-π, π). 4.3.6. (Вещественный ряд Фурье.) 1) Покажите, что множество функций {1} U {V^cosnfl}^! U {\/2sinn0}£°=1 есть полное ортонормированное множество в L2([—π, π)). Подсказка: для доказательства полноты используйте следствие 4.22 и формулу Эйлера.
Упражнения 289 2) Вывести, что каждая / € L2([—π,π)) имеет разложение ао 2 п= αη = - /(0)cosn0d0 π J -~ + V^ an cos ηθ + S2 bn sin n0, n=l n=l где для всех η ^ 0 и π sin n0d0 —π для всех η ^ 1. Опишите, в каком смысле этот ряд сходится к/. 3) Пусть /, {an}J£Lo и {^n}5£Li такие же, как в п. 2. Для η € Ζ пусть Ста = {f,eme). Вывести соотношения: а0 = 2со, ^ = ^ + 0^ (п^1), Ьп = 2(^-0^) (n ^ 1), и в обратную сторону: со = αο/2, Cn = (an-ibn)/2 (n^ 1), c„ = (a-n - ib-n)/2 (n *ξ -1). Следовательно, можно непосредственно перейти от разложения в п. 2 к равенству (4.24) и наоборот. 4.3.7. Определим Ь2([0,тг)) = {/: [Ο,π) - С | j\f(t)\2dt < оо|. О Как и в упр. 4.3.1 и 4.3.2, £2([0, π)) есть пространство с комплексным скалярным произведением π о Примем на веру этот факт, а также то, что L2([0, π)) есть гильбертово пространство. 1) Доказать, что множество {y/2sm(n6)}^Ll — полное ортонор- мированное множество в L2([0,7r)). Подсказка: чтобы доказать полноту, определим д: [—π, π) —► С, положив д(в) = /(0) для О ^ 0 < π и д(в) = —/(—0) для —π ^ 0 < О (д есть нечетное продолжение /). Покажите, что # ортогональна на тригонометрической системе в L2([—π, π)).
290 Глава 4. Вэйвлеты на множестве Ζ 2) Доказать, что множество {1, \/2cos0,\/2cos20, д/2сов30,...} есть полное ортонормированное множество в L2([0,7r)). Подсказка: рассмотрите четное продолжение /, определив его нужным образом. 4.3.8. Доказать лемму 4.26. Подсказка: сначала докажите сходимость ряда Σ Τ(χη), показав, что его частичные суммы образуют nez N последовательность Коши. Пусть sn = Σ χη и s = Σ χη· η=-Ν neZ Так как sn — это конечная сумма, то из линейности следует, что N T(sn) = Σ Τ(χη). Теперь используйте неравенство η=-Ν \\T(8N)-T{8)\\ZC\\8N-S\\. 4.3.9. (Единственность ряда Фурье.) Пусть {c(n)}n€Z, {d(n)}neZ € 1\Ъ) ]>>(п)е^ = £>(п)е™* n€Z n€Z (где оба ряда сходятся в L2([—π, π)) согласно следствию 4.24). Доказать, что с(п) = d(n) для всех п. 4.3.10. Пусть / Ε Ll([—π,π)). Доказать неравенство (4.17). Подсказка: это относительно просто для вещественной функции /. Если / — 7Г комплексная, мы можем записать J /(θ)άθ = гег<х для некото- —7Г рых г ^ 0 и a Ε [0,2π). Покажите, что 7Г г = [ Re(e-iQ7(0))d0. —π 4.3.11. Предположим, что /,# Ε Lx([—π,π)), и продолжим f и g периодически с периодом 2π на все множество R, как в соотношении (4.29). Определим f *g, свертку функций /ид, равенством π f*9(0)= \ί(θ-φ)9(φ)άφ. (4.32) —7Г Доказать, что / * д Ε L1([—π,π)). Подсказка: J I I /(* - φ)9(φ)άφ\άθ < J J |/(0 - φΜφ)\ώράθ
Упражнения 291 из неравенства (4.17). Так как последнее подынтегральное выражение неотрицательно, мы можем изменить порядок интегрирования (предположим справедливость этого утверждения, так как оно следует из результата, называемого теоремой Тонелли). Затем выполним замену переменной Θ. 4.3.12. Пусть /, # и / * д такие же, как в упр. 4.3.11. 1) Доказать, что (/ * 5,ein*> = М/,еМ)(9,еШ)- (4-33) Другими словами, с точностью до множителя 2π, взятие коэффициента Фурье переводит свертку в умножение точно так же, как в случае леммы 2.30. 2) Доказать, что / * д = д * /. 3) Пусть τφ— оператор сдвига из определения 4.27. Положим Tg(f) = /*<?. Покажите, что Тд есть оператор, инвариантный относительно сдвига, это значит, что Τ9(τφ/) = τφ(Τ9(/)). 4.3.13. Пусть j G Ζ. Для / G Ι/2([-π,π)) определим Tj{J) = f*e^ (см. упр. 4.3.11 для определения свертки). 1) Доказать, что Tj(f) = (f,eije)eije для всех / G Ζ,2([-π,π)). 2) Вывести, что Tj(f) € Ζ,2([-π,π)), если / G Ζ,2([-π,π)). Показать, что Tji L2([—π, π)) —» L2([—π, π)) есть ограниченное преобразование (определение 4.25). 3) Из упр. 4.3.12(3) следует, что Tj — инвариантный относительно сдвига, тогда по предыдущему пункту Tj удовлетворяет условиям теоремы 4.28. Определить значения Ат для т G Ζ в теореме 4.28 при Τ = Tj. 4) Выше мы отметиди, что Tj диагонализуется тригонометрической системой. Показать, что для j ^ 0 функции cos j9 и sin j0 не являются собственными функциями Tj (т. е. Tj(cosj6) не является произведением cos j0 на некоторое число, и аналогично относительно sinj0). Поэтому система, соответствующая вещественному ряду Фурье (упр. 4.3.6), не диагонализует ограниченные линейные преобразования, инвариантные относительно сдвига. 4.3.14. Пусть / G L1([—π,π)). Определим сумму SN(f) равенством (4.21). Доказать, что
292 Глава 4. Вэйвлеты на множестве Ζ где свертка * определена в упр. 4.3.11 и N η=-Ν Функция Djv — это ядро Дирихле. Подсказка: запись частичных сумм дает Ν π *ν№) = jr έ ί /(р)е~*чр<^и·· Перенос суммирования под знак интеграла дает Dff * /(#)· 4.3.15. Определим £>#(/), как в упр. 4.3.14. Доказать, что sin(JV +1/2)0 D"W " sin(0/2) для ί ^Ои Dn(0) = 2JV + 1. Подсказка: поделим на β~ιΝΘ, все что осталось — это частичная сумма геометрической прогрессии. 4.3.16. Пусть /: R —► С — периодическая функция с периодом 2π (τ. е. / удовлетворяет равенству (4.29)). Предположим также, что в каждой точке t 6 R существует и непрерывна вторая производная /"(£). Доказать, что в каждой точке t последовательность *JV (/)(*) сходится к /(ί) при N —► сю. Подсказка: из определения ядра Djv B упр. 4.3.14 следует, что ± | ЯлК*И = ι- —π Поэтому, используя упр. 4.3.14, 4.3.12(2) и 4.3.15, можно записать π π *лг(/)(*) - fit) = ^ J /(* - *)л*(*)<» - ^ } №οΝ(θ)Μ = —π —π π = έ Ι(/(ί"β)" /(*) w)«»= —π π —π Зафиксировав ί, положим ,m _ nt-θ)-nt) 9{β) ~ sin(0/2) для 0 ^ 0 и #(0) = — 2f'(t). Докажите, что функция g непрерывно дифференцируема на множестве R (это требует предположения
4.4. Преобразование Фурье и свертка в £2{Ъ) 293 непрерывности /;/). Тогда, интегрируя по частям, получим π SN(f)(t) - /(*) = π(2^+1) J 9'(θ) cos((iV + 1/2)*)<Ю. —π 4.4. Преобразование Фурье и свертка в f2(Z) Цель этого раздела — развить аналог DFT для пространства £2(Z). Начнем с рассмотрения отличительных свойств векторов gm(n) = e-2nimn/N, т = 0,1,...,JV - 1, используемых в контексте пространства £2(Zn) в гл. 2 и 3. Взгляд на некоторые доказательства (например, теоремы 2.18) убеждает нас в том, что ключевым свойством является мультипликативность каждого вектора дт. Это определяется следующим образом: функция χ: Ζ# —► С мультипликативна, если X(j + k) = x(j)x(k) (4.34) для всех j, к. Заметим, что если функция χ не равна тождественно нулю, то х(0) = 1 (для доказательства этого нужно положить j = к = О в равенстве (4.34)) и χ(η) = (χ(1))» (4.35) по индукции (для этого нужно взять j = η — 1 и fc = 1 для шага индукции). Однако функция χ, определенная на Zjv, должна быть периодической с периодом N. Поэтому равенство (4.35) дает W))N = Х(Ю = χ(0) = 1. Следовательно, χ(1) должно быть корнем степени N из единицы, т. е. равно е~2шт/м при некотором т. Тогда равенство (4.35) дает χ(η) = e-2™mn/N. Так как только N таких экспонент различны, получаем систему функций {gm}o^m^N-i для DFT. Рассмотрим теперь случай бесконечных последовательностей ζ 6 £2(Ζ). Функция χ: Ζ —► С мультипликативна, если равенство (4.34) выполняется для всех j, к 6 Z. Мультипликативная функция χ, которая не равна тождественно нулю, из тех же соображений, что и выше, должна удовлетворять равенству χ(0) = 1 и равенству (4.35). Но так как χ не обязательно периодическая, мы не получаем утверждения, что χ(1) есть корень из единицы. Если |χ(1)| > 1, то |χ(η)| = |χ(1)|η растет так быстро при η —► +оо, что от таких функций нам нет никакой пользы. Аналогично, если |χ(1)| < 1, то |χ(η)| = |χ(1)|η растет так же быстро при η —► — σο. Поэтому мы сосредоточиваем наше внимание на случае, когда |χ(1)| = 1. Тогда χ(1) = егв при некотором θ Ε [^π,π), и в результате Мы приходим к χ(η) = е1пв при таком 0. Для каждого
294 Глава 4. Вэйвлеты на множестве Ъ другого θ мы получаем мультипликативную функцию, поэтому мы рассматриваем их все. Это приводит нас к следующему аналогу DFT. Определение 4.29. Преобразованием Фурье в пространстве £2(Ζ) называется отображение Λ:^2(Ζ) —» L2([—π, π)), определенное для ζ е ί2{Ζ) равенством ^ ш где ряд понимается как предел его частичных сумм в L2([—π,π)). Существование этого предела гарантируется леммами 4.7 и 4.17. Иногда мы считаем ζ заданным на всем множестве R продолжением его с периодом 2π. Отметим, что формула, определяющая £, имеет период 2π, поэтому она может использоваться как определение ζ(θ) для всех 0eR. Если заданная функция / принадлежит пространству L2([—π, π)), то, согласно леммам 4.8 и 4.17, последовательность ее коэффициентов Фурье принадлежит пространству £2(Ζ). Это приводит нас к следующему определению. Определение 4.30. Обратным преобразованием Фурье в пространстве L2([—π, π)) называется отображение ~: L2([—π, π)) —» £2(Ζ), определенное для / 6 L2([—π, π)) равенством π /(п) = (/,е^> = ^|/(^)е--^. —7Γ Из определения операций Л и ~ следует, что это — взаимно обратные отображения. Лемма 4.31. Отображение Λ β определении 4.29 является взаимнооднозначным и отображением «на"» с обратным отображением ~. Для ζ G ζ(η) = (ζΥ(η) = JL J i(0)e--*d0. (4.36) —π Для всех г, w Ε ^2(Z) справедливы равенство Парсеваля: π (ζ, ν) = Σ ζ(ηΜη) = -^ ί ζ{θ}ώ(θ)άθ = (S, ώ) (4.37) (где скалярное произведение в правой части такое же, как в равен- стве (4.14)) и формула Планшереля: π INI2=Σ И")12 = h [mi2de=l|i|12· (4·38)
4.4. Преобразование Фурье и свертка в £2(Z) 295 Доказательство. Пусть ζ е £2{Ζ). Из упр. 4.2.5(2) следует (z, ein°) = / Σ z(m)eim\ еш \ = ζ(ή), (4.39) \raeZ / это означает, что (ζ)~ = ζ, или равенство (4.36). В результате отображение Λ оказывается взаимнооднозначным. Предположим, что / G L2([—π,π)). Следствие 4.24(4) показывает, что / = (/)л. Поэтому Λ есть отображение «на» с обратным \ Применение следствия 4.24(3) cf = zng = w дает равенство (4.37) на основании формулы (4.39). Положив ζ = w в (4.37), получим равенство (4.38). ■ Равенство (4.36) есть формула обратного преобразования Фурье для £2(Z). Она выражает ζ(ή) как интегральное среднее по θ G [—π, π) от частотных функций е~гпв. Любопытно, однако, что для каждого θ последовательность {е~гпв} (как последовательность по п) не принадлежит £2(Ζ). Поэтому в равенстве (4.36) элементы пространства £2(Ζ) записываются как средние от элементов не из этого пространства. Это предполагает необходимость в интегральном среднем: одному члену е-гпв может соответствовать только инфинитезимальный вес. В этом смысле равенство (4.36) аналогично базисному представлению и ζ(θ) есть весовая функция в интегральном среднем (4.36), которое представляет ζ. Далее мы определим свертку. Заметим, что для z, w G £2{Z) и га G Ζ мы имеем, согласно неравенству (4.3), / ν 1/2 / ч 1/2 £ \z(m - n)w(n)\ < (5>(m - п)\2\ ί £ \w(n)\2) = ||*|||H|, neZ \ι€Ζ ' 4ιΕΖ ' (4.40) где мы изменили индекс суммирования (пусть к = га — п), чтобы получить последнее равенство. Это показывает, что ряд в определении 4.32 абсолютно сходится. Определение 4.32. Пусть z,w G £ (Ζ). Для га G Ζ определим ζ * w(m) = ^ z(m — n)w(n). (4.41) Последовательность г * w называется сверткой последовательностей ζ и w. Отметим, что \ζ * w(m)\ ^ ]P \z(m - n)w(n)\ ^ |И||Н|, nez
296 Глава 4. Вэйвлеты на множестве Ъ на основании формулы (4.40). Поэтому для z, w € ί2(Ζ) свертка ζ * w есть ограниченная последовательность. Однако не обязательно, что ζ * w Ε ί2(Ζ) (упр. 4.46(2)). Чтобы получить ζ * w 6 £2(Z), мы наложим более сильные условия на один из векторов. Определение 4.33. Пусть ζ = {ζ(η))η^ζ — последовательность комплексных чисел. Мы говорим, что ζ — суммируемая, если ряд Х>(п)| <+оо. η€Ζ Положим £ι(Ζ) = {ζ = (ζ(η))η£ζ: ζ(η) 6 С для всех η и ζ— суммируемая}. Для ζ € i1 (Z) определим ιι*ιΐι = Σι*(η)ΐ· η€Ζ Согласно упр. 4.4.2, il[Z) есть векторное пространство (но не пространство со скалярным произведением), и || · ||χ есть норма (называемая £\-нормой) в ίι(Ζ) в смысле упр. 1.6.5. Более того, ίι(Ζ) есть собственное подпространство t2(Z) (т. е. подпространство, которое не совпадает со всем пространством). Мы сохраняем обозначение || · || для нормы в £2(Z), определенной формулой (4.2), и обозначаем ^-норму через || · ||ь Лемма 4.34. Пусть ζ € £2(Z) uwe tl{Z). Тогда ζ* we t2{Z) u ||«*HKIHIilNl· (4.42) Доказательство. Для любого m e £1{Z) имеем Y^z{m-n)w{n)\ ^ ^^(т-^НЦп)!1/2!^)!1/2 ^ n€Z ' n€Z 1/2 / ч 1/2 n€Z / 4n€Z 1/2 l^\z(m-n)\2\w(n)\) (£Kn)|) = = iNil/2(EHm-n)i2Kn)i) vn€Z вследствие неравенства (4.3). Поэтому I I2 \\z * ti;||2 = У2 E^m "" η)^(η) ^ m€z'n€Z ' < iiwiii Σ Σ ι*("·-λ)ι2ι«»(»)ι = m€Z n€Z = ΐΝΐιΣκη)ΐΣΗ™-η)ΐ2· n€Z m€Z
4.4. Преобразование Фурье и свертка в £2{Ъ) 297 (Изменение порядка суммирования разрешается теоремой анализа, потому что все члены неотрицательные.) Замена индекса суммирования (например, замена k = m — п) дает, что ^ \z(m — п)\2 = \\z\\2 для любого п. Подставляя это равенство, получим \\z*w\\2*\\w\\l\\z\\*. Взяв квадратный корень, получим утверждение леммы. ■ Свертка обладает следующими основными свойствами. Лемма 4.35. Пусть v,w € £l(Z) uze £2(Z). Тогда 1) (ζ * wY{0) = ζ(θ)ν(θ) η. е.; 2) ζ * w = w * ζ\ 3) υ * (ΐ£7 * ζ) = (г; * it;) * ζ. Доказательство. Чтобы доказать п. 1, предположим сначала, что ζ € £1{Ъ). Тогда для каждого θ € [—π, π) {ζ * wY{6) = ]£ ζ * w(n)ein* = JJ«(n- ΑΟ^Κ^"*^ = = Σ ™(k)eike Σ ζ(η - k)ei{n~k)e = заменой индекса т = η — к. Изменение порядка суммирования оправдано, так как z,w € ^(Z), поэтому двойной ряд сходится абсолютно. Распространение на случай ζ 6 ί2(Ζ) требует аккуратности, потому что ζ и (ζ * wy интерпретируются в смысле L2([—π, π)), как в определении 4.29. Для каждого положительного целого TV определим последовательность ζν, положив ζν(π) = ζ(η), если \п\ ^ TV, и ζν(π) = 0, если \п\ > TV. Тогда zN e ίι{%), и, как в случае f(Z), (zn * it;)" = znw. (4.43) Теперь хотелось бы перейти к пределу по норме при TV —► оо в обеих частях равенства (4.43). В левой части этого равенства последовательность {2jv}5v=i сходится к ζ по норме; это значит, что \\ζν — г|| —► 0 при TV —► оо. Следовательно, по лемме 4.34 \\zN *w — z*w\\ = ||(zjv — ζ) *ti;|| ^ ||2;jv — 2||||uj||i —► О при TV —► оо. Тогда по формуле Планшереля (4.38) при TV —» оо имеем \\(zn *wy — (ζ*ιυ)~\\ —► 0.
298 Глава 4. Вэйвлеты на множестве Ъ Что касается правой части равенства (4.43), то заметим, что для всех θ \m\ = n€Z X>(n)e**k J>(n)| = |Νι n€Z Используя это неравенство и равенство (4.38), получаем 7Г \\zNw - zwf = 1; [ |ijv(e)t&(6) - £(0)ώ(0)|2<*0 < —7Γ π < HI? £ } ΙΜ«) - *(*)|я«ю = Nl?p* - ill2 = —π = ΙΝΙ?ΙΙ**-*ΙΙ2-ο при JV —► oo. Следовательно, при iV —► oo левая часть равенства (4.43) сходится в L2([—π, π)) κ (ζ * г/;)Л, в то время как правая часть сходится к zw. Поэтому (ζ * w)" и zw совпадают в L2([—π,π)) и, следовательно, п. в. Это доказывает п. 1. Мы оставляем доказательство п. 2 и п. 3 в качестве упр. 4.4.4. ■ В последнем доказательстве была применена следующая техника. Сначала результат проверяется для более слабых условий, при которых формальные вычисления оправданы. Затем доказанный результат используется при осуществлении перехода к пределу для получения основного результата. Описанная техника доказательства очень часто применяется в анализе. По аналогии с теоремами 2.18 и 4.28 можно ожидать, что тригонометрическая система {β~ιη^}^€[_π7Γ) диагонализует любое ограниченное линейное преобразование, инвариантное относительно сдвига Τ: i2[Z) —» i2(Z). В некотором смысле это верно, но надо быть осторожным в интерпретации этого положения. Мы не можем сказать, что е-гпв есть собственный вектор преобразования Т, потому что е~гпв не принадлежит области определения Т. В частности, аналог первого этапа доказательств теорем 2.18 и 4.28, а именно когда применяется формула обратного преобразования Фурье к Т(е~гпв), сразу применить нельзя, потому что Т(е~гп0) не определено. Однако, если использовать подходящую интерпретацию, можно реализовать подход, использованный при доказательстве теоремы 2.19. Начнем с определения инвариантности относительно сдвига в таком контексте. Определение 4.36. Для к G Ζ оператор сдвига Я/.: £2(Ζ) —► £2(Ζ) определяется равенством Rkz(n) = z(n — к)
4.4. Преобразование Фурье и свертка в £2 (Ζ) 299 ,(n) = jl, ™ » = u, (444) для всех η € Ζ. Линейное преобразование Г: £2{Ζ) —► £2(Ζ) инвариантно относительно сдвига для всех г G ^2(Ζ) и fc G Ζ, если r(#fez) = RkT(z), т. е. если Τ коммутирует с каждым Д&. Пример 4.37. Пусть Ь € £ι(Ζ). Для г G £2(Z) положим Tb(z) = b*z. По лемме 4.34 Ть(г) определено и принадлежит i2(Z), τ. е. Г: £2(Z) —» ^2(Z). Более того, лемма 4.34 показывает, что Т& — ограниченное преобразование (определение 4.25) в £2{Z). Можно проверить, что Ть инвариантно относительно сдвига (упр. 4.4.5). Определение 4.38. Определим δ-функцию равенством если η = О, если η φ 0. Это обозначение является избыточным, потому что δ = во? но довольно удобным и носит стандартный характер, как и в случае £2(Ζν) (определение 2.28). Лемма 4.39. Пусть Τ: £2(Ζ) —► £2(Ζ) —ограниченное, инвариантное относительно сдвига линейное преобразование. Определим Ъ G £2(Ζ) равенством b = T(S). Тогда для всех ζ G £2{Z) T(z) = b*z. Доказательство. Так к&к {^j}j€Z есть полное ортонормированное множество в ^2(Z), мы можем записать T(ei) = Σα3*6* для некоторых скаляров {aj^kez- Взяв скалярное произведение обеих частей равенства со стандартным базисным вектором, получим aiJt = (Т(еа),ек) =Т{е£{к). Ввиду инвариантности преобразования Τ относительно сдвига aj+1M1 = T(ei+i)(* + 1) = T(Riej)(k + 1) = = Λι(Τ(^))(* + 1) = Т(е,-)(*) = ai>jk. (Это говорит о том, что бесконечная матрица {aj,fc}j,fcez> представляющая Τ в стандартном базисе, — циркулянтная.) Повторение этого I раз дает aj+i9k+i = α?,* для всех j, fc, I.
300 Глава 4. Вэйвлеты на множестве Ъ Предположим, что ζ 6 £2(Ζ). Мы можем записать ζ = Σ z(j)ej· Из леммы 4.26 и ограниченности преобразования Г следует ад=Σ *(;№)· j€Z Эти замечания дают T(ej)(n) = ajffl = αο,η-j = T(eo)(n - j) = Γ(ί)(η - j) = Ь(™ - J). Следовательно, T{z){n) = Y^z{j)b{n-3)=b*z{n) j€Z для всех η. ■ Итак, для Г, инвариантного относительно сдвига, и Ь = Т(£) мы можем записать T(z)(n) = b*z(n) = ((b*z)y{n) = {ЫУ{п) = согласно лемме 4.35. Сравнивая это с равенством (4.36), мы видим, что действие Г на ζ состоит в замене «коэффициента» ζ(θ) при е~гпв в (4.36) произведением Ь(0)5(0). При этом система {ε~ιηθ}θ€[-π,π) диагонализует Г, как в случаях базиса Фурье для £2(Ζν) в теореме 2.18 и тригонометрической системы для L2([—π,π)) в теореме 4.28. Теперь введем некоторые определения в контексте пространства ^2(Ζ), которые аналогичны определениям для £2(Ζν) в гл. 3. Определение 4.40. Пусть ζ € £2(Ζ). Для η € Ζ определим сопряженное отражение вектора ζ: ζ(η) = ζ{-η). (4.45) Определим также ζ* (η) = (-1)η*(η). (4.46) Это приводит к следующим результатам, аналогичным полученным в гл. 3. Лемма 4.41. Пусть z,w € £2{Z). Тогда 1) ζ, г* € £2{Ζ) и Rkz e £2(Z) для всех fc € Z; 2) (гГ(в) = *(0); 3) (ζ·ΠΘ)=&(θ + π); 4) (адЧ0) = е*"5(0);
Упражнения 301 5) {RjZ, Rkw) = (ζ, Rk-jtv) для всех j, к 6 Ζ; 6) (ζ, Rkw) = ζ * ώ(Α:) ά/ΐΛ всех fc € Ζ; 7) δ(θ) = 1 <?лл всех 0. Доказательство. Мы приведем доказательство п. 3, потому что его утверждение немного отличается от соответствующего утверждения для £2(Ζν). По определению («TW = 1>*(ηΚη<> = Σ(-ΐΓζ(«Κη' = = J](ei7r)n^(n)e^ = ]Г *(и)е*п('+,г) = ζ(θ + π). η€Ζ nGZ Мы оставляем доказательство пп. 1, 2, 4-7 в качестве упр. 4.4.8. ■ Заметим, что основной математический аппарат анализа Фурье, построенный здесь для пространства ^2(Z), очень близок к математическому аппарату, развитому нами в гл. 2 для пространства £2(Zn). Благодаря этому можно построить вэйвлеты на Ζ способом, очень близким их построению на Ζ# в гл. 3. Упражнения 4.4.1. Пусть χ: Ζ —► С удовлетворяет следующим условиям: 1) χ — 27г-периодическая функция на R: χ(θ + 2π) = χ(θ) для всех θ е К;. 2) χ — мультипликативная функция: χ(θ + φ) = χ(θ)χ(φ) для всех 0, φ € R; 3) χ не равна тождественно нулю на R; 4) χ дифференцируема в нуле. Доказать, что существует η 6 R такое, что χ(0) = егпв. Подсказка: докажите, что χ дифференцируема на R и χ'(0) = = χ(Ο)χ(0). Замечание: эти функции соответствуют групповым характерам на окружности {егв: — π ^ 0 < π}, определенным равенством х(ег^) = етв или таких, что χ(ζ) = ζη. Их появление в равенстве (4.24) аналогично появлению характеров χ(η) = е2штп/м (для m 6 Z#) на множестве Z# в формуле (2.10) и характеров χ(η) = ew* (для 0 6 [—π, π)) на множестве Ζ в формуле (4.36). В каждом случае функция общего вида из £2 и L2 записывается как некоторого вида суперпозиция (сумма или интеграл) соответствующих характеров. В основе этих результатов лежит общая теория (анализ Фурье на локально компактных абелевых группах).
302 Глава 4. Вэйвлеты на множестве Ъ 4.4.2. 1) Доказать, что £λ(Ζ) есть векторное пространство с обычным покомпонентным сложением и умножением на скаляры. 2) Доказать, что || · ||ι есть норма в пространстве £λ(Ζ) (см. упр. 1.6.5 для определения нормы на векторном пространстве). 3) Доказать, что £ι (Ζ) не является пространством со скалярным произведением. (Подсказка: см. упр. 1.6.6.) 4) Доказать, что ίι{Ζ) С £2{Ζ). Подсказка: если ζ G £1{Ζ), докажите, что sup \z(n)\ < +оо, и тогда n€Z 5]|^(n)|2^sup|^(n)|5]Hn)|. n€Z n€Z n€Z Замечание: обратите внимание, что это вложение противоположно вложению L2([—π,π)) С Lx([—π,π)). 5) Привести пример такого элемента ζ G ^2(Ζ), что ζ £ £λ(Ζ). 4.4.3. Предположим, что z,w G £l(Z). 1) Доказать, что ряд Σ z(m — n)w(n) абсолютно сходится при nez каждом га G Z. 2) Доказать, что 2 * г/; G ^(Z). 4.4.4. Доказать лемму 4.35(2)-4.35(3). Замечание: для доказательства 4.35(2) используйте то, что w G £2(Z) в соответствии с упр. 4.4.2(4), поэтому w определено. Для доказательства 4.35(3) заметьте, что ν * w G £1{Z) в соответствии с упр. 4.4.3, поэтому (г; * w) * ζ также определено. 4.4.5. Определим Ть, как в упр. 4.37. Доказать, что Ть есть преобразование, инвариантное относительно сдвига. 4.4.6. 1) Пусть к} m для θ т^ 0 и /(0) = 0. Доказать, что / G L2([—π, π)), но /2^2([-π,π)). 2) Доказать, что существуют z,w G ^2(Z) такие, что 2*w ^ £2(Z). Подсказка: пусть ζ = w = /, где / — как в п. 1; примените лемму 4.35(1). 4.4.7. Предположим, что ζ G £2(Ζ). Доказать, что ζ*δ = ζ для δ таких, как в определении 4.38. 4.4.8. Доказать лемму 4.41, пп. 1, 2, 4-7. 4.4.9. Предположим, что ζ G £1{Z). Доказать, что ряд Σ ζ{η)βιηΘ nez сходится абсолютно и равномерно. Вывести отсюда, что ζ(θ) —
4.5. Вэйвлеты первого этапа на Ъ 303 непрерывная функция. Подсказка: примените теорему из анализа, которая говорит, что предел равномерно сходящейся последовательности непрерывных функций есть непрерывная функция. 4.4.10. Свертка следующим образом используется при умножении мно- М N гочленов. Пусть р(х) = Σ akXk и q(x) = Σ bk%k — многочлены fc=o fc=o (при некоторых Μ, Ν Ε Ν). Определим последовательность α, Ь € £2{Ζ), положив a(k) = α& для 0 ^ к < Μ и a(k) = 0 в других точках, и аналогично Ь(к) = Ь& для 0 ^ к ^ N и 0 в других точках. Доказать, что ρ(#)<?(#) = ]Р а*Ъ{к)хк. fc=0 Рассматривая нужные виды сходимости, этот результат можно оо распространить на степенные ряды Σ a,kXk и даже на ряды к=0 Лорана Σ akZk- 4.5. Вэйвлеты первого этапа на Ζ В этом разделе мы охарактеризуем вэйвлет-базисы первого этапа на множестве Ζ. В основном это делается путем адаптации техники гл. 3 к пространству ί2(Ζ). Наиболее существенные различия проистекают из бесконечной размерности пространства £2(Ζ). В конечномерном случае мы могли сказать, что так как линейная оболочка некоторого орто- нормированного множества с достаточным числом элементов покрывает все пространство, то это ортонормированное множество является базисом. В рассматриваемом случае бесконечное ортонормированное множество не обязательно полно (например, удалите один элемент из полного ортонормированного множества). Поэтому требуется некоторая дополнительная работа для доказательства полноты. Первый шаг состоит в доказательстве аналога леммы 3.6. Лемма 4.42. Пусть w,z 6 £l(Z). 1) Множество {R2kw}kez ортонормировано тогда и только тогда, когда |ώ(0)|2 + |ώ(0 + π)|2 = 2 для всех 0€[О,тг). (4.47) 2) Мы имеем (R2kZ,R2jw) = 0 для всех k,jeZ (4.48)
304 Глава 4. Вэйвлеты на множестве Ζ тогда и только тогда, когда ζ(θ)ύ>(θ) + ζ(θ + π)ύ>(0 + π) = 0 для всех 0 € [Ο, π). (4.49) Доказательство. Для доказательства п. 1 сначала обратим внимание на то, что элементы /?2fcW должны быть различными для k Ε Z, т. е. из соотношения /?2fcW = R2jw следует равенство к = j (упр. 4.5.1(2)). Затем отметим, что сумма |ώ(0)|2 + |ώ(0+π)|2 — периодическая функция с периодом π (так как w имеет период 2π), поэтому равенство (4.47) имеет место для всех 0 тогда и только тогда, когда оно выполняется для всех 0 6 [0, π). Из упр. 4.5.1(2) следует, что множество {R2k™}k& ортонормировано тогда и только тогда, когда / ^ ν Г1» если к = 0, /л ^лЧ <·■*»"> "{θ, если МО. (4·50' По лемме 4.41(6) равенство (4.50) эквивалентно равенству w * w(2k) = < |Д если к φ 0. Для любого у € (У + У*)(п) = (1 + (-1)ПЫп) = {^(П)' если η четное, если η нечетное. Используя этот факт су = и * й, мы видим, что равенство (4.50) эквивалентно равенству w*w + (w* w)* = 25. Из обратного преобразования Фурье (лемма 4.31) и леммы 4.41(7) следует, что это эквивалентно равенству (w * ύ)Υ(θ) + ((w * ώ)*)Λ(0) = 2 для всех 0. (4.51) Согласно лемме 4.35(1) и лемме 4.41(2), (w * ώ)Λ(0) = ώ(0)(ώ)Λ(0) = ύ){θ)Μβ) = |ώ(0)|2· Используя этот факт и лемму 4.41(2), получаем ((w * й))Т W = (w * ώ)Λ(0 + π) = |ώ(0 + π)|2. Подставляя эти два последних выражения в соотношение (4.51), получаем эквивалентность равенств (4.50) и (4.47). Это завершает доказательство п. 1. Доказательство п. 2 аналогично и оставлено в виде упр. 4.5.2. ■ Существует и другое доказательство леммы 4.42, основанное на равенстве Парсеваля (см. упр. 4.5.1(4)).
4.5. Вэйвлеты первого этапа на Ζ 305 Следующие определения соответствуют определениям гл. 3. Определение 4.43. Для последовательности ζ = (ζ(η))η^ζ определим последовательности D(z) и U(z) на Ζ равенствами D(z)(n) = z(2n) и z(n/2), если η четное, О, если η нечетное. Очевидно, что D: £2{Ζ) -> £2{Ζ) и U: £2{Ζ) -» £2{Ζ)\ m-кратная композиция (умножение) D на себя обозначается через Dm, m-кратная композиция U — через Um. Тогда Dm(z)(n) = z(2mn) и Ттт/ ч/ ч fz(n/2m), если η = 2т7* для некоторого j 6 Ζ, 1,0, если п не делится на 2J. Мы называем D оператором сгущенной выборки и U — оператором раз- реженной выборки. Определение 4.44. Предположим, что и, υ € ^1(Ζ). Пусть В = {Д2**Ь€2 U {Д2Ли}Л€2. (4.52) Если В есть полное ортонормированное множество в £2(Ζ), мы называем В вэйвлеш-сисшемой первого этапа для пространства £2(Ζ). Напомним, что £ι(Ζ) С £2(Ζ) (упр. 4.4.2(4)). Может казаться более естественным в определении 4.44 предположить только, что и, υ 6 £2(Ζ). Однако мы будем рассматривать ζ * и и ζ * υ для ζ € ^2(Ζ), и нам нужно, чтобы эти свертки принадлежали £2{Ζ). По лемме 4.34 это гарантируется предположением, что и, υ € £Χ(Ζ). По всей видимости, нет большого вреда в этом предположении, потому что оно удовлетворяется для наиболее интересных примеров. Это предположение гарантирует, что й и ν — непрерывные функции (см. упр. 4.4.9). Определение 4.45. Предположим, что и, υ € £2(Ζ). Система матриц для и и υ — это Характеристика вэйвлет-систем первого этапа пространства £2{Ζ) аналогична характеристике в пространстве £2(Ζν). Доказательство аналогично, за исключением требуемого дополнительного доказательства полноты. U(z){ п) = { й(в) ν(θ) (4.53)
306 Глава 4. Вэйвлеты на множестве Ζ Теорема 4.46. Пусть u,v G £X(Z). Тогда В = {B,2kV}k£Z U {R2kU>}k£Z есть полное ортопормироваппое множество в ί2{Έ) тогда и только тогда, когда матрицы Α(θ) унитарны при всех θ 6 [0, π). Доказательство. Применяя лемму 4.42(1) с w = и, получим, что множество {R2ku}k€Z ортонормировано тогда и только тогда, когда первый столбец матрицы Α(θ) имеет единичную норму при всех Θ. Аналогично, положив w = ν, получаем, что множество {R2kv}k€Z ортонормирование тогда и только тогда, когда второй столбец матрицы Α(θ) имеет единичную норму при всех Θ. Применяя лемму 4.42(2), получим, что элементы множества {i?2fc^}fc€Z ортогональны элементам множества {R2kv}kei тогда и только тогда, когда столбцы матрицы Α(θ) ортогональны при всех Θ. Поэтому В есть ортонормированное множество тогда и только тогда, когда Α(θ) — унитарная матрица при всех Θ. Чтобы дополнить доказательство, мы должны показать, что если Л (б) —унитарная при всех θ € [0, π), то ортонормированное множество В полно в ί2(Ζ). Доказательство полноты определяется процедурой восстановления для набора фильтров в гл. 3 (рис. 14). Заметим, что унитарность Α(θ) при всех θ 6 [0, π) означает унитарность Α(θ) при всех θ ЕШ, так как и и ν — 27г-периодические функции. Покажем, что υ * U(D(z * ν)) + u * U(D(z *u)) = z (4.54) для всех ζ 6 ί2(Ζ). Для этого заметим, что U о D(z) = (ζ + ζ*)/2 (упр. 4.5.4(2)), и поступим так же, как при доказательстве леммы 4.42(1), получим (υ * U(D(z * ν))Υ(θ) + (u * U(D(z * й))У(в) = = Щ) \ [mW) + ζ(θ + π)ϋ{θ + π)] + + η{θ) \ [£(в)Щ + ζ(θ + π)ύ(θ + π)] = = m\i\m\2+\m\2)+ + ζ(θ + π) ^ [ύ(θ)ύ(θ + π) + ν(θ)ν(θ + π)] . Однако унитарность Α(θ) означает, что строки Α(θ) ортонормированы (лемма 1.105), поэтому последнее выражение сводится к равенству ζ(θ) -1 + ζ(θ + π) -0 = ζ(θ). С помощью обратного преобразования Фурье это дает равенство (4.54).
4.5. Вэйвлеты первого этапа на Ζ 307 Отметим, что D(z * v)(k) = ζ * v(2k) = (ζ, i?2fc*>)> и аналогично D(z * u)(fc) = (ζ, i?2fc^)· Следовательно, если (г, U2fc^) = О и (^, &2ки) — 0 для всех к 6 Z, то D(z * δ) = 0 и D(z * й) = 0. Поэтому ζ = 0 из равенства (4.54), что доказывает полноту множества В. Ш Последняя часть доказательства может быть также проведена с помощью равенства (4.54) и с учетом того, что (упр. 4.5.2(2)) υ * U(D(z * г))) + и * U(D(z * и)) = ]Р(г, R2kv)R2kV + ^(*, R2ku)R2kU- fc€Z fcez (4.55) Доказательство теоремы 4.46 замечательно тем, что первая часть показывает эквивалентность ортонормированности множества В и унитарности матрицы Α(θ) при всех 0, а вторая часть —что унитарность Α(θ) при всех θ дает полноту 5. Следовательно, из ортонормированности множества В вытекает его полнота; мы независимо получили полноту. Это аналогично конечномерному случаю, в котором оболочка линейно независимого множества максимального размера автоматически покрывает все пространство. В бесконечномерном случае вообще нет оснований ожидать полноты бесконечного ортонормированного множества. Теорема 4.46 показывает, что таким редким свойством обладают множества вида В. Любопытным выводом, вытекающим из этого, является тот элементарный факт, что если столбцы квадратной матрицы ортонормированы, то это же справедливо и для строк. Равенство (4.55) показывает, что такая организация набора фильтров (рис. 14с£=г;и5 = и), как для вэйвлетов множества Ζ#, может быть использована для выполнения фаз анализа и синтеза, связанных с соотношением ζ = 5^(г, R2kv)R2kV + Σ(ζ, R2ku)R2kU>. fc€Z fc€Z Мы видели в лемме 3.12, что вектор и Ε £2(Zn), обладающий тем свойством, что его четные целочисленные сдвиги ортонормированы, всегда имеет компаньона υ такого, что и и υ порождают вэйвлет-базис первого этапа пространства £2(Ζν). Аналогичный результат справедлив и для пространства ^2(Ζ), как это устанавливает лемма 4.47. Этот результат еще более удивителен с точки зрения бесконечномерного пространства, потому что, например, подпространство, ортогональное бесконечномерному подпространству, не обязательно должно быть бесконечномерным. Однако, ввиду структуры замкнутого подпространства,
308 Глава 4. Вэйвлеты на множестве Ζ порожденного четными целочисленными сдвигами вектора и, ортогональное ему подпространство не только бесконечномерно, но порождено четными целочисленными сдвигами вектора ν, который легко определяется вектором и. Лемма 4.47. Пусть и 6 £ι(Ζ) и {R2k^)k& — ортонормированное множество в £2(Z). Определим последовательность υ 6 ίι(Ζ) равенством v{k) = (-1)^-^(1 -к). (4.56) Тогда {R2kv}kez U {R2ku}kez есть полная ортонормированная система (следовательно, вэйвлет- система первого этапа) в £2(Z). Доказательство. Так как и е ίι{Ζ), то ясно, что ν е ίι{Ζ). По лемме 4.42(1) ортонормированность {R2ku}kez эквивалентна равенству |й(0)|2 + |й(0 + тг)|2 = 2 для всех 0. Заменяя индекс суммирования, мы видим, что ν(θ) = ^(-l^-yi - к)ем = ^2{-1)чЩ^{1Ч}е. Записав (—1)~э = {еш)~э = е~шз, получим ν(θ) = Σ е-*иО>«('-нг) = βίθύ{θ + π). (4.57) Поэтому ,/Λι ч ._ ϋ(θ + π) = е<в+^й(в + 2π) = е~г*й(0). Отсюда следует (упр. 4.5.9), что матрица Α(θ), определенная уравнением 4.53, — унитарная при всех Θ. Утверждение леммы следует из теоремы 4.46. ■ Лемма 4.47 сводит построение вэйвлет-базиса первого этапа к построению вектора и € ίχ(Ζ) такого, что множество {R2ku}k€Z — °PTo нормированное. Вэйвлет-система первого этапа {R2kv}kez U {R2k^}kez Для £2(Z) автоматически дает вэйвлет-базис первого этапа для £2(Zn) (определение 3.4) с помощью процесса, называемого периодизацией. Лемма 4.48 (периодизированные вэйвлеты для £2(Zn)). Пусть Μ Ε Ν, N = 2М и u,v e tl(Z) таковы, что {R2kv}kei U {A2*u}*€Z
4.5. Вэйвлеты первого этапа на Ζ 309 есть вэйвлет-система первого этапа для £2(Ζ). Определим U(n)>v(N) € € £2{Zn) равенствами u(N)(n) = Σ w(n + kN) и V(N)(n) = ^2 υ(η + kN)· (4.58) • fc€Z fc€Z (Заметим, что выписанные ряды сходятся абсолютно по предположению, что и, υ € £ι(Ζ).) Тогда {R2kV(N)}k=To U№fcU(N)}fc=o есть вэйвлет-базис первого этапа для £2(Zn). Доказательство. Вычисляя DFT от u^n), получаем N-l N-1 u(N)(m) = £ u(N)(n)e-2™™/N = Σ Σ^(η + kN)e-2™™'N = n=0 n=0 Ar€Z JV-1 = Σ Σ w(n + kN)e-2^n+kN^N = n=0 fc€Z = £u(i)e-27ribl/iV = u(-2nm/N), Z€Z где в правой части преобразование Фурье от и понимается в смысле определения 4.29. Как следствие, й(м)(™> + М) = й(-2тг(т + M)/N) = = ύ(-2πτη/Ν - π) = ύ(-2ππι/Ν + π), так как й есть 27г-периодическая функция. Применяя то же самое тождество с и, замененным на ν, мы видим, что система матриц Α(θ) для U(jv) и V(jv) в определении 3.7 равна системе матриц Α(θ) для и и ν, как в определении 4.45, при θ = —2πη/Ν. По теореме 4.46 матрица Μβ) — унитарная для всех 0, и поэтому Л(п) — унитарная для всех п. По теореме 3.8 {R2k^(N)}^Jo1^{R2k^(N)}^fjo1 есть вэйвлет-базис первого этапа для £2 (Ζχ). ■ Лемма 4.48 может быть доказана прямо, без использования DFT (упр. 4.5.10). Следствие 4.49. Пусть Μ 6 Ν, Ν = 2М и и, υ € £Χ(Ζ) таковы, что {R2kv}kez U {ifofct^fcez есть вэйвлега-сисгаел*а первого этапа для £2(Z). Предположим также, что и(п) = ν(ή) = О для всех η < О η η> Ν — 1. Определим U(n)>v(N) € ^2(^лг) равенствами U(N)(n) = ^(η) Μ υ(Ν)(η) = ν(η) ^./ΙΛ П = 0, 1, . . . , JV — 1.
310 Глава 4. Вэйвлеты на множестве Ъ Тогда {R2k/^(N)}k=o1 ^ {i?2Ar^(jv) }аг=оХ есшь вэйвлегп-базис первого этапа для ί2(ΖΝ). Доказательство. Ввиду предположений, наложенных на элементы и и ν, векторы и^ и υ^ совпадают с векторами, определенными формулами (4.58). Поэтому результат следует из леммы 4.48. ■ Для положительных целых т вэйвлеты Добеши D<im пространства ί2{Ζ) (см. пример 4.57 для случая т = 3) порождаются векторами и и υ такими, что и(п) = 0 для η < О или η > 2т — 1, тогда как υ(η) = О для η < —2га + 2 или η > 1. Если мы заменим υ вектором R2m-2V, который не меняет множества {R2kv}k€Z, то предположения следствия 4.49 применимы к этим вэйвлетам, если N > 2т. Иногда при использовании вэйвлетов Добеши для вычислений нет уверенности в том, применять ли циклическую свертку (т. е. свертку в £2(Zn), как в определении 2.23), или линейную свертку (свертку в ^2(Z), как в определении 4.32). Удивительный ответ состоит в том, что любой из этих методов верен, если он выполнен корректно. Это объясняется следствием 4.49. Если используется циклическая свертка, то вэйвлеты вычисляются на Ζ#, как в гл. 3, тогда как линейная свертка используется при вычислении вэйвлетов на Z, как в этой главе. Упражнения 4.5.1. Пусть w e ί2(Ζ). 1) Пусть существует к 6 Ζ такое, что RkW = w. Доказать, что w = 0 (т. е. w(n) = 0 при всех п). Подсказка: если w(m) Φ Ο, докажите, что существует бесконечно много η 6 Ζ таких, что w(n) = w{m)\ это противоречит предположению, что w е £2(Z). 2) Пусть существуют fc, j 6 Ζ, где к φ j, такие, что R^w = RjW. Доказать, что w = 0. 3) Доказать, что {R2kw}k€Z ~ ортонормированное множество тогда и только тогда, когда выполняется равенство (4.50). 4) Завершить следующее доказательство леммы 4.42. Для п. 1 этой леммы из равенства Парсеваля (4.37) и леммы 4.41(4) следует, что π (w,R2kw) = ± j \и,(в)\2е-*2квсШ. —π π π 0 Запишите J как J+ J и замените во втором интеграле —π Ο —π θ на θ + π. Учитывая, что w — 27г-периодическая функция,
Упражнения 311 получите (w, R2kw) = ± |(|гй(0)|2 + \w(9 + π)\2)β-™θάθ. о Пусть φ = 2Θ, используйте обратное преобразование Фурье для вывода равенства (4.47). Пункт 2 может быть доказан аналогично. 4.5.2. 1) Доказать лемму 4.42(2) методами, аналогичными использованным в п. 1. 2) Доказать тождество (4.55). 4.5.3. 1) Доказать, что D: £2(Ζ) —► £2(Ζ) есть линейное преобразование «на», но не является взаимнооднозначным. 2) Доказать, что отображение U: ί2(Ζ) —► ί2(Ζ) взаимнооднозначно, но не является отображением «на». Напомним (см. упр. 1.4.8(5)), что подобных примеров не существует для линейного преобразования конечномерного векторного пространства на себя. 4.5.4. Пусть ζ = (ζ(η))η€ζ — последовательность. 1) Доказать, что D о U(z) = ζ. 2) Доказать, что U о D(z) = {z + z*)/2. 4.5.5. Предположим, что w 6 il{Z). 1) Доказать, что {Rk^}kez есть полное ортонормированное множество в £2(Z) тогда и только тогда, когда |г&(0)| = 1 для всех ве [-π, π). Замечание: как и для леммы 3.3 в контексте пространства ^2(Zjv), это доказательство показывает, что частотная локализация не может быть достигнута для ортонормированного базиса вида {Rkw}kez· 2) Доказать, что {R2k™}k€Z не может быть полным ортонор- мированным множеством в £2(Z). Подсказка: см. упр. 3.1.10 и 3.1.13. 4.5.6. (Точное восстановление с помощью набора фильтров первого этапа на Z.) Предположим, что u, v,s, t € £λ(Ζ). Доказать, что ζ = t * U{D(z * ϋ)) + s * U{D(z * u)) для всех ζ € i \L) тогда и только тогда, когда Гл/21 А{9) Щ П. В. 0 (Подсказка: сравните с леммой 3.15. Положите ζ = δ и ζ = Ri6.)
312 Глава 4. Вэйвлеты на множестве Ζ 4.5.7. Предположим, что z,w € ί (Ζ). Доказать, что 1) U(z*w) = U(z)*U{w)\ 2) (tf (,))" = U(z); 3) (2 *w)~ = z*w. 4.5.8. (Обобщение теоремы 4.46 на Ϊ функций.) Предположим, что Ϊ есть целое положительное число. 1) Пусть u,v,w € ^(Z). Доказать, что {Rikw}k& ~ ортонорми- рованное множество тогда и только тогда, когда 1-1 Y^\w(0 + 2nk/l)\2 =1 для всех Θ. к=0 Доказать также, что (Riku, Rijv) = 0 для всех j, к € Ζ тогда и только тогда, когда 1-1 Σ ύ(θ + 2nk/l)v(0 + 2nk/l) = О для всех θ. к=0 Подсказка: метод 1. Доказать, что 1-1 если I | п, ™ η ν-, если if п. га=п v 7 · V^ e2nimn/l = j ' m=0 ^, Вывести, что l,;v)=u*v(li) = i5(j^ если u^v fcJW—««-{J^ вСЛ" " = "· тогда и только тогда, когда Ye™Wu*v{n) = [l5{n)' 6СЛИ и=="· £jj ΙΟ, если u^v. Возьмите преобразование Фурье в £2(Ζ) от обеих частей этого равенства, заметив, что для ζ € tl{b) и φ € R (z(n)e<n*y(0)=*(0 + Y>)· Метод 2 (сравните с упр. 4.5.1(4)). Из равенства Парсе- валя (4.37) и леммы 4.41(4): π {u,Ruv) = -^ [ u(9)W)e-iljed9 = —π г-1 -π+2π(&+1)/Ζ *=0 -π+2π&/ί Выполните подстановку φ = Ιθ — 2пк + π(ί — 1), после которой каждый интеграл будет браться по отрезку [—π,π]. Взяв
Упражнения 313 сумму по к внутри интеграла, получите π (u,RljV) = ± ^9(φ)ε-^άφ, —π Для /_ι 5Μ=β^-ι)}Σ4τ-π+τ+2πτ)χ fc=0 * (φ , π 2πλΛ χ4τ-π+τ+—)· Заметьте, что р есть 27г-периодическая функция, и примените обратное преобразование Фурье. 2) Пусть ко, tti,..., Щ-\ € 11{Ъ). Доказать, что В = {RlkU0}k& U {RlkUl}k£l U ... U {β^_ι}*€Ζ есть полное ортонормированное множество в ί2(Ζ) тогда и только тогда, когда матрица Α(θ)= йо(0) щ(в) ... fi,-iW «•("τ) -(<+т) - Μ* τ) унитарна для всех 0 € [—π, π]. Подсказка: п. 1 показывает, что унитарность всех Α(Θ) эквивалентна ортонормированно- сти множества В. Как и в теореме 4.46, остается доказать полноту В. Докажите, что 1-1 , 1-1 7=0 ^ 771=0 ' 1-1 1-1 = у Σ й№) Σ *(* + ^к/1)й0{в + 2жк/1). Измените порядок суммирования и примените унитарность матрицы Α(θ) для вывода того, что последнее выражение равно ζ(θ). Как и в подсказке для п. 1 (вышеприведенный метод 1), заметьте, что iye2*imn/iz,u{n)=i^^ih если 1\п, zi4 ΙΟ, если l\n. ra=U χ ' ι
314 Глава 4. Вэйвлеты на множестве Ъ 4.5.9. Доказать, что матрица Α(θ) в доказательстве леммы 4.47 унитарна при всех Θ. Подсказка: доказательство аналогично соответствующей части доказательства леммы 3.12. 4.5.10. Непосредственно доказать лемму 4.48 (без использования DFT). Подсказка: например, покажите, что {R2k^(N)}^=^ есть орто- нормированное множество; запишите для 0 ^ j ^ Μ — 1 Ν-1 (u{N),R2ju{N)) = ^ Ση(η + kN)J2u(n - 2J +lN)· n=0 fc€Z l£% Во внутренней сумме к фиксировано, так что можно положить р = I — к, чтобы получить JV-1 Σ Σ u(n+kN) Σ u(n+kN "2j+pN)= n=0 keZ p€Z где последнее скалярное произведение вычисляется в 4.6. Итерационные этапы для вэйвлетов на Ζ Теорема 4.46 устанавливает, что если система матриц Α(θ) от и и υ (принадлежащих ίι(Ζ)) унитарна для всех 0, то пространство £2(Ζ) расщепляется на две части, порожденные четными целочисленными сдвигами векторов и и υ соответственно. Как и в разд. 3.3, следующий этап состоит в итерировании этого расщепления. В этом разделе, как и в разд. 4.5, доказательства соответствуют доказательствам в гл. 3, за исключением того, что требуются дополнительные усилия для доказательства полноты систем вэйвлетов ввиду бесконечной размерности рассматриваемых пространств. Следующий результат аналогичен лемме 3.24. Лемма 4.50. Пусть I —положительное целое число, gi-\ Ε ίζ(Ζ) и {R2l-lk9l-l}k& — ортонормированное множество в £2(Z). Предположим также, что и, υ Ε il{Z) и система матриц Α(θ) от и и υ (определение 4.45) унитарная для всех Θ. Определим fi=9i-i*Ul-\v) и m=9i-i*Ui-1(u). (4.59)
4.6. Итерационные этапы для вэйвлетов на Ζ 315 {JWibez и {R#kgi}k& (4.60) — ортонормированное множество. Доказательство. Сначала заметим, что Ul~l{u) и Ul~l(y) принадлежат ^*(Z), следовательно, fugi € ί2(Ζ), по их определению и лемме 4.34. Далее отметим, что, как следует из упр. 4.5.7(2)-4.5.7(3), /ι = (т-1 * υι-\ν)Γ = т-1 * υ'-Ηϋ). Следовательно, по лемме 4.41(6), лемме 4.35(2)-4.35(3) и упр. 4.5.7(1) (fl,R24cfl)=fl*fl@k) = = т-1 * U1-1 (υ) * &_! * Ι7'-1(ί)(2ίΑ;) = = (si_i * 5/_ι) * 17г_1(г> * г;)(2гА;) = = ]T(fli-i * ёг-1)(2гА; - η)/7/"1(ν * ΰ)(η). η€Ζ Заметим, что i/i-1(v * ΰ)(η) = 0, если п не есть целое число вида 2г-1т при некотором т; в этом случае это выражение равняется v*v(m) и мы можем, переписав последний член, получить (fi,R#kfi) = Σ^/-ι *Λ-ι)(2'-1(2* - m))*v{m). ra€Z По лемме 4.41(6) 9l-i ^ 9i-i(2l~1(2k - m)) = (gi-i,R2i-i(2k-m)9i-i), что по предположению равно 1 при m = 2fc и 0 в других случаях. Поэтому (Λ» %*/*> = ν * C(2fc) = (υ, R2kv). Так как Α(θ) — унитарная матрица при всех θ по предположению, то теорема 4.46 показывает, что / г « *ν Г1, если к = 0, /, л-ч Л,Я2,*Л>=Н' ' (4-61) 1,0, если Л т^ 0. С помощью таких же рассуждений, меняя местами υ и и, получим /1, если fc = 0, 1,0, если А: ^ 0. Унитарность Α(θ) означает также, что (v,/?2fc^) = 0 для всех к 6 Z. Используя это свойство и лемму 4.42(2), мы получаем (упр. 4.6.1), что if ι » &21к91) = 0 для всех к € Z. (4.63) Равенства (4.61), (4.62) и (4.63) дают утверждение теоремы. ■ Как и в соответствующем случае в гл. 3, этот результат может быть также доказан на основе методов преобразования Фурье (упр. 4.6.3).
316 Глава 4. Вэйвлеты на множестве Ζ Далее мы увидим, что лемма 4.50 дает ортогональное расщепление подпространств. Лемма 4.51. Пусть u,v,gi-i,fi и д\ —такие же, как β лемме 4.50. Положим и V-l+1 = {Σz(*)fl*-i*fll-i : ζ = (*(*))*ez € l2(Z)\, V-ι = \Y,z{k)Rbik9i: ζ = (z(k))k€Z € l2(Z)\, (4.64) W-t = fe Wfykfi · * = (*(*))*ez € i2(Z)|. (4.65) ТЪгА* VLi©Wl,=Vll+i. Доказательство. Из упр. 4.2.8 следует, что VLj+i, V_i и W_i — подпространства ^2(Z). Из упр. 4.6.4 и равенства (4.63) вытекает, что V-i и И^_г — ортогональные множества. Докажем, что V-i и W-i — подмножества VL/+1- Для этого заметим, R#kM*) = Μη - 2lk) = 9ι.χ * Ul-l(v)(n - 2<fc) = = £ <?z-i(n - 2zfc - лОЕ^ММ = m€Z = ^^_1(n-2ifc-2z-1JMj) = j€Z = X^^(j)^-i(j+2Ar)ft-l(n)· j€Z В предпоследнем выражении мы использовали, что Ul~l{v){m) = 0, если т не равно 2l~lj при некотором j 6 Ζ, а в этом случае мы имеем v(j). Изменение индекса суммирования (пусть m = j + 2к) в последнем выражении дает &*kfi = Σ v(m " 2k)R2i-imgi-i. (4.66) ra€Z Это показывает, что элементы полного ортонормированного множества {^2lkfi}k£Z для И^_/ принадлежат пространству Vlj+i. В силу упр. 4.6.5 это значит, что W-χ есть подпространство Vlj+i. Аналогичные рассуждения, примененные к <д, дают, что R*k9l = X] ^(m - 2*)Я2!-1тоЯ1-1 (4.67) m€Z и, следовательно, V-i есть подпространство VLi+χ.
4.6. Итерационные этапы для вэйвлетов на Ζ 317 Остается доказать, что VLj+i С V-i Θ W-i. Начнем с рассмотрения некоторого равенства. По теореме 4.46 {R2kv}kez U {R2ku}ksz есть полное ортонормированное множество в £2(Z). Пусть j 6 Ζ, и пусть ej тот же вектор, что и в равенстве (4.5). Тогда для всех га Ε Ζ ej(m) = 5^(^?д2^)Д2Аг^(га) + Y^{ej,R2ku)R2ku{m). Заметим, что (e0,R2kv) = Σ ej(n)v(n - 2fc) = v(j - 2fc) = 5(2fc - j), и аналогично для и. Подстановка этих тождеств в предыдущее равенство даят ej(m) = ]Р v(2k - j)v{m - 2к) + ]Г u(2fc - j)n(ra - 2fc). (4.68) fc€Z Ar€Z Теперь перейдем к основной цели, которая состоит в доказательстве того, что для j € Ζ Rbi-4gi-i = Σ ϋ№ - 3)R*kfi + Σ u(2fc - ЯД**Я»· (4·69) fc€Z fc€Z (В упр. 4.6.6 выписаны соображения, приводящие к этому результату.) Для доказательства равенства (4.69) подставим в него соотношения (4.66) и (4.67), получим £ v(2k - j)R2ikfi + J] fi(2fc - j)^**fl» = fc€Z fc€Z = ]Г C(2fc - j) ]Γ v(m - 2fc)il2«-iTOfli-i+ fc€Z m€Z + ]T fi(2fc - j) ]T U(m - 2*)^-imfll-l = fc€Z m€Z = Σ ( Σ(δ(2^ ~ J'M™ - 2fc) + u(2fc - j)u(m - 2fc)) j R2i m€Z ^A;€Z ' m€Z из равенства (4.68). Поэтому R2i-ijgi-i € VI j Θ И^_г для каждого j 6 Ζ. Как следствие, упр. 4.6.5 показывает, что V_j+i С V-i Θ И^_$. Это завершает доказательство. ■ Определение 4.52. Пусть р — положительное целое число и /ι, /2, ..., Л>_1, /р, 5р € ^2(Ζ). Положим β = {R2kfi} U {Д4*/2} U ... U {i22pfc/p} U {ПтРкЯр}, (4.70)
318 Глава 4. Вэйвлеты на множестве Ъ *<*>-£ (4.72) где в каждом случае к пробегает Z, или, что эквивалентно, В = {R#kfi- feeZ,i = l,2,...,p}U {R2Pk9P'· к е Ζ}. (4.71) Если В есть полное ортонормированное множество в £2(Ζ), то В называется р-этапной вэйвлет-системой в ί2(Ζ). Мы говорим, что Д, /2, • · ·> /р> <7р порождают В. Теорема 4.53. Пусть ρ 6 N. Длл ί = 1,2, ...,р предположим, что щ,У1 6 ^(Ζ) η лшгарш^ система Г Щ(в) щ{в) [щ(в + п) ϋι(θ + π)\ унитарны при всех θ 6 [0, π). Положим f\ = υχ, g\ = щ и по индукции для I = 2,3,... ,р определим fi = я-i * Ι^Μι № = Я-ι * ^"Ч*,). (4-73) Пусть множество В задается формулой (4.71). Тогда В есть полное ортонормированное множество (и поэтому р-этапная вэйвлет- система) для пространства £2(Z). Доказательство. Для I = 1,2,... ,р определим V-i и W-i, как в равенствах (4.64) и (4.65). Докажем, что В ортонормировано. Мы видим из леммы 4.50 и индукции, что {R>2ikfl}k€Z ортонормировано при каждом I = 1, 2, ..., ρ и что ортонормировано {R2Pk9p}kez- Поэтому нам нужно только установить ортогональность между этими множествами. Заметим, что для т <I^ри к EZ R2ikfl€V-iCV-l+1C...CV-m, и аналогично с R2Pk9p вместо R^ikfl- Однако при j Ε Ζ имеем R2mjfm € W-m, при этом W-m ортогонально V-m по лемме 4.51. Докажем теперь, что ортонормированная система В полная. Предположим, что ζ € £2(Ζ) ортогонален любому элементу из В. Применяя упр. 4.2.5(1), получим, что ζ ортогонален любому элементу из W-ι U W-2 U ... U W-p U V-p. По лемме 4.51 W-p Θ V-p = V-p+v Это означает, что ζ ортогонален любому элементу из Vlp+i· Аналогично, W-p+i Θ Vlp+i = Vlp+2; это означает, что ζ ортогонален любому элементу из Vlp+2 и т. д., до тех пор пока мы не получим, что ζ ортогонален любому элементу из W-\ Θ V-ι = ί2{Ζ). Следовательно, ζ = 0. ■ Выписывая Д и <д, мы имеем fi = ui * !7(η2) * ... * С/г"2(пг_!) * i^fa) (4.74) Я = ui * U{u2) * ... * E^fa-i) * £/'"Ч^), (4.75) точно так же, как в конечномерном случае (см. формулы (3.43) и (3.44)).
4.6. Итерационные этапы для вэйвлетов на Ζ 319 Так как у нас бесконечномерный случай, то можно осуществить итерационные шаги бесконечно много раз. Это приводит к следующему варианту. Определение 4.54. Пусть fi 6 ί2(Ζ) для всех I € N. Пусть B = {R#kfr.keZ9leN}. (4.76) Если В есть полная ортонормированная система в £2(Ζ), мы говорим, что В —однородная вэйвлет-система в ί2(Ζ). Теорема 4.55. Пусть ui,vi Ε ίι(Ζ) для каждого I 6 Ν, и система матриц Αι(θ), определенная формулой (4.72), унитарная при всех θ 6 [0, π). Положим fi = щ, gi = vi, и по индукции для I € N, I ^ 2, определим fi и 9ι равенством (4.73). Для каждого I 6 N определим V-χ, как в равенстве (4.64). Предположим, что p|V_z = {0}. (4.77) Определим В, как в формуле (4.76). Тогда В есть полное ортонор- мированное множество (следовательно, однородная вэйвлет-система) в e2(Z). Доказательство. Определим W-i, как в формуле (4.65), для всех I € N. Ортонормированность В следует из тех же соображений, что и в доказательстве теоремы 4.53, или прямо из теоремы 4.53, учитывая что для любых двух элементов В существует достаточно большое ρ такое, что р-этапная вэйвлет-система, полученная, как в теореме 4.53, содержит эти два элемента. Чтобы доказать полноту В, предположим, что (z,R2ikfi) = 0 для всех к 6 Ζ и всех I € N. Тогда (это можно доказать, например, используя упр. 4.2.5(1)) вектор ζ ортогонален любому элементу любого пространства W-j. Мы утверждаем, что ζ € V-j для всех j 6 N. Применим индукцию. Сначала для доказательства принадлежности ζ G V-i заметим, что так как £2(Z) = V-i®W-i (по теореме 4.46), то существуют v-i € V-i и ti7_i € W-i такие, что ζ = v-\ + w-\. Но V-\ _L W_i, и поэтому (v-i,W-i) = 0. Следовательно, ||w_i||2 = (w_i,W_i) = <V_i +tl7_i,tl7_i> = (z,W-i) =0, так как w-\ € W-\. Следовательно, w-\ = 0. Это значит, что ζ = υ-ι € VI ι. Теперь предположим, что ζ 6 Vlj+i. По лемме 4.51 Vlj+i = V-i Θ W-i. Тогда можно записать, что ζ = υ-ι + w-i для некоторых V-i G V-i и w-ι Ε W-i. Из тех же соображений, как и в случае / = 1, ортогональность ζ к W-t означает, что w-i = 0, поэтому ζ = ν-ι € V-ι.
320 Глава 4. Вэйвлеты на множестве Ъ Это завершает индукцию, которая показывает, что ζ € f| Vlj. Но мы предполагаем, что р| VL/ = {0}. Следовательно, ζ = 0, что доказывает полноту Б. ■ Заметим, что в теореме 4.53 или 4.55 можно выбрать щ = щ и υι = ι>ι для всех ί. Мы называем это повторными фильтрами. Наиболее стандартные обозначения для вэйвлетов — это фч%к = R2Jkfj (4.78) и <P-j,k = R&k9y (4.79) В этих обозначениях р-этапная вэйвлет^система в теореме 4.53 есть В = {</>-,,*: fc е Z, 1 ^ j ^ р} U {^_р,л: к € Z}. (4.80) Однородная вэйвлет-система в теореме 4.55 есть {^_i>fc:jeN,fc€Z}. (4.81) Поэтому в однородном случае отцовский вэйвлет φ исчезает из набора вэйвлетов, а остается только материнский вэйвлет ψ и его дочерние вэйвлеты. В следующей главе, когда мы будем рассматривать вэйвлеты на R, цепочка пространств Vj не только будет бесконечной, она будет бесконечно распространяться в обоих направлениях (т. е. j будет пробегать по всему множеству Z). Упражнения 4.6.1. Доказать равенство (4.63). 4.6.2. 1) Пусть ζ е £2(Ζ). Доказать, что (υ(ζ)Υ(θ) = ζ(2θ) для всех 0. 2) Определим fingu как в теореме 4.53 (т. е. равенствами (4.74) и (4.75)). Доказать, что /,(0) = й1(в)й2(2в)й3(Щ ... щ-гр-ЧШ^-Ч) Ш = й1(в)й2(2в)йг{Щ ... щ-г^-^щ^в). Если фильтры повторные, т. е. щ = и и ν\ = υ для всех Ζ, мы получаем г_х 3=0
Упражнения 321 и 1-2 3=0 4.6.3. Доказать лемму 4.50, используя упр. 4.6.2(1) и 4.5.8(1). Подсказка: например, чтобы показать, что {R#kfi}kez есть ортонор- мированное множество, запишите Σ|Α(·+?)Γ- = |«(2|-^2ΐΣΊΑ-ιίβ + ^)Γ + m=0 I V ^ /I + |β(2«-^ + 1Γ)|» 'Σ ' !&_! («+-£,; + ^) m=0 Ι V l Ζ / разбивая сумму по fc на четную и нечетную части. Теперь примените предположения леммы. 4.6.4. Предположим, что Η есть гильбертово пространство, a {α&}&ςζ и {bk}k€i — ортонормированные множества в Η с (су, Ъ^) = 0 для всех j, fc 6 Ζ. Пусть ^fc€Z И Г = {2>(*К: г = (*(*))*ez € ί2(Ζ)| W = {Y,z(k)bk: ζ = (z(*))*€Z € i2(Z)|. 4fc€Z Доказать, что V JL W (т. е. для всех υ e V и w eW выполнено {v,w) = 0). Подсказка: сначала покажите, что {v,bk) = 0 для всех А: € Z, как в упр. 4.2.5(3). 4.6.5. Предположим, что Η есть гильбертово пространство, a {α&}&ςζ и {bk}kez — ортонормированные множества в Н. Пусть ^fc€Z И V = {j>(fc)afc: г = (*(*))*« € i2(Z)| ^fc€Z -1 W = {ΣΖ(*)6*: 2 = (*(*))*€Ζ € ί2(Ζ)|. Предположим, что α& € W для каждого fc. Доказать, что V есть подпространство W. Подсказка: пусть υ = Σ ^(fe)a^ 6 V. Если fc€Z
322 Глава 4. Вэйвлеты на множестве Ъ вы запишите каждый а& как сумму вида ^ Ck(j)bj, и будете работать с этими суммами, то вы столкнетесь с проблемой, аналогичной проблеме в упр. 4.4.6(2). Вместо этого заметьте, что частичные суммы Σ z(k)dk принадлежат W, и используйте упр. 4.2.10. 4.6.6. Для u9v,gi-i,fi,gi, определенных в лемме 4.51, доказать, что (Rtf-ijgi-u Rvkfi) = £(2& - j), и {R2l-ij9l-l,R2lk9l) = й(2к ~ Л- Если Rzi-ijgi-i € V-\ Θ W-u то должно быть верным, что + Y^(R2t-ij9l-l,R2ik9l)R2lk9l, fc€Z и мы приходим к формуле (4.69). Подсказка: примените лемму 4.41(5) и 4.41(6) и следуйте рассуждениям, приводящим к формуле (4.61). 4.7. Примеры и применения Мы обсуждаем вычисление вэйвлетов на множестве Z, которое теоретически аналогично вычислению вэйвлетов на Z# в гл. 3. Мы можем исследовать примеры вэйвлет-систем в Ζ в том же направлении, в каком мы рассматривали примеры для Ζ#. В частности, мы обсуждаем вэйвлеты Хаара и вэйвлеты Добеши D6 на Ζ. Напомним процедуру в теореме 4.53. Мы начинаем с u^vi G £l(Z) для 1 ^ Ι ^ ρ таких, что матрицы системы Αι(θ) в формуле (4.72) унитарны при всех Θ. Положим /i = ui, /2 = U2 и определим ft,gt по индукции для I = 2,3,...,ρ равенствами (4.73). Определим ψ-jjz и ф-Рук для keZnl^j^p равенствами (4.78) и (4.79). Тогда множество 5, определенное формулой (4.80), есть р-этапная вэйвлет- система в £2(Z). Мы уже замечали (после доказательства теоремы 4.46), что вэйвлет-коэффициенты первого этапа и восстановление вектора по вэйвлет-коэффициентам первого этапа могут быть вычислены с помощью набора фильтров, такого же расположения как на рис. 14 (с s = и и t = υ). Единственное различие состоит в том, что векторы и свертки определены в £2(Ζ). Таким же образом р-этапное преобразование и его обращение могут быть вычислены, как в нерекурсивной структуре набора фильтров на рис. 20. Чтобы увидеть это, заметим, что (ζ, ф.ик) = {ζ, Л**/,) = ζ * /г(2гАг) = Ό\ζ * /,)(fc)
4.7. Примеры и применения 323 по лемме 4.41(6) и определению D1. Аналогично, (z,4>-Ptk)=Dr(z*gp)(k). Эти соотношения показывают, что р-этапные вэйвлет-коэффициенты ζ могут быть вычислены с помощью фазы анализа в левой части рис. 20. Чтобы видеть, что ζ может быть восстановлен с использованием фазы синтеза в правой части рис. 20, заметим (упр. 4.7.1), что /, * Ul(Dl(z * /|)) = J>, </>-*,*}</>-*,* (4.82) fc€Z и аналогично др * U*>(DP(z * др)) = J>, φ.ρ>Η)φ.ρ>Η. (4.83) fc€Z Вэйвлет-коэффициенты могут быть также вычислены рекурсивно, как на рис. 16-19. Положим хг = D(z * щ) € £2(Z) и уг = D(2 * δι) G £2(Z). Затем определим #2,2/2? · · · > #р> ур 6 ^2(Z) по индукции равенствами а* = 0(lft-i * δ/) и Ift = 0(lft-i*fii), аналогично определению 3.16. Тогда (упр. 4.7.2) Xl = Dl(z*fi) (4.84) И = ^*а), (4.85) как в лемме 3.21. Учитывая эти факты, можно видеть, что фаза анализа нерекурсивной структуры на рис. 20 (теперь рассматриваемая на множестве Z, а не на Ζ ν) эквивалентна рекурсивной структуре, указанной на рис. 17 для ρ = 3 и на рис. 18 для случая произвольного этапа. Аналогично, фаза синтеза может быть вычислена с помощью рекурсивной структуры, произвольный этап которой представлен на рис. 19. Доказательство этого — аналог доказательства леммы 3.22 для множества Ζ. В принципе такие свертки на Ζ используют бесконечные суммы и поэтому кажутся на практике не вычисляемыми. Однако, как мы увидим позже на примерах, если вектор ζ имеет только конечное число ненулевых компонент и если каждый элемент вэйвлет-базиса равняется нулю всюду, за исключением конечного числа точек, то свертка может быть вычислена за конечное число действий. Поэтому мы сосредоточим наше внимание на примерах вэйвлет-базисов на Ζ, которые обладают тем свойством, что каждый базисный элемент имеет только конечное число ненулевых компонент. Простейший пример — это система Хаара.
324 Глава 4. Вэйвлеты на множестве Ζ Пример 4.56 (вэйвлеты Хаара на Ζ). Определим и, υ € £1{Ζ) равенствами /1/\/2, еслип = 0илип = 1, "(и) = |0 (4·86) в других точках и {1/\/2, если η = О, -1/\/2, если п = 1, (4.87) О в других точках. Можно проверить (упр. 4.7.3), что пара и,υ генерирует вэйвлет- систему первого этапа в £2(Ζ). Для каждого I 6 N пусть щ = uhvi = v. Определим fi и <д по индукции равенствами (4.73). Можно показать (упр. 4.7.4(1)), что , . /2"</2, 0 ^ η ^ 21 - 1, Λ (и) = |0 (4.88) О в других точках (2~1/2, О^п^"1-!, Мп) = < -2"</2, tf-^n^tf-l, (4.89) О в других точках. (Сравните с упр. 3.3.1.) Тогда по теореме 4.53 множество В, определенное равенством (4.71), есть р-этапная вэйвлет-система для ί2(Ζ). Для j € N определим V-j формулой (4.64). Это пространство имеет простую характеристику, описанную в упр. 4.7.4(2), которое показывает, что Π V-j = {0}. По теореме 4.55 множество В, определенное формулой (4.76), есть однородная вэйвлет-система в £2(Z), называемая системой Хаара для £2(Z). Для j ^ 1 определим P-j — оператор ортогональной проекции на V-j, как в определении 4.13, равенством P4(z) = J>, <p-jJk)<p-ilk. (4.90) fc€Z Для системы Хаара проекция P-j(z) вектора ζ на V-j имеет естественную интерпретацию. Для каждого η € Ζ мы можем найти к 6 Ζ такое, что Vk ^ η < 2J(fc+l) (потому что для фиксированного j эти интервалы по η не пересекаются, и их сумма покрывает Ζ). Тогда (упр. 4.7.4(3)) P-jz(n) = 2~j(z(2jk) + z(2jk + 1) + ... + z{2jk + 2j - 1)). (4.91) Другими словами, P-j заменяет ζ в каждом блоке {η 6 Ζ: 2^ к ^ ^ η < 2J(fc + 1)} его средним значением по этому блоку.
4.7. Примеры и применения 325 Определим также частичные суммы Q-j(z) вэйвлет-разложения вектора ζ равенством Q4(z) = j2M-i*)i>-i*· (4·92) fc€Z Из упр. 4.7.5 следует, что P-j+i(z) = P-j(z) + Q-j(z) (4.93) для всех j^ 1, где при j = О мы полагаем Po(z) = г. Таким образом, как и в случае Ζ#, мы интерпретируем Q_j(z) как детализацию вектора ζ, необходимую для перехода от — j-ro уровня аппроксимации P-j{z) к (—j + 1)-му уровню аппроксимации P-j+i(z). Пример вэйвлет-преобразования Хаара изображен на рис. 37 и 38. Рисунок 37, а дает график вектора , Γβίη(πη/19), если 0 ^ η ^ 38, ζ(η) = < (О в других точках. Конечно, этот «оконный» график конечен, но имейте в виду, что вектор ζ определен на множестве Ζ и равен нулю для всех целых, меньших чем 0 или больших чем 38. Вэйвлет-коэффициенты Хаара (z^-j^) для j = 1, 2, 3, 4 приводятся на рис. 37,6, в, г, д соответственно. Коэффициенты (z, <£-4,fc) приводятся на рис. 37, е. Как обычно, мы изобразили значение {ζ,ψ-j^) в точке 2Jfc, в окрестности которой сосредоточен ip-j^- Аналогично, {z, <p-4,k) Д&н в точке 24fc. В этом случае кажется (и так есть на самом деле), что вэйвлет- коэффициенты {ζ,ψ-j^) отличны от нуля только при значениях 2Jfc таких, что 0 ^ 2Jfc ^ 36 (аналогично для {z,<p-4,k))- Однако, как позже будет более очевидно с вэйвлетами Добеши D6, не обязательно верно, что ненулевые вэйвлет-коэффициенты заключены в области, где ζ отличен от нуля (строго говоря, это и здесь неверно, потому что ζ(0) = О, но вэйвлет-коэффициенты, соответствующие точке 0, не равны нулю). Как мы узнаем из рис. 37, что нет ненулевых вэйвлет-коэффициентов, соответствующих точкам вне изображенной области? Упражнение 4.7.6 дает очень полезный общий результат, характеризующий максимальную ненулевую область для свертки двух векторов в терминах их ненулевых областей. Заметим, что Из равенства (4.89) fj(n) отлично от нуля только при —2J+1 ^ η ^ 0. По определению ζ отлично от нуля только при 1 < η < 37. Следовательно,
326 Глава 4. Вэйвлеты на множестве Ζ -10 0 10 20 30 40 50 а) б) ~Т I I I I Г 10 20 30 Д) 40 50 3 2 1 0 -1 -2 -3 10 1 ι 0 1 1 10 1 1 ■ - ι ι 20 30 е) 1 1 40 г: - - - - г 50 Рис. 37. α) ζ, б) (z,V>-i,fc)> β) (ζ,ψ-2*), г) {ζ,ψ..^), д) (ζ,ψ-4^), e) {ζ,ψ-^k)
4.7. Примеры и применения 327 1 0.8 0.6 0.4 0.2 0 -0.2 -0.4 -0.6 -0.8 -1 - - - ; -10 1 0.8 0.6 0.4 0.2 0 -0.2 -0.4 -0.6 -0.8 -1 -: ..„. L0 1 0.8 0.6 0.4 0.2 0. 0.2 0.4 0.6 0.8 -1 - —— 10 ι Ι Ι ι ι ям· Г " ...г ■: ««. '- г I I 1 | 1 0 10 20 30 40 а) 1 1 1 1 1 ■!■■ "Ч" ..„*■ ».. *·■»■ I I I I 1 0 10 20 30 40 ») 1 1 1 1 1 .*■■■·«■■■ -^ ..««■. ·""" ~У~ 0 10 20 30 40 А) —г 50 1 - - - 50 1 _ - - -\ 1 50 1 0.8 0.6 0.4 0.2 0 -0.2 -0.4 -0.6 -0.8 -1 - 1 [■ L 10 1 0.8 0.6 0.4 0.2 0 -0.2 -0.4 -0.6 -0.8 -1 -1 «...-. 0 1 0.8 0.6 0.4 0.2 0 02 04 06 08 -1 - ■ • - 10 -ι 1 1 \ 1 г - ··""" "·■■«" ■■■■■■■■.■■■ '....,>,.,..,.· ■«■■ ■··■■■■" "■■■ - I I I I I 1 0 10 20 30 40 50 б) I I I 1 1 II -J J J '" аа ■■ "" "" „ ■■ ■" Ί 1 J J 1 I 1 1 1 1 1 0 10 20 30 40 50 r) 1 1 1 1 1 1 * . —~ — ' . ·. .· ι ι ι ι ι ι 0 10 20 30 40 50 β) Рис. 38. α) Ρ-ι(ζ), 6) Q-i(z), β) P-2(z), г) Q_2(z), <?) P_3(«), e) P-4{z)
328 Глава 4. Вэйвлеты на множестве Ъ согласно упр. 4.7.6, свертка z*fj(n) может быть отлична от нуля только для — 1? + 2 ^ η ^ 37. Поэтому {ζ,ψ-j^) должно быть отлично от нуля, только если —2J + 2 ^ 2Jfc ^ 37. Наименьшее fc, при котором это может случиться, это 0, и самое большое —это 36 (так как j^ 1). (Анализ (г, <£-4,fc) TOT же самый, что и анализ {ζ, ψ-^ΐς)-) Поэтому мы можем заранее определить максимальную область, в которой нам нужно нарисовать вэйвлет-коэффициенты. Если мы посчитаем, то мы получим самое большее 41 вэйвлет-коэффициент, которые должны быть отличны от нуля (19, 10, 5, 3 и 3 соответственно для рис. 37, б, в, г, д и е), хотя некоторые величины между ними могут быть равны 0. Заметим, что в точности это не то же самое, что число ненулевых значений ζ, но близкое к нему. Чтобы понять графики на рис. 37, напомним, что вэйвлет-коэффициенты (ζ, φ-j^k) измеряют «энергию» в ζ, приходящуюся на масштаб 2J около точки 2·^ к. Поэтому тот факт, что вэйвлет-коэффициенты при наименьшем масштабе (j = 1) на рис. 37, б относительно малы, показывает, что мелкомасштабная вариация ζ мала. Это отражает гладкость и медленное изменение ζ. Если мы увеличиваем j, характерные вэйвлет- коэффициенты становятся больше, что указывает на существенную крупномасштабную вариацию ζ. Рисунок 38, α, β, <?, е показывают проекции P-j(z) для j = 1, 2, 3, 4 соответственно. Эти проекционные векторы нарисованы с помощью «крестиков» (х), а исходный вектор ζ изображен точками. Эти рисунки выявляют то свойство, что P-j(z) получается заменой ζ на блоки {п: У? к ^ η < 1?{к + 1)} длиной Ϊ? со средними значениями ζ в этих блоках. Поэтому мы можем рассматривать о P-j{z) как вектор ζ, усредненный с масштабом Ί? или с данным разрешением 2К Так как ζ = P-i(z) + Q-i(z) (согласно равенству (4.93)), то Q-i(z) есть разность между ζ и усреднением по двум точкам Ρ-ι(ζ). Поэтому вектор Q_i(z), изображенный на рис. 38,5, содержит мелкомасштабную информацию, необходимую для перехода от ζ, видимого с разрешением 2 (Ρ-ι(ζ) на рис. 38, α), κ ζ с разрешением 1 (само ζ). Аналогично, так как P-i(z) = P-2{z) + Q-2(z), то вектор Q-2(z) (изображенный на рис. 38, г) содержит информацию, требуемую для улучшения ζ с разрешением 4 (Ρ~2(ζ) на рис. 38, β до ζ с разрешением 2 (Р_2(г)). Пример 4.57 (вэйвлеты Добеши D6 на Ζ). В примере 3.35 мы построили векторы только с шестью ненулевыми компонентами, которые порождают вэйвлет-систему первого этапа в пространстве £2(Ζν) для некоторого N. Фактически с помощью такого же построения мы можем получить векторы η, υ € ί2(Ζ) только с шестью ненулевыми компо-
4.7. Примеры и применения 329 нентами, которые порождают вэйвлет-систему первого этапа в Используя их как повторные фильтры, мы можем получить р-этапную вэйвлет-систему в ί2(Ζ) для любого ρ € N. Мы называем их вэйвлетами Добеши D6 в ί2(Ζ). По теоремам 4.46, 4.53 и лемме 4.47 наша главная задача состоит в нахождении вектора и Ε £2(Z) только с шестью ненулевыми компонентами такого, что {R2ku}k€Z есть ортонормированное множество в ί2(Ζ). Это делается теми же методами, что и в примере 3.35, поэтому мы опускаем некоторые вычисления, которые фактически те же самые (упр. 4.7.7). Основная разница состоит в том, что мы работаем со всеми 0 € [0, π) вместо дискретного множества значений πη/Ν при О ^ η < Ν/2. Имеется также несколько небольших различий, вытекающих из того факта, что DFT определено со знаком минус в комплексной экспоненте, в то время как преобразование Фурье на Ζ определено со знаком плюс (оба определения произвольны, но традиционны). Начнем с тождества (COs2©+Sin2(D) =1 длявсех θ· (4·94) Положим т=-10 (*)+w (|) * (I)+ю«* (i) sm« (i). Из элементарных тригонометрических тождеств следует, что Ь(в + π) = lOcos4 g) sin6 Q + 5cos2 (|) sin* (i) + sin10 Q . Раскладывая равенство (4.94), мы видим, что Ь(0) + 6(0 + тг) = 1 для всех 0. (4.95) Выберем и € ί2(Ζ) только с шестью ненулевыми компонентами так, что 0 |й(0)|2 = 2Ь(0) для всех 0. (4.96) Для этого запишем ад-«*(|)[(«^(ί)-,Λδ*» (£))* + Определим u(0) = v^es*/2cos3Q[cos2(^) - N/lOsin2 Q - iy/b + 2VT6co8 Q sin (|)
330 Глава 4. Вэйвлеты на множестве Ъ Следовательно, равенство (4.96) выполняется. Как и в упр. 3.35, удобно положить α = 1-νΊθ, 6=1 + νΊθ, и с=у5 + 2\/10. Тогда после преобразований с применением формулы для двойного угла и формулы Эйлера получаем ΰ(θ) = vW/2 (е*/2+2е-*/2)3 [§ + \ (е* + е") + £ (е-^ - е»)] = = Δ (ew+1f[b + с + 2ae* + (b - с)е™} = V и(*)е** fc=0 для (tt(0),tt(l),tt(2),u(3),tt(4),tt(5)) = (4.97) = ^| (b + с, 2α + ЗЬ + Зс, 6α + 4Ь + 2с, (4.98) 6α + 46 - 2с, 2α + 36 - Зс, 6 - с). (4.99) Определим и € ί2(Ζ), взяв u(n) такими, как в формулах (4.97)-(4.99), для 0 ^ η ^ 5 и u(n) = 0 для всех других η 6 N. Из равенств (4.95) и (4.96) следует, что |й(0)|2 + \ύ(θ + тг)|2 = 2 для всех 0. По лемме 4.42(1) {R2ku}k€Z — ортонормированное множество в ί2(Ζ). Определим υ 6 £2(Ζ), положив υ(η) = (—l)n_1u(l — п) для всех η € N. (Это совпадает с равенством (4.56), потому что в этом случае и — вещественный вектор.) Более определенно: „(_4) = -п(5), г,(-3) = ti(4), v(-2) = -ц(3), v(_l) = u(2), v(0) = -u(l), v(l) = u(0) и г;(п) = 0 для всех других η 6 N. По лемме 4.47 векторы и и υ порождают вэйвлет-систему первого этапа в £2(Ζ). Пусть задано ρ 6 N. Пусть щ = и и ν\ = г; для 1 ^ ί ^ р. Положим /ι = vi и pi = in. Определим /2,<й,·.· »/р»0р по индукции равенствами (4.73). Положим ^_j,* = R&kfj и ^-j,fc = &2эк9з Для l^j^pnfcEZ. Определим Б формулой (4.80). По теореме 4.53 множество В есть р-этапная вэйвлет-система в ί2(Ζ). Мы называем В р-этапной вэйвлеш-сисшемой D6 в £2(Ζ). Заметим, что все компоненты векторов и и υ вещественные, это упрощает вычисления. Остановимся на главном моменте этого построения. Используя тригонометрические формулы для половинного угла (cos2 (θ/2) = = (1 + cos0)/2 и sin2(0/2) = (1 — cos0)/2), мы можем переписать 6(0)
4.7. Примеры и применения 331 как многочлен переменной cos0. Используя формулу Эйлера, можно затем записать Ь как тригонометрический многочлен. Не очевидно, что тригонометрический многочлен 26(0) имеет «модулярный квадратный корень», т. е. функцию и, удовлетворяющую равенству |й(0)|2 = 26(0), которая есть также тригонометрический многочлен. Следуя Стрихарцу (1993г.), мы получили этот пример вручную (в результате конкретных вычислений). Однако существует общий результат Фейера и Рисса (иногда называемый леммой Рисса), полученный в начале 1900-х годов, который устанавливает, что любой неотрицательный тригонометрический многочлен имеет модулярный квадратный корень, который также является тригонометрическим многочленом. В добавление к вэйвлет-системе D6 Добеши построила для каждого N Ε N аналогичные вэйвлет-системы с η и г;, имеющие 2Ν ненулевых компонент. Случай N = 2 дает систему Хаара (упр. 4.7.8). На рис. 39 показаны 4-уровневые D6 вэйвлет-коэффициенты вектора / ч fsin ( \г ) ' если ° ^ п ^ 511> ζ(η) = < \ 64 / 1о в других точках. Это — продолжение нулем вектора в £2(Ζ#), рассмотренного на рис. 32. Рисунок 39, а дает вектор ζ, суженный на интервал 0 ^ η ^ 511. На рис. 39, б, в, г, <? приведены вэйвлет-коэффициенты {ζ,ψ-j^}, соответственно для j = 1, 2, 3, 4, где (ζ, φ-j^k) изображены в точках 2-7fc, как на рис. 37, и аналогично на рис. 39, е приводится (ζ, ψ-^k)- Заметим, что на рис. 39, б большие коэффициенты встречаются в правой части графика, где ζ осциллирует более быстро. Это отражает тот факт, что вэйвлет- коэффициенты (ζ,ψ-ι^) измеряют мелкомасштабное (высокочастотное, или наиболее быстро осциллирующее) поведение ζ. При возрастании j вэйвлет-коэффициенты схватывают крупномасштабное (медленнее осциллирующее) поведение ζ так, что на рис. 39, е наибольшие значения находятся около нуля и в области вправо от нуля. Эти графики демонстрируют также то явление, что несколько вэйвлет-коэффициентов, соответствующих точкам вне исходного интервала 0 ^ η ^ 511, могут быть отличны от нуля; наиболее ясно это видно на рис. 39, е. Частичные восстановления Р_4(г), Р_з(г), Ρ-2(ζ) и Ρ-ι{ζ) изображены на рис. 40, а, 5, в, г, соответственно. Эти графики демонстрируют то же явление, что и на рис. 39: наиболее медленно осциллирующие области ζ схватываются Р_4(г), частью вэйв лет-разложения, соответствующего членам {<£-4,fc}fcez· При включении членов, соответствующих </>-4,fc (в Р-з(*)), затем </>-з,* (в P-2(z)), ф-2,к (в P-i(z)) и, наконец, ψ-ifi (в Pq(z)) мы погружаемся в более быстрые осцилляции и мелкие
332 Глава 4. Вэйвлеты на множестве Ъ -т 1 1 1 1 г- 50 100 150 200 250 300 350 400 450 500 I . I I I I -J I I I, , I, ΙΟ 50 100 150 200 250 300 350 400 450 500 г) 1 0.8 0.6 0.4 0.2 О -0.2 -0.4 -0.6 -0.8 -1 τ 1 1—ι 1—ι—ι—г-^т—г ^^^A^AAAAAAWAVAVAV^VH J I I I I I I I I I L· 0 50 100 150 200 250 300 350 400 450 500 100 200 300 400 500 6) Λ) 1 0.8 0.6 0.4 0.2 0 -0.2 -0.4 -0.6 -0.8 -1 Рис. 39. ГГ mfm, I 0 a) —ι—ι—ι—ι—ι—ι—ι—ι—ι—г" .. . · ·»".·'.'·* ' ' ' *** VVV;'Л. . ·.;.·."" ι ι ι ι ι ι ι ι ι t 50 100 150 200 250 300 350 400 450 500 Z, 6) (Ζ,φ-uk), β) (Ζ,φ-2Λ 4 3 2f 1 Oh ~4 -2|- -3 -4 -ι 1 1 1 1 1— _J I I I I L· 0 100 200 300 400 500 e)
4.7. Примеры и применения 333 О 100 200 300 400 500 О 100 200 300 400 500 а) б) -ι 1 1 γ- 0 100 200 300 400 500 О 100 200 300 400 500 г) О 50 100 150 200 250 300 350 400 450 500 0 100 200 300 400 500 л) е) Рис. 40. о) Ρ-4(ζ), б) Ρ-3(ζ), в) Ρ-2(ζ), г) Ρ-ι(ζ), д) P0(z), е) E=z-P0(z)
334 Глава 4. Вэйвлеты на множестве Ζ детали вектора ζ. Конечно, Ро(^) должно совпадать с ζ, что видно из рис. 40, д. Чтобы это продемонстрировать, мы изобразили ζ — Pq(z) на рис. 40, е. Заметим, что шкала изменения функции умножается здесь на 10~14. Эта малая погрешность проистекает от погрешности округления MATLAB'a — программы, используемой для вычислений и построения графиков. На рис. 41, α мы нарисовали вектор 0, если η < 0, 1 — п/64, если 0 ^ η ^ 63, ζ(η) = I 0, если 64 < η < 255, 5 - η/64, если 256 ^ η ^ 319, [θ, если η > 320. Это — продолжение нулем вектора в £2(Ζ#), вэйвлет-коэффициенты D6 которого были изображены на рис. 28. Единственная разница состоит в том, что значения, которые появляются около правого перепада на рис. 28, проявляются слабо слева от нуля на рис. 41 (это проще всего видеть на рис. 28, е и рис. 41, е). Заметим, что все вэйвлет-коэффициенты на рис. 41, б-е, соответствующие точкам около правого перепада графика, это 0, потому что эти вэйвлеты не имеют ненулевых значений в точках, где ζ отличен от нуля. Этого не было на рис. 28 по причине периодичности векторов в £2(Ζν). Вектор <->={: , ч Г 8ίη(πη/128), если 0 ^ η ^ 511, ζ(η) = < ,0 в других точках изображен на рис. 42, а. Его 4-уровневые вэйвлет-коэффициенты D6 изображены на рис. 42, б-е. Для вектора ζ с такой медленной осцилляцией значения существенной величины —это только значе ния на рис. 42, е, соответствующие наибольшей шкале изменения (заметим, что в этих графиках шкала изменения варьируется в широких пределах). Одна любопытная деталь на рис. 42, б-д— это относительно большая величина значений около 0 и 511 (по сравнению со значениями в середине). Это проистекает из того факта, что лежащая в основе вектора ζ функция f(x) на R, определенная равенством f(x) = sin(7nr/128) для 0 ^ χ ^ 512 и f(x) = 0 в других точках, не дифференцируема при χ = 0 или χ = 512. Этот дефект гладкости требует для синтеза относительно больших высокочастотных членов.
4.7. Примеры и применения 335 _1 I I I I L О 100 200 300 400 500 О 100 200 300 400 500 в) г) 100 200 300 400 500 Д) е) Рис. 41. α) ζ, б) {г,ф-1ук), в) {z,ip-2,k), ή {z,ip-3,k), д) {^,Ф-4,к), е) (ζ,ν?_4>*>
336 Глава 4. Вэйвлеты на множестве Ζ О 50 100 150 200 250 300 350 400 450 500 а) 0.01 0.008 0.006 0.004 0.002 О -0.002 -0.004 -0.006 -0.008 -0.01 χ 10 -3 О 100 200 300 400 500 г) —ι 1 1—: г- 100 200 300 400 500 О 100 200 300 400 500 б) л) 8 6 4 2 о -2 -4 -6 -8 - - —г- . j 0 1— _ι 100 1 1— 1 1 200 300 в) 1 , 400 г" ·- - - ·· 500 5 4 3 2 1 0 -1 -2 -3 -4 5 - —ι— • 0 1— . I 100 1 1— ι ι 200 300 в) 1— '. 1 400 г~ - - - * I 500 Рис. 42. α) ζ, 6) (2,^-1,*), в) (*,^_2,*), г) (г,^-3>*>, <?) <г,^_4,*), е) (z,ip-4,k)
Упражнения 337 Упражнения 4.7. L Доказать равенство (4.82). Подсказка: рассмотреть равенства (4.54) и (4.55) для случая 1 = 1. 4.7.2. Предположим, что z,w € £2(Z). 1) Доказать, что D(z) * w = D(z * U(w)) И U(z)*U{w) = U{z*w). Подсказка: рассмотрите лемму 3.18 для случая Ζ#. 2) Пусть I — положительное целое. Доказать, что Dl(z)*w = Dl(z*Ul(w)) и Ul(z * w) = Ul{z) * [/'(ζ) * U\w). 3) Доказать равенства (4.84) и (4.85). 4.7.3. Определим u,v G ^(z) формулами (4.86) и (4.87). 1) Доказать непосредственно (не используя теорему 4.46), что {R>2kv}k€Z U {i^fci/Hez есть полное ортонормированное множество (и, следовательно, вэйвлет-система первого этапа) в ί2(Ζ). Подсказка: чтобы доказать полноту, докажите, что для ζ е i2{Z) z(2m) = — ((*, R2mu) + {ζ, R2mv)) и ι z(2m + 1) = — ((ζ, R2mu) - (ζ, R2mv)). 2) Показать непосредственно, что матрицы системы Α(θ) (определение 4.45) унитарны при всех Θ. Это дает другое доказательство результата в п. 1. 3) Пусть для ζ е ί2{Ζ) Ρ-ι(ζ) = Y^(z,R2ku)R2kU. Доказать, что для т € Ζ ту ( \/о \ о/ \/о . 1\ z{2m) + z(2m + 1) P-i(z)(2m) = P(z)(2m + 1) = ——-—γ . Тогда Ρ-ι(ζ) заменяет z(2m) и z(2m + 1) их средним значением. 4.7.4. Определим щ υ € il{Z) формулами (4.86) и (4.87). Для каждого I € N пусть щ = и и vi = v. Определим fi и <# по индукции равенствами (4.73). 1) Доказать формулы (4.88) и (4.89).
338 Глава 4. Вэйвлеты на множестве Ζ 2) Определим V-i для I 6 N, как в формуле (4.64). Показать, что ζ 6 V-i тогда и только тогда, когда ζ 6 £2(Ζ) и ζ — постоянный вектор на каждом блоке к21, к21 + 1, к21 + 2,..., к21 + 21 - 1 для к 6 Ζ. Вывести, что р| VL/ = {0}. 3) Пусть P_j — ортогональная проекция на VI j, как в равенстве (4.90). Для ζ € Ρ (Ζ) и η G Z такого, что 2^'fc ^ η < < 2J(fc + 1) для некоторого к 6 Z, доказать равенство (4.91). 4.7.5. Доказать равенство (4.93). Подсказка: рассмотрите доказательство равенства (3.88). 4.7.6. Пусть а, 6, с, d 6 Ζ, α < Ь и с < d. Предположим, что г, w 6 £2(Z) удовлетворяют равенствам z(n) = 0, если η < α или η > Ь и w(n) = 0, если η < с или п> d. 1) Доказать, что ζ * w(n) = 0, если η < a + c или п> b + d. 2) Пусть z(n) = 1 для о^п^ЬиО-в других точках, и пусть w(n) = 1 для с^п^йиО-в других точках. Доказать, что ζ * ti;(n) т^ 0 для a + c^n^b + d. Поэтому результат в п. 1 не может быть улучшен. 4.7.7. Проверить утверждения в примере 4.57, касающиеся вычисления вэйвлетов Добеши и включающие равенство (4.95) и формулы (4.97)-(4.99). Подсказка: рассмотрите пример 3.35. 4.7.8. Начав с тождества cos2 (θ/2) + sin2 (θ/2) = 1 и следуя процедуре в примере 4.57, вывести вэйвлеты Хаара. 4.7.9. Начав с тождества (cos2(0/2) + sin2(0/2))3 = l и действуя, как в примере 4.57, построить векторы η, υ Ε ^(Z), каждый из которых имеет только четыре ненулевые компоненты и генерирует вэйвлет-базис первого этапа в ^2(Ζ). Один из ответов: (u(0), u(l), u(2), u(3)) = ^ (1 + V3,3 + V3,3 - V5,1 - V5), о и(п) = 0 для всех других η 6 Ν, (t;(-2),t;(-l),t;(0),t;(l)) = ^(-l + V3,3-V3,-3-^/5,l + V3)> и υ(η) = 0 для других η € N. Эти векторы порождают вэйвлеты Добеши D4 в ί2{Έ).
Глава 5 Вэйвлеты на множестве 5.1. Пространство L2(R) и функции приближенно тождественного элемента свертки Термин «вэйвлеты» обычно относится к вэйвлетам на множестве R, хотя в предыдущих главах мы рассматривали его в другом контексте. Примеры вэйвлетов на R будут построены в этой главе, первые два раздела которой посвящены основам анализа Фурье на множестве R. Рассмотрим комплексные функции, определенные на R. Как можно было ожидать из гл. 4, чтобы сформулировать нужное нам понятие ортогональности, следует ограничиться функциями, которые не слишком «велики». Особое внимание уделим рассмотрению функций /, которые интегрируемы с квадратом, т. е. таких, что 1' \f(x)fdx < +оо. R Как и в случае L2([—π,π)) в гл.4, мы используем интеграл Лебега и отождествляем две функции, которые совпадают п. в. (почти всюду). (Так же, как и в гл. 4, читатели, не знакомые с этими терминами, могут их игнорировать, принимая на веру несколько следствий из этой теории.) Формально L2(R) = j/:R->C: [ \f(x)\2dx < +oo|. ш При этом L2(R) есть векторное пространство с операциями поточечного сложения и умножения функций на скаляры (упр. 5.1.1(1)). Для /,# G L2(R) определим </,<?} =|/(*Ш^. (5.1) R Как следует из упр. 5.1.1(2), (·, ·) есть скалярное произведение в L2(R). Применяя определение 1.90 и упр. 1.6.5, получим, что L2(R) есть нормированное пространство с нормой = (||/(Ж)|2^) , (5.2) ш
340 Глава 5. Вэйвлеты на множестве R называемой 1?-нормой. Из неравенства Коши—Шварца (лемма 1.91) следует неравенство ч 1/2 /л \ 1/2 Ε Ε для /,<? € L2(R). Применяя это неравенство с / и д, замененными на |j/(*M*)d*| < Q|/(aO|2cte) (||5(x)|2^ Ε Ε L2(R). Применяя это нерав< |/| и \д\ соответственно, получим, что J \f(x)g(x)\dx < (J \f(x)\2dx^j (j \g(x)\2dx) . (5.3) Ε ЕЕ Также из следствия 1.92 имеем неравенство треугольника (j\f(x)+g(x)\2dx^ <Q|/(z)|2<te) +(j\g(x)\2dx^ . (5.4) Ε ЕЕ Зададим сходимость в пространстве L2(R) в соответствии с определениями в разд. 4.2 для обобщенного пространства со скалярным произведением. А именно предположим, что {/n}n€N есть последовательность функций в L2(R) и / Ε L2(R). Мы говорим, что {/n}n€N сходится к f β L2(R), если для любого ε > О существует N € N такое, что ||/п — /|| < ε для всех η > N. В соответствии с упр. 4.2.1, это эквивалентно тому, что ||/п — /|| —► 0 при η —► +оо. Мы говорим, что {/η}η€Ν есть последовательность Коши, если для любого ε > О существует TV такое, что ||/п — /т|| < ε для всех п,т > N. Примем без доказательства следующий довольно глубокий факт (вытекающий из свойств интеграла Лебега): L2(R)—полное пространство; это означает, что любая последовательность Коши в L2(R) сходится в L2(R). Поэтому в терминологии разд. 4.2, L2(R) есть гильбертово пространство. В частности, здесь применимы все результаты о полных ортонормированных множествах из разд. 4.2. Один пример полного ортонормированного множества в L2(R) дается в упр. 5.1.2. В этой главе мы строим вэйвлет-системы, которые являются в L2(R) полными ортонормированными множествами специального вида. Как и в гл. 4, мы рассматриваем класс интегрируемых функций, т. е. такие функции, интеграл которых сходится абсолютно. Определение 5.1. Пусть L1(R) = |/:R-C: [ \f(x)\dx < +оо|.
5.1. Пространство L2(R) 341 Для / € L1(R) величину ||/||i = ]|/(*)kfa R называют Ll-нормой. Если / Ε Ь1(М), говорят, что / интегрируема. Замечания, соответствующие замечаниям, сделанным после определения 4.15, применяются и для множества R с тем важным исключением, что не существует соотношения вложения между L1(R) и L2(R) (упр. 5.1.3). Лемма 5.2. Если f € i1(R), то ^f(x)dx^j\f(x)\dx = \\f\\1. (5.5) R R Доказательство. Упражнение 5.1.4. ■ Пространство L*(R) с нормой || · ||ι есть нормированное векторное пространство (как в упр. 1.6.5), но не пространство со скалярным произведением (упр. 5.1.5). Отметим, что мы еще используем обозначение || · || для нормы, определенной в равенстве (5.2). Рассмотрим теперь свертку функций, заданных на множестве R. Определение 5.3. Пусть f,g: R —► С и J \f(x-y)g(y)\dy<oo (5.6) R для п. в. ж 6 R. Для χ такого, что выполняется неравенство (5.6), определим f*9(x)=lf(x-vMv)dy. (5.7) R Положим / * д(х) = 0 при тех ж, для которых неравенство (5.6) ложно. Мы называем / * д сверткой функций / и д. В случае предположений определения 5.3 неравенство (5.6) нарушается только на множестве меры нуль, и на этом множестве мы можем задать свертку функций / * д произвольным образом. Мы выбираем величину 0 для такого определения. Легко видеть (совершая замену переменных t = χ — у в равенстве (5.7)), что операция свертки коммутативна: / * 9 = 9 * / (5.8) там, где определена левая, а следовательно, и правая части равенства (5.8).
342 Глава 5. Вэйвлеты на множестве Ε Некоторые условия, при которых определена свертка функций / и д, приводятся ниже. Лемма 5.4. 1) Пусть f,g G L2(R). Тогда неравенство (5.6) выполняется для всех χ G R. В этом случае f * g ограничена и 1/*^)|<||/|||Ы| для всех xeR. 2) Пусть f,g G L1(R). Тогда неравенство (5.6) выполняется для п. в. χ £ Ж. В этом случае f * g G LX(R) и ΙΙ/*ιΗΙι<ΙΙ/ΙΙι№. 3) Пусть f G L2(R) и g Ε LX(R). Тогда неравенство (5.6) выполняется для п. в. χ Ε Ж. В этом случае f * g G L2(R) n 11/*<?К Доказательство. Для доказательства п. 1 заметим, что из неравенства (5.3) 1/(* - y)g{y)\dy < Q ι пх - y)\2dyy Q ь(у)|2^у7' = R /г Ν1/»/Г X1/2 Ε Ε для всех х G R; это получается заменой переменных в интеграле, содержащем f(x—y). Поэтому неравенство (5.6) выполняется для всех х. Так как . \ с I/ * я(х)\ = J f(x - y)g(y)dy\ < J I/O* - y)Mv)\dy Ε Ε из неравенства (5.5), то из этого же неравенства мы получаем, что 1/*<К*)К11/1НЫ1· Чтобы доказать п. 2, заметим, что из (5.5) ll/*»lli = Jl/*^)I^^JJl/(«-y)ll»(»)|rf!^ = Ε ЕЕ = \\g(y)\\\f(x-y)\dxdy = R R = ll/lli}b(y)|dy = ll/lliNlb Ε где равенство, связывающее два последних члена, следует из замены переменных t = χ — у во внутреннем интеграле и того, что изменение порядка интегрирования оправдано теоремой анализа, потому что подынтегральные функции все положительны. Это показывает, что неравен-
5.1. Пространство L2{Ж) 343 ство (5.6) выполняется, так как интеграл J \f(x — у) g(y)\dy как функция к от х, принадлежит L1(R) и поэтому должен быть конечным п. в. Мы оставляем читателю доказательство п. 3 (упр. 5.1.6). ■ Заметим, что в случае п. 1, когда f,g G £2(R), свертка / * д не обязательно принадлежит пространству L2(R) (как в случае £2(Z) в упр. 4.4.6(2)). Для доказательства см. упр. 5.2.15. Определения сопряженного отражения и сдвига аналогичны таким же определениям в гл. 3 и 4. Определение 5.5. Предположим, что /: R -> С и у G Е. Определим сдвиг Ryf: R —» С равенством Ryf(x) = f(x - у). Также определим сопряженное отражение /: R —» С равенством Эти функции обладают следующими свойствами. Лемма 5.6. Предположим, что /,# Ε L2(R) и χ,у € R. Тогда 1) (Rxf,Ryg) = (fiRy-xg). 2) (f,Ryg)=f*~g(y)· Доказательство. Упражнение 5.1.7. ■ Введем также операцию растяжения для функций в L2(R) (не такую, как в случаях £2(Zjv),^2(Z) или Ζ,2([-π,π))). Определение 5.7. Для g: R —► С и £ 6 R при £ > 0 определим функцию gt: R —► С, которая является t-растяжением функции д, равенством 5<(ж)=М?)· (5·9) Коэффициент t в равенстве (5.9) гарантирует, что Jgt(x)dx = Ε = J*<7(:r)cte; это можно показать с помощью замены переменных. R В случае £2(Ζν) и ^2(Ζ) для свертки существует тождественный элемент, т. е. такой элемент δ 6 £2{Ζν) (или, соответственно, δ Ε ^2(Z)), что δ*ζ = 2 для всех г 6 ^2(Ζ) (соответственно, £2(Ζ^)) (см. лемму 2.29 и упр. 4.4.7). Однако не существует δ 6 L2(R) такого, что δ * / = / для всех / 6 L2(R) (см. упр. 5.2.16). (Существует функционал δ, обладающий таким свойством. Он известен как дельта-функция, но не является элементом L2(R).) Взамен этого существует аналог, известный как функции приближенно тождественного элемента свертки. Определение 5.8. Предположим, что g: R —► С удовлетворяет неравенству \д{х)\ ^ /1 + м)2 длявсех xeR (5·10)
344 Глава 5. Вэйвлеты на множестве R для некоторой константы с\ > 0 и \g{x)dx = l. (5.11) R Для каждого t > 0 определим # равенством (5.9). Семейство {<7t}t>o называется функциями приближенно тождественного элемента свертки. Неравенство (5.10) есть кратчайший способ установления того факта, что g — ограниченная и убывает по крайней мере так же быстро, как константа, умноженная на 1/х2, для больших по модулю ж. Отметим, что эти два утверждения означают, что g € LX(R): применяя утверждение об ограниченности для \х\ ^ 1 и оценку об убывании для \х\ > 1, мы имеем \g(x)\dx ^ c\dx + -^ dx < +оо. R {х: |я?|<1} {х: \х\>1} Поэтому интеграл в равенстве (5.11) —абсолютно сходящийся. Во многих работах допускаются более слабые условия убывания, чем (5.10) (см. упр. 5.1.14), однако это определение достаточно для наших целей. Смысл названия {gt}t>o функциями приближенно тождественного элемента свертки становится ясным в теореме 5.11. Чтобы установить этот результат, нам потребуются некоторые предварительные рассуждения. Предположим справедливость следующей основной теоремы интегрального исчисления для интеграла Лебега: если / 6 L*(R) и F(x) = jf(t)dt для некоторого фиксированного а € R, то F есть п. в. дифференцируемая функция на Ε и F' = / п. в. (как в теореме 4.20). Следствие из этого: если / 6 £г(К), то x+h lim -^ f{t)dt = f(x) для п. в. х € R. (5.12) x—h Чтобы убедиться в этом, отметим, что x+h F(x + h) - F(x - h) _ 2h = 1 F(x + h) - F(x) 1 F(x) - F(x - h) " 2 h .2 h и учтем, что каждое разностное отношение сходится к Ff(x) при h —► 0, когда Ff(x) существует, т. е. п. в. Так как /(ж) — константа относительно x-tn x—h
5.1. Пространство L2(R) 345 переменной интегрирования t, то x+h -L J f(x)dt = f(x), x—h и равенство (5.12) может быть переписано в виде x+h ^+Th\im-fix))dt=0 ΠΒ· x—h или, с помощью замены переменных (пусть у = х — £), как h £n+ ^ J (/(я - у) - /(s))ds/ = 0 п. в. (5.13) -h из-за сокращения или, вернее, потому, что соседние по χ значения функции f(x — у) для —h<y<h очень близки в среднем к f(x) (см. упр. 5.1.8). Это приводит к следующему более сильному понятию. Определение 5.9. Пусть / 6 L1(R). Точка χ 6 R есть точка Лебега функции /, если h Дт+ ^ J \f(x - у) - /(*)|ώ/ = 0. (5.14) -h Точка непрерывности функции / есть точка Лебега /, но точка Лебега не обязательно есть точка непрерывности (упр. 5.1.9). Интегрируемая функция может не иметь ни одной точки непрерывности (например, функция, которая равна 1 в рациональных точках ж и 0 в каждой иррациональной точке). Однако следующий результат гарантирует, что почти все точки прямой —это точки Лебега интегрируемой функции /. Этот результат кажется более сильным, чем равенство (5.13), но на самом деле следует из (5.13) с помощью методов теории меры. Лемма 5.10. Пусть f 6 L1(R). Тогда почти все точки прямой R — это точка Лебега функции /. Доказательство. Упражнение 5.1.11. ■ Понятие точки Лебега функции легко распространяется на класс локально интегрируемых функций (см. упр. 5.1.10 и 5.1.12), класс более широкий, чем L1(R). Однако мы сосредоточиваем наше внимание на интегрируемых функциях, потому что этого сужения достаточно для наших следующих результатов, которые являются главной целью.
346 Глава 5. Вэйвлеты на множестве R Теорема 5.11. Пусть f 6 L1(R) u {gt}t>o — функции приближенно тождественного элемента свертки (т. е. g удовлетворяет неравен- ству (5.10) для некоторого с\ > 0 и равенству (5.11), и gt определяется соотношением (5.9)). Тогда в каждой точке Лебега χ функции f (следовательно, по лемме 5.10 в п. β. χ 6 R) Jm^gt*f(x) = f(x). (5.15) Доказательство. Предположим, что χ есть точка Лебега функции /. Пусть ε > 0. По определению точки Лебега существует Η > 0 такое, что если 0 < h ^ Я, то h ^ j№-y)-/WI^<a^. (5.16) -h Так как g 6 Ll{R) (как отмечено выше), то из упр. 5.1.13 следует, что существует достаточно малое to > 0 такое, что *^ + №)1 \ Ш\*1<1 (5.17) {у: \yfeH/to} Мы утверждаем, что \gt*f(x) — f(x)\ < ε, если 0 < t < to, что должно завершить доказательство справедливости равенства (5.15). Чтобы получить эту оценку, заметим сначала, что путем замены переменных и = y/t и использования равенства (5.11), получим J 9t(y)dy = I - g (I) dy = I g(u)du = 1. EM Ш Следовательно, /0*0 = J f(x)9t(y)dy. Ε Поэтому, используя (5.5), получаем Ε Ε \9t * /(ж) - f(x)\ = J(/(* " У) - Я*)Ыу)<*у| < Ε Ε = J |/(x-y)-/(x)||i»(y)|dy 1/(*-у)-/(*)Ыу)1^ где я -я {2/: \У\ >Н}
5.1. Пространство L2(R) 347 Сначала оценим IIt. Как следует из неравенства (5.10), |*<»НМ?)И(?Г=7· <"8> Таким образом, при \у\ ^ Η получаем \gt(y)\ ^ c\t/H2. Следовательно, I/O* - у)1Ыу)1Ф < §ί J 1/(* - у)Иу ^ {г/: 1г/1 >н} £ Я2 J !/(¥)№ = Я* Поэтому из неравенства треугольника вытекает, что Щ< < {у- \у\ C\t \f(x-y)\\9t(y)\dy + \f(x)\ >Н} {у: \у \9t(y)\dy «Ξ >Н} \g(u)\du< -, дй \\j ill + \f(x)\ J {u: \u\>H/t} если t < to. Здесь мы использовали замену переменных и = y/t, неравенство (5.17) и тот факт, что последнее выражение, содержащее ί, убывает, когда уменьшается ί. Следовательно, доказательство будет завершено, если мы покажем, что It < ε/2. Используем простую оценку ι*ωι = ΙΜ!)Ι«7· (5.19) которая следует из неравенства (5.10). Если t ^ Н, то с помощью неравенств (5.19) и (5.16) получаем я It^j \ \f(x-y)-f(x)\dy<C-]- -н 2Не < _£ < £ 24ci ^ 12 ^ 2 Если t < Η, то существует единственное неотрицательное целое число К такое, что 2К ^ H/t < 2K+1. Разобьем область интегрирования в It следующим образом: к '«-Σ \f(x-y)-f(x)\\gt(y)\dy+ k=l {у: 2-*Н<у<2-*+1Н} ί + I \f(x-y)-f(x)\\gt(y)\dy. {у: \у\<2-КН}
348 Глава 5. Вэйвлеты на множестве R В области {у : 2 кН ^ у < 2 к+1Н} соотношение (5.18) означает, что ЫУ)\ < ψ < -jyT" · Для последнего интеграла используем неравенство (5.19). Подставляя эти оценки, получим κ 7<<^Σ22* } I/O*-ν)-/(*)!<&+ fc_1 {у- |у|<2-**1Я} + 7 | I/O*-ν)-/(*)№, {у: |»|<2-^Я} где мы заменили области {у : 2~кН < у < 2-fc+1#} большими областями {у : |у| ^ 2~к+1Н}, которые не могут уменьшить соответствующие интегралы. Применим неравенство (5.16) и получим, что dt We тг* 02к0-к , ci 2Ηε κ _ h^lP2^^i2 2 +T24^2 - = rf V2fc I ε 2~KH < ε 2t2K \ ε <ε \ S = ε 6# ^ ^ 12 t 6 #6^36 2' a: Здесь мы использовали соотношение Σ 2к < 2К+1 и факты, вытекаю- k=l щие из нашего определения К : 2~KH/t < 2 и ί2*/# < 1· Эта оценка завершает доказательство. ■ Итак, свертка gt * f(x) близка к f(x) для достаточно малых £, что оправдывает название {gt}t>o — функции приближенно тождественного элемента свертки. Заметим, что нельзя добиться более чем сходимости п. в. gt * f(x) к f(x), потому что можно произвольно изменить / на множестве меры нуль, не изменяя gt * /(ж). Теорема 5.11 играет ключевую роль в обращении преобразования Фурье на R, которое рассматривается в следующем разделе. Упражнения 5.1.1. 1) Определим сложение функций в L2(M) равенством (/ + 9)(х) = f(x) + 9(х)· Определим умножение функции / 6 L2(R) на скаляр α € С равенством (ctf)(x) = af(x). Доказать, что с этими операциями L2(R) есть векторное
Упражнения 349 пространство. (Как и в упр. 4.3.1, единственное свойство в определении 1.30, которое не ясно,— это С1. Используйте упр. 1.6.3(1) для проверки С1.) 2) Проверить, что (·,·), определенное равенством (5.1), есть комплексное скалярное произведение в L2(R). (Как и в упр. 4.3.1(2), единственная трудность состоит в доказательстве абсолютной сходимости интеграла (/,5) Для f,g € L2(R). См. упр. 1.6.3(1).) 5.1.2. Пусть для j, к € Ζ , ч ί(2π)-1/2β^χ, если 2жк ^ χ < 2п{к + 1), 9jMx) = i п L 0 в других случаях. Доказать, что {<7j,fc}j,fc€Z есть полное ортонормированное множество в L2(R). Подсказка: для доказательства полноты предположим, что (/,#j,fc) = 0 при всех j, к € Ζ для / € L2(R). Используйте полноту тригонометрической системы в L2{[—π, π)) (следствие 4.22), чтобы показать, что сужение / на [2пк, 2п(к + 1)) есть нуль п. в. для любого к € Ζ. 5.1.3. 1) Пусть f(x) = 1/х для χ > 1 и 0 в других точках. Показать, 4το/€^2(Κ)\^(Κ). 2) Приведите пример функции / 6 Ll(M)\L2(M). Подсказка: см. упр. 4.3.3. 5.1.4. Доказать лемму 5.2. Подсказка: см. упр. 4.3.10. 5.1.5. Доказать, что (L1(R),|| · ||χ) —нормированное векторное пространство (см. определение в упр. 1.6.5.), но не пространство со скалярным произведением. Подсказка: см. упр. 1.6.6. 5.1.6. Доказать лемму 5.4(3). Подсказка: следуйте методике доказательства леммы 4.34, но используйте интегралы вместо сумм. 5.1.7. Доказать лемму 5.6. 5.1.8. Определим / 6 L1(R), положив f(x) = — 1 для — 1 < χ < 0, /(0) = 0, f(x) = 1 для 0 < χ < 1 и f(x) = 0 для всех других iGR. Доказать, что равенство (5.13) выполняется для χ = 0, но 0 не есть точка Лебега функции /. 5.1.9. 1) Пусть / 6 LX(R) и / непрерывна в точке х. Доказать, что χ есть точка Лебега функции /. 2) Определим / 6 ^Х(К), положив f(x) = l при -;<£<;- + —, η = 1,2,3,...
350 Глава 5. Вэйвлеты на множестве Ш и f(x) = 0 для всех других х. Доказать, что / не является непрерывной функция в нуле, но нуль есть точка Лебега функции /. 5.1.10. (Это упражнение требует некоторых знаний из теории интегрирования Лебега.) Функция /: R —► С локально интегрируема, τ если J \f(x)\dx < оо для любого Τ > 0. Класс всех локально -τ интегрируемых функций на R обозначается L11oc(R). Например, f(x) = χ — локально интегрируемая, но не интегрируемая функция. Доказать равенство (5.13) для / 6 L\oc. (Заметьте, что локальная интегрируемость / гарантирует существование и конечность интеграла в равенстве (5.13).) Подсказка: учитывая тот факт, что счетная сумма множеств меры нуль имеет меру нуль, достаточно показать, что множество точек χ в отрезке [п,п + 1], для которых равенство (5.13) не выполняется, имеет меру нуль для любого целого п. Чтобы увидеть это, примените равенство (5.13) к интегрируемой функции, которая совпадает с / в окрестности промежутка [η, η + 1]. 5.1.11. (Это упражнение требует некоторых знаний из теории интегрирования Лебега.) Доказать лемму 5.10, предполагая выполнение равенства (5.13). Подсказка: рассмотрите множество {г*}?^ рациональных чисел, занумерованных некоторым образом. Для каждого г € N примените упр. 5.1.10 к функции \f(x) — г^|, которая локально интегрируема, чтобы вывести, что существует множество Е\ меры нуль такое, что для всех χ 6 Ш\Е{ h Km ± J* (|/0r - у) - п\ - \f(x) - n\)dy = 0. -h Пусть Ε = U^Ei. Цель состоит в том, чтобы показать, что любая точка χ € Ш\Е есть точка Лебега функции /. Чтобы увидеть это, задайте некоторое ε > 0 и выберите г\ достаточно близким к f(x). Тогда запишите h h h J \f(x -У)- №\ dy^ I \f(x -У)- rt\dy +\\n~ f(x)\ dy. —h —h —h 5.1.12. (Это упражнение требует некоторых знаний из теории интегрирования Лебега.) Предположим, что / 6 /^(R) (см. упр. 5.1.10). Мы говорим, что χ 6 R есть точка Лебега функции /, если
5.2. Преобразование Фурье на множестве R 351 выполняется равенство (5.14). Доказать, что почти каждая точка χ € R есть точка Лебега функции /. 5.1.13. Пусть д 6 L1(R). Доказать, что lim \g(x)\dx = 0. τ {х:\х\>Т} Ν fc+1 Подсказка: запишите $\g(x)\dx = lim Σ J \g(x)\dx и ис- R N~*°°k=-N к пользуйте результаты, касающиеся рядов. 5.1.14. В определении функций приближенно тождественного элемента свертки замените неравенство (5.10) более слабым предположением, что существует некоторое ε > 0 и некоторое с\ > 0 такие, что \д(х)\ ^ ci(l + |#|)~1_ε для всех χ е R. Получите результат теоремы 5.11 при этом предположении. 5.2. Преобразование Фурье на множестве Ш В этом разделе мы обобщим преобразование Фурье на пространство L2(R); оно аналогично DFT на £2(Zn), рассмотренному в гл. 2, и преобразованию Фурье на ^2(Z), изученному в гл. 4. Вспомним рассуждения в начале разд. 4.4 и рассмотрим функции χ, определенные на R, которые обладают свойством мультипликативности, т. е. такие, что Х(х + у) = х(х)х(у) Для всех я, у € R. (5.20) Если χ не равно тождественно нулю, то χ(0) = 1. В предположении некоторой гладкости функции χ из этого следует (упр. 5.2.1), что χ(χ) = е- для некоторой константы с = 77 + г£бСс η, ζ € Μ. Тогда |β^| = |βχνχξ|=βΧ7?. Если η > 0, βχη становится очень большим при χ —► +оо, в то время как при η < 0 значения еХГ) становятся очень большими при χ —► — оо. Поэтому мы ограничимся случаем η = 0, т. е. функциями вида Х(аг) = eia* для некоторого ξ 6 R. Ранее было отмечено, что в пространстве при η 6 Ζ экспоненты егпв — периодические функции переменной θ с периодом 2π для всех п 6 Ζ, поэтому область изменения θ была сужена до промежутка [—π, π). Здесь функции {βιχ^}ξ^ отличны друг
352 Глава 5. Вэйвлеты на множестве R от друга, поэтому мы рассматриваем все вещественные £. Основываясь на нашем предыдущем опыте, мы хотим получить некоторый аналог DFT, используя выражения вида </,е*<) = lf(xj<**dx= lf(x)e-**dx. R Ε К сожалению, этот интеграл может не быть абсолютно сходящимся для / € L2(R) (это связано с тем фактом, что скалярное произведение (/, егх^) не определено в обычном смысле, так как егх^ ^ L2(R)), поэтому требуются некоторые объяснения. Однако если / Ε Ь1(К), то из соотношения (5.5) следует, что IJ/i^e-^dxl < J|/(*)|<fc = Ц/lli (5.21) Ε Ε для любого ξ € R. Потому возможно следующее определение. Определение 5.12. Для / 6 L*(R) и ξ 6 R определим f{t)=jf(x)e-**dx. (5.22) Ε Функция / называется преобразованием Фурье функции f; отображение "называется преобразованием Фурье. Для д 6 LX(R) и χ Ε R определим д—обратное преобразование Фурье функции д, равенством № = ±\д(№*<%. (5.23) R Отображение" называется обратным преобразованием Фурье. Есть надежда, что выполняется формула обращения /(*) = (/>(*) = ± | /Юё* άξ, (5.24) R которая должна быть аналогичной формуле обращения (2.10) для DFT и (4.36) для преобразования Фурье в ί2(Ζ). Однако имеют место некоторые трудности. Можно ожидать, что равенство (5.24) выполняется для / € £2(R), но (упр. 5.1.3) функции из L2(R) не обязательно принадлежат LX(R), а интеграл в равенстве (5.22) сходится абсолютно только для / € LX(R). Также мы не можем доказать равенство (5.24) с помощью ортогональности, как мы это сделали для формул (2.10) и (4.36), потому что функции е~гх^ не принадлежат L2(R), как функции χ или £, и существует несчетное множество таких функций. Даже если / 6 b1(R), так
5.2. Преобразование Фурье на множестве R 353 что /(£) определено для каждого £, интеграл в равенстве (5.24) можно считать абсолютно сходящимся, только если / 6 i1(K), что в общем случае не имеет места. Однако мы увидим (теорема 5.15), что когда функция / € LX(R) такова, что / 6 ^(R), формула обратного преобразования Фурье (5.24) справедлива п. в. Более того, это позволяет нам (определение 5.21) определить / более абстрактно для / 6 L2(R) таким образом, что обратное преобразование Фурье выполняется в нужном смысле для всех / 6 L2(R) (теорема 5.24). Сначала нам потребуется лемма, касающаяся функции Гаусса, которая является плотностью случайной величины со стандартным нормальным распределением. Ее график — известная колоколообразная кривая. Лемма 5.13. Определим функцию G: R —► R равенством ад=^-"/2· Тогда 1) №) = 1; Сл 2) существует с\ > О такое, что G(x) ^ γ—ГТ\2' 3) δ(ξ) = ε"*2/2, uauG = V2^G. Доказательство. Доказательство п. 1 основано на известном приеме перехода к полярным координатам, который в общих чертах дается в упр. 5.2.2. Свойство 2 тривиально: G ограничена сверху величиной 1/\/2π и убывает экспоненциально при χ —► ±оо гораздо быстрее, чем с\/х2. Чтобы доказать п. 3, сначала заметим, что G'{x) + xG(x) = -^L е-*2/2 + χ1 β-χ2>2 = 0 (5.25) ν2π ν2π при всех х. Из упр. 5.2.3(1) следует, что (о'ую = ad®. Кроме того (упр. 5.2.3(2)), G есть дифференцируемая функция и (хС(х)Ш = »(Ф'(0· (5-26) Поэтому применение преобразования Фурье к обеим частям равенства (5.25) дает ίξβ(ξ) + ί(6),(ξ) = 0. Это обыкновенное дифференциальное уравнение первого порядка, которое может быть решено с помощью умножения на интегрирующий множитель е^ р?/*: (е?/*б(0)' = ξ^6(ξ) + е?/*(бУ(0 = 0.
354 Глава 5. Вэйвлеты на множестве R Следовательно, где С — некоторая константа. Положив ξ = 0, получим C = G(0)= 1β(χ)άχ = 1 R из свойства 1. ■ Заметим: свойства 1 и 2 означают, что семейство {Gt}t>o — это функции приближенно тождественного элемента свертки (определение 5.8). Нам также потребуется следующая лемма. Здесь gt(Q обозначает преобразование Фурье функции gt, т. е. (<&)"(£)» а не растяжение g (которое мы будем писать как (g)t)- Лемма 5.14. Пусть g 6 LX(R) u t > 0. Тогда для всех ξ € R ft(0=$(«0· (5.27) Доказательство. Упражнение 5.2.4. ■ Теперь мы докажем первый вариант формулы обратного преобразования Фурье. Теорема 5.15 (обратное преобразование Фурье в L1(R)). Предположим, что f e L*(R) и f € LX(R). Тогда R в каждой точке Лебега χ функции f (следовательно, п. е. по лемме 5.10). Доказательство. Пусть It{x) = h \f^e~t2e/2eix^=^\ht)Gt(t)***t R R вследствие лемм 5.13(3) и 5.14. Элементарное рассуждение (упр. 5.2.5) или применение теоремы о мажорируемой сходимости (если она вам известна; мы рассмотрим ее в разд. 5.4) показывают, что R
5.2. Преобразование Фурье на множестве R 355 для каждого х. Мы вычислим этот предел другим способом. Записав определение /(£) в выражении для It, получим R R = \f{y)^\Gt{Oe**-y*<%dy, Ε Ε где изменение порядка интегрирования оправдано теоремой Фубини (результат теории меры), потому что / и Gt — интегрируемые функции. Однако, используя лемму 5.14, замену переменных η = ίξ и лемму 5.13(3) дважды, получим Ε Ε =2bla(7)ei(x_yh/<d7= =^1аде_<7(^)А^= 1 .a((y-*)/t) = ±G((y-*)/t) = = 1с((Ж-у)А) = ^(х-у), так как G есть четная функция. Подстановка полученного выражения в равенство, приведенное выше, дает It(x) = jf{y)Gt(x - y)dy = Gt * /(ж). Ε Мы уже отметили, что {Gt}t>o — это функции приближенно тождественного элемента свертки, поэтому по теореме 5.11 lim 1Лх) = lim Gt * /(ж) = fix) (5.29) в каждой точке Лебега х функции /. Поэтому равенства (5.28) и (5.29) завершают доказательство. ■ Доказанный результат приводит к важному свойству единственности. Следствие 5.16 (единственность преобразования Фурье в L1(R)). Предположим, что f,g € LX(R) u f = g п. β. Тогда f = g n. β.
356 Глава 5. Вэйвлеты на множестве R Доказательство. Применим теорему 5.15 к функции / — д, чтобы вывести, что /-5 = (/-3)ν=0ν=0π.Β. ■ Теорема 5.15 устанавливает, что для /,/ 6 L1(R) мы имеем / = (/)'п.в. При тех же предположениях справедливо также равенство / = (/Г п. в.. (5.30) Чтобы убедиться в этом, заметим, что из определения обратного преобразования Фурье /(*) = £/(-*)· · (5·31) Следовательно, предположение / € L1(R) означает, что / G L1(R). Тогда (/Ж) = \f(x)e-^dx = i- |/(-x)e-^dx = Ε Ε = ^ \f(x)e^dx = (/)·(ξ) = Μ) п. в. Ε Условия /,/ € L1(R) в теореме 5.15 являются весьма ограничительными. Заметим (упр. 5.2.6), что условие / € Ll(R) означает, что / есть ограниченная, непрерывная функция. В соответствии с равенством (5.31), соответствующие результаты справедливы для обратного преобразования Фурье. В частности, если / 6 b1(R), то (/)~ ограничено и непрерывно. Поэтому по теореме 5.15 если /, / € b1(R), то / должна быть п. в. равна ограниченной непрерывной функции (/)\ То есть предположения теоремы 5.15 означают, что / может быть изменена на множестве меры нуль (это дает эквивалентную функцию с точки зрения теории интегрирования Лебега) так, что результат есть ограниченная и непрерывная функция. С другой стороны, если / есть функция из С2 (это означает, что в каждой точке / имеет две производные, и вторая производная — непрерывная) и / имеет компактный носитель (см. определение 5.17), то / и / принадлежат LX(R) (упр. 5.2.7). Определение 5.17. Пусть /: R —► С —функция. Носитель функции /, обозначаемый supp /, есть замыкание множества {xeR:f{x)^0}. Говорят, что / имеет компактный носитель, если supp / есть компактное множество.
5.2. Преобразование Фурье на множестве R 357 Так как множество supp / замкнуто по определению, то / имеет компактный носитель тогда и только тогда, когда носитель supp / ограничен (по теореме Гейне—Бореля). Другими словами, / имеет компактный носитель, если существует г *< оо такое, что supp/ С [—г,г], т. е. такое, что f(x) = 0 при всех ж, удовлетворяющих неравенству \х\ > г. Хотя класс функций из С2 с компактным носителем может казаться не очень большим, он достаточно велик, чтобы быть плотным в L2(M) в следующем смысле. Лемма 5.18. Пусть f 6 L2(M) u ε > 0. Тогда существует функция g с компактным носителем из С2 (следовательно} согласно упр. 5.2.7, g € L1(R) и g E L1(R)), удовлетворяющая неравенству II/ - g\\ < е. Доказательство. Примем без доказательства следующий факт из теории интегрирования Лебега: существует ступенчатая функция h такая, что II/ - Λ|| < ε/2. (По определению, ступенчатая функция — это любая функция вида η h = J2CkXl*kM> где Х[ак,ьк] —функция, равная 1 на отрезке [а&, bk] и 0 вне этого отрезка; ci, C2,..., Сп — константы, и η может быть любым целым положительном числом.) Как следует из упр. 5.2.8, существует функция g с компактным носителем из С2 такая, что \\h — <jr|| < ε/2. Тогда из неравенства треугольника (5.4) II/ - #11 < II/ - Λ|| + ||Λ - #11 < ε/2 + ε/2 = ε. Это завершает доказательство. ■ На самом деле можно найти бесконечно дифференцируемую функцию с компактным носителем, которая отличается от / не больше чем на ε в норме L2. Но это гораздо более сложно доказать, и мы не будем использовать этот результат. Лемма 5.18 говорит, что функцию из L2(R) можно аппроксимировать функциями, которые удовлетворяют условиям теоремы 5.15. Мы используем эту лемму, чтобы определить преобразование Фурье в L2(R). Решающую роль играют следующие предварительные формы равенства Парсеваля и теоремы Планшереля. Лемма 5.19. Предположим, что f,g€ Ьг(Ц) uf,g€ Ьг(Ш). Тогда 1) /,</,/,£€ L2(R); 2) (равенство Парсеваля) (/,$) = 2it(f,g)\ 3) (формула Планшереля) ||/|| = λ/2π||/||·
358 Глава 5. Вэйвлеты на множестве R Доказательство. Мы оставляем доказательство п. 1 в виде упр. 5.2.9. Докажем п. 2: (f,9) = ]7(Шт = 1Щд(х)е-**<Ь<% = R MR = J/(О \gJx)e^ άχάξ = J J/iOe^dfoHdr = R R RR = 2n^f(x)^)dx = 2n{f,g) Ε по теореме 5.15 (и где изменение порядка интегрирования оправдано теоремой Фубини, так как д, f 6 L1(R)). Тогда п. 3 следует из п. 2, если положить д = /. ■ Для / 6 L2(R) мы не можем определить поточечно / равенством (5.22), потому что интеграл может не быть абсолютно сходящимся. Однако можно найти последовательность функций {/η}^=ι таких, что fn,fn € /^(R) для каждого η и /п —» / в L2(R) при η —» оо (напомним, это означает, что lim ||/n — /|| = 0). Например, можно п—*оо применить лемму 5.18 с ε = 1/п, чтобы получить /п, как требуется, так что ||/п — /|| ^ 1/п для каждого п. Так как /п 6 i1(R), то /п определяется для каждого п. Нам хотелось бы определить / = lim /n. п—■юо Лемма 5.20 показывает, что это имеет смысл. Лемма 5.20. Предположим, что f 6 L2(R). Пусть {/η}^=ι —последовательность функций таких, что /п,/п € LX(R) для каждого η и fn -* / β L2(R) при η —► оо. 1) Последовательность {fn}^=i сходится к некоторой функции F e L2(R) (т. е. ||/п - F|| -» 0 при η -» оо). 2) Пусть {дп}™=1 ~ другая последовательность функций таких, что дп,9п € LX(R) для каждого η и дп -> f в L2(R) при η —► оо. Яз п. 1 последовательность функций дп сходится в I? к некоторой функции G € L2(R). Тогда G = F п. в., где F определена в п. 1. 3) Предположим, что f € Ll(R) Π L2(R). Пусть F —функция из п. 1. Тогда F =/. Доказательство. Для доказательства п. 1 заметим, что по лемме 5.19(1) функция /п б L2(R) для каждого п. Так как {/η}^=ι сходится в L2(R), то это — последовательность Коши в L2(R). По лемме 5.19(3) ||/»-/т|| = л/2^||/«-/™||
5.2. Преобразование Фурье на множестве R 359 для всех η и га. Следовательно, {/п} есть также последовательность Коши в L2(R). Так как пространство L2(R) полное, то существует некоторая функция F 6 L2(R) такая, что {/п} сходится к F в L2. Докажем п. 2. Из неравенства треугольника (5.4) вытекает, что ||F - G|| < ||F - /n|| + ||/n - gn\\ + \\gn - G\\ (5.32) для каждого п. Из леммы 5.19(3) и неравенства треугольника (5.4) следует, что II/» - 9п\\ = v^H/n - дп\\ < л/МН/„ - /II + II/ - $»||). Поэтому при η —» оо правая часть неравенства (5.32) стремится к нулю. В результате ||F — G|| = О и, следовательно, F = G п. в. Чтобы доказать п. 3, мы, согласно упр. 5.2.10, можем найти последовательность {gn}^=zl функций из L1 с дп 6 LX(R) для каждого η таких, что {Яп} сходится к / в L2, и также ||0η-/||ι-»Ο при п-»оо. (5.33) Из соотношения (5.5) для любого ξ 6 К \Ш - /(01 = ||ы*) - /(х))е-**(*г| ^ J \9η(χ) - №\<ь. R R Следовательно, из формулы (5.33) вытекает, что дп сходится равномерно к / при η —► оо. Однако, в соответствии с п. 2, последовательность дп сходится к F в L2(R). Это гарантирует, что F = / п. в. Действительно, для любого положительного целого N из неравенства (5.4) имеем Ν \1/2/Ν \ Х/2 } №) - /(0141 < Μ ио - мо1а«*е I + Ν \ 1/2 + I [ 1Ы0 - /(014 <\\f- 9п\\ + л/Svsup |Ы0 - /(01 для любого п. При η —► сх) правая часть неравенства стремится к нулю. N Следовательно, J |^(£) — /(£)|2<^£ = 0· Так как это справедливо для -N любого N 6 N, получаем, что F = / п. в. ■ Это приводит к следующему определению. Определение 5.21. Предположим, что / 6 L2(R). Пусть {/η}^=ι — такая последовательность, что /п,/п € LX(R) для всех п, и такая, что
360 Глава 5. Вэйвлеты на множестве R /п сходятся к / в L2 при η —► оо. Определим /, преобразование Фурье функции /, как предел в L2 последовательности {/n}nLi· Определим также /, обратное преобразование Фурье функции /, как предел в L2 последовательности {/n}SLi· Заметим, что для / 6 L2(R) преобразование Фурье / определяется как функция из L2, а не поточечно, как в определении 5.12, когда / 6 L1(R). Поэтому / определяется только п. в., т. е. с точностью до множества меры нуль для / 6 L2(R). Лемма 5.20(1) гарантирует, что предел в норме I? последовательности {fn}^=i существует в L2(R), и лемма 5.20(2) показывает, что этот предел не зависит от выбора последовательности {/n}£Li· Поэтому / определено корректно. В случае / € L1(R)flL2(R) лемма 5.20(3) гарантирует, что / в определении 5.21 — та же функция из L2, что и / в определении 5.12. Соотношение (5.31) между преобразованиями Λ и ~ показывает, что аналог леммы 5.20 для обратного преобразования Фурье также выполняется, что оправдывает определение4'в определении 5.21 тем же самым способом, как и для \ Более того, для / 6 L2(R) из равенства (5.31) имеем ^ - л - л f(x) = lim fn(x) = lim — fn(-x) = — f(-x) n—»oo η—»οο Ζ7Γ Ζ7Γ для {/η}^=ι? как в определении 5.21, где пределы —это пределы в L2. Поэтому равенство (5.31) также справедливо для / € L2(R). Для / 6 L2(R) это есть часть определения / такого, что / 6 L2(R). Таким образом, мы имеем": L2(R) —► L2(R). Из равенства (5.31), интерпретированного в смысле мы также имеем ~: L2(R) —» L2(R). Теперь можно распространить лемму 5.19 на случай пространства L2(R). Теорема 5.22. Предположим, что /,# € L2(R). Тогда справедливы следующие равенства: 1) (равенство Парсеваля) (f,g) =2π(/,<?}; 2) (формула Планшереля) ||/|| = \/2π||/||; 3) </,ί> = £</,»>; 4)11/11 = ^11/11. Доказательство. Пусть {fn}%Li и {gn}^=i — последовательности функций с fn,9n,fn,gn € LX(R) для каждого η такие, что /п —► / и gn —* 9 в L2(R) при η —► оо. По определению / = lim fn и g = lim #n, η—»οο η—>οο где пределы понимаются в смысле L2. Это означает, что (f,g)= lim (/„,&). (5.34) η—*оо
5.2. Преобразование Фурье на множестве R 361 (Доказательство: из соотношений (5.4) и (5.3) получаем \{f,§) - (Lgn)\ ^ \(f-Lg)\ + \{fn,9-9n)\ ^ ^\\f-fn\\\\9\\ + \\fn\\\\g-9n\\. При этом правая часть неравенства стремится к нулю при η —► оо, потому что сходимость /п в L2(R) означает ограниченность нормы ||/п||.) Можно применить лемму 5.19(2) к функциям fn,gn и получить соотношения (Ιη,9η) = 2π(ίη,9η) для каждого п. Следовательно, из равенства (5.34) (/,£) = lim 2π(/η,5η) =2π(/,^) η—*οο с помощью тех же рассуждений, что и при доказательстве равенства (5.34). Это доказывает п. 1. Тогда п. 2 следует из п. 1, если положить д = /. Пункт 3 следует либо из аналогичных рассуждений, либо из равенства (5.31) (для / 6 L2(R)) и из п. 1, потому что R Тогда п. 4 следует из п. 3, если положить д = /. ■ Для / 6 L2(R) мы определили /, взяв последовательность {/η}^=ι достаточно хороших функций (т. е. таких, что /n, fn£Ll(M) для всех п), которая сходится к / в L2(R) и положив / пределом в I? функций /п при η —► сю. Однако сейчас мы покажем, что для любой последовательности функций, сходящейся в L2 к /, их преобразования Фурье сходятся к /. Следствие 5.23. Пусть f 6 L2(R) u {fn}^=i есть последовательность функций из L2 таких, что fn —► / в L2(R). Тогда fn -> / β L2(R) при η -> оо (5.35) г/ /п->/ β L2(R) при п-юо. (5.36) Доказательство. По теореме 5.22(2) ||/п - /II = VaFy/n - /II - о при η - ос, что доказывает соотношение (5.35). Аналогично, теорема 5.22(4) дает соотношение (5.36). ■ Следовательно, если мы возьмем любую последовательность функций {/n}£Li из Ll(R) Π L2(R) таких, что fn -> / в L2(R), то /п определяется поточечно формулой (5.22) и / есть предел в 1? функций /п при
362 Глава 5. Вэйвлеты на множестве R η —► оо. Пример такой последовательности {/η}^=ι (см. упр. 5.2.11) это 1,0, если |#| > п. Заметим, что хя. Ш = jfn(x)e-**dx = | f(x)e-**da R -η Тогда для / € L2(R) /(О = lim f f(x)e~^dx, (5.38) η--+οο J —η где предел понимается в смысле L2. Эта интерпретация / для / € L2(M) как «главного значения», естественна и наиболее явная; во многих работах ее принимают в качестве определения /. После всего сказанного доказательство основного результата не вызывает никаких трудностей. ■ Теорема 5.24 (Обратное преобразование Фурье в L2(R). 1) Предположим, что f € L2(R). Тогда f = (/)' (5.39) / = (/) · (5-40) 2) Преобразование Фурье Л: L2(R) —► L2(R) является взаимно однозначным и отображением «на» с обратным преобразованием ": L2(R) -> L2(R). Доказательство. Выберем последовательность {/n}SLi с /п, /п 6 Ll(M) при всех η такую, что /п -* / в L2(R) при η —► оо. Тогда /п —* / в £2(R) при η —► оо по определению /. Из соотношения (5.36) (fnY-* (/Г в L2(R) при η -» оо. Однако из теоремы (5.15) следует, что (/п)^= fn -» / в L2(R) при η -* оо. Это доказывает формулу (5.39). Тем же самым способом, используя соотношения (5.35) и (5.30), получим (fY= lim (Λ»]Γ= Um /n = /, n-*oo n—»oo где пределы берутся в норме L2, что доказывает равенство (5.40). Тогда п. 2 легко следует из п. 1. ■
5.2. Преобразование Фурье на множестве R 363 Формула обратного преобразования Фурье (5.24) имеет здесь, по существу, ту же интерпретацию, что и в контексте DFT (см. формулу (2.10)) пространства L2([—π,π)) (см. формулу (4.24)), или ί2(Ζ) (см. формулу (4.36)). Если ξ возрастает по модулю, то егх^ становится все более и более быстро осциллирующей функцией переменной х. Мы считаем, что каждая такая экспонента представляет частотную функцию, имеющую более высокую частоту при больших \ξ\. Эти различные частотные функции могут быть «объединены» вместе с весами /(£) посредством интеграла в равенстве (5.24) и формируют любую функцию / из L2. Поэтому /(£) измеряет вес или интенсивность частотной функции егя^, используемой для получения /. Мы представляем равенство (5.24) как аналогичное базисному представлению в случае конечномерного векторного пространства; каждый элемент из L2(M) записывается в терминах фиксированной системы {βιχ^}ξ^ через весовую суперпозицию (в этом случае интеграл вместо линейной комбинации). Как и в случае равенства (4.36), элементы егх^ как функции χ не принадлежат пространству L2(R), поэтому ни один из этих элементов не может представлять больше чем инфинитеземальный вес в представлении (5.24). Рассмотрим теперь, как операции, которые мы ввели, такие как свертка или сдвиг, взаимодействуют с преобразованием Фурье. Лемма 5.25. Пусть g,heLl(R) u f € LX(R) либо f E L2(R). Тогда i) (f*gy=fg; 2) / * (g * h) = (/ * g) * h. Доказательство. Упражнение 5.2.13. ■ Лемма 5.26. Пусть f G LX(R) или f G L2(R) uy,£eR. Тогда 1) (/ПО =7(0*. е.; 2) (Д,/Г(0 = е-**/(0 п. е. Доказательство. Упражнение 5.2.14. ■ Как было отмечено выше, формулу (5.24) можно рассматривать как представление f(x) в виде суперпозиции частотных функций егх^. Это представление обладает в L2(R) тем же ключевым свойством, что и разложение DFT в £2(Zn) (теорема 2.18), разложение в ряд Фурье в L2([—π,π)) (теорема 4.28) и разложение по системе Фурье в £2(Ζ) (лемма 4.39): оно диагонализует (в описываемом ниже смысле) все ограниченные инвариантные относительно сдвига преобразования. Мы говорим, что ограниченное (определение 4.25) линейное преобразование Т: L2(M) —► L2(M) инвариантно относительно сдвига, если для всех у еШивсех f eLx(R) T(Ryf) = RyT(f),
364 Глава 5. Вэйвлеты на множестве R где RyT(f)(x) = T(f)(x — у) по определению. Аналогично отмеченным выше случаям оказывается, что каждое инвариантное относительно сдвига ограниченное линейное преобразование Г в L2(R) есть оператор свертки, т. е. существует элемент Ъ такой, что Г(/) = Ъ * /. Класс, которому принадлежит 6, нелегко определить, поэтому сейчас мы оставим этот вопрос нерешенным. По лемме 5.25(1) мы имеем (в нужном смысле) (Г(/)Г(0 = «(0/(0 для всех ξ € R. Если применить обратное преобразование Фурье (5.24) к Г(/), то получим Г(/)(*) = 5?|ь(0/(0е^. R Поэтому результат применения Г состоит в замене «коэффициентов» /(£) в формуле представления Фурье (5.24) на Ь(£)/(£). Поэтому Г действует как диагональный оператор относительно системы {βιχ^}ξ^- В этом смысле преобразование Фурье диагонализует ограниченные инвариантные относительно сдвига операторы в L2(R). Важный пример оператора, инвариантного относительно сдвига,— это оператор взятия производной, так как ί <*ΛΜ - ί (/(* -»»-*<«- г) - * (§) М- Хотя производная определена не во всем L2(M) и не является ограниченным оператором в своей области определения, приведенное выше рассуждение корректно в некотором обобщенном смысле. В частности, если мы формально вычислим производную по χ под знаком интеграла в равенстве (5.24), то получим Ε Этот прием оправдан для достаточно хороших функций /. Поэтому оператор взятия производной соответствует умножению преобразования Фурье на г£, и производная диагонализуется системой Фурье. Это является аргументом для предпочтения техники Фурье в изучении дифференциальных уравнений: система Фурье диагонализует оператор производной. Упражнения 5.2.1. Предположим, что χ: R —► С — мультипликативное преобразование (т.е. выполняется равенство (5.20)), χ не равно тождественно
Упражнения 365 нулю и χ дифференцируемо в нуле. Доказать, что χ(χ) = е^ при некотором с € С. Подсказка: используйте определение производной, чтобы показать, что χ дифференцируемо в каждой точке R и х'(*) = х(*)х'(0). 5.2.2. Доказать лемму 5.13(1). Подсказка: пусть J = J G{x)dx. Тогда ε J \/2¥ J \/^F R R = JLjL-(*W)/2d;Edy. ЕЕ Переход к полярным координатам дает интеграл, который можно вычислить явно. 5.2.3. 1) Пусть д € L1(R)—дифференцируемая функция такая, что д1 6 L1(R) и lim g(x) = 0. Доказать, что х—*±оо tint)=то- Подсказка: проинтегрируйте по частям. 2) Пусть g£Ll(M) — непрерывная функция и хд(х) € L1(R). Доказать, что д дифференцируема в каждой точке R и № = -<М0Г(0- Подсказка: предположения оправдывают дифференцирование под знаком интеграла. 5.2.4. Доказать лемму 5.14. 5.2.5. Доказать равенство (5.28). Подсказка: покажите, что \ь-1\я№х^1\\яо\ Ε Ε Разбейте последний интеграл на две части: интеграл по области {ξ : \ξ\ > Г} и интеграл по {ξ : \ξ\ ^ Г}. Пусть задано ε > 0, выберите Г, используя упр. 5.1.13 для оценки интеграла по бесконечной области. Покажите, что е~ь t /2 сходится равномерно к 1 в конечной области при t —► 0. 5.2.6. Предположим, что / € LX(R). 1) Доказать, что / есть ограниченная функция с |/(£)1 ^ для всех £. Γίψ/2 _ χ άξ.
366 Глава 5. Вэйвлеты на множестве R 2) Доказать, что / есть непрерывная функция в R. Подсказка: покажите, что 1/(0 - /«ь)| ^ \ l/(*)l le-^K-b) -1| dx R и используйте подсказку в упр. 5.2.5. 5.2.7. Предположим, что /: R —» С принадлежит с2 и имеет компактный носитель, Доказать, что /,/ 6 L1(R). Подсказка: используйте теорему о том, что непрерывная функция на компактном множестве ограничена. С помощью этой теоремы легко показать, что / 6 L1(R). Из упр. 5.2.6(1) следует, что / ограничено. Возьмите дважды по частям интеграл в определении /(£) и покажите, что |/(ξ)| ^ с/£2 Для некоторой константы с. 5.2.8. Пусть ε > 0. Для каждой функции h, определенной в п. 1-3 этого упражнения, доказать, что существует функция д из С2 с компактным носителем такая, что ||/ι — #11 < ε. 1) Пусть h(x) = 1 при 0 ^ χ ^ 1 и h(x) = 0 для всех других χ € R. Рекомендация: округлите углы функции h. Например, для достаточно малого выбранного δ положите (О, если х< — δ или х> 1 + 5, Λ χ 1 . /2тг(:г+£)\ 1+--—sin(—~—-1, если -д^я^О, 1, если0<#<1, I 1-я 1 . /2π(1+ί-α)\ , . /-, , с I И - — sin ( —^— ), если 1 ^ χ ^ 1 + а ^ о 2тг \ о / 2) Для a,b е R с a < b и с е С пусть h(x) = с для α ^ χ ^ b и /&(ж) = 0 для всех других вещественных чисел х. 3) Пусть h: R —» С — любая ступенчатая функция (определенная в доказательстве леммы 5.18). 5.2.9. Доказать лемму 5.19(1). Подсказка: см. упр. 5.2.6(1). 5.2.10. Предположим, что / € LX(R) Π L2(R). Пусть ε > 0. 1) Доказать, что существует ступенчатая функция h (определенная в доказательстве леммы 5.18) такая, что ||/-Л||<е и ||/-%<е. Рекомендация: мы можем найти N (которое мы предполагаем больше, чем 1) такое, что .2 д(х)= { {х: |/(*)|dx<§ и | \f{x)\4x<6^ >Ν} {χ: \χ\>Ν}
Упражнения 367 Используем результат из теории интегрирования Лебега о том, что существует ступенчатая функция Η такая, что ^\f(x)-H(x)\2dx<^. R Применим неравенство (5.3) к функциям f(x) — Н(х) и 1, в результате J \f(x)-H(x)\dx^-^V2N=£-. {χ: \χ\>Ν} Пусть h(x) = Н(х) при \х\ ^ N и h(x) = О при \х\ > N. Отметим, что h есть ступенчатая функция. Чтобы завершить доказательство, используем неравенство треугольника для LX(R) и L2(R). 2) Доказать, что существует функция д с компактным носителем из С2 (следовательно, согласно упр. 5.2.7, функция д 6 Ll(M) такая, что д € L1(R)), удовлетворяющая неравенствам ||/-5||<ε и ||/-5||ι<ε. Подсказка: см. упр. 5.2.8. 5.2.11. Пусть / 6 L2(R). Для η 6 N определим /п равенством (5.37). 1) Доказать, что /n G LX(R) Π L2(R) и ||/η||ι ^ V^||/||. Подсказка: пусть д(х) = 1, если \х\ ^ п, и д(х) = 0, если \х\ > п; примените неравенство (5.3). 2) Доказать, что /п -* / в L2(R) при η —> оо (т. е. ||/п — /|| -♦ О при η —* сю). Подсказка: см. упр. 5.1.13. 5.2.12. Предположим, что f,g 6 L2(R). Доказать, что J f(y)g(y)dy = J f(y)g(y)dy. ш ш 5.2.13. Доказать лемму 5.25. Подсказка: если / 6 L1(R), то п. 1 может быть доказан изменением порядка интегрирования. Для / € L2(R) примените результат пространства L1 и ограничение на аргумент, используя упр. 5.2.6(1) и лемму 5.4(3). Простейший способ доказать п. 2 —это использовать п. 1. 5.2.14. Доказать лемму 5.26. Замечание: для / 6 LX(R) все выводы справедливы для всех ξ.
368 Глава 5. Вэйвлеты на множестве R 5.2.15. Показать, что существуют f,g € L2(R) такие, что / * д £ L2(R). Подсказка: сравните с упр. 4.4.6(2). 5.2.16. Доказать, что не существует δ € L2(R) такого, что δ * / = / для всех / € L2(R). Подсказка: если такое δ существует, то доказать, что δ(ξ) = 1 для всех £. 5.2.17. Пусть L1 0 L2(R) обозначает класс всех функций /: R —► С таких, что / = /ι + /2 для некоторой /ι 6 L*(R) и /2 € L2(R). (Предупреждение: такое представление не единственное.) 1) Привести пример / 6 L1 0 L2(R), которая не является элементом LX(R) UL2(R). Подсказка: см. упр. 5.1.3. 2) Если fi + f2= 91+92C fugi € L1^) и /2,яг € L2(R), то доказать, что /ι + /2 = 51 + <72 п. в., где /ι и 5ι задаются поточечно определением 5.12; /2 и ^2 задаются в L2(R) определением 5.21. Замечание: это позволяет нам распространить определение преобразования Фурье на L10L2(R), положив / = f\ + /2 для любого представления / = /ι + h с /ι € LX(R) и /2 € L2(R). Пункт 2 гарантирует корректность такого определения. 5.3. Кратномасштабный анализ и вэйвлеты Наша цель в этой главе — построить вэйвлет-систему, которая является полным ортонормированным множеством в L2(R), состоящим из некоторого множества сдвигов и растяжений единственной функции φ (см. определение 5.28). В этом разделе мы сводим построение вэйвлет- системы к построению кратномасштабного анализа. Сначала введем некоторые обозначения. Определение 5.27. Для функций φ, φ Ε L2(R) и чисел j,k 6 Ζ определим элементы ipjfail>j,k € L2(M) равенствами <Pj,k(*) = Vl\{^x -к) u il>jtk(x) = 2j/2i/>(2jx - к). (5.41) Множитель 2J/2 в определениях <pj^ и ^* введен таким образом, что их нормы L2 одни и те же для всех j, fc: ΙΙΐΜ2 = } l^'W* - k)\2dx = J 2^(2** - fc)|2tte = J |V(y)|2dy = HVII2 Ε RE и аналогично для ipj^ с помощью замены переменной у = 2^х — fc в интеграле. Мы можем записать Фз,к(х) = 2?12ф{2?{х - 2~jk)). (5.42)
5.3. Кратномасштабный анализ и вэйвлеты 369 Поэтому определение ф^ь включает в себя нормировку и, как отмечено выше, растяжение и сдвиг. Чтобы понять растяжение, заметим, что при j > О график функции ф(2? х) получается сжатием графика φ вдоль оси χ в 2J раз (при j < О график растягивается по оси х). Например, предположим, что φ имеет компактный носитель (определение 5.17), и пусть г > О — наименьшее число такое, что ф(х) = О для всех χ таких, что \х\ > г. Тогда ф(2^х) имеет компактный носитель внутри отрезка [—r/2J, г/2·7], так как ф(2^х) = 0 всюду, где \2^х\ > г, т.е. когда \х\ > г/2·7. График функции ф{2^х — fc) = ф{^?{х — 2~^fc)) получается сдвигом графика ф(2^х) на величину 2~-7fc вдоль оси ж (вправо, если к > 0, и влево, если fc < 0). Следовательно, если φ имеет компактный носитель в отрезке [—г,г], то ф(2^х — fc) имеет носитель внутри отрезка [2~*к — 2~-7r,2~-7fc + 2~-7r]. Окончательно, согласно равенству (5.42), график функции ф^ь получается из графика ф(2?х — fc) умножением на 2·7/2, которое растягивает график вдоль оси у пропорционально этому множителю. Аналогичные замечания справедливы и для φ^^. Грубо говоря, функции φ и ф, которые мы рассматриваем, имеют центром точку около нуля и сконцентрированы в области с масштабом порядка 1 (это означает, что основное содержание функции расположено внутри отрезка вокруг начала координат длины порядка п, где п — разумное малое положительное число). Тогда φ^κ и ф^^к имеют центр, расположенный около точки 2~^к, и имеют масштаб, сравнимый с 2~·7. Определение 5.28. Вэйвлетп-систпема в L2(R) есть полное ортонорми- рованное множество в L2(R) вида для некоторой функции ф € L2(R). Функции ф^^ называются вэйвле- тпами. Функция ф называется материнским еэйвлетом. В настоящий момент не ясно, существует ли какая-нибудь вэйвлет- система. В дальнейшем мы такую систему построим. Если {^y,*}j,fc€Z есть вэйвлет-система, то (по теореме 4.10) каждая функция / 6 L2(R) может быть записана в виде j€Z fc€Z Это соотношение называется вэйвлет-тождеством, и отображение, сопоставляющее / последовательность коэффициентов {(/,^j,fc)}j,fc€Z> на_ зывается (дискретным) вэйвлет-преобразованием. Вэйвлет-тождество можно интерпретировать следующим образом. В соответствии с проведенными выше рассуждениями, ф$^ имеет центром точку около точки 2~-7fc и масштаб порядка 2~·7. Коэффициент вэйвлет-преобразования
370 Глава 5. Вэйвлеты на множестве R (/> Ψί,*) — это вес члена ф^к в разложении (5.43). Поэтому мы представляем величину (f,ipj9k) K8iK измеряющую часть / около точки 2~^к с масштабом 2~·7. Мы представляем вэйвлет-тождество (5.43) как разбивающее / на его компоненты с различными масштабами 2~·7, с центрами локализации 2~^к для j, к 6 Z. Перед тем как обсудить построение дискретных вэйвлет-систем, отвлечемся ненадолго и обсудим формулу, аналогичную тождеству (5.43), за исключением того, что она включает в себя интеграл вместо суммы и содержит все возможные сдвиги и положительные растяжения. Эта формула имеет то преимущество, что она выводится относительно просто. Лемма 5.29 (формула Кальдерона). Пусть φ € Ll(R) Π L2(R) πιακοβα, что +оо |2 ds j M*)|'y = l (5.44) о u ι2 ds \ №-*)|a= = l. (5.45) о Для t > 0 u у € R определим фг{х) = (l/t)ip(x/t) κακ β равенстве (5.9) «М-Т!*^)· Тогда <?лл всех / € L2(R) /(*) = | lH*$t*f(x)j (5.46) о гхлп, эквивалентно, /(*) = J J</, #>#(*)«& f. (5.47) 0 R Доказательство. Вычислим преобразование Фурье от правой части равенства (5.46) и изменим порядок интегрирования: +оо -Ьоо 0 МО +оо +оо = J |Vt*^*/(x)e-ia:^f = J(^*^*/)A(0j =
5.3. Кратномасштабный анализ и вэйвлеты 371 -Ьоо +оо = | (*Г(0(йГ(0/(О* = /(0 } КЛ)А(012* = о о о здесь мы использовали леммы 5.25(1), 5.26(1) и 5.14. Если ξ > О, сделаем замену переменных 5 = ίξ в последнем интеграле и получим /(О } 1#*)127 = /(0 О в соответствии с равенством (5.44). Если ξ < 0, положим s = — ££ и получим +00 /(о } w-*)i2 Ц=m о в соответствии с равенством (5.45). Применим теперь формулу обратного преобразования Фурье (см. теорему 5.24), чтобы получить тождество (5.46). Чтобы получить тождество (5.47), запишем Фг * Фг * f(x) = Фг{х - у)Фг * /(y)dy = ^ К/,^t)^tdV^ К R используя лемму 5.6(2) и определения. Подстановка этого равенства в соотношение (5.46) дает тождество (5.47). ■ Правая часть тождества (5.47) может быть интерпретирована как предел в L2(R) при η —► оо двойного интеграла η J Ja, #>#(*)«&£. 1/nR Тождество (5.46) носит имя А. П. Кальдерона. В виде (5.47) оно представляет собой непрерывный аналог (т. е. интегральный вариант) дискретного вэйвлет-тождества (5.43), которое мы используем. Тождество (5.47) показывает, что каждая функция / 6 L2(R) может быть записана как интегральная суперпозиция базисных функций {^f }t>o,y€R· Рассуждая так же, как и при обсуждении свойств ^*, мы видим, что функция {ф\} имеет масштаб t и центр в точке у. Отображение, сопоставляющее / множество значений коэффициента {(/, ^>f )b>o,y€R> называется непрерывным вэйвлет-преобразованием. Величина {ί,ψ\) есть мера части функции / около точки у при масштабе t. Тождество (5.47) иногда называют непрерывным вэйвлет-тождеством. Оно полезно в некоторых
372 Глава 5. Вэйвлеты на множестве R приложениях, особенно там, где вэйвлеты используются как диагностический инструмент для того, чтобы понять поведение / при различных масштабах. Главный недостаток тождеств (5.46) и (5.47) состоит в трудности их вычислительного применения. Так как каждая формула включает континуум значений, ее трудно аппроксимировать конечным множеством. Можно думать, что тождество (5.46) представляет собой «развертывание» функции /, заменяющее функцию аргумента χ € R семейством {Ψί * Фг * /(#)}*>()> каждый элемент которого есть функция χ 6 R. Это в некотором смысле противоположно сжатию. Преимущество дискретного вэйвлет-тождества (5.43) —это его краткость: в формуле (5.43) совсем нет избыточной информации. Замечательно то, насколько более трудно получить плотное представление (5.43), чем соотношение (5.47). Некоторые подходы к дискретной теории вэйвлетов начинаются с тождества (5.47) и затем показывают, как можно заменить все множество {/0|/}ί>ο,2/€Μ дискретной выборкой подмножества этих функций и, тем не менее, восстановить /. Этот подход отражает некоторые аспекты истории предмета более тщательно, чем подход линейной алгебры в этой книге. Упражнения 5.3.1 и 5.3.3 показывают один способ дискретизации формулы Кальдерона, хотя это и не приводит к ортонормированной вэйвлет-системе. Читатель мог бы ожидать, что вывод равенства (5.43) будет осуществлен с помощью рассуждений, аналогичных рассуждениям в разд. 3.1 и разд. 3.2 для £2(Ζν) и в разд. 4.5 и разд. 4.6 для £2(Ζ), использующих преобразование Фурье в L2(R), вместо приведенных выше. К несчастью, этого не получается. Поучительно понять почему. В £2(Zn) и ί2(Ζ) существует элемент δ такой, что множество всех сдвигов {RkS}k (к € Zjv или к 6 Z, соответственно) есть полное ортонормированное множество во всем пространстве. Поэтому мы могли расщепить пространство, чтобы получить полное ортонормированное множество вида {R2kv}kV{R2ku}k- Другими словами, первый этап состоял в замене сдвигов наименьшего масштаба {RkS}k двумя множествами сдвигов двойного масштаба. В L2(R) нет наименьшего масштаба (и нет δ 6 L2(M) — см. упр. 5.2.16). Хотя для множества {<£o,fc}fc€Z можно найти необходимые и достаточные условия того (напомним, что <ро^{х) = φ(χ — к)), чтобы оно было ортонормированным (см. лемму 5.42), нельзя ожидать, что такое множество будет полным в L2(R). Например, если φ имеет компактный носитель, то лишь конечное число функций <£o,fc имеют носитель, пересекающий заданный интервал; пусть это будет [—π, π). Если {<Ро,к}ке% — полное, то любая функция / 6 L2([—π, π)) может быть записана как линейная комбинация y>o,fc с носителями, пересекающими
5.3. Кратномаештабный анализ и вэйвлеты 373 [—π,π). Это означает, что L2([—π,π))— конечномерное пространство, что неверно. Такое же рассмотрение можно применить, если мы использовали сдвиги меньшего масштаба </?(#—ε&), к € Ζ, для некоторого ε > 0. В случае L2(R) мы начинаем с масштаба, равного 1, рассматривая φ такие, что {<£o,*Jfc€Z—ортонормированное множество. Затем мы рассматриваем растяжения с большими и меньшими масштабами. Еще мы строим возрастающую последовательность подпространств, каждое из которых расщеплено на две части, как и в случаях £2(Zn) и £2(Z). Однако в L2(R) последовательность бесконечна в обоих направлениях, чтобы захватить как большие, так и меньшие масштабы. Ввиду отсутствия полноты для любого конкретного масштаба и несуществования δ € £2(R), техника расщепления подпространств в £2(Zn) и £2(Z) прямо не переносится на L2(R). Однако обычно мы можем применить результаты для £2(Z), чтобы осуществить расщепление пространства в L2(R). Стефан Малла определил условия, которым должна удовлетворять последовательность подпространств так, что это следующим образом приводит к вэйвлет-системе. Определение 5.30. Кратномаештабный анализ (или КМА) с масштабирующей функцией или отцовским вэйвлетом φ есть последовательность {Vj}j€z подпространств L2(R), обладающая следующими свойствами: 1) {монотонность) эта последовательность возрастающая, т. е. Vj С Vj+i при всех j Ε Ζ; 2) (существование масштабирующей функции) существует функция φ 6 Vo такая, что множество {<ро,к}к& ортонормированное V0 = {Х>(А0<А),*: ζ = (*(*))*€Z e £2(Ζ)\; (5.48) 3) (свойство растяжения) при каждом j функция f(x) 6 Vo тогда и только тогда, когда Д2·7 х) Ε Vj; 4) (свойство нулевого пересечения) ГЪеяУ?' = ДО}; 5) (плотность) множество [jj^Vj плотно в L2(M). По определению, п. 5 означает, что для любой / 6 L2(R) существует последовательность {fn}n™i такая, что каждая функция /п 6 UjezVj и {fn}n=i сходится к / в L2(R), т. е. ||/п - /|| -> 0 при η -> +оо. Это определение сразу трудно понять. Помочь может пример 5.31. Пример 5.31 (КМА Хаара). Для произвольных j,k € Ζ обозначим через Ijjs промежуток [2~* fc, 2~·7 (к + 1)), который будем называть двоичным интервалом. Для каждого j € Ζ положим Vj = {/ € L2(R): для всех к € Z, / — константа на /j,*}.
374 Глава 5. Вэйвлеты на множестве R Заметим, что любой двоичный интервал длины 2~·?-1 (т. е. Ij+i^k) содержится в двоичном интервале длины 2~·7 (точнее, если к — четное, то ij+i,fc С ij,fc/2, если к — нечетное, то ij+i,* С Ij^k-i)^)· Ec«™ / € Vj или, другими словами, если / — константа на двоичных интервалах длины 2~·7, то / есть константа на двоичных интервалах длины 2-·7"1 и, следовательно, / € Vjf+i. Поэтому {Vj}j€z есть возрастающая последовательность подпространств. Если мы положим ф) = {1> если0^а;<1' (5.49) (О, если χ < 0 или χ ^ 1, то множество {<£o,fc}fc€Z ~~ ортонормированное, потому что носители различных y>o,fc не перекрываются. Более того, каждое / € Vq может быть записано в виде —^ /= 2^Cfc¥>o,b fc€Z где Ск есть значение / на [fc, к + 1). Заметим, что £) |с^|2 = ||/||2 < +оо, fc€Z поэтому равенство (5.48) выполняется. Свойство растяжения (определение 5.30(3)) для кратномасштабного анализа непосредственно следует из определения {Vj}j^z. Если / € OjezVj, то / — константа на интервалах [0,2~·7) и [—2~·7,0) для всех j Ε Ζ. Это означает, что / — константа на [0, +оо) и (—оо, 0) (возьмите какие-то две точки в любой из этих областей и пусть j —► — оо). Так как / € L2(R), то эти две константы должны быть равны 0 и, следовательно, / = 0. Поэтому Hj^zVj = {0}. Последнее свойство в определении 5.30 о том, что Cij^zVj плотно в L2(R), также справедливо, но его несколько труднее доказать. Мы не будем делать это здесь, потому что это свойство будет следовать из приведенного ниже результата (лемма 5.48). Предполагая его справедливость, получаем, что {Vjf}jez есть кратномасштабный анализ с масштабирующей функцией φ. Другой пример дается в упр. 5.3.4. По ходу изложения встретятся еще примеры. Главная цель этого раздела —доказать, что кратномасштабный анализ порождает вэйвлет-систему. Заметим, что ортонормированность множества {<£o,fc}fc€Z означает, что для каждого j € Ζ совокупность {(fj^kez есть ортонормированное множество, потому что замена переменных показывает, что для j, fc, к* € Ζ . ν . Γΐ, если к = fc', L0, если к ψ к'. Условие растяжения 3 устанавливает, что множество Vj состоит из растяжений в 1? раз элементов множества Vft. Из этого условия и ра-
5.3. Кратномасштабный анализ и вэйвлеты 375 венства (5.48) следует (упр. 5.3.5), что для каждого j 6 Ζ Vi = fe*(fcW: * = (*(*))*€Z € ^(Z) j. (5.50) Поэтому {^j,fc}j,fc€Z есть полная ортонормированная система в подпространстве Vj. Ошибкой было бы думать, что объединение этих систем может быть полной ортонормированной системой в L2(R), ведь функции φ^^ не обязательно ортогональны при различных уровнях j. Например, так как φ £ Vo С VI, равенство (5.50) означает, что φ{χ) = ^Г u(fc)<£i,*(#) = ^ t*(*)>/2^(2a: - fc) (5.51) fc€Z fc€Z для некоторой последовательности коэффициентов и = (ti(fc))fc€Z € ^2(Ζ). Заметим, что u(fc) должны быть равны (<£, <£i,fc), потому что {φι^}ι*& есть полная ортонормированная система в подпространстве V\. В частности, (<£o,(b ¥>i,fc) = {ψιΨι,*:) не всегда равняется нулю. Формула (5.51) объясняет, почему <£ называется масштабирующей функцией. Определение 5.32. Пусть {Vj}jtz — кратномасштабный анализ с масштабирующей функцией φ. Равенство (5.51) известно как масштабное соотношение или уточняющее соотношение. Последовательность и = (u(k))k£Z в равенстве (5.51) называется масштабной последовательностью. Следующий результат поможет убедиться в том, что наши знания о пространстве ί2(Ζ) можно применить непосредственно к построению вэйвлет-систем в L2(R). Лемма 5.33. Пусть {Vj}jez —кратномасштабный анализ с масштабирующей функцией φ и масштабной последовательностью и. Тогда {R2ku}kez есть ортонормированное множество в £2(Z). Доказательство. Если мы заменим χ на χ — к в масштабном тождестве (5.51) (и изменим индекс суммирования в правой части, так как к теперь фиксированное), то получим φ(χ - к) = ]Г и(1)у/2(р(2х - 2к - I) = ]Г и(т - 2fc)\/2^(2x - га), ί€Ζ ra€Z т. е. 4>o,k = Σ u(m - 2fc)^i,m. (5.52) m€Z
376 Глава 5. Вэйвлеты на множестве R Подстановка этого равенства и тождества (5.51) в формулу для скалярного произведения дает (¥>, <Ро,к) = ( Σ u0")¥>i J' Σ u(m " 2fc)^i^ ) = \j€Z m€Z / = Σ^ Σ W(m " 2*)^1J» ^1,т>- j€Z ra€Z Но множество {¥>i,z}zez —ортонормированное, поэтому (<pij,<pitm) = 0 за исключением тех случаев, когда га = j, и тогда (^ij,^i,m) = 1· Следовательно, мы получаем (φ, vo,k) = Σ uUMj - 2fc) = (*> R2ku)· (5.53) j€Z Из нашего предположения {φ(χ — &)}&€ζ есть ортонормированное множество в L2(K), поэтому (п,Л2^) = |о' _ ? /л* (5.54) если к = О, если fc ^ 0. Из упр. 4.5.1(3) следует утверждение леммы. Лемма 5.33 устанавливает, что если дана масштабирующая функция φ для КМА, то ей соответствует масштабная последовательность и 6 ^2(Ζ), обладающая тем свойством, что четные целочисленные сдвиги и ортонормированы в £2(Ζ). Итак, мы отображаем нашу проблему в L2(R), которую мы не знаем, как практически решить на пространство £2(Z), которое мы очень хорошо понимаем. Мы используем результат в £2(Z) и переходим обратно в L2(M), чтобы получить вэйвлеты на R. Особенно следует отметить, что по лемме 4.47 последовательность и имеет компаньона, последовательность υ такую, что и и υ порождают вэйвлет-систему первого этапа в ί2(Ζ). Точно так же, как φ соответствует и, мы определяем ψ, соответствующее υ. Это приводит к ортогональному расщеплению V\ = Vq Θ Wo, соответствующему ортогональному расщеплению ^2(Z), которое получается из вэйвлет-системы для множества Z. С помощью растяжения аналогичное расщепление Vj+i = Vj; Θ Wj выполняется на любом уровне. Взяв объединение ортонормированных систем {ipj9k}kez для ортогональных дополнений пространств Wj, приходим к вэйвлет-системе для L2(R). План, подводящий итог этим рассуждениям, дается рис. 43. Лемма 5.34. Пусть {Vj}j^z есть кратномасштабный анализ с масштабирующей функцией φ и масштабной последовательностью
5.3. Кратномасштабный анализ и вэйвлеты 377 L2(R) ί2(Ζ) φ= Σ u(fc)<Pi,fc ΚΜΑ:<ρ —— ► u: {^fc^bez ортонормировано в £2(Z) I v(Jb)=(_l)*—i^(l_ib) ψ= Σ v(fc)<Pi,fc Φ <—^ ν: {R2kV>}k£zV{R2kv}k& материнский вэйвлет полное ортонормированное множество b£2(Z) Рис. 43 и € 11{Ъ). Положим υ € £X(Z) равенством v(k) = (-1)к-ги(1 - к) для всех keZ. (5.55) Пусть ф(х) = Σ «(*)^1,*И = Σ«(*) V2p(2x - *)· (5.56) fc€Z fc^Z Тогда {VfyfcHez есгаъ ортонормированное множество в L2(R). Поло- Wo = \ Σ *(*№>,*: ζ = (z(k))k& e 1\Ъ) 1. (5.57) Тогда Vi = V0©Wo. (5.58) Доказательство. Шагами, аналогичными тем, которые использовались для доказательства равенства (5.52), мы приходим с помощью тождества (5.56) к формуле Фо,к = Σ v(m - 2fc)<£i,m. (5.59) ra€Z Тогда, как и при доказательстве равенства (5.53), получаем (упр. 5.3.6) (Ф ν / ^ ν Г1? если fc = 0, . ΛΛ4 ',1n*) = (v,R2kv) = {' ' 5.60) [О, если к ф 0. С помощью замены переменных для к, I 6 Ζ имеем (Ψο^Ψο,ι) = {Ψ,Ψο,ι-к)· Следовательно, равенство (5.60) означает, что {фо,к}к& есть ортонормированное множество в L2(R). Согласно упр. 4.2.8, Wo является подпространством L2(R). Ортонормированность {¥>o,fc}fc€Z — это часть определения КМА.
378 Глава 5. Вэйвлеты на множестве R С помощью рассуждений, которые привели нас к формулам (5.53) и (5.60) (упр. 5.3.6), получаем <^,*> = <и,Я2**)=0 (5.61) для всех к. Следовательно, в результате замены переменных, (<£о,ь Φο,ι) = (ψ, Ψο,ι-k) = 0 для всех fc, I e Z. Согласно упр. 4.6.4, эти результаты означают, что подпространства Vo и Wo ортогональны. По формуле (5.59) фо,к Ε V\ для любого к 6 Z. Из упр. 4.6.5 следует, что Wo есть подпространство V\. Напомним, что Vo есть подпространство V\ по предположению. Для доказательства того, что Vo Θ Wo = VI, нам остается показать, что V\ С Vo Θ Wo- Доказательство этого аналогично доказательству равенства (4.69). Наша цель — показать, что fcez fcez для каждого j 6 Ζ. Для этого подставим равенства (5.52) и (5.59) в правую часть соотношения (5.62) и получим Σ u(2fc " J) Σ u(m " 2fe)Vi.w» + ^ £(2fc - j) ^T v(m - 2fc)(pljm = fc€Z m€Z fc€Z m€Z = Σ fcU(2fc " J')tt(m " 2fc) + Σβ(2* " j)V(m " 2fc)Wm. m€Z ^fc€Z fc€Z ' Единственный случай, когда равенство (5.62) верно,— это тогда, когда величина внутри больших скобок в последнем выражении равна единице при га = j и нулю при других значениях га и j. К счастью, это как раз то, что определяется равенством (4.68). Поэтому равенство (5.62) выполняется и показывает, что при любом j 6 Ζ функция ψ\^ Ε Vo® Wo. Используя упр. 4.6.5, получаем V\ С Vo ® Wo. ■ Таким образом, мы получили расщепление пространства V\. С помощью растяжения каждое Vj расщепляется аналогично. Это приводит к вэйвлет-системе в пространстве L2(R). Теорема 5.35 (теорема Малла). Предположим, что {Vj}jez —κραπι- номасштабный анализ с масштабирующей функцией φ и масштабной последовательностью и = (u(&))fc€Z € ^(Z). Определим υ = (v(fc))/c€Z равенством (5.55) η ^ равенством (5.56). Тогда {ipjtk}j,k€Z есть вэй- влет-система в L2(R).
5.3. Кратномасштабный анализ и вэйвлеты 379 Доказательство. Так же, как в случае с φ, из ортонормированно- сти множества {VfyfcHez с помощью замены переменной следует, что {V^fclfcez —ортонормированное множество для любого j € Ζ. Положим Wj = {Σ*(*№**: ζ = (z(k))k€Z e 12{Z)Y (5.63) Из этого определения следует (упр. 5.3.7), что пространства {Wj}jez обладают теми же свойствами, что и {V^JjeZi согласно определению 5.30(3): f £\Уо тогда и только тогда, когда f(2^x) € Wj. (5.64) Из леммы 5.34 имеем V\ = Vo Θ Wo- Согласно определению 5.30(3) и соотношению (5.64), свойство растяжения (упр. 5.3.8) показывает, что такое расщепление справедливо для каждого этапа: Vj+ι = Vj® Wj для всех j € Ζ. (5.65) Мы утверждаем, что в = {^j,*b,*€Z есть ортонормированное множество в L2(R). Мы уже знаем, что для каждого фиксированного j множество {i/)j,k}k€Z — ортонормированное. Мы должны показать, что i/jj^ ортогональна ψιίΤη при j ф 1\ из соображений симметрии можно предположить, что j > I. Тогда Ψι,τη € Wi С Vj+i С ... С Vj по определению 5.30(1). Но ф^ € W} и Wj ортогонально Vj. Следовательно, ^* ортогональна ψιί7η. Поэтому β есть ортонормированное множество. Теперь остается только доказать полноту ортонормированного множества В. Для этого применим свойства 4 и 5 в определении 5.30, которые до сих пор не использовались. Сначала сформулируем следующее утверждение. Предположим, что д 6 Vj при некотором j € Ζ, и д L Wi (это означает, что (g,w) = 0 для всех w Ε Wi) при всех I ^ j — 1. Тогда ρ = 0. Доказательство этого утверждения почти то же самое, что и в доказательстве полноты в теореме 4.55. Поэтому мы оставляем его в качестве упр. 5.3.9. Теперь предположим, что / 6 L2(R) ортогональна каждому элементу В, т. е. (/, ipjfi) = 0 для всех j, к 6 Z. Из этого следует, что / ± Wj для любого j € Ζ (например, используя упр. 4.2.5(1)). Нам нужно показать, что / = 0. Для каждого j пусть Pj(/) есть проекция / на Vj, определенная (как в определении 4.13) равенством w)=E^.*to.*· (5·66) fcez
380 Глава 5. Вэйвлеты на множестве R По определению (см. лемму 4.14(1)) Pj(f) € Vj. Согласно лемме 4.14(3), разность / — Pj(f) ортогональна любому элементу из Vj. Для I ^ j — 1 имеем Wi С Vi+i С Vj, поэтому / — Pj{f) ортогональна W\ для любого I ^ j — 1. Так как / ортогональна любому Wu то из линейности следует, что Pj{f) -L W\ для всех ί < j — 1. Из результата, установленного в предыдущем разделе, Pj(f)=0 для всех jeZ. Однако по лемме 4.14(5) для всех j € Ζ проекция Pj(f) = 0 есть наилучшая аппроксимация / в V}, т. е. для любого h 6 Vj ll/ll = ll/-W)KII/-*ll. (5-67) По определению 5.30(5) существует последовательность {/n}n€Z такая, что /п 6 \JjgiVj для всех η 6 Ζ и ||/ — /п|| —► 0 при η —► оо. В соответствии с неравенством (5.67), это означает, что ||/|| = 0, т. е. / = 0. Это доказывает полноту множества В. Ш Так как подпространства Vj возрастают и их объединение плотно (определение 5.30(1) и 5.30(5)), каждое из этих пространств можно считать аппроксимацией всего пространства L2(R). Мы представляем проекцию Pj{f) на Vj как аппроксимацию / на уровне j. Для / 6 L2(R) аппроксимации Pj(f) улучшаются и сходятся по норме к / (упр. 5.3.10). Пример 5.36. Вернемся к КМА Хаара (пример 5.31) и применим теорему 5.35 для нахождения вэйвлет-системы в L2(R). Главное — это найти коэффициенты и(к), к 6 Z, в масштабном соотношении (5.51). Из орто- нормированности множества {ipi^kzz следует, что и{к) = (φ, φι$) для любого к 6 Ζ. Заметим, что функция ψ\^ = \/2φ{2χ — к) равна у/2 для к/2 ^ χ < (к + 1)/2 и 0 для всех других х. Поэтому вычислить {φ, ψ\^) достаточно просто, и мы получаем и(0) = 1/л/2> ^(1) = 1/\/2 и u(j) = 0, если j £ {0,1}. Действительно, масштабное соотношение (5.51) с этими величинами эквивалентно равенству φ(χ) = <р(2ж) + φ(2χ - 1), что легко проверить. Формула (5.55) для υ дает г;(0) = —1/\/2, υ(1) = 1/V2 и t;(j) = 0 для всех других j. Поэтому из равенства (5.56) следует, что материнский вэйвлет — это ф(х) = -φ(2χ) + φ(2χ - 1) = < —1, если 0 < χ < - , 1, если - < χ < 1, [0, если ж < 0 или χ ^ 1.
Упражнения 381 ТОГДа / /о к к 1 ФзМх) = { 1?1\ если А + _^_ ^ ж < *+1, (5.68) Λ A; fc + 1 О, если χ < —г или ж ^ . . Нетрудно прямо проверить, что множество {^^}^^€^ —ортонормиро- ванное (упр. 5.3.11). Полнота {ipj9k}j9kez следует из теоремы 5.35. Поэтому мы имеем пример вэйвлет-системы. Функции ф^^ называются функциями Xaapa, по имени А. Хаара, который рассмотрел их в работе, опубликованной в 1910 г. Это был первый пример вэйвлет-системы. Проекции Pj(f) функции / 6 L2(R) на Vj, определенные равенством (5.66), имеют естественную интерпретацию: Pj(f) получаются (упр. 5.3.12) из / заменой / на каждом интервале Ij^ для к Ε Zee средними значениями (как и в дискретном случае —см. равенства (3.95) и (4.91)). Заметим, что последовательности коэффициентов unv для системы Хаара порождают дискретную систему Хаара в ί2(Ζ) (пример 4.56) (за исключением знака υ, который меняется на противоположный). Для многих целей система Хаара недостаточно хороша ввиду отсутствия гладкости функций Хаара: они даже не являются непрерывными. Одна из главных целей вэйвлет-теории состоит в построении гладких версий функций Хаара. Процедура в теореме 5.35 для получения вэйвлет-системы из КМА — явная и конструктивная, как мы видели в примере 5.36. Поэтому можно построить примеры вэйвлет-систем по методу, изложенному в теореме 5.35, в том случае, когда можно построить КМА. Заметим, что вопрос, проистекает ли каждая вэйвлет-система из кратномасштабного анализа, до сих пор являлся открытым. В общем случае ответ на него «нет», но все достаточно хорошие вэйвлет-системы определяются КМА (см. работу Ошер (1995), где приведены точные утверждения). В следующем разделе мы рассмотрим построение кратномасштаб- ных анализов. Упражнения 5.3.1. 1) Предположим, что φ, ψ Ε L2(R) такие, что ]T<£(2-^(2~J0 = 1 для всех £^0,£eR. (5.69)
382 Глава 5. Вэйвлеты на множестве R Показать по крайней мере формально (т. е. без рассмотрения сходимости), что для / 6 L2(M) f = Σ &2-j * ^2_i * f· Это аналогично равенству (5.46) с интегралом, замененным суммой. Подсказка: возьмите преобразование Фурье от обеих частей равенства, предполагая, что можно изменить порядок интегрирования в двойном интеграле в правой части равенства. Потом примените лемму 5.14. 2) Нетрудно получить уравнение (5.69). Предположим, что а) Ф{0 = 0, если ξ не удовлетворяет неравенству 1/2 ^ \ξ\ ^ 2, и б) φ(ζ) φ О для всех ξ € [-5/3, -3/5] U [3/5,5/3]. Пусть В(0 = 5>(2*012. fc€Z Показать, что по предположению (а) эта сумма конечна при каждом ξ (самое большее два члена отличны от нуля) и по предположению (б) эта сумма В (ξ) φ 0 для ξ φ 0 (растяжения отрезка [3/5, 5/3] перекрываются). Доказать, что В(Щ) = Β(ξ) при всех j 6 Ζ. Пусть Доказать, что равенство (5.69) выполняется. 5.3.2. (Теорема выборки Шеннона.) Предположим, что h € L2(R) и supp/i С [—6,6]. (Такая функция называется функцией экспоненциального шипа 6. Если / есть функция некоторого экспоненциального типа, мы называем / функцией с ограниченным спектром.) Предположим также, что обратное преобразование Фурье для h справедливо в каждой точке, т. е. (hj(x) = h(x) для всех χ G R. 1) Доказать, что для \ξ\ ^ 6 ^) = Σ?4τ)β_<ηπξ/6· (5·70)
Упражнения 383 Подсказка: согласно упр. 4.3.5, множество {e~m7ri/6}n€z есть полное ортонормированное множество в L2([—6, Ь)) (см. это упражнение для вышеприведенных определений). Разложим h по элементам этого множества. Заметим, что в равенстве ь (h,e-innt/b) = 1 [ h{t)einKt'bdt -ь отрезок интегрирования может быть заменен на R, потому что h(t) есть функция экспоненциального типа. Используйте теорему 5.24. 2) Доказать, что . /f ч μ*) = Σ4τ) te-ηπ · (5J1) η€6Ζ Подсказка: примените формулу Μ*) = έ|λ(0^* По предположению, что Я есть функция экспоненциального ь типа, интеграл по R может быть заменен интегралом J. Под- -6 ставьте равенство (5.70). Замечание: это упражнение показывает, что h определяется дискретным множеством значений {/ι(ηπ/6)}η€ζ· Это утверждение ложно без предположения об экспоненциальном типе. Это значит, что сигнал с ограниченным спектром может быть восстановлен по его отсчетам, если эти отсчеты достаточно плотные (с требуемой плотностью, обратно пропорциональной экспоненциальному типу, называемому также шириной диапазона). Этот факт лежит в основе цифровой обработки аудиосигналов, которые можно предполагать имеющими ограниченный диапазон, потому что наши уши воспринимают звук только в ограниченном диапазоне. 5.3.3. (Тождество (^-преобразования.) Пусть φ, ψ — такие же, как в упр. 5.3.1(1), и supp<£, suppt/> С [-2,-1/2] U [1/2,2]. Положим <Pj^ и ipjfi как в определении 5.27. 1) Доказать, что ф^к = 2-^2e~ik2~^ <ф2-и гДе V>2-j = W>2-jT(0· 2) Для / € L2(R) доказать, что (/, <pj%k) = 2"^2 / * ф2-3(2-'к).
384 Глава 5. Вэйвлеты на множестве R 3) Для / € L2(R) доказать (формально, без рассмотрения сходимости), что Подсказка: примените упр. 5.3.1(1) и обратное преобразование Фурье, чтобы получить формулу / = X)((/*^2-i^2-i) · j€Z Заметьте, что supp(/ * ф2-,ус {ξ: 2'-1 ^ \ξ\ ζ 2'+1} С С {ξ: -2*V<£<2%}, и примените равенство (5.70) с Ь = 2%. Затем используйте п. 1 и 2. Замечание: эта формула аналогична вэйвлет-тождеству (5.43), хотя она и не вытекает из ортонормированности множества. 5.3.4. Для j Ε Ζ пусть Vj = {fe L2(R): supp/ С [-2'π,2'π]}. Доказать, что {Vj}j€z есть кратномасштабный анализ. Подсказка: легко видеть, что каждое Vj есть подпространство L2(R). Свойство 1 в определении 5.30 не вызывает сомнений. Для доказательства свойства 2 введем функцию если — π ^ ξ ^ π, если \ξ\ > π. Пусть / \ / w \ 8ίη(πχ) φ(χ) = (Х[_щп]) (χ) =-±-J-. Χ[-π,π](£) = |0' π# Если / € И), то мы можем разложить / в ряд Фурье на интервале /(ο = Σβ(*)β"^χ[-,ΐΓ](ο fc€Z при некоторой последовательности (a(fc))fc€z € ^ (Ζ). Заметим, что ... по лемме 5.26(2). Из обратного преобразования Фурье выводим, что fc€Z
Упражнения 385 Свойство растяжения (п. 3 в определении 5.30) следует из леммы 5.14. Свойство 4 следует из определения пространств Vj. Для доказательства свойства 5 предположите, что / 6 L2(R) и пусть /п такая, что /п(£) = /(£)> если \ξ\ ^ 2ηπ, и 0 в других точках. Покажите, что ||/п — /|| —► 0 при η —► оо (сравните с упр. 5.1.13) и примените формулу Планшереля. 5.3.5. Предположим, что {Vj}j^z есть кратномасштабный анализ с масштабирующей функцией φ. Доказать равенство (5.50). 5.3.6. Доказать равенства (5.60) и (5.61). 5.3.7. Доказать равенство (5.64). 5.3.8. Доказать равенство (5.65), предполагая справедливость равенств (5.58) и (5.64). 5.3.9. Пусть {V^}j£z есть кратномасштабный анализ с масштабирующей функцией φ. Определим ф равенством (5.56) и Wj — равенством (5.63) для j 6 Ζ. 1) Доказать утверждение в доказательстве теоремы 5.35: если д Ε Vjи д ± W\ для всех I ^ j — 1, то д = 0. Подсказка: следуйте рассуждению в доказательстве теоремы 4.55, но начните лучше с j, а не с 0. По определению 5.30(1) получите д € fy,l=z_OQVi = DizzVi. Затем примените определение 5.30(4). 2) Выведите, что {ipitk}ltkeZ: l<j есть полная ортонормированная система в Vj. Замечание: строго говоря, это означает, что Vj = ©frlooWi для каждого j € Ζ. 5.3.10. Предположим, что {Vj}j^z есть кратномасштабный анализ. Пусть / 6 L2(R). Для каждого j пусть Pj(f) есть ортогональная проекция / на подпространство Vj, как в формуле (5.66). Показать, что последовательность {Pj(f)}jez сходится к / в L2(K), Т-е'ЧТ° ||Pj(/)-/ll-0 при j^oo. Подсказка: используя определение 5.30(1), покажите, что \\Pj(f)—/|| есть убывающая последовательность и, следовательно, сходится. Используйте свойство наилучшей аппроксимации и определение 5.30(5), чтобы убедиться, что предел должен быть равным нулю. 5.3.11. Для j,k € Ζ определим ^j,fc равенством (5.68). Доказать, что {^j\*}-fc€z есть °РтоноРмиРованное множество в L2(R). Подсказка: используйте то, что если два двоичных интервала Ij$ и Ijfyk' пересекаются, то один есть подмножество другого. Этот факт следует из замечаний о двоичных интервалах в начале примера 5.31.
386 Глава 5. Вэйвлеты на множестве R 5.3.12. Определим φ равенством (5.49) и ψ^^ для j, к € Z, как в определении 5.27. 1) Доказать, что <Pj,k{x) = 2J^2, если χ € Ijj (интервал Ij^ определен в примере 5.31) и φ^^{χ) = 0, если χ fi Ij^· 2) Для j е Ъ и / 6 L2(R) определим Pj(/) равенством (5.66). Для χ 6 Jj·^ показать, что Pj(/)(x)=2i j /(t)A — среднее значение функции / на промежутке Ij^. 5.3.13. (Неоднородная вэйвлет-система в L2(R).) Пусть {Vj}j^z есть кратномасштабный анализ с масштабирующей функцией φ. Определим ψ, как в теореме 5.34. Пусть I 6 Ζ. Определим множество г> г / ι г ι Доказать, что В есть полная ортонормированная система в L2(R). Подсказка: чтобы доказать полноту, покажите, что если функция / ортогональна каждому элементу множества В, то / ортогональна вэйвлет-системе в теореме 5.35. 5.4. Построение кратномасштабных анализов Мы видели в разд. 5.3, что кратномасштабный анализ с масштабной последовательностью и € £X(Z) приводит к вэйвлет-системе в L2(R). Однако до сих пор мы имели только два примера КМА (КМА Хаара в примере 5.31 и КМА в упр. 5.3.4). КМА Хаара связана с системой Хаара, которая известна с 1910 г., и может показаться, что в этой области не было большого прогресса. Однако у нас есть интересные примеры векторов и 6 £1{Z) таких, что {R2ku}k€Z есть ортонормиро- ванное множество в £2(Z), как, например, вэйвлеты Добеши D6 в £2(Z), см. пример 4.57. В этом разделе мы увидим, что можно использовать такие и для построения вэйвлет-систем в L2(R). Глядя на рис. 43, можно подумать, что, перескочив первый шаг, можно начать с и, определить υ, и тогда получить материнский вэйвлет ψ. Однако это не так, потому что определение ψ включает в себя φ. Вместо этого мы попытаемся отменить первую стрелку. Это значит, что, задав и такое, что {R2ku}k€Z есть ортонормированное множество в £2(Z), мы найдем φ, которое есть решение масштабного уравнения φ(χ) = Σ u(k)<piik{x) = £ u(k)V2<p(2x - fc), (5.72) fcez fc€Z
5.4. Построение кратномасштабных анализов 387 и получим соответствующий КМА, из которого можно вывести вэйвлет- систему методом, данным в теореме 5.35. Так как φ присутствует в обеих частях масштабного уравнения, то неясно, имеет ли уравнение (5.72) нетривиальное решение φ (тривиальное решение φ = О для всех ж, очевидно, не приводит к КМА). Если уравнение (5.72) имеет нетривиальное решение, то это решение не единственно, так как, умножив его на произвольную константу, получим также решение. Однако при разумных условиях существует нетривиальное решение масштабного уравнения, единственное с точностью до умножения на константу. Чтобы понять, почему так, сделаем набросок эвристического рассуждения, которое приводит к формуле для нетривиального решения. Точные формулировки будут приведены позже, когда мы сформулируем результат в виде лемм и теорем. Сначала возьмем преобразование Фурье от обеих частей масштабного тождества. Заметим (упр. 5.41), что vMO = ^e-^/V(f)· (5.73) Предположим, что можно поменять местами сумму и интеграл в определении преобразования Фурье в правой части уравнения (5.72), тогда получим ф(о = ^Еи(к)е~щ/2<рф- (5·74) v fc€Z Положим Тогда уравнение (5.74) принимает вид #0 = "*>(!) ¥>(!)· (5-76) Главное свойство уравнения (5.76) в том, что его можно проитерировать. Действительно, если заменить в уравнении (5.76) ξ на ξ/2, то получим *(§)-·*(!)*(!)· Если теперь подставить это в уравнение (5.76), то оно примет вид № = то (§) то (|) 0 (|) Этот процесс можно продолжить (заменить ξ на £/4 в уравнении (5.76) и т. д.) и получить для любого η 6 N Φ(ξ) = mo (I) mo (|) ... mo (£) φ (£) . (5.77)
388 Глава 5. Вэйвлеты на множестве R Теперь устремим η —► +оо (для этого необходимо, чтобы φ было непрерывным в нуле) и получим ^) = ^(0)Пто(|)· (5-78) Если ф(0) = 0, то равенство (5.78) означает, что φ(ξ) = 0 для всех ξ и, следовательно, φ есть нулевая функция. Поэтому нетривиальное решение φ уравнения (5.72) должно удовлетворять неравенству ф(0) Φ 0. Тогда равенство (5.78) показывает, что при разумных условиях решение единственно с точностью до умножения на скаляр (а именно до выбора <£(0)), и явно определено гао и вектором щ. Мы увидим позже, что для ортонормированности множества Wo,k}kez необходимо равенство \ф{0)\ = 1. Если это так, то можно умножить φ на константу, равную по модулю единице, с тем, чтобы получить ф(0) = 1. Эта нормировка окажется полезной (см. лемму 5.54) при численной реализации вэйвлет-преобразования. Заметим, что ф(0) = J φ(χ)άχ по определению преобразования Фурье, следовательно, t φ(χ)άχ = 1. (5.79) Ε Мы получили уравнение (5.78), предполагая, что существует нетривиальное решение масштабного уравнения. Это рассуждение наводит на мысль, что для того, чтобы доказать существование решения, естественно определить ^0=11^(4) (5-8°) j=l V ^ φ = (ψ)\ (5.81) Тогда можно надеяться доказать, что φ действительно удовлетворяет масштабному уравнению с масштабной последовательностью и. Мы докажем здесь, что при нескольких дополнительных гипотезах этот подход является эффективным. Сначала сделаем несколько замечаний. Предварительно отметим, что нетривиальное решение φ уравнения (5.72) должно удовлетворять соотношению ф(0) ф 0. Если мы подставим ξ = 0 в уравнение (5.76), то получим ф(0) = гпо(0)ф(0) и, следовательно, что т0(0) = 1. (5.82)
5.4. Построение кратномасштабных анализов 389 По определению то в (5.75) равенство (5.82) эквивалентно равенству Y^u{k) = V2, (5.83) накладывающему новое ограничение на и, которое не возникало в контексте пространства ί2(Ζ). Это предположение в виде равенства (5.82) играет другую ключевую роль: оно гарантирует, что члены то(^/2·7) в формуле (5.80) сходятся к 1 при j —► оо, что существенно для оо сходимости произведения J\ mo(£/2J). Заметим, что mo есть 27г-периодическая функция на R и πι0(ξ) = ±ύ(-ξ), (5.84) где и обозначает преобразование Фурье в смысле пространства (см. определение 4.29). Для и 6 ίι(Ζ) частичные суммы ряда в формуле (5.75) непрерывны и равномерно сходятся к то (упр. 4.4.9), следовательно, то также непрерывная функция. Напомним (лемма 4.42(1)), что предположение об ортонормирован- ности множества {R2ku}kez в пространстве ί2(Ζ) эквивалентно равен- СТВУ |й(0)|2 + |й(0 + тг)|2 = 2 для всех Θ. В терминах то это эквивалентно условию |т0(£)|2 + |т0(£ + 7г)|2 = 1 для всех ξ. (5.85) Очевидно, это означает, что |то(£)| ^ 1 дая всех £· Пусть г; —компаньон вектора и, определенный равенством v(k) = (—l)k~lu(l — к). Тогда unv порождают вэйвлет-систему первого этапа в £2(Z) (лемма 4.47). Определим V> = J>(%>i,b (5·86) kez как в лемме 5.34. Если мы вычислим преобразование Фурье от обеих частей равенства (5.86) и используем уравнение (5.73), то рассуждение, аналогичное рассуждениям при выводе уравнения (5.74), дает ^)=4Е^)е~^/2К!)· (5·87) Положив ι ^__^ ™ι(0 = ^Σϋ(*)β~**' (5·88) найдем, что равенство (5.87) эквивалентно Ш =rni (|)^(|)· (5-89)
390 Глава 5. Вэйвлеты на множестве R Если мы проитерируем уравнение (5.89), как мы это сделали при выводе равенства (5.78), получим ^)=т1©Пт°Ш> (5·90) используя нормировку ψ(0) = 1. Отметим аналогичность равенств (5.80) и (3.81), а также равенств (5.90) и (3.80) (сравните также с упр. 4.6.2(2)). Заметим, что гп\ есть 2π" периодическая функция и что тп\ (£) = —γ=ν(—ξ), где ν такое же, как в определении 4.29. Соотно- шение (4.57) между и и υ приобретает вид mi (ξ) = е-^т0(£ + 7г). (5.91) Тогда равенство (5.90) дает явную формулу для материнского вэйвлета φ в терминах то. Этот результат наводит на следующую мысль. Вместо того чтобы начать процесс с вектора it, как мы делали это до сих пор, можно было бы также взять то в качестве начальной точки для построения КМА. Так как используются оба подхода, многие из наших результатов даются в двух формулировках, одна в терминах и, и другая в терминах то- Конечно, и 6 £2(Z) определяет mo € L2([—π,π)) равенством (5.75) или, эквивалентно, равенством (5.84). Обратно, задав mo Ε L2([—π,π)), мы определяем 7Г «(*) = || | тгю(0еЩ<% = V2fh0(-k), (5.92) для к € Ζ и и = u(u(k))kez- Тогда и € -1 £ u(k)e-ikt = Σ гМ-*)е-<* = (mo)' (О = mo(0 V fc€Z fc€Z по лемме 4.31 или следствию 4.24(4.) (здесь'и^определены, как в гл. 4). По теореме 4.46 предположение о том, что и и υ порождают вэйвлет- базис первого этапа в пространстве £2(Ζ), эквивалентно тому, что (4.53) есть система унитарных матриц при всех Θ. В терминах то и гп\ это эквивалентно унитарности для всех ξ матрицы Г m0(£) mi (ξ) Ι [τηο(ξ + π) τηι(ξ + π)\ Так как первая строка матрицы (5.93) должна быть вектором длины 1, и то(0) = 1 по формуле (5.82), мы получаем mi(0) = 0. Согласно (5.93)
5.4. Построение кратномасштабных анализов 391 равенству (5.89), это означает, что ψ(0) = 0, или, эквивалентно, \φ(χ)άχ = 0. (5.94) R Следовательно, материнский вэйвлет φ (и поэтому каждая функция t/^fc, с помощью замены переменных) имеет среднее значение, равное нулю. Это стандартное свойство сокращения для вэйвлетов, которое несколько противоестественно ввиду разложения / = X) (f^j.k^j.k для произвольной функции / 6 L2(R). Создается впечатление: равенство (5.94) означает, что любая функция / 6 L2(R) удовлетворяет равенству J f(x)dx = 0. Однако это не так: см. упр. 5.4.2. Отметим К также, что по определению га χ из условия mi(0) = 0 вытекает, что kez это является дискретным аналогом равенства (5.94). Постараемся строго провести все доказательства. Начнем с установления сходимости произведения в равенстве (5.80). Лемма 5.37. Пусть функция то: R —► С удовлетворяет соотношениям то(0) = 1,|гао(£)1 ^ 1 ^лл всех ξ 6 R и существуют δ > 0 и С < +оо такие, что \то(0 - т0Щ ^ 0\ξ\δ для всех ξ € R. (5.95) Для η € N пусть η Сп(о = Пт°(£/2'')· Тогда <3η(ξ) при η —» +оо сходится равномерно на любом ограниченном подмножестве R и, следовательно, в каждой точке ξ € R. Доказательство. Для каждого η отметим, что |G„+i(0 - Gn(0\ = Π Ι™ο(ξ/2>)|μ0(ξ/2"+1) - IK < |mo(£/2"+1) - IK <7|ξ/2"+ψ,
392 Глава 5. Вэйвлеты на множестве R в предположении, что |гао(£)1 ^ 1>™о(0) = 1 и с учетом соотношения (5.95). Поэтому если га > п, то неравенство треугольника дает га— 1 га— Ι |G«(0 - CW(OI = Σ \°i+№ - G№ < С Σ №+Ψ ^ J=n j=n m—1 +oo j=n j=l где С' есть другая константа, зависящая от δ, потому что последний ряд есть сумма сходящейся геометрической прогрессии. Эта оценка показывает, что на ограниченном множестве из R последовательность Gn равномерно удовлетворяет условию Коши и, следовательно, равномерно сходится. ■ Пример, который может быть явно вычислен, дается в упр. 5.4.3(1). Заметим, что предположение | гао (01 ^ 1 в лемме 5.37 не является необходимым (упр. 5.4.4), но оно выполняется в нашем случае в силу равенства (5.85), и это упрощает доказательство. Когда неравенство (5.95) выполняется при некотором С > О, мы говорим, что гао удовлетворяет условию Липшица порядка δ в нуле. Это означает непрерывность гао в нуле, но соотношение (5.95) —более сильное условие, которое определяет скорость, с которой гао(0 приближается к гао(О) при ξ, стремящемся к нулю. В то же время условие (5.95) достаточно слабое. Пусть, например, гао — непрерывно дифференцируемая функция на R с ограниченной производной (т. е. существует некоторая константа С такая, что |mo(0| ^ С для всех О· По теореме о среднем значении гао (ξ) — гао(О) = τη'0(η)(ξ — 0) при некотором η между ξ и 0. Следовательно, \тпо(0-гпо(0)\^С\£\, поэтому гао удовлетворяет условию Липшица порядка 1 в нуле. Следующая лемма дает условия на масштабную последовательность и, которые означают, что функция гао, определенная равенством (5.75), удовлетворяет условию Липшица положительного порядка в нуле. Лемма 5.38. Пусть и = (u(k))kez удовлетворяет неравенству J2\k\e\u(k)\ <+oo (5.96) fc€Z при некотором ε > 0. Определим функцию гао равенством (5.75). Тогда гао удовлетворяет условию Липшица порядка δ = min(l,e). Доказательство. Будем считать ξ ψ 0, так как в случае ξ = 0 доказательство тривиально. Сначала отметим элементарное неравенство
5.4. Построение кратномасштабных анализов 393 \егв — 1| ^ θ для всех ί 6 R. Для его доказательства заметим, что, согласно неравенству треугольника, мы всегда имеем \егв — 1| ^ 2, поэтому результат тривиален, если |0| ^ 2. Если |0| < 2, то кратчайшая длина дуги единичного круга, связывающей егв с 1 = ег0, есть |0|, и это больше, чем расстояние по прямой линии \егв — 1|. Следовательно, если ввести множества S = {к 6 Z: |fc| ^ 1/|£|} HT = {fc€Z: |fc| > 1/|ξ|}, то |mo(O-mo(0)| = ^ fcez fcez £ < 4 Σ κ*)!!*"^ - ΐι < -4 Σ κ*)ΐι*ι+-4 Σ 2i«(*)i < -L £ K*)ii*ei« + ^Σ i«(*)ii*ei' < ^ Σ K*)ii*Ntf fc€S fc€T fc€Z Здесь мы учли, что δ ^ 1 на предпоследнем шаге и ί ^ ε на последнем шаге. Это дает условие (5.96) с константой С = у/2 Σ 1и(^)Н^1е» которая fc€Z конечна по предположению. ■ Новое условие (5.96) на и более сильное, чем наше обычное предположение, что и € ^(Z), но оно еще достаточно слабое, чтобы выполняться для многих интересных примеров. При условиях леммы 5.37 мы установили существование произведения в равенстве (5.80) (которое определено как поточечный предел частичных произведений). Рассмотрим теперь его свойства. Теорема 5.39. Пусть функция гщ: R —► С удовлетворяет условию Липшица порядка δ в нуле (т. е. выполняется неравенство (5.95)), то(0) = 1, то — 2π-периодическая функция, и \τηο(ξ)\2 + \πΐο(ξ + π)\2 = 1 оо при всех £. Определим φ(ξ) = Υ[ то (ξ/2·7). Тогда 1) ф удовлетворяет равенству φ(ξ) = гао(£/2) φ{ξ/2) для всех ξ € R; 2) φ € L2(R). Положим φ = (фУ и пусть и = (u(k))kei такая последователь- ностьу что имеет место уравнение (5.75) (га. е. определим и(к) равенством (5.92)); 3) Если и 6 ίι(ΐ), то φ удовлетворяет масштабному соотношению (5.72); 4) функция ф непрерывна в нуле»
394 Глава 5. Вэйвлеты на множестве R Доказательство. Для любого ξ е R ОО • ч ОО • ч га° (I) * (I)=»* (I) π - Ш=π -. (I) - *«· Таким образом, утверждение 1 доказано. Докажем п. 2. Из леммы 5.37 следует, что произведение, определяющее ф, сходится равномерно на ограниченных множествах. Для η € N η положим Gn(£) = Π mo (ξ/2·7) и -2ηπ Заметим, что πΐο((ξ - 2ηπ)/2^) = mo(£/2J) для j = 1,2,...,η — 1 ввиду 27г-периодичности mo, и, следовательно, Gn-i — 27г-периодиче- ская функция. Для каждого η ^ 2 имеем <3η(£) = Οη-ι(ξ)τηο(ξ/2η), поэтому О 2ηπ /»= J \Οη-1(ξ)\2\^ξ/2η)\4+ \ \Οη-ι(ξ)\2\τηο(ξ/2η)\2άξ = -2ηπ Ο 2ηπ = J IGn-ii^Pdmoiy^-^p + lmoiymi2)^. о Здесь мы использовали замену переменной у = ξ + 2ηπ в первом интеграле и тот факт, что Gn-\ — 27г-периодическая функция. По предположению выражение внутри скобок в последнем интеграле тождественно равно 1. Следовательно, 2η_1π 2ηπ /n= J |Gn_1(y)|2dy+ J |Gn_!(y)|2dy = 0 2n- f •4 |Gn- -i(Ola« 2η_1π = Λι-1 -2η-χπ Мы воспользовались заменой £=у—2ηπ во втором интеграле и 2ηπ-πβ- риодичностью функции Gn-\. Поэтому 2ηπ 2π J |С„(0|2« = /η = /η-ι = /η-2 = ... = /ι= J |т0(£/2)|2<^4тг, -2ηπ -2π
5.4. Построение кратномасштабных анализов 395 так как |гао(£)| ^ 1 Для всех £· Отметим, что №)\ = η η σο i=i j=n+l = \Gn(0\ Π Κ«/2*)Ι < IG»(OI. так как |mo(£)| ^ 1. Следовательно, из приведенной выше оценки 2ηπ 2ηπ -2ηπ -2ηπ Пусть π —► oo, отсюда следует (сравните с упр. 5.1.13), что φ € L2(R). Из п. 2 и обратного преобразования Фурье (теорема 5.24) φ = (<£)~ определена и принадлежит L2(R). Используя упр. 5.4.6(1) и формулу (5.73), получим с помощью п. 1, что Nfe€Z ' V Ar€Z = »*(§)* (§)=#(*). Взяв обратное преобразование Фурье от левой и правой частей последнего равенства, получим, что φ удовлетворяет масштабному уравнению. Это доказывает п. 3. Из неравенства (5.95) следует, что гао непрерывна в нуле, таковы же и частичные произведения Gn. По лемме 5.37 эти функции сходятся равномерно на ограниченных множествах к ф. Из известного результата анализа следует, что предел ф — также непрерывная в нуле функция. ■ Соответствующее утверждение в терминах и имеет следующий вид. Следствие 5.40. Пусть и = {u{k))kei такая последовательность, что множество {R2ku}kez ортонормировано в £2(Ζ), Σ u(k) = у/2 fc€Z и Σ \k\e\u{k)\ < oo при некотором ε > 0. Определим то равен- fc€Z ством (5.75) и ф равенством (5.80). Тогда ф € L2(R), φ непрерывна в нуле и φ = (φ} удовлетворяет масштабному соотношению (5.72) с масштабной последовательностью и. Доказательство. Предположение Σ \k\€\u(k)\ < оо означает, что fc€Z и € il(Ii), из чего в свою очередь следует, что то — непрерывная функция (упр. 4.4.9). По определению то — 27г-периодическая функция.
396 Глава 5. Вэйвлеты на множестве R Предположение об ортонормированности множества {R2ku}k& в ^2(Z) эквивалентно условию |гао(0|2 + 1то(£ + π)|2 = 1 для всех ξ. Мы имеем то(0) = 1, так как Σ и(к) = у/2. По лемме 5.38 функция гао удовле- fc€Z творяет условию Липшица порядка δ = min(l,e). Поэтому применима теорема 5.39, которая доказывает справедливость всех утверждений. ■ При условиях на η в следствии 5.40 мы можем сделать точными вышеприведенные эвристические рассуждения и доказать единственность в Ь2(Д) решения масштабного уравнения с точностью до постоянного множителя (упр. 5.4.7). Напомним, что нашей целью является получить КМ А для последовательности и такой, что {/?2fc^}fc€Z есть ортонормированное множество в £2(Z). Пока мы показали, что если добавить условия Σ и(к) = \/2 fc€Z и Σ \k\e\u(k)\ < оо при некотором ε > 0, то можно найти ре- fc€Z шение φ 6 L2(M) масштабного уравнения с масштабной последовательностью и. Однако другое требование в определении КМА (определение 5.30) — чтобы множество {<£o,fc}fc€Z было ортонормированным в L2(R). Можно подумать, что это следует из ортонормированности {i?2fc^}fc€Z в £2(Z), так же как и ортонормированность {ψο^} Β L2(M) следует из ортонормированности {ifofc^Hez в £2{Ъ) при доказательстве леммы 5.34. Однако более внимательное рассмотрение показывает, что это доказательство предполагает и использует ортонормированность Wo,k}kez- Действительно, при этих условиях ортонормированность множества {<^o,fc}fc€Z не обязательно имеет место, как это показывает пример 5.41. Пример 5.41. Определим последовательность и € £1{Ъ) равенством /, ч I —т=> если к = 0 или к = 3, и(к) = < л/2 ^0 в других точках. Легко проверить, что {R2k^}kez ортонормировано в £2(Z), потому что четные целочисленные сдвиги не равны нулю на непересекающихся множествах. Также Σ и(к) = \/2 и условие ^ |fcf|u(fc)| < оо тривиально fc€Z fc€Z для любого ε > 0, потому что сумма конечная. Итак, предположения следствия 5.40 выполняются. Пусть / \ I о> если 0 ^ χ ^ 3, /г лг,\ φ(χ) = < 3' ' (5.97) [θ, если χ < 0 или χ > 3.
5.4. Построение кратномаештабных анализов 397 Тогда φ есть решение масштабного уравнения (5.72) для такого % так как φ(χ) = φ(2χ) + φ(2χ — 3), или, эквивалентно, Так как φ 6 L2(M) и <£(0) = J φ(χ)άχ = 1, то вследствие упр. 5.4.7 функ- Е ция φ есть единственное £2-решение масштабного уравнения, удовлетворяющее условию ф(0) = 1 (см. также упр. 5.4.5). Однако множество {<£(),* }fc€Z не ортогональное; например, <¥W0,i)=JHdaH К счастью, если мы наложим дополнительное ограничение (см. ниже условие (5.102)) на последовательность и, мы можем добиться орто- нормированности {v?o,fc}fc€Z· Пожалуй, это наиболее деликатный момент излагаемой теории. Мы начнем с нахождения критерия ортонормиро- ванности любого множества вида {v?o,fc}fceZ· Лемма 5.42. Пусть φ 6 L2(R). Тогда следующие условия эквивалентны: 1) множество {<£o,fc}fc€Z ортонормировано в L2(M); к |Д если к ψ 0; 3) Σ |<Ж + 2тг*0|2 = 1 п. в. fc€Z Доказательство. С помощью замены переменной получим (¥>о,ь<Ам) = (φ,Ψΐ-k), следовательно, ортонормированность {¥>o,fc}fc€Z эквивалентна условиям, что (φ, y>o,fc) = 1> если fc = 0, и 0 при других к. По формуле Парсеваля (теорема 5.22(1)) <¥>, ¥>о,*) = Ρ*)'1 (Φ, Й>,*> = (2*)"1 J |0(O|V*de Ε для fc 6 Ζ, так как (<£o,fc)(0 = е~гк^Ф(£)· Поэтому условия 1 и 2 эквивалентны. Мы оставляем доказательство эквивалентности условий 2 и 3 (которое мы далее не будем использовать) в качестве упр. 5.4.8. ■ Удобно ввести следующее стандартное обозначение.
398 Глава 5. Вэйвлеты на множестве R Определение 5.43. Для произвольного множества Ε С Ж определим функцию хе : Ж —► Ж равенством , ч f 1, если χ Ε £7, tO, если χ f E. Мы называем χ# характеристической функцией множества Е. Наш подход к доказательству ортонормированности {<£o,fc}fc€Z состоит в получении φ как предела последовательности {φη}^ο такой, что для каждого η последовательность [(<рп)о,к]к€% ортонормированная, при этом ((рп)о,к(х) = 4>п(х " к)' Лемма 5.44. Пусть то: Ж —► С есть 2π-периодическая функция, которая удовлетворяет равенству \τηο(ξ)\2 + lmo(£ + π)|2 = 1 для всех ξ. Положим фо = Χ[_π,π), и для η ^ 1 определим по индукции Фп(0 = т0 (|) фп-1 (|) . Тогда ά/ш каждого η ^ 1 &|(0 = Χ[-2ηπ,2»π)(0 Д Ш° ( J/ ) ' (5'98) j=l ^ ' Положим <рп = (фпУ для каждого η ^ 1. Тогда при каоюдом η {(<£n)o,fc}fc€Z — ортонормированное множество в L2(R). (5.99) Доказательство. Равенство (5.98) следует из определения фп с применением простого метода индукции (упр. 5.4.9). Чтобы доказать утверждение (5.99), также применим метод индукции, используя рассуждение, аналогичное доказательству теоремы 5.39(2) (на самом деле это рассуждение есть специальный случай к = О следующего ниже рассуждения). Условие 2 в лемме 5.42 легко проверить для φο, поэтому утверждение (5.99) справедливо при η = 0. Предположим теперь, что утверждение (5.99) верно для п—1. Для η € N положим Gn(0 = Π ™o(£/2j). Так как Gn(f) = m0(£/2n)Gn_i(£), то 2ηπ η 2 \\Φη(ξ)\2β^άξ= j Π Uo (Ι) Ι Λ*ξ= 0 2ηπ = ( J + |)ЬШ| ι<?„-ι(οιν*«. -2ηπ
5.4. Построение кратномасштабных анализов 399 В интеграле по отрезку [—2ηπ, Ο] заменим переменную интегрирования (пусть у = ξ + 2ηπ) и используем, что Gn-i(0 — 27г-периодическая функция (как в доказательстве теоремы 5.39(2)), и егк^ — также 2π-πβ- риодическая функция. Тогда получим \\Φη(ξ)\2β^άξ= I [|mo(£-*)| +|m0(^)|2]|Gn_1(y)|2e^dy. Ε Ο По предположению сумма в скобках тождественно равна 1. Разобьем область интегрирования на два отрезка: [0,2η_1π] и [2η_1π, 2ηπ]. В интеграле по [2η_1π,2ηπ] произведем замену переменной, положив ξ = = у — 2П7Г. Отметим, что подынтегральная функция не изменится ввиду 27г-периодичности Gn-\ и егку. Поэтому из равенства (5.98) получим 1\Φη(ξ)\2β"*άζ= J iG„-i(oi2e«de = Jivfl_i(oivi<de. Ε -2η"1π Ε Последний интеграл равняется 2π при к = 0 и равен нулю при других /г по индукционному предположению и лемме 5.42. Отсюда получаем условие в лемме 5.42(2) для фп. Следовательно, из леммы 5.42 вытекает утверждение (5.99) для п, что завершает индукцию. ■ Заметим, что, согласно равенству (5.98), φη(ξ) сходится поточечно при η —» оо к φ(ξ), как определено в равенстве (5.80). Если бы мы могли показать, что Г №)\2<Р*К = Вт ί \φη(ξ)\2β^άξ (5.100) J n-*ooJ Ε Ε для всех к 6 Ζ, το из теоремы 5.42 можно было бы заключить, что {<£o,fc}fc€Z есть ортонормированная последовательность, так как, согласно леммам 5.44 и 5.42, lim \φη{ξ)\ <r*<% = lim < = { n-ooJ^nvs/l ^ n-.oo\o, если fc^O \0, если fc = 0 если fc ф 0. (5.101) Можно подумать, что равенство (5.100) всегда выполняется, потому что речь идет о переходе к пределу при η —► оо. Однако мы знаем из примера 5.41, что это не всегда так. Действительно, замена местами перехода к пределу и интегрирования — это деликатный вопрос (см. упр. 5.4.11, в котором для некоторых простых примеров это не выполняется). Различные условия, при которых это равенство может выполняться, обычно формулируются в начале курсов вещественного
400 Глава 5. Вэйвлеты на множестве R анализа. Мы приводим без доказательства следующий фундаментальный результат, доказательство которого можно найти в любой книге по интегрированию Лебега. Теорема 5.45 (теорема Лебега о мажорируемой сходимости, или ТМС). Пусть {/n}^Li есть последовательность функций, которая сходится почти всюду к функции /. Предположим, что существует функция g ^ 0 такая, что J g(x)dx < +оо и R |/n(#)| ^ g(x) для всех η € N и η. β. χ € R. Тогда г г lim fn(x)dx = f(x)dx. п-++оо J J R R Предположение в теореме 5.45 означает, что все функции /п одновременно мажорируются в п.в. (почти всех) точках функцией <?, интеграл от которой конечен. В некотором смысле это значит, что все действия находятся под контролем, и это приводит к выполнению утверждения. Мы знаем из примера 5.41, что предположения в теореме 5.39 недостаточны для гарантии ортонормированности {<Ро,к}к€%- Поэтому нам необходимо какое-то дополнительное предположение, а именно условие (5.102). Это условие не имеет интуитивного содержания, его роль состоит в обеспечении нас оценкой, которая позволяет применить ТМС, что оправдывает равенство (5.100). Условие (5.102) не является наиболее точным, но его относительно легко проверить, и оно достаточно для рассматриваемых здесь применений. Лемма 5.46. Пусть функция то: R —► С удовлетворяет условию Липшица порядка δ > 0 в нуле (т. е. выполняется неравенство (5.95)), то(0) = 1,то — 2π-периодическая функция, |гао(£)|2 + 1то(£ + тг)|2 = 1 для всех ξ и inf |mo(OI>0. (5.102) |ξ|<π/2 оо Положим φ(ξ) = Π ?πο(ξ/2·7). Пусть φ = (ф)\ Тогда {<£ofc}fc€Z есть ортонормированное множество в L2(R). оо Доказательство. Так как поточечная сходимость fj mo (ξ/2*) сле- дует из леммы 5.37, то ψ определено. Определим фп равенством (5.98). Это определение показывает, что фп(0 сходится поточечно к <£(£). По теореме 5.39 функция φ 6 L2(R);
5.4. Построение кратномасштабных анализов 401 Далее мы покажем, что существует константа Ci, не зависящая от ξ, такая что для всех η > Ν 16»(01<σι|#0|. (5-103) Предположим, что это неравенство выполняется, тогда |lfc.(0|V*|<c?|#0|2, и справа стоит функция (которая будет играть роль д в ТМС) с конечным интегралом, так как φ 6 L2(R). Отметим, что последовательность \φη(ζ)\2 егк^ сходится поточечно при η —» оо к \φ(ξ)\2 егк^ (ввиду поточечной сходимости фп к ф), следовательно, равенство (5.100) вытекает из ТМС. Поэтому равенство (5.101) означает ортонормированность {<£(),& }fc€Z> по лемме 5.42. Вернемся теперь к доказательству неравенства (5.103). Заметим, что оно тривиально, если \ξ\ > 2ηπ, так как левая часть равняется нулю. По определению φ и фп при \ξ\ ^ 2ηπ Ш1 = пк(|)|· Π к(!)| = ыо1 Π h>(!)|· j=lI \ /I j=n+iI \ /I j=n+l' \ /I (5.104) (5.105) Отметим, что Π k(|)| = пЬ(т)I = ι#(2-οι· Ввиду равенств (5.104) и (5.105) доказательство неравенства (5.103) сводится к тому, чтобы показать, что |<£(2~п£)| ^ Ι/Ci > 0 (с константой Ci, не зависящей от п) для всех ξ € [2~ηπ, 2ηπ] или, эквивалентно, что 10(01 ^ тг > 0 для всех ξ е [-π, π]. (5.106) Для |£| ^ π мы имеем гао (I) Ι \£\δ πδ ^ 23δ 23δ по предположению об условии Липшица на гао и при условии то(0) = 1. Выберем TV достаточно большое, такое что Οπδ/2Νδ ^ 1/2. Для j > Ν, из-за выбора Ν, выполняются неравенства Οπδ/2^δ ^ θ2πδ/2Νδ ^ 1/2. При 0 ^ χ ^ 1/2 справедливо неравенство 1 — χ ^ е~2х (упр. 5.4.12), поэтому из неравенства треугольника получаем 2j5 h (?) I > г - I1 - mo (?) | > г - C S > e^2'* · (5-Ю7)
402 Глава 5. Вэйвлеты на множестве R ι*«>ι-π|-(1)|· π НЮ И" π Пусть C2= inf |пю(01, |ξ|<π/2 эта константа положительна по определению. Для ξ 6 [—π, π] и j € Ν имеем |ξ/2*| ^ π/2, поэтому |mo(£/2^)| ^ С^. Использование этого результата и соотношения (5.107) дает при \ξ\ ^ π 6-20πδ2~ίδ j=JV+l' х" ' ' j=JV+l -2<7π5 f 2"^ ι = C?e i-N+i = -±- >0, потому что ряд сходится. Мы доказали соотношение (5.106) и тем самым соотношение (5.103). ■ Этот результат дает объяснение нашей нормировки |<£(0)|=1. (Другое объяснение, основанное только на ортонормированности {<#),fc}fc€Z и масштабном соотношении (5.72), рассматривается ниже в упр. 5.4.14.) А именно, по лемме 5.46 эта нормировка дает функцию с Ь2-нормой 1, поэтому любой другой выбор дает другую Ь2-норму, что противоречит ортонормированности {<£o,fc}fc€Z· В примере 5.41 функция τη0(ξ)=1-(1 + ε-^) равна нулю при ξ = π/3 и поэтому не может удовлетворять условию (5.102). Этот пример показывает, что в соотношении (5.102) нельзя заменить π/2 на любое число, меньшее π/З; это указывает на то, что упомянутое условие представляет собой некоторый тонкий момент. Заметим также, что гао есть непрерывная функция при условии и 6 ^(Ζ), в этом случае условие (5.102) эквивалентно тому, что гао не имеет нулей на отрезке [—π/2, π/2] (напомним, что непрерывная функция на компактном множестве достигает на этом множестве инфинума). Лемма 5.46 представляет собой наиболее трудную часть при построении КМА. С помощью этой леммы мы можем определить φ равенством (5.80) и получить ортонормированность {ipo,k}k£i и масштабное соотношение (5.72). При определении Vj с помощью равенства (5.50) свойства 1-3 в определении 5.30 кратномасштабного анализа легко получаются. Однако нам еще нужно рассмотреть свойства 4 и 5. Лемма 5.47 говорит о том, что свойство пересечения 4 в определении 5.30 избыточно; оно следует из свойств 2 и 3. Лемма 5.47. Пусть φ G L2(M) и {<Pj,k}kei при каждом j € Ζ есть ортонормированное множество. Определим {Vj}j^z равенством (5.50).
5.4. Построение кратномасштабных анализов 403 Тогда f]Vj = {0}. Доказательство. Рассмотрим функцию / € Π Vj. Пусть ε > 0. jez Так как / 6 L2(R), то, согласно упр. 5.1.13, мы можем выбрать такое достаточно большое Д, что [ \f(x)\2dx<e2. {ж: \x\>R} Пусть „ω = /><*>· если \х\ > R , ч f/(s), если |ж| ^ Я, Из выбора R и g имеем ||/ — д\\ < ε. Для каждого j € Ζ определим оператор ортогональной проекции Pj : L2(R) —► Vj равенством (5.66). Согласно леммам 4.7 и 4.8, fc€Z для любого /ι 6 L2(R). Также, по лемме 4.14(3), Pj(f) = /, так как / Ε Vj по предположению. Поэтому ||/ - Р^д)\\ = \\PjU - 5)|| ^ ||/ - д\\ < ε (5.108) при любом j. Так как #(#) = 0 при \х\ > R, мы имеем |2 II2 и /„ \^—1|2 \&4>jjk)? = J /(*)X[-Jwq(s)^*(s)<k; ^ 11/111Х[-я,я](*)^ вследствие неравенства Коши—Шварца (5.3). Однако в результате замены переменной у ^=2^х — к получим R -k+2iR 1|Х[-ЗД (*Ш112 = \ |2*Лр(У* - A:)|2dar = | \<p(y)\2dy. -R -k-23R Теперь выберем J € Ζ отрицательным и достаточно большим по модулю, так что 2JR < 1/2. Тогда для j < J мы имеем из вышеприведен-
404 Глава 5. Вэйвлеты на множестве R ных оценок, что -k+2*R \\pm?=Σ\&Ψί*)\2 < ιι/ιι2Σ f ш\2ъ= к& k^-k-23R X (j [-k-2JR-k+2JR)(y)\v(y)\2dy, J кеъ так как отрезки [—к — 1?R, —к + VR] не перекрываются, потому что 2jR < 1/2 для j < J. Пусть hj(y) = X у [-k-2iR-k+2iR](y)My)\2· /се ζ Тогда hj(y) —► 0 п.в. при j —► —оо. Отметим, что каждое hj удовлетворяет неравенству \hj(y)\ ^ |^(у)|2 и J |^(y)|2dy < +оо, так как φ G L2(R). к Поэтому можно применить ТМС (теорема 5.45), из которой следует, что \Х[Л-к-21ъ-к+2^](у)Му)\2<1у-^0 при j->-oo. Ε Согласно полученным оценкам, мы можем выбрать j так, что пади < е. Неравенство треугольника с учетом этого неравенства и соотношения (5.108) дает 11/К11/-ад|| + над||<*+е=2е. Так как ε > 0 — произвольное число, то ||/|| =0 и, следовательно, / = 0. ■ Свойство плотности 5 в определении 5.30 не выполняется автоматически, но для его выполнения требуются слабые условия. Лемма 5.48. Пусть функция φ € L2(R) такова, что ψ ограничено, ψ непрерывно в нуле и ф(0) = 1. Также предположим, что {<Pj,k}kez для каждого j Ε Ζ есть ортонормированное множество. Определим {Vj}jez равенством (5.50). Тогда (J Vj плотно в L2(R). Доказательство. Возьмем произвольную функцию / € L2(R). Пусть ε > 0. По формуле Планшереля (теорема 5.22(2)) / 6 L2(R), поэтому существует достаточно большое число R (см. упр. 5.1.13) такое, что ίί: ΙίΙ ι/(0ΐ2«<62. >R}
5.4. Построение кратномасштабных анализов 405 Определим д равенством -ff) = //(0, если |£|<Д, 9{ζ) \θ, если |£|>Д, и пусть д = (#)Г. Тогда снова по формуле Планшереля ||/ - д\\ = -±= ||/ - д\\< J*. < ε. (5.109) Определим оператор ортогональной проекции Pji L2(M) —» Vj равенством (5.66). Тогда Pj(g) € Vj (лемма 4.14(1)), и разность д — Pj(g) ортогональна любому элементу из Vj (лемма 4.14(4)). Следовательно (ввиду равенства (1.44)), Ы1Я = \\д - РМ + PMW2 = \\я - ЗДН2 + НЗДН2· (б.ио) Мы утверждаем, что ||-Р,(5)|| —* |Ы1 ПРИ 3 ~+ +<*>· Чтобы увидеть это, сначала отметим, что по равенству Парсеваля (теорема 5.22(1)) 1 иъ*)\Л = (2тг)2 1,<Pj,k)\ ■ Произведя в интеграле замену переменной, получим <PiAQ =\2j/M2jx - k)e**dx = 2-№е-*№ф (|) . к Следовательно, \{д^Л2 = ^^a\\mW^~yK,2id^ = R = (2^2^1|^у)Ше^у| = R (21+1)* ■ί€Ζ (2ί-1)π 2j 7Г Σ 27 [ ^ ^ + 27г/)Ж# + 2irl)eikede Это есть умноженный на 2·^ квадрат модуля k-го коэффициента Фурье на {—π, π) функции #(0) = Σ№{θ + 2πΙ))φ(θ + 2πΙ). (5.111)
406 Глава 5. Вэйвлеты на множестве R Поэтому, согласно следствию 4.24(2) (формула Планшереля для рядов Фурье), мы получаем π ιι%)ΐι2 = Σι^^>ι2 = 2,έ ί №*)№· Выберем J так, чтобы 2J > R/π. Если j > J, то мы утверждаем, что в каждой точке θ есть не более чем один член в сумме в правой части равенства (5.111), который отличен от нуля. Чтобы убедиться в этом, предположим, что 9д(2^(θ + 2πή)) Φ 0 и д(2^(0 + 2πτη)) фОв некоторой точке Θ. Так как ρ(ξ) = О при ξ > Л, это означает, что \θ + 2πη\ ^ Д/2·7 и \θ + 2жгп\ ^ Я/2·7. Тогда по неравенству треугольника при j > J |2*(m-n)K|2™ + 0| + |-0-2H<§ + f = f <|?<2π. Это возможно, если только га = п. Следовательно, как и утверждалось, сумма сводится к (самое большее) единственному ненулевому члену в каждой точке. Поэтому квадрат модуля суммы есть сумма квадратов модулей, т. е. Μθ)\2 = Σ ti&V + 2«1Шв + 2π/)|2. Подставляя это равенство в выражение для ||i^(ff)||2, получаем π \\PMW2 = я £ [ Σ №(* +^ОЖ* + 2π/)Ι2^ = (21+1)π =2,'^Σ } mjy)\2my)\2dy= l€Z (2/-1)π = 2^J|^y)|2|#y)|2dy = R Мы хотим применить ТМС к этому последнему интегралу. По предположению φ ограничено, т. е. |<£(£)! ^ С ПРИ всех £· Поэтому при всех j |2 |2 I - / ζ \\ ^ n\btt\\l· \т №)ПФ[ъ)\ *<Ж)\, и jC|<7(£)|2d£ < +оо, так как д € L2(R). Таким образом, мы имеем под- R ходящую мажорирующую функцию. Предположим также, что функ-
5.4. Построение кратномасштабных анализов 407 ция ψ непрерывна в нуле и ф(0) = 1. Поэтому \<)(ξ)\2\φ(ξ/2ΐ)\2 при каждом ξ сходится к |^(012 ПРИ 3 —* +00· Тогда по теореме о мажорируемой сходимости ||ij(<7)||2 сходится при j —► +оо к 1\\№\Ч = ±\\9\\2 = \\д\? 2π по формуле Планшереля. Согласно равенству (5.110), это означает, что ||<7—-Fj(#)||2 сходится к нулю при j —► +сх). В частности, существует некоторое j такое, что ||# —-Pj(#)|| < ε. Из соотношения (5.109) и неравенства треугольника получаем, что ||/ — Pj(#)|| < 2ε. Так как Pj(g) € Vj, а / и ε произвольны, этот результат показывает, что объединение |J Vj плотно в L2(R). ■ Проведя некоторые вычисления и используя определение функции φ (равенство (5.49)), для системы Хаара можно показать, что при ξ ф 0, и ф(0) = 1. Следовательно, можно применить лемму 5.48, и это завершает доказательство того, что {Vj}j€z образует кратномас- штабный анализ, как это было обещано ранее в примере 5.31. Теперь мы можем сформулировать и доказать главный результат этого раздела. Теорема 5.49. Пусть то: К —» С — 2π-периодическая функция, удовлетворяющая следующим условиям: 1) 1™о(£)|2 + \τη0(ξ + π)|2 = 1 для всех ξ € R; 2) m0(0) = 1; 3) mo удовлетворяет условию Липшица порядка δ > 0 в нуле (т. е. неравенство (5.95) выполняется при некоторых δ, С > 0); 4) и%<7г/2|т0(01 > 0. Пусть вектор и = {u{k))kei такой, что гао(£) = -7s Σ и(к)е~гк^ (т. е. определим и(к) равенством (5.92)), и предположим, что ив Тогда fj τηο(ξ/2^) равномерно сходится на ограниченных множе- 3=1 ствах κ функции ф € L2(R). Положим φ = (ф}. Тогда φ удовлетворяет масштабному уравнению (5.72) и {<£o,fc}fc€Z ~~ ортонормированное множество в L2(R). Для j € Ζ определим Vj = {5>(*to.*: * = (*(*))*sz € *2(Z)}. (5.112)
408 Глава 5. Вэйвлеты на множестве R Тогда {Vj}j^z есть крагпномасштабный анализ с масштабирующей функцией φ и масштабной последовательностью и. Доказательство. Из свойств 1-3 теоремы 5.39 следует, что оо Π mo(£/2J) сходится равномерно на ограниченных множествах 3=1 к φ Ε L2(1R), и что φ удовлетворяет масштабному уравнению (5.72). Из свойства 4 и леммы 5.46 следует ортонормированность {<£o,fc}fc€Z· Таким образом, определение Vb да£т свойство 2 в определении 5.30 (определение КМ А). Из определения Vj следует свойство растяжения (определение 5.30(3)). По свойству растяжения {<Pj,k}kei есть ортонор- мированное множество для каждого j 6 Ζ. Масштабное уравнение (5.72) и иные рассуждения о свойстве растяжения показывают, что m€Z для всех j,k € Ζ. Отсюда из упр. 4.6.5 следует, что Vj С Vj+i при каждом j € Ζ (определение 5.30(1)). Лемма 5.47 дает автоматически определение 5.30(4). Отметим, что \φ(ξ)\ < 1 для всех ξ, так как |шо(01 ^ 1 по свойству 2. По свойству 3 функция то непрерывна в нуле, и по теореме 5.39(4) этому же свойству удовлетворяет φ. Также оо оо по определению ф(0) = Π mo(0) = J^[ 1 = 1. Следовательно, лемма 5.48 показывает, что свойство 5 в определении 5.30 выполняется. ■ Теорема 5.50. Пусть и = (u(k))kez есть последовательность, удовлетворяющая условиям: 1) Σ Ι^|ε|^(&)| < +00 пРи некотором ε > 0; fc€Z 2) ΣΦ) = ^2; fc€Z 3) {R2ku}k€Z — ортонормированное множество в ^2(Z); 4) infmn/2\mo{0\ > 0 для m0(0 = -= Σ u{k)e~ikt. ν* fcez оо Тогда Y[ mo (ξ/2·7) сходится равномерно в ограниченных подмноже- ствах R к функции φ € L2(R). Положим ψ = (у»)'. Д/ш каждого j Ε Ζ определим Vj равенством (5.112). Тогда {Vj}j€z есгаъ кратно- масштабный анализ с масштабирующей функцией φ и масштабной последовательностью и. Доказательство. По определению то — 27г-периодическая функция. По условию 1 η € ^(Ζ), и условие 3 в теореме 5.49 выполняется по лемме 5.38. Условие 2 эквивалентно условию 2 в теореме 5.49, и условие 3
Упражнения 409 эквивалентно условию 1 в этой же теореме. В результате все утверждения следуют из теоремы 5.49. ■ Таким образом, мы свели построение кратномасштабного анализа (и, следовательно, по теореме 5.35, построение вэйвлет-систем) к построению последовательности и, удовлетворяющей условиям 1-4 в теореме 5.50. Мы рассмотрим некоторые примеры в разд. 5.5. Упражнения 5.4.1. Доказать равенство (5.73). 5.4.2. 1) Для η € N определим функцию /п на R равенством (О, если χ < О, 1, если 0 ^ χ < 1, | , если 1 < χ < η + 1, I п 1Д если х^п + 1. Определим f(x) следующим образом: f(x) = 1 при 0 ^ χ < 1 и f(x) = 0 в других точках. Показать, что / G LX{R) Π L2(R), fn E Ьг(Я) Π L2(R) для всех η € Ν, fn(x)dx = 0 при всех η € N Ε II/» - /II — о \f{x)dx = l. при η —юо, хотя 2) Пусть / — произвольная функция такая, что / 6 L1 (R)nL2(R). Обобщить п. 1, построив последовательность функций^п}^! такую, что ||/п — /|| —► 0 при η —► оо и lfn(x)dx = 0 R при всех η € N. Замечание: Этот результат показывает, что условие J fn(x)dx = 0 не сохраняется при переходе к пределу, R когда {/n}£Li сходится к / в смысле L2. Это объясняет, почему вэйвлет-тождество (5.43) может выполняться для всех
410 Глава 5. Вэйвлеты на множестве R / 6 £2(R), несмотря на то, что Ji/jjiie(x)dx = 0 для любых Ε j,k 6 Ζ (согласно формуле (5.94) и замене переменных): интеграл от любой конечной частичной суммы в формуле (5.43) равен нулю, но эти частичные суммы сходятся в смысле L2 так, что предел может не иметь интеграл, равный нулю. 3) Пусть {/η}η€Ν есть последовательность функций в LX(R) и J fn(x)dx = 0 для всех η 6 N. Предположим, {/η}η€Ν Ε сходится к / в норме L1; это значит, что ||/п — /|| —► 0 при η —коо. Доказать, что J f(x)dx = 0. Из этого следует, что для Ε / 6 LX(R) с J f(x)dx = 0 вэйвлет-тождество (5.43) не сходится r в норме L1. 5.4.3. Доказать формулу Π«-(?)-*= <5·»3> двумя способами: 1) записав sinx = sin2 i-J = 2cos ( - J sin ί - J и итерируя это равенство; 2) применяя равенство (5.78) в случае системы Хаара (здесь единственность оправдывается упр. 5.4.7, приведенным ниже). Подсказка: для п, как в примере 5.36, mo(£) = f(l + e-*) = e-*/2cos(!). Запишите выражение для φ(ξ). 5.4.4. Доказать лемму 5.37 без предположения |то(£)| ^ 1· Подсказка: показать, что 5.4.5. Пусть и — последовательность из примера 5.41. Вычислим то(£)· Определим ψ равенством (5.80). С помощью вычислений (т. е. не обращаясь к единственности решения уравнения (5.72)), показать, что ψ дается так же, как в равенстве (5.97). Подсказка: как и в подсказке к упр. 5.4.3(2), покажите, что πιο(ζ) = е~г3^/2 cos(3£/2) и примените формулу (5.113).
Упражнения 411 5.4.6. 1) Пусть {fk}k€% — последовательность функций, которая ограничена в L2(R), т. е. supfc€Z||/fc|| < оо. Предположим, a = (a(k))k& e ex(Z). Доказать, что £ a(k)fk € L2(R) и 2) Показать, что мы не можем заменить предположение a 6 £λ(Ζ) в п. 1 предположением α € ί2(Ζ). Подсказка: например, пусть а(к) = 1/к для fc € N. Пусть / 6 L2(R) — функция с II/H φ 0. Пусть Д = / для всех fc. Покажите, ЛГ что последовательность ^ a(fc)/& не сходится в L2(R) при iV —► оо. 5.4.7. Предположим, что и = {и{к))ьеъ удовлетворяет предположениям следствия 5.40. Пусть φ 6 L2(R) есть решение масштабного уравнения (5.72), такое что ф(0) = 1. Доказать, что φ есть решение, полученное в следствии 5.40. Подсказка: используйте упр. 5.4.6 для обоснования формулы (5.76). Проитери- руйте, чтобы получить соотношение (5.77). Тогда используйте некоторые из выводов следствия 5.40, чтобы обосновать равенство (5.78). 5.4.8. Доказать эквивалентность условий 2 и 3 в лемме 5.42. Подсказка: запишите (2Ζ+1)π Κ Ζ€Ζ(2ί-1)π π = [ ^2\Φ(θ + 2πΙ)\2βΜάθ. -π «€Ζ 5.4.9. Доказать равенство (5.98). 5.4.10. Доказать основной шаг индукции в доказательстве леммы 5.44 (если утверждение (5.99) выполняется для η — 1, то оно справедливо и для п) следующими способами. 1) Определим последовательность и = {u{k)}kei равенством (5.92) так, что выполняется соотношение (5.75). Обратное преобразование Фурье показывает, что fc = ^#)(ft-l)l,fc. fc€Z
412 Глава 5. Вэйвлеты на множестве R Достаточно сложно оправдать перемену местами суммирования и преобразования Фурье, так как мы предположили только, что и 6 £2(Z) (сравните с упр. 5.4.6). Однако выполнение условий \φ{ξ)\ ^ 1 для всех ξ и принадлежность supp<£ € [—2η-1π, 2п-17г] позволяют применить теорему Планшереля и показать, что частичные суммы ряда Σ ^(&)(<£n-i)i,fc удовлетворяют условию Коши в L2(R). Ис- fc€Z пользуйте формулу для φη, чтобы доказать, что {ψη, (<Рп)о,к) = Σ^(0 Σ ^(m)(^n-b (V>n-l)o,2fc+m-i> = ZGZ raEZ = {u,R2ku). 2) Используйте критерий, приведенный в лемме 5.42(3). Рассмотрите Σ \φη(ξ + 2πΙϊ)\2. Примените определение фп и раз- fc€Z бейте сумму по к на четные и нечетные части, т. е. к вида 21 и к вида 2Z +1. Используя 27г-периодичность функции то, перепишите сумму по к в виде \ш0{ф)\2^\фп-М12) + 2п1)\2+ + |mo(«/2) + π)|2 £ |<£η-ι((£/2) + 2πϊ + π)|2 /€Ζ и примените индукционное предположение. 5.4.11. 1) Для каждого η Ε N определим fn G LX(R) равенством ГО, если χ ^ О, /п(«) = < п, о, если если 0 < χ < -, η ж ^ -. η Доказать, что lim fn(x) = /(ж) существует для всех χ 6 η—*оо и lim J fn(x)dx также существует, но lim fn(x)dx ф f(x)dx. n-»ooJ J Почему ТМС (теорема 5.45) здесь не применима? Какова наименьшая функция д, удовлетворяющая неравенству fn(x) ^ д(%) для всех χ еЖи всех η 6 Ν?
Упражнения 413 2) Ответьте на те же вопросы, что и в п. 1, только с ίΟ, если χ ^ О, - , если 0 < χ < п, О, если χ ^ п. 5.4.12. Для 0 ^ χ ^ 1/2 доказать, что 1 — χ ^ е~2ж. Подсказка: используйте ряд Тейлора для е~2х. 5.4.13. Пусть φ 6 L2(M) и {<£o,fc}fc€Z есть ортонормированное множество. Предположим, гао(£) есть 27г-периодическая функция, которая удовлетворяет уравнению (5.76). Используйте лемму 5.42(3) для прямого доказательства (т. е. без обращения к лемме 4.42) того, что равенство (5.85) выполняется. Подсказка: доказательство аналогично доказательству в упр. 5.4.10(2). 5.4.14. Пусть функция φ непрерывна и удовлетворяет неравенству \Ф(0\ ^ С/Μ Для всех Ψ € R· Выведите условие |<£(0)| = 1 из ортонормированности множества {<£o,fc}fc€Z> равенства (5.76) и из 27г-периодичности функции то, используя критерий в лемме 5.42(3). Подсказка: из упр. 5.4.13 следует выполнение равенства (5.85). Согласно (5.82), гао(0) = 1. Ввиду этого результата, равенства (5.85) и периодичности функции гао значения mo(jn) равны 0, если j нечетное, и равны 1, если j четное. Если к нечетное, то равенство (5.76) означает, что ф(2пк) = 0. Если к четное и не равно 0, запишите к = 2lj для некоторого I ^ 1 и j нечетного. Тогда уравнение (5.76) дает ψ(2π2^) = <p(2n2l~lj). Проитерируйте это уравнение и получите ф(2пк) = 0 для к ^0. 5.4.15. Пусть и = (u(k))kez € £X(Z) удовлетворяет равенству 53 и(к) = у/2 и {R2ku}k£Z — ортонормированное множество fc€Z в £2(Z). Определим гао (ξ) равенством (5.75). 1) Доказать, что Yl(—l)ku(k) = 0. Подсказка: используйте ра- kgz венства (5.85) и (5.82). 2) Доказать, что £ и{2к) = \Д/2 = £ и(2к + 1). kez kei 5.4.16. Пусть, u = (u(k))k£Z удовлетворяет равенству Σ u(k) = у/2 fc€Z и {i?2fc^}fcez — ортонормированное множество в £2(Z). Предположим, φ удовлетворяет масштабному уравнению (5.72). Предположим также, что φ — непрерывная функция, убывающая до-
414 Глава 5. Вэйвлеты на множестве R статочно быстро (|<ρ(#)| ^ С(1 + |χ|)~1_ε при некотором ε > О — достаточно для наших рассмотрений, но это не стоит доказывать), так что сходится всюду и непрерывна. Доказать, что д(х) — постоянна в R. Подсказка: подставьте φ(χ — I) в определение д, используя уравнение (5.72). Измените индекс суммирования во внутренней сумме, чтобы получить д(х) = S^ У^ u(m — 21)\/2φ(2χ — га). Поменяйте порядок суммирования и примените затем упр. 5.4.15(2), чтобы получить д(х) = д(2х), для всех χ 6 R. Следовательно, д(х) = д(2~пх) для любого η G N. 5.4.17. Пусть {Vj}jzz есть КМА в упр. 5.3.4. Найти вэйвлет ψ, связанный с этим КМА. Подсказка: примените теорему 5.49. Напомним из упр. 5.3.4, что φ(ξ) = Х[_7г,7г](£)· Покажите, что уравнение (5.76) означает, что сужение гао на [—π, π) дается равенством ™о(£) = Χ[-π/2,π/2](0· Используйте равенство (5.91), чтобы получить τηχ. Затем получите φ из уравнения (5.89). Ответ: ф{х) = м^щ (sin27r (ж" ϊ) ~sin7r (х ~ ϊ)) ■ Замечание: это упражнение показывает, что может быть легче определить вэйвлет, соответствующий КМА, используя равенства (5.89) и (5.91), если явно известно то, чем предписаниями, основанными на знании и в теореме 5.35. Действительно, теоремы 5.35 и 5.49, как мы их сформулировали, здесь не применимы, потому что масштабная последовательность и может не принадлежать £l(Z), так как гао(£) не является непрерывной функцией (см. упр. 4.4.9). Несмотря на это, {tl>jtk}jtkez есть вэй- влет-система в L2(R). Это можно легко проверить, если взглянуть на ψ(ξ) = е~г^2х{£: π ^ |£| ^ 2π}. В этом случае множитель е~г&2 может быть опущен (в общем случае он необходим, чтобы добиться ортогональности между различными уровнями, но здесь это следует непосредственно по причине носителей преобразований Фурье). Это приводит к упрощенному материнскому вэйвлету ψ, который имеет χ на месте х—1/2 в вышеприведенной формуле. Эти вэйвлеты известны как вэйвлеты Шеннона для L2(M), потому что они могут быть построены методами,
Упражнения 415 связанными с теоремой выборки Шеннона (см. упр. 5.3.2). Они были известны задолго до современной теории вэйвлетов. 5.4.18. (Вэйвлеты Мейера.) Пусть h: R —► R есть функция из С2 (напомним, это значит, что h имеет в каждой точке по крайней мере две непрерывные производные) такая, что h(x) = 0 при всех χ < О, h(x) = π/2 при всех х^ π и h возрастает на отрезке [0, π]. 1) Показать, что функция /ι, определенная равенством ГО, если χ ^ О, Ι χ 1 мх\ = J - - - sin2a;, если 0 < χ < π, I — , если χ ^ π, ν δ есть пример функции из С2, удовлетворяющей вышеуказанным условиям. Пусть то : R —► R есть 2π-пepиoдичecκaя функция, сужение которой на [π, π) определяется равенством _ f sin[/i(3£ + 2тг)], если - π < ξ < 0, \cos[/i(3£ — π)], если 0 < ξ < π. 2) Доказать, что гао есть функция из С2 на R, mo(£) = 0, если 2π/3 ^ \ξ\ ^ π, и т0(£) = 1, если |£| < π/3. 3) Доказать, что то удовлетворяет условиям 1-4 в теореме 5.49. 4) Определим u = {u{k))kei равенством (5.92). Доказать, что и € ίι(Έ). Подсказка: дважды примените интегрирование по частям в равенстве (5.92), используя тот факт, что то принадлежит С2, чтобы показать, что \и(к)\ < С/к2 при МО. 5) Определим φ равенством (5.80). Показать, что в этом случае Ф(0 = ™<>(£/2) ПРИ КI < 2π и ^(0 = ° п?и КΙ > 2π· ПОД- сказка: заметьте, что то(£/2^) = 0 при 2π2·7/3 ^ |ξ| ^ 4π2·7/3 для каждого j 6 Ν, тогда как гао(£/2^) = 1 при |£| ^ 4π/3 для 6) Определим т\ равенством (5.91) и ^ равенством (5.90). По теореме 4.49 функция φ = (ψγ есть материнский вэйвлет для вэйвлет-системы. Нарисуйте график |^|. В частности, покажите, что график состоит из двух «выпуклостей», одна с носителем —8π/3 ^ ξ ^ —2π/3, другая —с носителем 2π/3 ^ £ *ζ 8π/3. 7) Пусть h удовлетворяет равенству h(n — χ) = π/2 — h(x) при всех х Ε R (проверьте, что это справедливо для h, приве-
416 Глава 5. Вэйвлеты на множестве R денного в п. 1). Доказать, что то —четная функция (т.е. *ио(—0 = mo(0 для всех £). Также доказать, что |rai| — четная функция, и, следовательно, \ф\ —четная функция. Замечания: можно найти бесконечно дифференцируемую функцию h, удовлетворяющую условиям этого упражнения, включая условие 7. Соответствующие вэйвлеты известны как вэйвлеты Мейера, после работы Ива Мейера, который построил эту вэйвлет-систему в 1985 г., еще до теории кратномасштабного анализа. Фактически теория КМА была широко развита для объяснения построения Мейера и поместила его в более общие рамки. Единственными вэйвлетами, известными до вэйвлетов Мейера, были вэйвлеты Хаара (пример 5.36), вэйвлеты Шеннона (упр. 5.4.17) и вэйвлет-система, развитая Стрёмбергом при изучении пространств Харди. Заметим, что вэйвлеты Мейера получены в некотором смысле путем сглаживания вэйвлетов Шеннона в области преобразования Фурье. В результате вэйвлеты Мейера убывают на бесконечности быстрее обратной величины любого многочлена, в отличие от вэйвлетов Шеннона, которые убывают на бесконечности как 1/\х\. Однако, в отличие от вэйвлетов Хаара, вэйвлеты Мейера бесконечно дифференцируемы (потому что их преобразование Фурье имеет компактный носитель; это позволяет дифференцировать под знаком интеграла в формуле обратного преобразования Фурье (5.24)). Вэйвлеты Стрёмберга могут принадлежать Ск при любом конечном к, но они не бесконечно дифференцируемы. Отметим, что вэйвлеты Мейера быстро убывают на бесконечности и имеют преобразования Фурье с компактным носителем; поэтому они хорошо локализованы как в пространстве, так и во времени. 5.5. Вэйвлеты с компактным носителем и их вычисление Начнем с подведения итогов того, что мы получили из теорем 5.35 и 5.50. Пусть последовательность u = (u(k))k£Z удовлетворяет условиям 1-4 в теореме 5.50. Положим гао(£) = -7= Σ и(к)е~гк£. Тогда V2 fc€Z Π mo(£/2J) сходится к функции φ 6 L (R) такой, что φ = (фУ есть масштабирующая функция для кратномасштабного анализа {Vj}j^z по теореме 5.50. Определим последовательность υ Ε £X(Z) соотношениями v(k) = (—1)к~1и(1 — к) и функцию ф на R равенством ф = Σ v(k)<pi9k-
5.5. Вэйвлеты с компактным носителем и их вычисление 417 Тогда (по теореме 5.35) φ есть материнский вэйвлет для вэйвлет-си- стемы, т. е. {ф^*.}j9kez~— полное ортонормированное множество в L2(Z). В примере 4.57 вэйвлет-система в £2(Z) была построена с помощью порождающих векторов и и υ, которые имеют только шесть ненулевых компонент (вэйвлеты Добеши D6 в ^2(Ζ)). В примере 5.52 мы видим, что и удовлетворяет условиям 1-4 в теореме 5.50 и, следовательно, мы можем использовать описанный там способ построения вэйвлет-системы в L2(R). Сначала мы отметим в следующей теореме, что свойство и иметь только конечное число ненулевых компонент означает, что масштабирующая функция φ и материнский вэйвлет ф имеют компактный носитель. Мы не даем доказательства этого результата во всех деталях, потому что оно требует знания некоторых фактов теории меры, которые выходят за пределы предпосылок этой книги. Однако поучительно дать набросок этого доказательства, допуская справедливость некоторых фактов, которые можно найти в стандартных учебниках по высшей математике. Теорема 5.51. Пусть то: R —► С есть тригонометрический многочлен вида Ν для некоторого положительного целого N. Предположим, что оо |то(01 ^ I для всех ξ € К и т0(0) = 1. Пусть φ(ξ) = Π mo(£/2J). Тогда φ = (фУ имеет компактный носитель такой, что supp^C [0,-ΛΓ]. Мы начинаем с обзора фактов о мере, необходимых для доказательства теоремы 5.51. Введенная Борелем конечная мера μ на R есть отображение, ставящее в соответствие каждому множеству из некоторой совокупности (множества Бореля, которое мы здесь не определяем) подмножеств R вещественное число, обладающее свойством σ-адди- тивности. Это значит, что если {Ej}?Li —совокупность непересекающихся борелевских множеств (т. е. Ej П Е{ = 0, если г ^ j)> то / оо \ оо μ ( |J Ej 1 = Σ V>{Ej)· Предположение о том, что мера μ конечна, 47=1 / j=l означает, что существует константа С такая, что μ(Ε) ^ С для каждого борелевского множества Е. Ключевым примером меры является точечная масса δχο в точке xq 6 R, определенная равенством χ /ελ ί1' если жо€Я, дхо\ь) = ί „ . „ |Д если xq ψ Ε.
418 Глава 5. Вэйвлеты на множестве R Эта мера известна также как дельта-функция, хотя это и не функция. N Конечная линейная комбинация μ = ^ ο^μ^ конечных мер μι,μ2, ···> /χ/ν, где ci, C2,..., с# — вещественные числа, также есть конечная мера, N определенная равенством μ(Ε) = ^ ο^μ^{Ε). Задав конечную меру μ, можно определить интеграл по этой мере от разумной функции / (называемой μ-интегрируемой, здесь мы это понятие не определяем); это обозначается как J/άμ или J /(χ)άμ(χ). Например, функция g 6 L1(R) приводит к конечной мере μ по формуле μ(Ε) = J g(x)dx. Тогда άμ обозначается gdx и J/ίίμ = J f(x)g(x)dx для разумных функций /. Для точечной массы δΧο I №0 = /(во). Для конечной меры μ любая ограниченная непрерывная функция / будет μ-интегрируемой, и так будет определен $ /άμ. В частности, это приводит нас к определению преобразования Фурье конечной меры μ равенством Если άμ = #ейг для g G b1(R), как описывалось ранее, то μ = g. Таким образом, определение преобразования Фурье конечной меры соответствует обычному определению для интегрируемых функций. Это приводит к тому, что в некотором обобщенном смысле (смысле распределений) обратное преобразование Фурье сводится к конечным мерам: μ = (μ)~. Мы также имеем следующий вариант равенства Парсеваля: если g,g 6 ЬХ(К), g — непрерывная функция и μ —конечная мера, то J А(ОШ« = 2π^^χ)άμ(χ). (5.114) Ε Для доказательства этого результата отметим, что левая часть равенства (5.114) есть Ε Ε ЕЕ = 2π (ί)Υ(χ)(Ιμ(χ) = 2π g(x)άμ(x). Здесь мы изменили порядок интегрирования и применили формулу обратного преобразования Фурье (теорема 5.15).
5.5. Вэйвлеты с компактным носителем и их вычисление 419 Свертка двух конечных мер μ и ν есть конечная мера, определенная равенством μ * u(E) = χΕ(χ + ν)άμ{χ)άν{ν). (Можно проверить (упр. 5.5.1), что этот результат совпадает с обычным определением J / *g(x)dx, где άμ = fdx и du = gdx, /, g 6 L1(R).) Тогда 0**»Ή/)=£(Ο*(Ο, точно так же, как в случае интегрируемых функций. Этот факт и обратное преобразование Фурье показывают, что свертка мер коммутативна и ассоциативна. Нулевое множество для меры μ есть μ-измеримое множество В такое, что μ(Ε) = 0 для любого μ-измеримого подмножество Ε С В. Носитель меры μ есть supp^ = R\U{OCR: О —открытое нулевое множество относительнод}. Носитель конечной меры μ содержится в замкнутом множестве Ε тогда и только тогда, когда J /άμ = 0 для всех функций из С2 с компактным носителем, носитель которых не пересекается с Е. Если μ есть конечная мера с носителем в отрезке [а, Ь] и ν есть конечная мера с носителем в [с, d\, то μ*ν имеет носитель в [a+c, b+d\ (соответствующий результат для интегрируемых функций представлен в упр. 5.5.2). После такой подготовки можно дать набросок доказательства теоремы 5.51. Набросок доказательства. Пусть j е Ν, μ^ — конечная мера: ι Ν V fc=0 где S2-jk есть точечная масса в точке 2~^fc. Заметим, что supp/ij С [0, iV/2-7]. Из линейности интеграла следует, что 1 N Г ι N ft (О = ^Σ"(*) J e-ix*dS2-Jk(x) = ±^u{k)e-ik^3 =τη0(ξ/2η. Κ—-\J Λ»—— U Грубая идея доказательства такова: 0(0 = Π m0 ί Χ ) = Π μ,(ξ) = (μι * μ2 * Μ3 * .. ·Γ(0> поэтому интуитивно φ = μι * μ2 * Дз * · · ·» и, следовательно, supp у? С supp μι + supp μ2 + supp μ3 + ...= = [0, ΛΓ/2] + [О, Ν/4] + [О, Ν/Β] + ... = [О, Ν].
420 Глава 5. Вэйвлеты на множестве R Однако мы не определили такие бесконечные свертки, поэтому, чтобы быть более точными, будем действовать с помощью ограниченных понятий. Для η € N положим Ίη = Mi * М2 * ... * Μη· По ранее отмеченному свойству носителя сверток и рассуждению по индукции supp7nC[0,| + ^ + ... + ^] = [0,iV-^]c[0,iV] для каждого η € N. Также η η j=l j=l По лемме 5.37 ηη сходится к ф поточечно (отметим, что уравнение (5.95) удовлетворяется с δ = 1, потому что функция тщ — тригонометрический многочлен, следовательно, она непрерывно дифференцируема). Для завершения доказательства следует показать, что ηη сходится к φ при η —► оо в смысле, который позволяет нам заключить, что supp φ С [О, Ν], исходя из того, что supp7n <Ξ [Ο, Ν] при каждом п. Заметим, что |7п(£)| ^ 1 для всех ξ (потому, что это справедливо для то). Если G € ЬХ(К), то из ТМС (теорема 5.45) следует, что lim \%(ξ)0(ξ)άξ=\φ(ξ)0(ξ)άξ> (5.115) Ε Ε так как \%(ζ)β(ξ)\ ^ |G(0| € Ll(R). Пусть / — функция из С2 с компактным носителем таким, что supp / Π [Ο, Ν] = 0. Тогда /, / € Ll(R) согласно упр. 5.2.7. Пусть д = /. Тогда по равенству Парсеваля и равенствам (5.115) и (5.114) J (p(x)f(x)dx = J <p{x)g{x)dx = — I ф(€)д(€)<% = ΜΕ Ε = }im τζ 7п(Ш(£)<*£ = lim g(x)djn(x) = η—юо Ζ7Γ J η—юо J Μ Ε = lim ί{χ)άηη{χ). П—КХ) J Ε Но §ί(χ)<1ηη{χ) = 0 для каждого η, так как supp/ Π [0,7V] = 0 Ε и supp 7n £ [0, JV]. Поэтому J ip(x)f(x)dx = 0 для функций из С2 Ε с компактным носителем, который не пересекается с [0, TV]. Это означает, что supp<p С [0, N]. Ш (I)·
5.5. Вэйвлеты с компактным носителем и их вычисление 421 Доказательство теоремы 5.51 дает некоторый интуитивный взгляд на отношение между вэйвлетами на Ζ# или Ζ и вэйвлетами на R. 1 Ν Конечная мера μ^ = —= Σ u(k)62-jk B доказательстве соответствует в некотором смысле вектору u Ε ίι(Ζ) со значениями и(к) при к = 0,1,..., TV и 0 при других fc, только перенормированных множителем —= и перемасштабированных, чтобы принять значения в решетке 2~-7'Z = {2~-7fc: fc Ε Ζ} вместо Ζ. Мы можем сделать аналогичные определения с вектором υ вместо и. Напомним, что вэйвлеты на Ζ# или Ζ были построены с помощью повторной свертки таких последовательностей (см. равенства (3.43)-(3.44) и (4.74)-(4.75)). Доказательство теоремы 5.51 показывает, что φ есть предел свертки 7η = Μι *М2 * · · · *Мп> которая соответствует равенству (3.44) или (4.75). Из равенства (5.90) формула для ф соответствует равенству (3.43) или (4.74) таким же образом. Поэтому вэйвлеты на Ж получаются как предел при j —► оо вэйвлетов на 2~JZ. Мы снова встретимся с этим принципом, когда будем обсуждать, как вычислить φ и ψ (лемма 5.56). Предположим, как в теореме 5.51, что и(к) = 0 при к < 0 и к > TV. Так как v(k) = (—1)*_1η(1 — fc), то из этого следует, что компонента v(k) отлична от нуля, только когда 0 ^ 1 — к ^ TV или — TV + 1 ^ к ^ 1. По- 1 этому ψ = Σ vifyipiji- Так как supp<£ С [0, TV], то, следовательно, *=-ЛГ+1 supp^i,* С [fc/2, (TV+fc)/2] (потому что <£(2fc-fc) = 0, если 1х-к £ [0, TV]). Ввиду того что к изменяется от —TV + 1 до 1, мы получаем suppф С [-TV/2 + 1/2, TV/2 + 1/2]. (5.116) Отметим, что это все еще отрезок длины TV. Заметим, что если мы имеем последовательность и, удовлетворяющую условиям 1-4 в теореме 5.50, то Щи, сдвиг и на ί, также удовлетворяет условиям 1-4. Окончательный эффект состоит только в том, что φ сдвигается на ί, и материнский вэйвлет умножается на —1, если / — нечетное (упр. 5.5.3). Поэтому, задав u(fc), которое отлично от нуля только при TVi ^ fc ^ TV2, мы можем заменить и на R-^щ чтобы получить вектор, который отличен от нуля только при 0 ^ к ^ N2 — Νχ. По соглашению, вэйвлеты Добеши DTV выбираются с и{к) ф- 0 только при 0 ^ к ^ TV. Теперь мы покажем, что вэйвлеты Добеши D6 на Ζ могут быть использованы для построения примера вэйвлет-системы на R, состоящей из вэйвлетов с компактным носителем.
422 Глава 5. Вэйвлеты на множестве R Пример 5.52 (вэйвлеты Добеши в L2(R)). В примере 4.57 мы построили векторы η, υ € ίι(Ζ) только с шестью ненулевыми компонентами, которые порождают вэйвлет-систему первого этапа в ί2(Ζ). Напомним, что (ti(0),ti(l),ti(2),ti(3),ti(4),ti(5)) = α + 3 6α + 46 - 2с, 2α + 36 - Зс, 6 - с), (5.117) л/2 , = -£- (6 + с, 2α + 36 + Зс, 6α + 46 + 2с, где α = 1-\/Κ), 6=1 + λ/Ϊ0 и с=у5 + 2\/Ш. В обозначениях примера 4.57 имеем 5 fc=0 где то(0 = ^ϊ>(*0^ = ^fi(-0» й(0 = A/2e5*/2cos3 (|) [cos2 (|) - x/Usin2 (f ) - -tccoe(|)ein(|)]. (5.118) Из равенства (4.96) мы также имеем \τηο(ξ)\2 = \\Η-ξ)\2 = Κ-ξ) = Ηξ) при Μί> = cos'» (f) + 5COS» (|) sin* (f) + 10cos« (|) sto< (f) . Легко проверить условия 1-4 в теореме 5.50. Условие 1 тривиально, потому что имеется только конечное число ненулевых коэффициентов и(к). Напомним, что условие 2 эквивалентно равенству гао(0) = 1 или й(0) = \/2, которое следует из соотношения (5.118). Условие 3 выполняется ввиду ортонормированности вэйвлетов Добеши D6 в £2(Z). По определению 6 (см. выше), |πΐο(0)(ξ)|2 == Ь есть сумма неотрицательных членов, первый из которых ограничен при —π/2 ^ ξ ^ π/2. Поэтому условие 4 выполняется. Теперь последуем теореме 5.50, чтобы определить φ9 υ и ψ. Тогда {^j,*b\*€Z есть вэйвлет-система в L2(R). Отметим, что коэффициенты и{к) все вещественные, что удобно при вычислениях. Таким образом, мы получаем систему такую, что φ имеет носитель в [0,5] и ψ имеет носитель в [—2,3] (по формуле (5.116)). Кроме того, функции φ и ψ вещественны. Показать это можно, например, так.
5.5. Вэйвлеты с компактным носителем и их вычисление 423 Все меры ηη в наброске доказательства теоремы 5.51 вещественны, следовательно, таков же и их предел φ. Тогда функция ф вещественна, потому что значения v{k) вещественны при всех к и ф = Σ ν(1ζ)φΐ£. Аналогичным образом для каждого N € N можно, используя вэйвлеты Добеши DiV в £2(Z) (для которых и имеет N ненулевых компонент), построить вэйвлеты с компактным носителем в L2(M), известные как вэйвлеты Добеши DN в L2(R). На рис. 44 приводятся графики отцовских вэйвлетов φ и материнских вэйвлетов ф для вэйвлет-систем Добеши D4, D6 и D12. Отметим, что эти функции кажутся (такие они и есть на самом деле) непрерывными, в отличие от функций Хаара в примерах 5.31 и 5.36. Ингрид Добеши провела детальное изучение вэйвлетов с компактным носителем, создав большое количество их семейств. Ее вэйвлеты особенно часто используются в приложениях. Ее книга (Добеши, 1992) содержит таблицы ненулевых коэффициентов масштабных последовательностей и для некоторых из этих вэйвлетов вместе с этими семействами и графиками некоторых результирующих масштабирующих функций и вэйвлетов. (Заметим, что на рис. 44 наши масштабирующие функции те же самые, что и в книге Добеши, но наши вэйвлеты ф отличаются от ее знаком, так как она использует немного другие соотношения, которые приводят в ее последовательности υ к другому знаку.) При возрастании N вэйвлеты Добеши ΌΝ имеют большие носители. Однако во многих приложениях это компенсируется тем, что DiV-вэйвлеты для больших N имеют большее число сокращений (т. е. J χίφ(χ)άχ = 0 для некоторых положительных целых чисел, а не только R при j = 0, что гарантируется равенством (5.94); вот почему графики кажутся более «извивающимися») и большую гладкость (что подтверждается графиками). Добеши и другие авторы провели систематическое изучение гладкости этих вэйвлетов (см. упр. 5.5.8 и 5.5.9, в которых первый шаг близок к такому изучению). Оказывается, что гладкость вэйвлетов Добеши возрастает линейно (в точном смысле этого слова) с величиной носителя, и линейное возрастание есть самое лучшее. Обратимся теперь к вопросу, как реально проводить вычисления с помощью этих вэйвлетов. Мы видим, что все можно сделать, используя только масштабную последовательность и и соответствующую ей последовательность υ. Лемма 5.53. Пусть {Vj}j^z есть КМ А с масштабирующей функцией ψ и масштабной последовательностью и = (u(fc))fc€Z· Зададим последовательность υ = (v(k))kez равенствами v(k) = (—l)k~x x u(l — k) и функцию ф = Σ ν{1ζ)φ\£. Для функции f 6 L2(R) и для каждого fc€Z j 6 Ζ определим последовательности Xj = (xj(k))kez u Vj = (Vj(^))k£Z
424 Глава 5. Вэйвлеты на множестве R 1.5 1 0.5 0 0.5 -1 1.5 1 1 1 1 1 1 1 1 1 /\ / \ / \ ^ v - 1 L... I...I , L 1 1., I I -1 -0.5 0 0.5 1 1.5 2 2.5 3 3.5 2-2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 *) б) 1.5 1 0.5 о -0.5 -1 -1.5 1 0.8 0.6 0.4 0.2 0 -0.2 -0.4 -0.6 -0.8 -1 I I I I 1 г /\ Г /V - I I I 1 10 12 3 в) I I I 1 I I I 1 0 2 4 6 д) 1 , 4 1 ! 8 I , 5 I , 10 - - - 2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 [ - _ _ 3 1.5 1 0.5 0 -0.5 -1 - - -L5-6 —ι ι -2 I ι -4 —ι ι -1 I ^Λ *mS -2 —ι 1 г ι ι ι 0 1 2 Γ) Ι Ι Λ ι Ί \ V Λ L \\τ Ι ι ι 0 2 β) 1 - - _ _ ι 3 Ι Ι 1 -\ -] J ι ι 4 6 Рис. 44. α) φ для D4, б) ф для D4, β) φ для D6, г) ф для D6, д) φ для D12, е) ф для D12
5.5. Вэйвлеты с компактным носителем и их вычисление 425 равенствами *j(b) = <f>1>i*) (5·119) »i(*) = </iiPM>- (5.120) Тогда Xj = D{yj+1*v) (5.121) и yj = D(yj+1*u), (5.122) где D есть оператор сгущающей выборки (определение 4.43), последовательности и свертка принадлежат ί2(Ζ), как в гл. 4. Также yj+i = U(yj) * и + U(xj) * ν, (5.123) где U есть оператор разрежающей выборки. Доказательство. Из равенства (5.52) и повторного масштабирования (упр. 5.5.6) для всех j,fcGZ получаем <Pi* = Σ и(т " 2*)W+i.m· (5.124) Аналогично, из равенства (5.59) Ψλ* = Σ v(m " 2fc)^j+i,m (5.125) m€Z для всех j,fc € Ζ. Согласно равенству (5.124), %(*) = (/>¥>j,fc) = (/> Σ n(m-2fc)^+i,m) = ]Γ u(ro-2fc)(/,¥>j+i,m) = ra€Z ra€Z = ^ u(2fc - m)yJ+i(m) = yj+i * u(2fc) = Z%j+i * u)(k). m€Z Это доказывает равенство (5.122). Аналогичным образом, используя равенство (5.125) вместо (5.124), получаем соотношение (5.121). Чтобы доказать равенство (5.123), напомним тождество (5.62). С помощью растяжения (упр. 5.5.6) для всех j,ra € Ζ получаем ¥>j+i,m = Σ й(2к - m)4>jJ* + Σ *(2* " m)^j,*· (5.126) fc€Z k£Z
426 Глава 5. Вэйвлеты на множестве R Следовательно, Vj+iM = </»¥>j+i,m) = Y^u(2k - m)(f,4>jJk) + ^у(2к - m)(f^jyk) = fc€Z fc€Z = ^ u(ra - 2k)yj(k) + ^ i;(m - 2k)xj(k) = fceZ fc€Z = ^n(m - 2k)U{yj)(2k) + Y^v{m- 2k)U(xj){2k) = fc€Z fc€Z i€Z lgl = U(yj) * u(ra) + U(xj) * v(m), где предпоследнее равенство справедливо в силу того, что по определению разрежающей выборки U(yj)(l) = U(xj)(1) = 0 для нечетных значений I. Это доказывает соотношение (5.123). ■ Читатель должен узнать эти формулы (по сравнению с равенствами (3.33) и (3.34) они имеют обратную индексацию). Равенства (5.121) и (5.122) говорят о том, что для перехода от yJ+i к xj и Vj мы применяем один сегмент фазы анализа набора фильтров, как показано на левой половине рис. 45. Обратно, согласно равенству (5.123), чтобы восстановить y^+i no Xj и yj, мы применяем один сегмент фазы восстановления набора фильтров, представленный в правой половине рис. 45. Вэйвлет-разложение в общем случае содержит бесконечное число членов, поэтому его никогда нельзя вычислить точно. Следовательно, на некотором этапе мы должны его аппроксимировать. По определению кратномасштабного анализа объединение (J Vj плотно в L2(R). j€Z Поэтому, задав / € Ь2(К), мы сначала выбираем достаточно большое га, такое что ||Рт(/) - /|| пренебрежимо мало, здесь £ (/><£m,fc)<£m,fc есть fc€Z 2/Я-1 = = ((/»y>j+l,*))*€Z f *v *u 12 = ((/,^J,fc»*€Z |2 *v 12 Vj :((/,<Pj,fc))fcez T2 *u $—► Vj+i фаза анализа фаза синтеза Рис. 45
5.5. Вэйвлеты с компактным носителем и их вычисление 427 проекция / на Vm. Это возможно, так как \\Pm(f) — /|| —► 0 при га —► +оо, согласно упр. 5.3.10. Следующая лемма говорит о том, как аппроксимировать последовательность ym = ((/,¥>m,fc))fc€Z B лемме 5.53 для достаточно больших га. Ее доказательство представляет собой рассуждение о функциях приближенно тождественного элемента свертки (сравните с теоремой 5.11). Лемма 5.54. Пусть функция f 6 L2(M) удовлетворяет условию Липшица порядка ε при некотором ε € (0,1]; это значит, что существует константа С\ < оо такая, что для всех х, у € R \№-№\<Ci\x-y\e. (5.127) Пусть функция φ € L1(R) Π L2(R) удовлетворяет равенствам \φ(χ)άχ = 1 (5.128) Ε ί |af |y>(aO|<te = C2 < оо. (5.129) и Тогда |2m/2</, tpnjk) - f(2-mk)\ ^ CiC22-, (5.130) или, эквивалентно, \{f,4>m,k) - 2-m/2f(2~mk)\ ζ α<722-™(£+1/2). (5 131) Доказательство. Отметим, что \2ml24>{2™x-k)dx = 2"w/2 {Щ& = 2"m/2. Здесь мы произвели замену переменной t = 2тх — к и использовали равенство (5.128). Следовательно, с помощью соотношений (5.127) и (5.129) получаем К/,¥Ч*> - 2-™/2/(2-m*)| = |J(/(x) - f{2-mk))2m'\{^x - k)dx < f I/O*) - f(2-mk)\2m/2\<p(2mx - k)\dx = = 2~m'2 [ |/(2"mi + 2~mk) - f{2-mk)\\4>{t)\dt ^ Ci2-m'2 f |2-mi|£|^(i)|di = CiC22-ml-e+l'2). < R
428 Глава 5. Вэйвлеты на множестве R Лемма 5.54 объясняет, почему мы нормируем аргумент масштабирующей функции φ так, что ф(0) = J φ(χ)άχ = 1. Любая разумная масшта- R бирующая функция будет удовлетворять соотношению (5.129) при всех О < ε ^ 1. Например, если у? — ограниченная функция с компактным носителем, то соотношение (5.129) очевидно. Для достаточно большого га в обозначениях леммы 5.53 ym(k) = {f,<pm,k}*2-m'2f(2-mk). Лемма 5.54 дает оценку погрешности этой аппроксимации, если / удовлетворяет условию Липшица. Это условие слабое: любая дифференцируемая функция с ограниченной производной удовлетворяет неравенству (5.127) с ε = 1 по теореме о среднем значении. В некоторых случаях, чтобы аппроксимация в неравенстве (5.130) была удовлетворительной, не хотелось бы брать га очень большим. Тогда для достижения достаточной точности можно оценивать (/, <^m,fc) с помощью некоторого численного метода (например, некоторой квадратурной формулой, как в работе Свелденса и Пиессенса (1994)). После получения нужной аппроксимации ут вычислим вэйвлет-ко- эффициенты следующим образом. Применим формулы (5.121) и (5.122) итерационно (фаза анализа набора фильтров на рис. 46), чтобы получить после I шагов вэйвлет-коэффициенты Xj{k) = {f^j.k) для j = га — 1,га — 2,... ,га — ί, и оставляя коэффициенты ym-l(k) = (f,(Pm-i,k)' На этом этапе соответствующая формула для Pm(f) (наша аппроксимация /) имеет вид (согласно упр. 5.5.10) га— 1 Pm(f)= Σ Σί/^λ^Μ + Σί/ι^-Ι,*)^-!,*. (5.132) j=m-l kgl k€Z Обратно, если мы имеем вэйвлет-коэффициенты Xj(k) = (/, V^fc) Для j = га — 1,га — 2,...,га — I и оставшиеся коэффициенты ym-i(k) = = {fiipm-ifi), мы можем восстановить ут (и, следовательно, наша аппроксимация значений ут(к) имеет вид f(2~mk) « 2m/2(/, 1рт$) = = 2m/2ym(fc)), применяя равенство (5.123) рекурсивно (фаза восстановления набора фильтров на рис. 46), чтобы получить ym-j+b Ут-л-2? ...,ym_i и, наконец, ут. На рис. 46 символ «...» в левой половине диаграммы (фаза анализа) представляет свертку (либо с ϋ, либо ей) с последующей сгущающей выборкой, тогда как в правой половине (фаза восстановления) он представляет разрежающую выборку с последующей сверткой (либо с ν, либо с и).
5ft » Φ « g I I 5) CM £&- 5ft 5ft en + Τ ι A Η λ 4* А »Φ« A I 4 χ s о X e ω го -θ- CD τ* ϋ S Он I ι I ί: -* ί 5ft (Ό Χ ίϋ ίϋ (Ό "θ" *5> ■35 4
430 Глава 5. Вэйвлеты на множестве R Поэтому нам никогда не нужно знать масштабирующую функцию φ или материнский вэйвлет ф. Все, что необходимо при вычислениях, — это значения масштабной последовательности и (так как ν определяется через и по формуле v(k) = (—1)к~1и{1 — к)). Проиллюстрируем это примером 5.55. Пример 5.55. Вычислим с помощью вэйвлетов Добеши D6 вэйвлет- преобразование функции «■{Г 0, ч isin(47nr), если 0 ^ χ ^ 1, f(x) = { Λ в других точках. Мы не можем вычислить полное преобразование, потому что оно бесконечно, и часть, которую мы вычислим, является его аппроксимацией. Начнем с аппроксимации коэффициентов, полученных с помощью коэффициентов масштабирующей функции (/, <£m,fc), которые являются отсчетами 2~m/2/(2~mfc), с погрешностью, которая убывает с возрастанием га, как в лемме 5.54. Предположим, мы решили, что га = 9 дает допустимую погрешность. Поэтому мы берем У9 (к) = 2-9/2/(2"9fc) = < , sin ί . Ι , если 0 ^ к ^ 512, V512 \VmJ О при других значениях к. Отметим, что это есть умноженный на 1/л/512 вектор ζ, вэйвлет-ко- эффициенты которого в ί2(Ζ) показаны на рис. 42. Теперь вычислим векторы xg, χγ, xq, Ж5 и у5 (это значит, что мы выполняем 4-уровневое преобразование) с помощью метода набора фильтров в левой половине рис. 46. Тогда Xj(k) есть наша аппроксимация вэйвлет-коэффициентов (/> Фз,к) Для 3 = 8,7,6,5, и у5 есть наша аппроксимация коэффициентов масштабирующей функции (/, <^5,fc)· Отметим, что векторы и и υ для вэйвлетов Добеши D6 в L2(R) те же самые, что и для вэйвлет-преобра- зования D6 в £2(Z) (так же, как были построены вэйвлеты Добеши D6 в L2(R) в примере 5.52). Следовательно, сравнение с алгоритмом для вычисления вэйвлетов в ί2(Ζ) показывает, что нахождение xg, χγ, xq, #5 и 2/5 осуществляется с помощью в точности тех же вычислений (за исключением множителя 1/^512), что и 4-уровневые £2(Z) вэйвлет-пре- образования вектора ζ € £2(Ζ). Единственная разница —это сдвиг в индексах; здесь, например, xg соответствует (—1)-му уровню D6 вэйвлет- коэффициентов ζ. Поэтому, за исключением множителя 1/^512, вэй- влет-коэффициенты (/, ipj9k) Для 3 = 8,7,6,5 изображены на рис. 42, б-д, соответственно, а коэффициенты масштабирующей функции (/, <^5,fc) представлены на рис. 42, е, с учетом того, что точка η € Ζ соответствует точке n/512 € R.
5.5. Вэйвлеты с компактным носителем и их вычисление 431 Это дает другую интерпретацию вычисления вэйвлетов в L2(R). Мы можем получить выборку значений заданной функции / с достаточно точным разрешением и получить вектор ζ 6 ί2(Ζ) из значений этой выборки. Затем мы вычисляем (точное) вэйвлет-преобразование ζ в смысле ί2(Ζ) (как в гл. 4), чтобы аппроксимировать вэйвлет-преобразование / в L2(R). Эта интерпретация оказывается полезной, особенно в тех случаях, когда нам доступны только выборочные значения функции /. С другой стороны, некоторые студенты от этого чувствуют себя разочарованными. Можно подумать, что мы пришли как раз к тому, что уже имели в контексте Z, и в процессе мы должны были пройти через сложный анализ и наложить некоторые новые условия на порождающую вэйвлет-последовательность и в £2(Z), чтобы гарантировать, что связанная с ней функция φ есть материнский вэйвлет для вэйвлет- системы в L2(R). Однако имеются решающие преимущества в знании того, что наши вычисления соответствуют вэйвлет-системе в непрерывном множестве точек R вместо просто дискретного множества Z. Мы увидим это в гл. 6, когда применим вэйвлеты к дифференциальным уравнениям, где недискретная природа лежащего в основе пространства играет главную роль. Хотя мы отметили, что не нуждаемся в знании значений функций φ и ф для вычисления вэйвлет-преобразования, читатель может все еще удивляться, как могли быть получены графики этих функций (например, на рис. 44). Более того, это помогает нашей интуиции представить себе эти графики. Эти графики получаются как применение нашего алгоритма восстановления следующим образом. Мы не можем вычислить явно и всюду функции φ и ф, но их можно хорошо аппроксимировать в точках вида 2~mk при к € Ζ и больших га, а затем продолжить по непрерывности между этими значениями (например, с помощью линейной интерполяции). Применив лемму 5.54 с /, замененной на φ и ф, заключаем, что для больших га ψ(2-^)^2"ι/2(φ,φηι>Ιί) и ^(2""»*) «2"*/2<^m,fc). (5.133) Лемма 5.56 говорит нам, как вычислить скалярные произведения в аппроксимации (5.133). Лемма 5.56. Предположим, что φ — масштабирующая функция и ф — материнский вэйвлет, полученный, как в теореме 5.35, для некоторого кратномасштабного анализа с помощью масштабной последовательности и 6 il{Z) и ассоциированной последовательности ν, определенной равенством v{k) = (—1)к~1и{1 — к). Для к ^ 1 определим последовательности Ck,dk € ίλ(Ζ) по индукции равенствами с\ = и, d\ = ν
432 Глава 5. Вэйвлеты на множестве R и для m ^ 2 Cm = ^(Cm-l) * U U dm = £/(dm-l) * U. (5.134) Эквивалентно, определим Cm = η * t/(u) * £/2(u) * ... * t/^1"1^) (5.135) η d™ = η * Щи) * t/2(n) * ... * Um-2(u) * ΙΓ11"1^). (5.136) Тогда для всех j^ 1 с#) = <У>, ¥>;,*> (5-137) ^(*) = <ν,¥»Μ> (5.138) при всех к. Доказательство. Чтобы доказать равенство (5.137), применим лемму 5.53. Определим Xj и yj, как в равенствах (5.119) и (5.120), с / = φ. Поэтому равенство (5.137) эквивалентно утверждению, что yj = Cj при j ^ 1. Отметим, что уо(к) = ((p,<po,k) =*(*), или уо = ί· Также отметим, что при j ^ 0 имеем ф^^ € Wj и φ € Vo С Vj. Так как Vj _L Wj, из этого следует, что при j ^ 0 для всех fc € Ζ. Поэтому ^ = 0 при всех j > 1. Таким образом, в этом случае соотношение (5.123) сводится к равенству W+i = E%j)** (5.139) при j ^ 0. При j = 1 получаем 2/1 = U(yo) * u = £/(£) *u = £*u = u. Это дает у χ = η = с\. Тогда равенство ут = Cm следует для каждого т ^ 2 из соотношений (5.134) и (5.139). Теперь определим Xj и j/j в лемме 5.54 равенствами (5.119) и (5.120) с / = ψ. Чтобы доказать равенство (5.138), нужно показать, что yj = dj при j ^ 1. Отметим, что х0{к) = {ψ,ψοώ =5(fc) и Уо(*0 = (</>, <£(),*) =0» так как ^ € Wo, <^o,fc € Vfo и Wo J- Vo. Поэтому равенство (5.123) нам дает yi = 17(жо) * ν = t/(£) *v = i*v = v = d1. (5.140)
Упражнения 433 При j'^ 1 получим хЖк) = №l>j,k) =0, так как Wo -L Vft при j φ 0. Поэтому при j ^ I формула (5.123) сводится к равенству yJ+i = U(yj)*u. По индукции соотношения (5.134) и (5.140) показывают, что yj = dj при всех j. Ш Заметим, что равенство (5.135) есть аналог соотношений (3.44) и (4.75), тогда как равенство (5.136) аналогично формулам (3.43) и (4.74). Наше рассуждение после наброска доказательства теоремы 5.51 подтверждает, что вэйвлеты на R в некотором смысле являются пределами вэйвлетов на множестве Ζ « 2~JZ при j —► оо. Упражнения 5.5.1. Пусть /, # 6 ЬХ(К), ίίμ = /cur и di/ = par. Доказать, что Хе(х + υ)άμ{χ)άν{ν) = / * g(x)dx. Ε Подсказка: сделайте замену переменных (пусть t = χ + у) и измените порядок интегрирования. Учтите, что для произвольной функции h lxE{t)h{t)dt = J h(t)dt. Ε 5.5.2. Пусть /,# 6 ^Х(К), supp/ С [а, Ь] и supp# С [c,d]. Доказать, что supp / * д С [а + с, Ь + d]. (Сравните с упр. 4.7.6.) 5.5.3. Пусть последовательность u = (u(k))k£Z удовлетворяет усло- оо виям 1-4 в теореме 5.50. Определим функции <£(£)= Π mo(£/2J), j=i у(к)=(-1)к-1и(1-к) и φ = £ ν(*)ν>ι|Λ. Пусть ί € Ζ. fc€Z 1) Показать, что сдвиг Щи (определенный, как в гл. 4, равенством (Riu)(n) = и{п — ί)), также удовлетворяет условиям 1-4 теоремы 5.50 для то (О» замененного на Μο(ξ) = -7= Σ (Riu)(k)e~tkt. Подсказка: заметьте, что ν 2 к£% Μ0(ξ) = β-^πΐο(ξ). 2) Определим φι, ν\ νιψι, связанные с Щи и Mq так же, как φ, υ и ф связаны с it и гщ. Доказать, что φΐ{χ) = φ(χ - I) in = (-i)ty· Подсказка: используйте равенства (5.89), (5.91) и лемму 5.26.
434 Глава 5. Вэйвлеты на множестве R 5.5.4. Пусть u = {u{k))k£i есть последовательность, удовлетворяющая условиям 2 и 3 в теореме 5.50. Предположим также, что существуют только два значения к 6 Ζ такие, что и{к) φ 0. 1) Доказать, что существует га 6 Ζ и нечетное число j € Ζ такие, что - ί-τ= , если к = m или к = m + j, у/2' J' 0 при других fc. Подсказка: быстрейший способ увидеть это состоит в использовании упр. 5.4.15 (2). оо 2) Определив гао равенством (5.75) и полагая ψ = Π гао(£/2·?), доказать, что Ψ = J X[m,m+j] для чисел га и j, определенных в п. 1. Подсказка: покажите, что то (О = е~гт£ χ e~^/2cos(j£/2), и примените равенство (5.113), как в упр. 5.4.5. 3) Показать, что множество {<£o,fc}fc€Z ортогонально, только когда j = 1. Заметим, что лишь в этом случае выполняется условие 4 теоремы 5.50. При этом результирующие вэйвлеты — это вэйвлеты Хаара (возможно, с точностью до знака, согласно упр. 5.5.3). 5.5.5. Показать, что вэйвлеты Добеши D4 в £2(Z) (упр. 4.7.9) приводят к вэйвлетам в L2(R) тем же способом, как и в примере 5.52. 5.5.6. Доказать равенства (5.124), (5.125) и (5.126). 5.5.7. Пусть функция /: Ж —► С удовлетворяет условию Липшица порядка a > 1; это значит, что существует константа С такая, что для всех х,у € К \№-f(v)\<c\x-y\a. Доказать, что / должна быть константой. Подсказка: покажите, что / всюду дифференцируема, и вычислите производную. Замечание: это упражнение объясняет ограничение ε ^ 1 в лемме 5.54. 5.5.8. Предположим, что 0 < α ^ 1, / € LX(R) и существуют константы ε > 0 и С > 0 такие, что при всех ξ 6 Ж 1/(01 < С(1 +ЮГ1—«. 1) Показать, что / G L1(R). По теореме 5.15, изменяя / на множестве меры нуль, мы можем предположить, что
Упражнения 435 f(x) = (fY(x) в каждой точке χ € R. Докажите, что / есть ограниченная функция; это значит, что существует константа С\ (зависящая от /, α, ε и С, но не от х) такая, что для всех igR. 2) Доказать, что / удовлетворяет условию Липшица порядка а; это значит, что для некоторой константы Сч и для всех х,у ER \f(x)-f(y)\^C2\x-y\«. Подсказка: согласно п. 1 оценка проста, если \х — у\ > 1. Предположим, что \х — у\ ^ 1. С помощью обратного преобразования Фурье получаем \№ - Ну)\ < ^\\№\\е-*х - €-**№ = R = ±;\\№\\е-*х-у)-1№. R На множестве {ξ: \ξ(χ — у)\ ^ 1} используйте оценку |β-^-»)-ΐ|<|ί(»-»)|<|^-ν)|β. На дополнительном множестве примените тривиальную оценку le-^-ri - 1| < 2. Замечание: это естественный результат, потому что он говорит о том, что чем быстрее убывает |/(£)1 ПРИ |£| ~* °° (т· е· чем меньше веса высокочастотных членов в формуле (5.24)), тем глаже /. В частности, это дает способ оценивания гладкости функции /, основанный на знании убывания /. Это один из способов, используемых для доказательства оценок гладкости для вэйвлетов. Высокочастотная гладкость может быть получена из более быстрого убывания /(ξ), как в упр. 5.5.9. 5.5.9. Пусть / 6 LX(R) и существуют константы ε > О и С > О такие, что при всех ξ 6 R 1/(01 <<7(ΐ +ЮГ2-. 1) Доказать, что при всех χ € R существует f'(x) и к
436 Глава 5. Вэйвлеты на множестве R Подсказка: для любой последовательности {hn}^=1 такой, что lim hn = 0 и hn φ О при всех п, запишите п—+оо f(x + hn)-f{x) _ J_ Г ff. е-«*+^-е-^ hn -2*]JW hn <Ζζ· Ε Получите оценку для \(е~г(х+Нп^—е~гх£)/кп\, которая не зависит от п, и примените ТМС (теорема 5.45), чтобы оправдать дифференцируемость под знаком интеграла. 2) Пусть га — положительное целое число. Предположим, что для некоторых констант δ > О и С\ > О 1/(01 < σι(ΐ + ΚΙ)--1-'. Доказать, что га-я производная f^m\x) функции / существует в каждой точке χ € R и R Подсказка: используйте п. 1 и индукцию. 5.5.10. Пусть <р —масштабирующая функция для КМА {V^}^ с масштабной последовательностью и € £λ(Ζ). Пусть φ — материнский вэйвлет, определенный, как в теореме 5.35. Пусть для га 6 Ζ и / € L2(R) Pm(f) = Σ(ί, 4>m,k)4>m,k И Qm(f) = J3(/,^mfJb>^mfJb fc€Z — ортогональные проекции / на Vj и Wj соответственно, где Wj определено формулой (5.63). 1) Доказать, что Pm(f) = Pm-i{f) + Qm-i{f)· Подсказка: используйте равенство (5.65). 2) Вывести соотношение (5.132).
Глава 6 Вэйвлеты и дифференциальные уравнения 6.1. Число обусловленности матрицы Многие математические приложения требуют численной аппроксимации решений дифференциальных уравнений. В этой главе мы дадим краткое введение в эту тему Подробное ее обсуждение выходит за рамки данной книги. Вместо этого на простых примерах мы покажем, как можно использовать теорию вэйвлетов в этой области. Методы численного решения линейных обыкновенных дифференциальных уравнений, которые мы здесь обсуждаем, сводятся к решению систем линейных уравнений или, эквивалентно, к решению матричного уравнения Ах = у. Теоретически такая система достаточно понятна: для квадратной матрицы А существует единственное решение χ для любого у тогда и только тогда, когда А — обратимая матрица. Однако в приложениях имеется много проблем определяющей важности. Одна из них связана с числом обусловленности матрицы. Начнем с примера. Пример 6.1. Рассмотрим линейную систему Ах = у, где ж, у 6 С2 и Г5.95 —14-851 А L1·98 ~4·94 Определитель матрицы А равен 0.01, т. е. отличен от нуля, поэтому А обратимая матрица. При Г3.05 [1.02 У ,1.02 единственным решением уравнения Ах = у служит Γβΐ читатель может это проверить. Теперь предположим, что Тогда решение уравнения Ах1 = у1 есть '-й- Отметим, что у и у' близки друг другу, но ж и ж' сильно отличаются. Линейная система, для которой это имеет место, называется плохо
438 Глава 6. Вэйвлеты и дифференциальные уравнения обусловленной. В этом случае малые погрешности в данных у могут привести к большим погрешностям в решении х. В приложениях это нежелательно, потому что почти во всех вычислениях с вещественными данными имеется погрешность, либо вызванная округлением (компьютеры могут давать только конечную степень точности), либо определенная неточным измерением данных. Для плохо обусловленной системы найденное решение может настолько отличаться от истинного, что не будет иметь никакого смысла. Понять, что происходит, можно, рассматривая диагонализацию матрицы А. Заметим, что Ах1 = х\ т. е. х1 есть собственный вектор матрицы А с собственным значением 1. Вычитая х1 из ж, мы видим, что вектор удовлетворяет уравнению Ах11 = 0.01ж", т. е. х" есть собственный вектор матрицы А с собственным значением 0.01. Поэтому матрица А подобна диагональной матрице с элементами 1 и 0.01. В частности, в направлении х1 матрица А ведет себя как тождественная матрица, поэтому возмущение у в направлении х1 приводит к возмущению решения χ на ту же величину. Однако в направлении х" действие А состоит в умножении на 0.01, поэтому возмущение компоненты у в направлении х11 на некоторую величину проявляется в возмущении χ на величину, в 100 раз большую. Эта разница в поведении матрицы А в различных направлениях и является источником проблемы. Из этого примера можно было бы заключить, что для определения того, является ли система плохо обусловленной, следует проанализировать определитель или наименьшее собственное значение. Однако это неверно, потому что эти величины неправильно определяют масштаб. Например, если мы умножим матрицу А в примере 6.1 на 10, то тем самым каждое собственное число умножится на 10, а определитель на 100, но исходное свойство матрицы не изменится. Это убеждает нас в том, что нужно найти величину, которая является масштабно инвариантной. Следующая величина не является масштабно инвариантной, но ее можно будет использовать для определения нужной величины, которая таким свойством обладает. Определение 6.2. Пусть Л —матрица размера η χ п. Определим ||Л||, называемую операторной нормой, или просто нормой матрицы А, равенством || J. || P||=eupug!, (6.1) где верхняя грань берется по всем ненулевым векторам из Сп.
6.1. Число обусловленности матрицы 439 Это определение эквивалентно следующему (см. упр. 6.1.2): \\A\\=sup{\\Az\\:\\z\\ = l,z€Cn}. (6.2) Норма линейного преобразования Т\ Н\ —► #2 для гильбертовых пространств Н\ и Η<ι была дана определением 4.25. Оно соответствует равенству (6.1) в случае Н\ = if2 = Сп в том смысле, что если определить преобразование Гд: Сп —► Сп равенством Тд(г) = Az, то \\Тл\\ = \\А\\. По причине конечномерности пространства Сп верхняя грань в равенстве (6.1) или (6.2) всегда конечна (упр. 6.1.3). Отметим, что по определению точной верхней грани sup ||Л|| есть верхняя граница множества {|| Аг||/||г||: ζ φ 0}. Отсюда получаем ограниченность оператора Гд: Сп -* Сп (определение 4.25), т. е. при всех ζ € Сп ||Г^)|| = ||^ИР|||И|. (6.3) Не каждое множество вещественных чисел содержит свою точную верхнюю грань. Однако для матриц размером η χ η конечномерность пространства Сп гарантирует (упр. 6.1.4), что всегда существует ненулевой вектор ζ такой, что ||Тл(г)|| = рг|| = Р|||И|. (6.4) Заметим, что для ограниченного линейного преобразования Г: Η —► Η в бесконечномерном гильбертовом пространстве Η может не быть ненулевого вектора υ Ε Η такого, что ||Т(г;)|| = ||Г||||г;|| (упр. 6.1.5). Определение 6.3. Пусть Л— обратимая матрица размера η χ п. Определим Сф{А), число обусловленности матрицы А, равенством С#(Л) = |И||Л-1||. Если А не является обратимой, положим С#{А) = +оо. Нетрудно показать (упр. 6.1.6), что С#(сА) = С#(А) для с φ 0; это значит, что число обусловленности масштабно инвариантно. Также (упр. 6.1.7) для любой матрицы А справедливо неравенство СФ(А) > 1. (6.5) Лемма 6.4. Предположим, что А—нормальная (определение 1.108) обратимая матрица размера η χ п. Пусть Ишах = тах{|А|: А — собственное число А} (6.6) и |A|min = min{|A|: λ — собственное число А}. (6.7) Тогда ι χ ι Сф{А) = gf= . (6.8) |^|min
440 Глава 6. Вэйвлеты и дифференциальные уравнения Доказательство. Согласно спектральной теореме для матриц (теорема 1.109), матрица А унитарно подобна диагональной матрице D. Из упр. 6.1.8(2) следует, что С#{А) = C#(D). Диагональные элементы матрицы D — это собственные числа матрицы А (лемма 1.74(2)). Поэтому, согласно упр. 6.1.9, имеем ||D|| = |A|max. Матрица D~l диаго- нальна, ее элементы — обратные величины соответствующих диагональных элементов матрицы D (ни один из которых не равен нулю, потому что А предполагается обратимой матрицей). Поэтому снова, согласно упр. 6.1.9, имеем ||£>-1|| = l/|A|min. Объединяя эти равенства вместе, получим C#(A) = C#(D) = \\D\\\\D-^ = ^, |^|min что и требовалось. ■ Число обусловленности матрицы А измеряет устойчивость линейной системы Ах = у относительно возмущений вектора у. Предположим, что у возмущен на величину Sy так, что в правой части системы получим вектор у + Sy. Пусть χ — решение уравнения Ах = у и δχ — решение уравнения Αδχ = Sy. Тогда, ввиду линейности, А(х + δχ) = у + Sy. Поэтому возмущение у на Sy приводит к возмущению решения χ на Sx. Устойчивость линейной системы наиболее естественным образом описывается сравнением относительной величины ||&с||/||ж|| изменения решения с относительной величиной ||£у||/||у| изменения входных данных. Число обусловленности есть максимальное значение их отношения. Лемма 6.5. Пусть А — обратимая матрица размера η χ η; χ,у,Sx,Sy 6 Cn,χ ^Ο,Αχ = y и ASx = Sy. Тогда Ы * C*{A) Ы ' (6'9) Более того, существуют ненулевые векторы x>y,Sx,Sy € Сп такие, что Ах = у, ASx = Sy и в соотношении (6.9) на них достигается равенство. Следовательно, Сф{А) в формуле (6.9) не может быть заменено никаким меньшим числом. Доказательство. Так как у = Ах, то из соотношения (6.3) имеем 11,11 < μ|||Μ|. (β.ιο) Аналогично, так как Sx = A~lSy, то 11**11 ςμ-'ιιιΐή,ιι. (б.и) Перемножая неравенства (6.10) и (6.11) и используя определение числа обусловленности, получим ||у||||*х||<С#(А)|М|||*у||,
Упражнения 441 что эквивалентно неравенству (6.9) (отметим, что у φ О, потому что Ах = у и Л— обратимая матрица). Чтобы доказать оптимальность числа Сф(А) в соотношении (6.9), заметим, что, согласно упр. 6.1.4(2), должен существовать ненулевой вектор χ такой, что ||Ατ|| = μι|||*||, и ненулевой вектор Sy такой, что ЦА-ЧуЦ = \\А-Ц\Ы. Пусть у = Ах и δχ = A~xSy. Тогда у φ О и δχ φ О, потому что А и А~1 — обратимые матрицы. Умножение этих двух равенств дает IMIH&ril = рнр-ЧнируИ = сФ(А)м\ы. Следовательно, мы имеем равенство в соотношении (6.9). ■ Число обусловленности матрицы А измеряет, насколько неустойчива линейная система Ах = у относительно возмущений данных у. Поэтому в приложениях желательно, чтобы число обусловленности было небольшим (т. е. около 1). Если число обусловленности матрицы Л— большое, хотелось бы заменить линейную систему Ах = у эквивалентной системой, матрица которой имеет малое число обусловленности, например, умножая на переобуславливающую матрицу В, чтобы получить эквивалентную систему В Ах = By, где С#{ВА) меньше, чем С#{А). Для обратимой матрицы А это всегда теоретически возможно, если взять В = А~1. Но в большинстве приложений, этот путь невыполним, так как совершенно непрактично вычислять А~1. Однако в некоторых случаях можно найти простые переобуславливающие матрицы. Упражнения 6.1.1. Пусть 1) Проверить, что А А = 2.6 0.8 -4.8 -1.4 Г ι' [-2J ' 1 " L_2J и А 0.5" [-0.5J 0.9 1 [-1.7J 2) Доказать, что Сф(А) ^ 5. Подсказка: возьмите χ + δχ = χ — 1 -2 0.5 -0.5 и примените неравенство (6.9).
442 Глава 6. Вэйвлеты и дифференциальные уравнения 6.1.2. Пусть Л —матрица размера η χ п. Доказать равенство (6.2). 6.1.3. Пусть Л —матрица размера η χ п. Доказать, что sup iijj-/ < +оо. {*:*#0} WZW Подсказка: один способ состоит в использовании того факта, что ||j4ej|| < оо для j = 1,2,...п. 6.1.4. Пусть Л —матрица размера η χ п. Определим Тд: Сп —► Сп равенством Τα(ζ) = Αζ. 1) Показать, что отображение Тд равномерно непрерывно в Сп: если ε > 0 —заданное число, то существует δ > О такое, что ||2!а(з) — Гд(ги)|| < ε для всех z,w € Сп таких, что \\z — w\\ < δ. Подсказка: примените соотношение (6.3). 2) Доказать, что существует ненулевой вектор ζ 6 Сп такой, что \\Αζ\\ = ||Α||||ζ||. Подсказка: из равенства (6.2) и определения точной верхней грани следует, что для каждого к € N должно существовать Zk € Сп такое, что ||г*|| = 1 и ||Λ*||>(ι-£) Предположите справедливость теоремы Больцано—Вейер- штрасса для Сп (любая ограниченная последовательность векторов в Сп имеет сходящуюся подпоследовательность) и примените п. 1. 6.1.5. Определим преобразование Т: L2{[—π,π))—>L2([—π, π)) следующим образом. Каждую функцию / G L2([—π,π)) представим ее рядом Фурье Σ (/, eike)eike и пусть {T{fW)= E (l-i)(/,eifcV* „ что T(f) € L2([- 2) Доказать, что \\Т\\ = 1, где к£1,кфО 1) Доказать, что T(f) € £2([-π,π)) для всех / € £2([-π,π)). ||Γ||=8υρ{||Τ(/)||/||/||:/€^2([-π,π)) и / ^ 0}. 3) Доказать, что для всех / 6 L2([—π, π)) таких, что / φ О, ЦГ(/)Н # ΡΊΙΙΙ/ΙΙ· 6.1.6. Пусть А — обратимая матрица размера η χ η и с € С, где с φ 0. 1) Доказать, что ЦсЛЦ = |с|||Л|| и ЩсАГЦ = \\А~1\\/\с\. 2) Доказать, что С#{сА) = С#{А).
Упражнения 443 6.1.7. 1) Пусть А и Б —матрицы размера пхп. Доказать, что μ*||<μΐιιι*||. 2) Пусть А — обратимая матрица размера пхп. Доказать, что СФ{А) > 1. 6.1.8. Пусть А и В — унитарно подобные матрицы размера пхп (определение 1.107). 1) Доказать, что ||Л|| = ||Б||. Подсказка: воспользуйтесь леммой 1.105(5). 2) Предположим также, что А — обратимая матрица. Доказать, что Б —обратимая матрица и С#{А) = С#(В). 6.1.9. Пусть D — диагональная матрица размера η χ η с диагональными элементами di, efo,..., dn. Доказать, что ||Л||=тах{|сШ<*2|.···.!*»!}· 6.1.10. Пусть 4 _ Г 81 -381 [-3.8 2.4 J * 1) Найти Сф{А). 2) Найти ненулевые векторы ж, у, δχ, Sy € С2 такие, что Ах = у, Αδχ = Sy и выполняется равенство в соотношении (6.9). 6.1.11. Пусть U — унитарная матрица размера пхп. Доказать, что СФ{Ц) = 1. 6.1.12. Пусть А и δ А — матрицы размера η χ η и χ, у, δχ € Сп. Предположим, что А — обратимая матрица, Ах = у и (Α + δΑ)(χ + δχ) = у. Доказать, что ||fa|| ||<L4|| Подсказка: показать, что из двух вышеприведенных соотношений вытекает равенство δχ = — Α~ιδΑ{χ + δχ), и примените упр. 6.1.7(1). Замечание: это упражнение имеет следующую интерпретацию. Начав с системы Ах = у, наложим небольшое возмущение на матрицу А и получим А + δ А. Оставив неизменным вектор данных у, рассмотрим решение χ + δχ возмущенного уравнения (Α+δΑ)(χ+δχ) = у. Заключение упр. 6.1.12 состоит в том, что относительная погрешность (измеряемая здесь как ||&г||/||ж + δχ\\) решения ограничена относительным изменением нормы матрицы А с коэффициентом С#{А). Поэтому чем меньше число
444 Глава 6. Вэйвлеты и дифференциальные уравнения обусловленности, тем больше устойчивость системы Ах = у как относительно округлений и возмущений матрицы А, так и возмущений данных у. 6.2. Метод конечных разностей для дифференциальных уравнений Предположим, что /: [0,1] —► С — непрерывная функция. Наша цель — получить С2-функцию и (т.е. дважды непрерывно дифференцируемую), которая является решением уравнения -v!\t) = /(*) для 0 ^ t ^ 1 (6.12) с граничными условиями Дирихле и(0)=0 и и(1)=0. (6.13) (Случай ненулевых граничных условий легко сводится к случаю (6.13); см. упр. 6.2.1.) В уравнении (6.12) производные в граничных точках О и 1 понимаются как односторонние. Теория этого уравнения хорошо известна. Легко видеть, что существует единственное решение и уравнения (6.12) с граничным условием (6.13) (упр. 6.2.2). Однако если / — функция, первообразная которой не может быть выражена через элементарные функции, то явную формулу в упр. 6.2.2 выписать невозможно. Один из способов аппроксимации решения и состоит в численной оценке интегралов в этой формуле. Другой метод, который является более общим, потому что он применяется к уравнениям, решения которых не так легко выписать в явном виде, — это конечно-разностный метод. Он основан на аппроксимации производных в уравнении (6.12) разностями, вычисленными в дискретном множестве точек отрезка [0,1]. По определению производной u(t + At) - u(t) At) At при малых At. Из соображений симметрии пусть h > 0. Рассмотрим два значения At = h/2 и At = —h/2 и вычислим среднее: «(«+!)-„(*) „(*)_„(«_£) u'(t) « \ _"Н0"Ч<-1) h ' ft 2 2
6.2. Метод конечных разностей 445 Применение этого же к ν! дает „"(*) „ И'Н)""'П) „ u(t + h)-2u(t) + u(t-h) (6 14) Мы рассматриваем точки *,- = £, j = 0,l,...,JV. При таком разбиении наименьший шаг, который мы можем взять, — это 1/JV, поэтому мы берем h = 1/iV. Положим x(j) = UGv) И y{j) = ^f(N) ПРИ J = Μ. ···.*· (6Л5) Чтобы решить уравнение —u"(tj) = /(t/), аппроксимируем значения n/;(tj) с помощью формулы (6.14) и рассмотрим систему уравнений с граничными условиями «(0) = «(1) = 0. При j = 0 или j = N это уравнение не имеет смысла, потому что u(—l/N) и «(1 + 1/N) не определены, поэтому мы его рассматриваем только для 1 < j < N — 1. Таким образом, имеем систему -x(j + l) + 2x(j)-x(j-l) = y(j) Для j = l,...,N (6.16) с граничными условиями ж(0)=0 и z(JV)=0. (6.17) Отметим, что при j = 1 уравнение (6.16) сводится к — ж(2)+2ж(1) = у(1), потому что ж(0) = 0, и когда j = N — 1, уравнение (6.16) сводится к 2x(N — 1) — «(JV — 2) = 0, потому что x(N) = 0. Итак, уравнения (6.16) —это линейная система из N — 1 уравнения с N — 1 неизвестным х(1),ж(2),... ,x(N — 1); ее можно представить как матричное уравнение Г 2 -1 0 · · · 0 0 -12-10·· · 0 0-12-10· · 0 0 0 · 0-12-1 0 0 · · · 0 -1 2 х(1) х(2) [хШ - 1)1 \y(N - 1)1 У(1) У(2) (6.18)
446 Глава 6. Вэйвлеты и дифференциальные уравнения которое запишем в виде ANx = у. Можно проверить (упр. 6.2.3), что det An = N. Следовательно, Α ν — обратимая матрица, и существует единственное решение χ уравнения (6.18) при любом векторе у. Если мы устремим h —► 0, т. е. N —► +оо, то можно ожидать, что решение χ будет аппроксимировать истинное значение и в уравнении (6.15) с большой точностью. Однако мы видели в разд. 6.1, что при численном решении линейных систем очень важно, чтобы матрица системы была хорошо обусловленной. Поэтому рассмотрим число обусловленности матрицы An- Отметим, что матрица An вещественная и симметричная, следовательно, эрмитова (определение 1.110). Поэтому Α ν — нормальная матрица. По лемме 6.4 число обусловленности С#{А) = |A|max/ |A|min, где |А|тах и |A|min определяются равенствами (6.6) и (6.7). Однако как вычислить собственные значения матрицы An, не очень понятно. Для этого рассмотрим матрицу (которую обозначим через Βν—ι)? совпадающую с An, за исключением элементов в верхнем правом и нижнем левом углах; эти элементы равны —1 вместо 0. Тогда В ν-ι есть циркулянтная матрица (определение 2.20). Следовательно, матрицу В ν-ι можно диа- гонализовать и найти ее собственные значения, используя теорему 2.19. Опишем другой способ установить соотношение между An и этим циркулянтным вариантом: An — матрица размера (N — 1) χ (Ν — 1), полученная удалением первой строки и первого столбца в матрице Βν размера Ν χ Ν в матричном уравнении Βνχ* = i/, имеющем вид Г 2 1-1 0 0 - - - 0 -1 -1 2 -1 0 - - · 0 (Г 0-12-10·· · 0 L-l| 0 0 · · ■ 0 -1 2 где х1 = (#(0),#(1),... 9χ(Ν — 1)), и аналогично для г/. Матрица Βν естественно возникает при формулировке задачи (6.12) в периодическом виде (см. упр. 6.2.5). Однако эта формулировка менее естественная, чем формулировка в виде (6.12)-(6.13) (упр. 6.2.5), и матрица В ν необратима (упр. 6.2.6(1)), поэтому мы оставляем этот вариант для упражнений. Вместо этого получим информацию о собственных числах и векторах матрицы An из этих же величин для матрицы Βν- Предположим, что х1 = (ж(0),ж(1),... ,χ(Ν — 1)) есть собственный вектор матрицы Βν такой, что х(0) = 0. Пусть λ будет соответству- аг(О) х(1) х(2) хШ-1). = 2/(0) У(1) 2/(2) _y(JV-l)J , (6.19)
6.2. Метод конечных разностей 447 ющим собственным значением. Пусть χ = (х(1),... ,χ(Ν — 1)). Тогда Bnx'(J) = An%(J) для j = 1,2,..., Ν — 1, потому что условие #(0) = 0 гарантирует, что первый столбец матрицы Д/v не влияет на величину Bn^{j)' Поэтому ANx{j) = BNx'(j) = Xx'(j) = Az(j) для j = 1,2,..., Ν — 1. Другими словами, Αν χ = Χχ, поэтому х есть собственный вектор матрицы An с собственным значением А. Так как В ν — циркулянтная матрица, то ее собственные векторы Fo,Fi,... ,Fjv_i— элементы базиса Фурье (см. определение 2.7 и теорему 2.18). Так как Fj(0) = 1/Ν при каждом j, то может показаться, что собственных векторов х1 матрицы В ν-, удовлетворяющих условию 2/(0) = 0, нет. Однако в примере 2.36 мы вычислили собственные значения матрицы Bn (на самом деле, в примере 2.36 была рассмотрена матрица А = — В ν). Мы нашли, что BnFj = XjFj, где Xj = 4sin2(^/AT). Следовательно, если 1 ^ j < Ν/2, мы имеем Xn-j = Aj, поэтому собственное пространство, соответствующее Xj, есть двумерная оболочка векторов Fj и Fn-j- Поэтому линейная комбинация векторов Fj и Fn-j принадлежит этому собственному пространству. Для 1 ^ j < Ν/2 определим Hj 6 £2(Zn) равенством Hj{n) = ^.{Fj{n)-FN4{n)) = _ _1 (e2**in/N _ e-2mjn/Nj = gin /27rjn\ Тогда Hj(0) = 0 и BnHj = XjHj. Согласно ранее проведенному рассуждению, это означает, что вектор длины N — 1, полученный удалением первой компоненты из Hj, есть собственный вектор матрицы An с собственным значением Aj. Из соображений, которые станут ясны чуть ниже, мы обозначим этот вектор G^j и в более общем виде определим векторы Gm длины N — 1 для 1 ^ га ^ N — 1 равенством Gm(n)=sin(^) при n = l,2,...,JV-l. (6.20) В этих обозначениях векторы (?2, G±, Gq, ..., (?лг-ъ если N — нечетное, или <32,(?4><3б,... ,(?лг-2> если N — четное, суть собственные векторы матрицы An-
448 Глава 6. Вэйвлеты и дифференциальные уравнения Стоит это проверить явно: (ANGm)(l) = -Gm(l - 1) + 2Gm(l) - Gm(l + 1) = [. πτηΐ πτη πτηΐ . ππι~\ , Λ . πτηΐ sin —— cos —г - cos —— sin —- + 2sin —— - Ν Ν Ν Ν J N Γ . πτηΐ πτη , ππιΐ . πτηΛ - Sin -jt=- COS — + COS -η— Sin — I = где первое равенство справедливо и при ί = 1, потому что Gm(0) = 0. При га = 2к получаем ранее отмеченный факт, что ^ivC?2fc = 4:Sin2(nk/N)G2k- Однако отметим, что это вычисление не требует условия четности числа га. Поэтому мы видим, что собственные векторы матрицы А/у — это Gm, га = 1,2,...,ЛГ — 1, с соответствующими собственными значениями 4sin2^ra/2iV). (Отметим, что эти собственные значения различны, и поэтому мы имеем полное множество собственных векторов матрицы An размера (N — 1) χ (Ν — 1).) Поучительно провести сравнение задачи (6.12)—(6.13) с аналогичной задачей в ее периодической формулировке (см. упр. 6.2.5 и 6.2.6). Соотношение -Gm(l - 1) + 2Gm(l) - Gm(l + 1) = 4sin2 (^) Gm{l) есть дискретный аналог того, что функция g(x) = sinnrnx удовлетворяет уравнению —</' = п2гп2д. Собственные векторы Gm матрицы An для четных значений га соответствуют целому числу полных периодов синусоидальной функции, которая возникает как при периодических, так и при непериодических заданных функциях. Для нечетного га вектор Gm соответствует га/2 (которое не является целым) периодам синусоидальной функции, которые отсутствуют, когда мы ищем только периодические решения. Это аналогично тому, что (упр. 6.2.5(2)) функция u(x) = 7r~2sin7nr удовлетворяет условиям (6.12) и (6.13) при f(x) = sin πα;, но и не является 1-периодической функцией. Число обусловленности матрицы An равно П ( А \ — тах — C#{AN) = ТГ7— = **(***) |A|min 4 sin2 \2n)
6.2. Метод конечных разностей 449 При N —► оо имеем sin2(7r(JV — 1)/2JV) —► 1, в то время как sin2(7r/2JV) ведет себя как π2/AN2. Поэтому 4/V2 C#(AN)«—S-. Следовательно, число обусловленности матрицы An стремится к бесконечности пропорционально N2. Поэтому, хотя возрастание N должно увеличивать точность аппроксимации решения и задачи (6.12)—(6.13), линейная система Αχχ = у становится все более неустойчивой и решение становится все более и более ненадежным. Задача (6.12)-(6.13) имела простой вид, и мы могли явно диагона- лизовать матрицу An, возникающую при конечно-разностной аппроксимации. Отчасти это обусловлено тем фактом (см. замечание в конце упр. 6.2.6), что оператор L, определенный равенством Lu = —u/;, инвариантен относительно сдвига (см. разд. 5.2). Поэтому матрица An была близка к циркулянтной в том смысле, что An тесно связана с циркулянтной матрицей Bn, которая возникает при формулировке задачи в периодическом виде (упр. 6.2.6). Это и немного удачи дало нам возможность получить собственные векторы матрицы An- В более общем случае любой линейный обыкновенный дифференциальный оператор с постоянным коэффициентом, т. е. оператор L вида (Lu)(t) = L(u)(t) = Σ bj^j u(t), (6.21) где bj — константы, будет инвариантен относительно сдвига (упр. 6.2.7). Если коэффициенты bj в формуле (6.21) могут изменяться в зависимости от t (такой оператор называется линейным обыкновенным дифференциальным оператором с переменными коэффициентами), то оператор L не будет инвариантным относительно сдвига. (Например, если R = t(d/dt), то R(u(t — s)) = ίί/(ί — s), в то время как (Ru)(t — s) = (t — s)u;(i — s). См. общий результат в упр. 6.2.7.) Для такого оператора далее периодическая задача не диагонализуется системой Фурье. Когда мы рассматриваем матрицу А, возникающую при конечно-разностной аппроксимации решения уравнения Lu = f на, отрезке [0, 1] при граничных условиях и(0) = и(1) = 0, матрица А не будет близкой к циркулянтной (например, см. упр. 6.2.8), поэтому мы не можем следовать методам, примененным выше к матрице An- Даже если матрица А окажется диагонализуемой, что неочевидно, имеется малая надежда ее диагонализовать непосредственно. Следует ожидать, что число обусловленности будет большим, так как это имеет место даже в более простом случае задачи (6.12)-(6.13).
450 Глава 6. Вэйвлеты и дифференциальные уравнения Альтернативный подход с использованием вэйвлетов, включающий в себя случай переменных коэффициентов, рассматривается в разд. 6.3. Этот подход приводит к линейным системам с ограниченным числом обусловленности. Упражнения 6.2.1. Пусть /: [0,1] —» С — непрерывная функция и пусть а, Ъ 6 С. Предположим, что щ: [0,1] —► С есть функция из С2, которая удовлетворяет условиям (6.12) и (6.13). Найти функцию и из С2 (выраженную через щ,а и Ь), удовлетворяющую уравнению —и" = / на отрезке [0, 1], и условиям и(0) = а и и(1) = Ь. Подсказка: какому уравнению удовлетворяет функциям — щ? 6.2.2. Пусть /: [0,1] —► С — непрерывная функция. Определим χ t It u(x) = - f(s)dsdt + x\\ f(s)dsdt oo oo для 0 ^ χ ^ 1. 1) Доказать, что и есть функция из С2, которая удовлетворяет уравнению (6.12) и граничным условиям (6.13). 2) Доказать единственность: и — единственная функция из С2, являющаяся решением задачи (6.12)-(6.13). 6.2.3. Пусть An — матрица размера (N — 1) χ (Ν — 1) в формуле (6.18). Доказать, что detApt = N при Ν ^ 2. Подсказка: используйте индукцию. Покажите, что det An+i = 2det Ajv — det An-i- 6.2.4. Доказать, что {e2nmt}n^z есть полное ортонормированное множество в Ь2([0,1)). Подсказка: для доказательства полноты продолжите / на R с периодом 1 и примените упр. 4.3.5 с а = 1/2. Результат для [—1/2,1/2] дает сдвигом результат для [0, 1]. 6.2.5. Пусть /: R —► С — непрерывная функция с периодом 1: f(t + 1) = f(t) при всех t 6 К. Периодическая постановка задачи (6.12)-(6.13) состоит в нахождении функции и из С2, u: R —» С, которая имеет период 1 и удовлетворяет уравнению —и" = / на отрезке[0,1] и и(0) = 0. 1) Заметьте, что решение и периодической задачи удовлетворяет уравнениям (6.12) и (6.13). 2) Задача в вышеприведенной периодической постановке не эквивалентна задаче (6.12)-(6.13). Например, пусть f(x) = sin7nr. Показать, что и(х) = 7r~2sin7nr принадлежит
Упражнения 451 С2 на отрезке [0, 1] и удовлетворяет уравнению (6.12) и граничным условиям (6.13), но не имеет 1-периодического продолжения в С2, потому что производная и справа от О не совпадает с производной и слева от 1. Согласно п. 1 и утверждению о единственности решения (упр. 6.2.2(2)), периодическая задача не имеет решения. 3) Доказать, что если периодическая задача имеет решение и, то ι J f(t)dt = 0. Это другой способ увидеть, что пример в п. 2 не о имеет 1-периодического решения. 4) Предположим, что 1-периодическая непрерывная функция / ι удовлетворяет равенству J f(t)dt = 0. Доказать, что функ- о ция и, определенная в упр. 6.2.2, имеет 1-периодическое продолжение, которое является решением периодической задачи. Подсказка: необходимо только проверить, что 1-периодическое продолжение принадлежит С2 в концевых точках 0 и 1. Конечно, и и и" = —/ в точках 0 и 1 принимают каждая 1 одинаковые значения. Предположение, что J f(t)dt = 0, тре- о буется только при проверке этого свойства для υ!. 1 5) Предположим, что J f(t)dt = 0. Тогда периодическая задача о может быть формально решена методом Фурье. Предположим, что / можно представить ее рядом Фурье на [0,1) (см. упр. 6.2.4): _ 1 Постоянный член cq = (2π)-1 J f(t)dt = 0 по предположению. о Показать, что функция «(*) = *+ Σ ^?еМ, ηξΖ,ηφΰ где константа α выбирается так, что и(0) = 0, является 1-пе- риодическим решением уравнения — и" = /. Покажите это, по крайней мере, формально (т. е. предполагая, что можно взять вторую производную внутри суммы по п). 6.2.6. В этом упражнении мы рассматриваем конечно-разностный метод решения периодической задачи, сформулированной в упр. 6.2.5. Так как пи/ определены на всем пространстве R,
452 Глава 6. Вэйвлеты и дифференциальные уравнения то мы можем продолжить функции в формуле (6.15) на все j € Ζ. При этом 1-периодичность функций / и и означает, что χ и у имеют период JV, т. е. ж, у 6 £2(Zn)· Тогда уравнение (6.16) имеет смысл также при j = 0, так как х{—1) = x(N — 1). Аналогично, когда j = N — 1 в уравнении (6.16), мы имеем x(j + 1) = χ(Ν) = ж(0). Если мы запишем результирующую систему уравнений для j = 0,1,..., N — 1, получим В^х = у, где Bn есть матрица в равенстве (6.19), χ = (ж(0), ж(1),..., χ(Ν—1)), У = (у(0), у(1),. · ·, y(N — 1)) и нулевое условие ж(0) = 0. 1) Пусть w € £2(Zn) определяется равенством w = (1,1,..., 1). Доказать, что B^w = 0. Это показывает, что Bn — необратимая матрица. 2) Доказать, что кет В ν есть одномерное множество, следовательно, порождено вектором w. Подсказка: если Βχχ = 0, то для каждого j имеем x(j +1) — x(j) = x(j) — x(j — 1). Поэтому значения x(j) лежат на прямой линии. Затем используйте периодичность. 3) Пусть w1- = {ζ 6 С^: ζ _L it;}. Доказать, что range Bn = w1· Подсказка: по теореме о ранге матрицы (упр. 1.4.10) и согласно п. 2 размерность пространства range В ν должна быть N — 1. Если Вνχ = У при некотором ж, покажите, что ЛГ-1 ЛГ-1 ЛГ-1 (у, w) = Σ *ν -χ) -2 Σ*сл + Σ *tf+!)=°· j=o j=o j=o Замечание: таким образом, уравнение Bnx = у имеет ре- ЛГ-1 шение χ тогда и только тогда, когда ^ y(j) = {y,w) = 0, j=o что является дискретным аналогом условия совместимости 1 J7(t)dt = 0 в упр. 6.2.5(3). о 4) Пусть Tbn —оператор, ассоциированный с матрицей Βν, τ. е. Tbn(x) = ВnX- Сузим Tbn на пространство wL. Доказать, что отображение Tbn\w± : w1· —► wL взаимно однозначно и является отображением «на», следовательно, ΤβΝ — обратимый оператор. 5) Пусть /: R —► С — непрерывная 1-периодическая функ- 1 ция, удовлетворяющая равенству J f(t)dt = 0 (необхо- о димое условие для разрешимости периодической задачи согласно упр. 6.2.5). Определим компоненты y(j) вектора У = (у(0),у(1),... ,y(N - 1)) так же, как в формуле (6.15).
Упражнения 453 Доказать, что ЛГ-1 lim ЛГ^»(,')=0. ЛГ-1 Подсказка: рассмотрите Ν Σ УН) как сумму Римана. Замечание: хотя не обязательно у 6 w1, п. 5 показывает, ЛГ-1 что сумма Σ y(j) сходится к нулю довольно быстро. Для j=0 решения системы В^х = у можно сначала аппроксимировать вектор у его ортогональной проекцией на wL\ Согласно п. 4, система В^х = у* имеет единственное решение в wL. Добавив к нему вектор из w1- — kerBjv, получим решение, удовлетворяющее граничному условию х(0) = 0. 6) Так как матрица Ду — циркулянтная, она диагонализуется (теорема 2.18) базисом Фурье {Fi,F2,... ,Fjv_i} из определения 2.7. Это приводит к простой формуле для решения уравнения Βχχ = у*. Отметим, что w = NFo и, следова- ΛΓ-1 тельно, wL = span {Fb F2,..., Ήν-ι}· Так как у = £ y(i)^j ΛΓ-1 (из формулы (2.15)), получаем у* = ^ y(j)Fj. Пусть A j— собственные значения матрицы Вм, связанные с собственными векторами Fj так, что B^Fj = XjFj. Отметим, что для 1 ^ j^ N — 1 мы имеем Xj φ 0, так как Fj fi ker Βχ (чтобы быть точными, Xj = 4sin2(7T7/iV), согласно примеру 2.36). Показать, что общее решение системы В^х = у* имеет вид N-1 , Σ С Определим с так, чтобы выполнялось начальное условие х(0) = 0. Замечание: отметим близкую аналогию между решением непрерывной периодической задачи в упр. 6.2.5 и решением ее конечно-разностной дискретизации в упр. 6.2.6. Соображение, лежащее в основе этой аналогии, состоит в том, что оператор L взятия второй производной (определенный равенством Lu = un)
454 Глава 6. Вэйвлеты и дифференциальные уравнения инвариантен относительно сдвига и, следовательно, диагонали- зуется системой Фурье. В дискретном случае соответствующей особенностью является тот факт, что матрица В ν — циркулярная (т. е. что связанный с ней оператор инвариантен относительно сдвига) и поэтому диагонализуется дискретным преобразованием Фурье. Задание граничных условий нарушает инвариантность задачи относительно сдвига, но в периодической постановке это дает умеренный эффект, и с ним можно поступить, как мы указали. Граничные условия (6.13) в непериодической постановке более сложны для их учета, как описывалось в тексте. 6.2.7. Пусть дифференциальный оператор (возможно, с переменными коэффициентами) N j=0 dP определен при ί 6 1. Доказать, что L инвариантен относительно сдвига тогда и только тогда, когда каждый коэффициент bj(t) есть постоянная функция. Подсказка: рассмотрите Lu, где u(t) = tm, 0 ^ πι ^ N. Выпишите (Lu)(t - а) и L(u(t - a)). Положите а = ί, чтобы показать, что Ьо есть константа. Затем сократите этот член, поделив на t — s, и проитерируйте. 6.2.8. Рассмотрите уравнение tu"(t) + ti(t) = /(t) на [0, 1] с граничными условиями и(0) = и(1) = 0. Дискрети- зируйте это уравнение в узлах tj = j/N,j = 0,1,... ,7V — 1. Положите x(j) = u(tj). Показать, что tjUff(tj) приближенно есть jN [x(j + 1) - 2x(j) + x(j - 1)]. Положите y(j) = f(j/N). Как и в случае задачи (6.12)-(6.13), получится система уравнений jNx(j +1) + (1 - 2jN)x(j) +jNx(j -1) = y(j) при 1 ^ j ^ N -1. Показать, что ее можно записать в виде Ах = у, где χ = (х(1), х(2), ...,x(N-l)),y = (у(0), у(1),..., y(N - 1)) и А = 1-2JV 2JV 0 N 1-4JV 3JV 0 2JV 1-6JV 0 . 0 . 3JV . ..0 0' ..0 0 ..0 0
6.3. Методы вэйвлет-Галеркина 455 6.3. Методы вэйвлет-Галеркина для дифференциальных уравнений В этом разделе мы опишем другой подход к численному решению обыкновенных дифференциальных уравнений, известный как метод Галеркина. Для некоторого класса уравнений использование вэйвлетов в соединении с методом Галеркина приводит к двум крайне желательным особенностям связанных с ними линейных систем: разреженность и малое число обусловленности. Рассмотрим класс обыкновенных дифференциальных уравнений (известных как уравнения Штурма—Лиувилля) вида Lw(i) = "l(a(t)S+b(i)w(i)==/w для о^*^1' (6·22) с граничными условиями Дирихле u(0) = u(l) = 0. Здесь a, b и / — заданные вещественные функции, и мы хотим найти решение и. Мы предполагаем, что / и Ъ — непрерывные функции, и а имеет непрерывные производные на отрезке [0,1] (здесь всегда имеются в виду односторонние производные в концевых точках). Отметим, что L может быть дифференциальным оператором с переменными коэффициентами, потому что α(ί) и b(t) не обязательно константы. Мы предполагаем, что этот оператор — равномерно эллиптический, это значит, что существуют конечные константы Ci,C2 и Сз такие, что 0 < С\ ^ a(t) ^ С2 и 0 ^ 6(t) ^ С3 (6.23) при всех t 6 [0,1]. Согласно результатам теории обыкновенных дифференциальных уравнений, существует единственная функция и, удовлетворяющая уравнению (6.22) и граничным условиям и(0) = и(1) = 0. Простейший пример —это случай a(t) = 1 и b(t) = 0, который приводит к задаче (6.12)-(6.13). Позже мы увидим уместность предположения об эллиптичности. Может показаться более естественным записать производные в виде -Jt(^)^)=-a'(t)u'(t)-a(t)u"(t), дифференцируя произведение, но форма записи в уравнении (6.22) более подходящая при интегрировании по частям. Отметим (сравн. с упр. 4.3.5 и 6.2.4), что Ь2([0,1]) есть гильбертово пространство со скалярным произведением 1
456 Глава 6. Вэйвлеты и дифференциальные уравнения В методе Галеркина предполагается, что {vj}j есть некоторая полная ортонормированная система в L2([0,1)]; каждая функция Vj принадлежит С2 на отрезке [0,1] и удовлетворяет условиям «,·(<>) = «i(l) = 0. (6.24) Выберем некоторое конечное множество Λ индексов j и рассмотрим подпространство S = span {vj : j 6 Λ}. Мы ищем аппроксимацию решения и уравнения (6.22) вида us^^xkvkeS, (6.25) fc€A где каждый хк есть скаляр. Критерий определения коэффициентов хк состоит в том, что us должно вести себя как настоящее решение и на подпространстве S, это значит, что {Lus, Vj) = (/, Vj) при всех j € Λ. (6.26) Из линейности следует, что (Lus, g) = (/, g) при всех g e S. Отметим, что ввиду (6.24) приближенное решение us автоматически удовлетворяет граничным условиям us(0) = us(l) = 0. Получается, что функция us, определенная уравнениями (6.26), есть наилучшая аппроксимация в S решения и относительно некоторой естественной нормы (не нормы в пространстве L2 — см. упр. 6.3.1(3)). При подстановке равенства (6.25) в уравнение (6.26), получим \L[Y^xkvk)iVj) = (f,Vj) для всех jeA, ^ Чел ' ' или ^^ 22(Lvk, Vj)xk = (/, Vj) для всех j е Λ. (6.27) Обозначим через χ вектор (xk)k€A и через у —вектор (yk)keAi гДе ук = {f,Vk)- Пусть А — матрица со строками и столбцами, пронумерованными так же, как в массиве Λ, т. е. А = [o>jtk]jtk€A> гДе ajik = {Lvk,Vj). (6.28) Тогда равенствам (6.27) отвечает система линейных уравнений Σ ajikXk = Vj Для всех j € Λ, *€Λ ИЛИ Αχ = у. (6.29)
6.3. Методы вэйвлет-Галеркина 457 В методе Галеркина для каждого подмножества Λ мы получаем аппроксимацию us € S функции и, решая линейную систему (6.29) для χ и используя эти компоненты для определения us с помощью формулы (6.25). Можно ожидать, что если мы будем увеличивать множество Λ некоторым образом, то аппроксимации us должны сходиться к точному решению и (см. упр. 6.3.1(4)). Наша главная забота —это получить линейную систему (6.29), обладающую нужными свойствами. Эти свойства являются следствием выбора вэйвлет-базиса для метода Галеркина, который отличался бы от других базисов, например некоторого базиса Фурье. С вычислительной точки зрения имеются два свойства, которыми должна, на наш взгляд, обладать матрица А в линейной системе (6.29). Первое, как обсуждалось в разд. 6.1: мы хотели бы, чтобы матрица А имела малое число обусловленности, чтобы добиться устойчивости решения при малых возмущениях данных. Второе: для быстрого выполнения вычислений с матрицей А мы хотели бы, чтобы А была разреженной; это значит, что А имеет большой процент элементов, равных нулю. Самый хороший случай — когда матрица А диагональна, потом — когда матрица А разрежена. В этой книге мы не рассматривали вэйвлетов на отрезке [0,1]. Изучение этого вопроса заведет нас слишком далеко, поэтому мы предположим следующие факты. Имеется способ модификации вэйвлет-системы в L2(M) для того, чтобы получить полную ортонормированную систему {^,*Ь\*)€Г (6.30) в L([0,1]). Множество Г есть некоторое подмножество Ζ χ Ζ, которое мы не определяем. Функции ^* не являются в точности теми же функциями, что в вэйвлет-базисе для L2(K), но они им аналогичны. В частности, ipj^ имеет масштаб порядка 2~·7, i/jj^ сконцентрирована около точки 2~Jfc, и ipjfi равна нулю вне интервала с центром в 2~Jfc длины, пропорциональной 2~·7. Вэйвлеты, сконцентрированные строго внутри отрезка [0,1], почти те же самые, что и обычные вэйвлеты, но вэйвлеты, сконцентрированные около граничных точек, существенно от них отличаются. (В частности, они больше не получаются из материнского вэйвлета φ с помощью сдвига и растяжения.) Для каждых (j,fc) 6 Г функция i/jjtk принадлежит С2 и удовлетворяет граничным условиям iMO) = Vm(i) = o. Вэйвлет-система {^,*}у,*)ег удовлетворяет также следующей ключевой оценке: существуют константы С±,Сь > 0 такие, что для всех функцийg вида 9 = ZsCj,k<Pj,k (6.31) j,k
458 Глава 6. Вэйвлеты и дифференциальные уравнения с конечной суммой мы имеем ι С4 Σ 22ilci,*l2 < [ \9'(t)\2dt ^C5J2 22ikj)fc|2· (6.32) Оценки такого вида устанавливают эквивалентность норм; т. е. с точно- 1 стью до двух констант величины Σ 22j|cj)fc|2 и J \gf{t)^dt эквивалентны. j,k ' о Такие оценки играют все большую роль в анализе. Доказывать неравенство (6.32) мы не будем, однако выскажем общие соображения, почему оно справедливо. Мы знаем, что ι \\g(t)\2dt=\\g\\2 = ^\cj)k\\ (6.33) о э* так как g = Y^Cj^j,k и {^ji*}(j,*)€A есть полная ортонормированная зМ система в L2([0,1]). Рассмотрим теперь д' вместо д. Напомним, что для стандартных вэйвлетов в L2(R) Дифференцируя сложную функцию, получаем (^)'(t) = У2"2ф'(2Ч -к)= У{ф\к. (6.34) Рассматриваемые вэйвлеты на [0,1] — не стандартные вэйвлеты на R, но их поведение аналогично. В формуле (6.34) взятие производной дает нам множитель 2J и заменяет φ на ф1. Рассчитывая на небольшую долю везения, мы можем предположить, что ф1 ведет себя, как φ (в частности, они имеют один и тот же масштаб); грубо говоря, £) с^^{Фз,кУ ведет себя, как Σ сз,к^Фз,к' Поэтому равенство (6.33) приводит нас к оценке (6.32). Оценка (6.32) — хороший пример, иллюстрирующий сказанное в конце гл. 5 о том, что важно иметь вэйвлеты на множестве R, а не на Ζ. Эта оценка показывает, что вэйвлеты совместимы с непрерывной структурой R. Обозначения, используемые при применении метода Галеркина с помощью вэйвлетов, вносят некоторую путаницу, обусловленную тем фактом, что вэйвлеты индексированы двумя целыми числами. Поэтому для вэйвлетов мы записываем равенство (6.25) следующим образом: (λ*)€Λ
6.3. Методы вэйвлет-Галеркина 459 и уравнение (6.27) — в виде Σ (Щ,к> 1>i,m)xj,k = (/, Ψι,πι) ДОЯ всех (/, га) € Λ (6.35) ϋ.*)€Λ и некоторого конечного множества индексов Λ. Мы можем по-прежнему рассматривать это как матричное уравнение Ах = у, где векторы χ = (#j,fc)(j,fc)eA и у = (2/j,fc)(j,fc)eA индексированы парами чисел (j, к) Ε Л, и матрица ^4 = [aZ,m;j,fc](Z,m),(j,fc)€A> определенная равенствами ai,m;j,fc = (Wjjk^hm)* (6.36) имеет строки, проиндексированные парами чисел (l,m)GA, и столбцы, проиндексированные парами чисел (j,fc) € Л. Так как Л есть конечное множество, то можно изменить индексацию, чтобы прийти к обычному виду, но это неестественная переиндексация, и обычно используются традиционные индексы вэйвлетов. Как было сказано выше, нам хотелось бы, чтобы А была разреженной матрицей и имела малое число обусловленности. В действительности сама А не имеет малого числа обусловленности, но мы можем заменить систему Ах = у эквивалентной системой Μ ζ = υ, у которой новая матрица Μ обладает нужными свойствами. Для этого сначала определим диагональную матрицу D = [dj,mtf,*](j,m)(j,fc)€A равенством если (/,га) = (j,fc), если (i,m)^(j,fc). Положим матрицу Μ = [raz,m;j,fc](z,m)(j,fc)€A равной M^D^AD-1. (6.38) Записав это соотношение поэлементно, видим, что mi,md,k = 2~j~4m;j,fc = 2-j~l(L^jik, </>ζ,™>· (6.39) Система Ах = у эквивалентна системе D~lAD-lDx = D~ly, или, положив ζ = Dx ии = D~xy, имеем Mz = υ. (6.40) Как мы увидим в теореме 6.7, из эквивалентности норм следует, что система (6.40) хорошо обусловлена. Процесс замены плохо обусловленной А - №> al,m;j,k — \ (6.37)
460 Глава 6. Вэйвлеты и дифференциальные уравнения системы хорошо обусловленной системой есть разновидность процесса переобусловленности, описанного в конце разд. 6.1. Перед формулировкой и доказательством теоремы 6.7 полезно рассмотреть следующую лемму. Она объясняет необходимость предположения о равномерной эллиптичности (6.23). Лемма 6.6. Пусть L— равномерно эллиптический оператор Штурма—Лиувилля (т. е. оператор, определенный в формуле (6.22) с условиями (6.23)). Пусть функция g € L2([0,1]) принадлежит пространству С2 на [О,1] и удовлетворяет равенствам д(0) = #(1) =0. Тогда χ Сх | \g\t)\2dt ^ (Lg,g) ^ (С2 + С3) J \g'(t)\2dt, (6.41) о о где С\,С2 и С$ — константы в соотношениях (6.23). Доказательство. Интегрируя по частям, получим ι {-{ag,)\g) = \Aag,),{t)g{t)dt = о ι = \a{t)g\t)^dt=(ag',g'). о (Граничный член равен нулю, потому что #(0) = #(1) = 0.) Поэтому (Lg,g) = (-(адГУ + Ъд,д) = (ш/,</> + (bg,g). Следовательно, из неравенства (6.23) 1 1 1 d J \g'{t)\2dt ^ ja(t)\gf(t)\2dt = \a{t)g\t)W)dt = (agf,gf). (6.42) 0 0 0 Также из (6.23) получим ι 0^^b(t)\g(t)\2dt = (bg,g). о Сложение этих двух неравенств дает ι Ci^\g'(t)\2dt^(Lg,g),
6.3. Методы вэйвлет-Галеркина 461 что является левой частью соотношения (6.41). Для правой части отметим, что из неравенства (6.23) 1 1 <<*</,</> = ja(t)\sf(t)\2dt ^ C2\\g'(t)\2dt. (6.43) о о Так как д(0) = 0, из основной формулы интегрального исчисления имеем t g(t)=^g'(s)ds. о Следовательно, из неравенства Коши—Шварца (5.3) (примененного к функциям </χ[ο,ί] и X[0)t] с χ, как в определении 5.43) для любого t € [0,1] получаем t t ι \g(t)\2 ^ (JV(s)l2<fe) 0i&) < JVwi2*. О 0 0 Поэтому 1 χ χ χ | |»(*)|2Л < | \sf(s)\2d8Jdt = I |</(*)|2ώ. (6.44) 0 0 0 0 Следовательно, из неравенства (6.23) ι ι ι (Ьд,д) = |ь(«Ж«Ш* ^Сз||ρ(ί)|2Λ < Сз J|^(t)|2<ft. 0 0 0 Этот результат и соотношение (6.43) вместе дают правую часть формулы (6.41). ■ Теорема 6.7. Пусть L —равномерно эллиптический оператор Штурма—Лиувилля {оператор, определенный формулой (6.22), коэффициенты которого удовлетворяют неравенствам (6.23)). Пусть {^7\*}ϋ>*)€Γ "~ полная ортонормированная система в L2([0,1]) такая, что каждая функция ф^^ принадлежит С2, удовлетворяет условиям ^j,*(0) == ^j,*(l) = 0 и пРи этом имеет место эквивалентность норм (6.32). Пусть К —конечное подмножество Г. Пусть Μ —матрица, определенная равенством (6.38). Тогда число обусловленности матрицы Μ удовлетворяет неравенству С#(М) < {C2 + °f5 (6.45) для любого конечного множества А, где С\,Съ и Сз — константы в неравенствах (6.23), и С\,С$ —константы в неравенствах (6.32).
462 Глава 6. Вэйвлеты и дифференциальные уравнения Доказательство. Пусть ζ = {^^}^^€д —произвольный вектор с || 21| = 1. Для матрицы D, элементы которой определены равенствами (6.37), положим w = D~lz\ это значит, что w = {wj,k}(j9k)€Ai где wj* = 2 'zj,k· Определим γ-> U.*)€A Тогда из равенства (6.39) получим (Μζ, Ζ)= Σ (Mz)l,m*lW = (Z,m)€A = Σ Σ (L^Jik^l1m)i2-jZjik2-lZ^ = (i,m)€A (j,Ar)€A = (L( Σ WiA*)' Σ wi,m^i,m) = <bp,^>, X \j,k)£A ' (i,m)€A ' так как 2~^Zj^ = Wj,fc и 2~ιζιιΤη = wj?m. Применяя лемму 6.6 и соотношение (6.32), получаем ι (M*,*) = (L5,0K(C2 + ^ £ 22>,,*|2 О ϋ,*)€Λ И ! (Afo,2;> = (^^>>Cif|^(t)|2dt>CiC4 £ 22>j)fc|2. О (J,*)€A 0днако ^ 22>^l2 = £ |^|2 = IW|2 = i. U,*)€A (i,*)€A Поэтому для любого г с нормой || ζ || = 1 имеем C1C4^(Mz,z)^(C2 + C3)Cb. Если А есть собственное значение матрицы М, мы можем пронормировать соответствующий собственный вектор ζ так, что \\ζ\\ = 1, и получим (Μζ,ζ) = (Χζ,ζ) = λ(ζ,ζ) = Α||ζ||2 = Α. Поэтому каждое собственное значение А матрицы Μ удовлетворяет соотношению С1СА^Х^(С2 + Сз)Съ. (6.46) Отметим, что матрица Μ эрмитова (упр. 6.3.2) и, следовательно, нормальна. Тогда по лемме 6.4 число обусловленности С#{М) есть отноше-
6.3. Методы вэйвлет-Галеркина 463 ние наибольшего собственного числа к наименьшему (каждое из которых положительно согласно (6.46)). Тогда из этих неравенств следует, что условие (6.45) выполняется. ■ Таким образом, матрица в переобусловленной системе (6.40) имеет число обусловленности, ограниченное независимо от множества Л. Поэтому, если мы увеличиваем Л для аппроксимации нашего решения с большой точностью, число обусловленности остается ограниченным. Это значительно лучше, чем конечно-разностный случай в разд. 6.2, в котором число обусловленности возрастало как N2. Поэтому, оперируя методом Галеркина, использующим вэйвлеты на [0,1], мы не должны беспокоиться о точности измерений и о погрешностях округления, обесценивающих наше решение, если мы стремимся ко все большей и большей точности. Существуют другие полные ортонормированные системы, для которых аналогичная переобусловленность может привести к ограниченному числу обусловленности. Система Фурье —такой пример. Мы не можем использовать функции е27ГШ<, потому что они не удовлетворяют граничным условиям, но мы можем пользоваться базисом из синусоидальных функций, которые обращаются в нуль в концевых точках (упр. 6.3.3). Итак, если мы видим преимущество метода Галеркина перед методом конечных разностей, то преимущество вэйвлетов перед системой Фурье по-прежнему не ясно. Чтобы увидеть его, мы должны рассмотреть другую желательную особенность матрицы М: мы хотели бы, чтобы матрица Μ была разреженной. Мы можем видеть из равенства (6.39), что это имеет место по причине локализации вэйвлетов. А именно, функция ipjfi равна нулю вне интервала длины c2~J около точки 2~-7fc при некоторой константе С (зависящей от выбора вэйвлет-системы). Так как оператор L включает в себя только дифференцирование и умножение на другую функцию, он не изменяет свойства локализации. Поэтому Li/jjfi также равна нулю вне этого интервала. Аналогично, t/^m есть нуль вне интервала длины с2~1 около точки 2~1тп. Если j и I становятся большими, то все меньше и меньше из этих интервалов пересекаются, и все больше и больше элементов матрицы с элементами ι mz,m;j,fc = 2-j-l{L^jik^iiTn) = 2~j~l L^jik(t)^iim(t)dt о равны нулю. Поэтому Μ — разреженная матрица, и это делает вычисления с ней более легкими. Основное соображение, приводящее к этой разреженности, — это компактный носитель вэйвлетов.
464 Глава 6. Вэйвлеты и дифференциальные уравнения Для системы Фурье в упр. 6.3.3 соответствующая матрица —не разреженная. Ее элементы имеют вид (L(y/2 sin(2nnt)), V2sin(2nmt)). Выписав L и проинтегрировав по частям, получим выражения (α(£)2\/2πη cos(2nnt), 2y/2nm cos(2nmt)) = ι = 8π2ηπι a(t) cos(2nnt) cos(2nmt)dt (6.47) о и ι (6(t)>/2sin(27rnt), V2 sm(2nmt)) = 2 b(t) sin(2nnt) sm(2nmt)dt. (6.48) о Когда α и b — константы, ортонормированность системы Фурье делает эти члены равными нулю, если га φ η; т. е. матрица диагональная. Эта ортогональность — ценное, но деликатное свойство. Умножение на a(t) или b(t) его нарушает, и в результате получается матрица, которая не обязательно близка к диагональной, или даже разреженной. Интегрируя по частям в равенствах (6.47) и (6.48), можно показать, что эти члены убывают как |п—гп\~к, где к определяется числом производных, которые имеют функции α и Ь. По сравнению с разреженностью вэйвлет-матрицы Μ эта скорость убывания особенна для относительно негладких функций α и Ь. Матрицы, которые мы получаем, используя метод конечных разностей, как в разд. 6.2,— разреженные. Однако они имеют большие числа обусловленности. Используя метод Галеркина с системой Фурье, мы можем получить ограниченное число обусловленности, но матрица уже — не разреженная. Используя метод Галеркина с вэйвлет-системой, мы добиваемся обоих преимуществ. Это демонстрирует основное достоинство, предоставляемое вэйвлет- теорией. Система Фурье диагонализует линейные операторы, инвариантные относительно сдвига, но она не обязательно близка к диа- гонализации неинвариантных относительно сдвига операторов, таких как дифференциальные операторы с переменными коэффициентами. Вэйвлет-система — менее тонкая, чем система Фурье, в том смысле, что существует немного, если ни одного, используемых на практике операторов, которые диагонализуются вэйвлет-базисом. Но для более широкого класса операторов, например для дифференциальных операторов с переменными коэффициентами, рассмотренных в этом разделе, матрицы, представляющие эти операторы в вэйвлет-системе, —
Упражнения 465 разреженные, и это считается как почти диагональные. Поэтому, хотя вэйвлет-система точно не диагонализует большинство операторов, она почти диагонализует очень широкий класс операторов, гораздо более широкий, чем операторы, инвариантные относительно сдвига, которые прекрасно диагонализуются системой Фурье. То, что вэйвлет-система почти диагонализует очень широкий класс операторов, — это одно из ключевых свойств вэйвлетов. Мы видели, что это свойство важно в применениях к численному решению дифференциальных уравнений. Другое ключевое свойство вэйвлетов — это комбинация их пространственной и частотной локализации, которая используется в таких применениях по обработке сигналов, как сжатие изображения, что мы видели в гл. 3. Третье важное свойство вэйвлетов—это то, что эквивалентности норм для вэйвлетов, такие как соотношение (6.32), выполняются для более широких классов функциональных пространств, чем для системы Фурье. Эта тема, которая выходит за пределы содержания этой книги (см., например, Хернандез и Вайсе (1996)), важна во многих применениях вэйвлетов для решения задач чистой математики. Упражнения 6.3.1. Пусть CqQO, 1]) обозначает множество всех комплексных непрерывных функций / на отрезке [0,1] таких, что /(0) = /(1) = 0, и / имеет две непрерывные производные на [0,1]. 1) Доказать, что Cq([0,1]) есть векторное пространство с обычным сложением и умножением функций на скаляры. 2) Для /,0€Cg([O,l]) пусть 1 </, <7>о = (L(f),g) = |[(-а/')'(«) + Ь/(*))Ш*, о при α и Ь, как в формулах (6.22) и (6.23). Доказать, что (., .)о есть скалярное произведение в Cq([0,1]). Подсказка: все свойства ясны, за исключением П4 в определении 1.86. Докажите его, используя соотношение (6.23) и интегрируя по частям, как при доказательстве леммы 6.6. Замечание: к несчастью, Со([0,1]) не полное пространство со скалярным произведением (., .)о, потому что последовательность функций в Со([0,1]) может быть последовательностью Коши, но очевидная предельная функция может не принадлежать Cq ([0,1]). Однако существует пространство Щ (попол-
466 Глава 6. Вэйвлеты и дифференциальные уравнения nenue Cq([0,1]) в этой норме), содержащее Cq([0, Ч) и способ расширения скалярного произведения (., .)о на Н\ такой, что Н\ — полное пространство с этим скалярным произведением. Hq есть также подпространство L2([0,1]). 3) Учтем предыдущее замечание. Предположим, {^}^ι есть полное ортонормированное множество в Cq([0, 1]) такое, что каждая функция Vj принадлежит Cq([0,1]). Для некоторого целого положительного числа N пусть Л = {1,2, ...,ЛГ} и множество S = span{i>i, г>2,..., vjv}. Предположим, Lu = / (где L такой же оператор, как в формуле (6.22)) и и € Hq. Предположим, us € S и us удовлетворяет уравнению (6.26). Доказать, что us есть ортогональная проекция в пространстве Щ решения и на S. Подсказка: ортогональная проекция Psu характеризуется тем свойством, что Psu Ε 5, и и — Psu ортогональна любому вектору в S (упр. 1.6.8). Замечание: исходя из свойства наилучшей аппроксимации (лемма 1.98(5)) это означает, что аппроксимация Галеркина us есть элемент 5, ближайший к η в норме Hq. 4) Пусть ||. ||о~ норма, индуцированная скалярным произведением (., .)о (как в определении 1.90). (Из соотношения (6.41) ι ||р||2 эквивалентна J \gf(t)\2dt.) Предположим, что существуют о положительные константы С\ и Сч и числовая последователь- оо ность {Aj}^ такие, что каждая функция #= Σ otjVj 6 Hq (здесь ctj — скалярные величины) удовлетворяет неравенствам ж ж ^£|А^|^у|^С2£|А^|2 j=i j=i (например, неравенствам (6.32)). Для N € N пусть им есть аппроксимация Галеркина решения и при Λ = {1,2,..., TV}, как в п. 3. Доказать, что оо \\и-им\\1^С2 Σ IV3/' оо где и = Σ PjVj. Докажите, что последовательность {un}^^ сходится к и в пространстве Hq при N —» оо. 6.3.2. Определим матрицу Μ = {™z,m;j,*}(z,m),u,*)€A равенствами (6.39). Доказать, что Μ — эрмитова матрица. Подсказка:
Упражнения 467 используйте вид (6.22) оператора L и дважды проинтегрируйте по частям в равенстве (6.39). Напомним, что α и Ь — вещественные функции. 6.3.3. Для η € N определим функцию sn 6 £2([0,1]) равенством sn(t) = V2sm(nnt). 1) Доказать, что {sn}neN есть полное ортонормированное множество в L2([0,1]). Учтите, что sn(0) = sn(l) = 0 для каждого п. Подсказка: примените рассуждение о перемасштабировании к результату в упр. 4.3.7(1). 2) Для произвольной функции д вида Y^CnSnc конечной суммой доказать, что ||</||2 = π2Σ>2Μ2. Подсказка: докажите, что множество {у/2cos(nnt)}^L1 —ортонормированное в L2([0,1]). Это можно сделать непосредственно или перемасштабируя упр. 4.3.7(2). 3) Согласно п. 1, мы можем применить метод Галеркина с полной ортонормированной системой {sn}n€N и конечным множеством Λ = {1,2,..., Ν} С N. Определим матрицу А = [ajtlf^v положив в формуле (6.28). Переобуславливающая матрица —это диагональная матрица D = [dj^W^v гДе djj = nj, если 1 ^ 3 ^ N9 и djtk = 0, если j φ к. Положим Μ = D~lAD~l. Приближение Галеркина к решению уравнения (6.22) получается решением уравнения Mz = vcznv, как указано в тексте. Доказать, что "при С1,С2,Сз, определенных в соотношении (6.23).
Библиография Уже имеются сотни, а, может быть, и тысячи работ, посвященных вэй- влетам. Поэтому представленная библиография далека от того, чтобы быть полной. Она также не соответствует в точности текущему моменту времени, потому что публикации по этой теме появляются с большой скоростью. Цель этой библиографии состоит только в том, чтобы дать некоторые рекомендации для дальнейших исследований. Большое количество текущей информации может быть найдено при обращении к ссылке «вэйвлеты» в предпочитаемой вами поисковой Интернет-системе. Две классические книги по вэйвлет-теории написаны двумя основоположниками этого предмета: Ивом Мейером (1990) и Ингрид Добеши (1992). Книга Мейера требует знания математики на исследовательском уровне, в то время как книга Добеши доступна для более широкой аудитории. Много плодотворных результатов по вэйвлет-теории впервые были представлены в работах Мейера (1985-1986), Малла (1988) и Добеши (1988). Затем появились некоторые вытекающие из них монографии по вэйвлетам (Чуй, 1992а; Кайзер, 1995; Коорнвиндер, 1993). Наиболее продвинутая и понятная книга, ориентированная на изложение математической теории вэйвлетов, — это книга Хернандеза и Вайсса (1996). Вайташик (1997) представил прекрасное изложение теории на основе передовой математической точки зрения. Бурке-Хаббард (1996) предложил восхитительное изложение вэйвлетов и их истории. Имеется несколько отличных статей по вэйвлетам, таких как Штрихарц (1993), часть рассуждений из которой мы заимствовали для нашей книги, и Яа- верт и Свелденс (1994), в которой рассматриваются некоторые новые результаты вэйвлет-теории, возникающие из рассмотрения с точки зрения кратномасштабного анализа. Дискретный подход, представленный в гл. 3 и 4 этой книги, ранее был описан Фрейзером и Кумаром (1993). Статья Ошера (1995) играет важную роль в теории кратномасштабных анализов. Многие книги являются сборниками статей, посвященных вэйвлетам (Бенедетто и Фрейзер, 1993; Чуй, 1992b; Мейер и Рокез, 1993; Рускаи
Библиография 469 и др., 1992; Шумахер и Вебб, 1993). Эти книги содержат большую массу статей, покрывающих все, от общей теории до научных и инженерных приложений. Имеется несколько важных направлений развития основ вэйвлет- теории. Они включают вэйвлет-пакеты (введенные в работе Куафмана и др. (1989), примененные к сжатию звуковых сигналов в статье Ви- керхаузера (1992), также с изложением подробностей и сопутствующим программным матобеспечением в другой работе Викерхаузера (1994)); биортогональные вэйвлеты (Коен, Добеши и Фово, (1992); Коен (1992)); вэйвлеты на ограниченных интервалах (Мейер (1992); Коен, Добеши и Виаль (1993)); базисы Вильсона (Добеши, Жаффар и Журне (1991)); локальные синусные и косинусные базисы (Кауффман и Мейер (1991); Ошер, Вайсе и Викерхаузер (1992)); мультивэйвлеты (Джеронимо, Хар- дин и Массопуст (1994)) и интерполяционные вэйвлеты (Донохо (1992)). Проакис и Маколакис (1996) представили стандартный курс по обработке сигналов для студентов старших курсов. Взаимосвязь между вэйвлетами и обработкой сигналов обсуждается в книге Теолиса (1998), а также в нескольких статьях. Вэйвлет-теория в перспективе многоскоростного анализа сигналов описывается в статье Веттерли и Хёрли (1992). Применения вэйвлетов к обработке сигналов обсуждаются в книге Риула и Веттерли (1991). Сжатие изображения с помощью вэйвлетов — это тема статьи Хилтона, Яаверта и Сенгупты (1994). В других статьях вэйвлеты применяются для улучшения контрастности в обработке изображений (Лю, Рили и Вивер (1994)); в маммографии (рентгеновской фотографии с целью обнаружения опухолей) (Ричардсон, Лонг- ботом и Гохман (1993)); в моделировании восприятия звука человеком и сжатии акустического сигнала (Бенедетто и Теолис (1993)). Сжатие изображения отпечатков пальцев, как обсуждается в прологе к этой книге, описывается в статье Брислоуна (1995). Столлниц, Де Роуз и Салезин (1996) обсуждают применения вэйвлетов в компьютерной графике. Численный анализ, использующий вэйвлеты, был инициирован Белкиным, Куафманом и Рохлиным (1991). К последующим работам можно отнести статьи Белкина, Куафмана и Рохлина (1992) и Альперта (1992). Численные аспекты вычисления вэйвлетов описываются в статье Свел- денса и Пайссенса (1994). Одно из наиболее плодотворных применений вэйвлетов — это численные методы решения дифференциальных уравнений (см. гл. 6 в качестве введения в эту тему). В качестве немногих из большого числа статей можно назвать статьи Жаффара (1992), Белкина (1993), Яаверта и Свелденса (1993), Кьяна и Вайсса (1993), Далке и Вайнрейха (1993), Амаратунги и Вилльямса (1994) и Key и Шанна
470 Библиография (1992). Классическая основополагающая статья о методе Галеркина принадлежит Стренгу и Фиксу (1973). Применение вэйвлетов в квантовой механике обсуждается в статье Поля и Сейпа (1992). По причине их естественного самоподобия вэй- влеты полезны при изучении фракталов; Массопуст (1994) и Мейер (1997) обратили особое внимание на эту связь в своих вводных книгах. Большая работа по применению вэйвлетов к удалению шума из сигналов, известному как восстановление кривых, выполнена Донохо и Джон- стоном (1994, среди других работ). Книга по применению вэйвлетов при решении статистических задач написана Огденом (1996). Для тех, кто интересуется более глубоким изучением анализа Фурье, опубликована относительно элементарная книга Фолланда (1992), ориентированная на применения. Ройденом (1988) и Рудиным (1987) опубликованы книги по общепринятому курсу вещественного анализа для студентов старших курсов; среди других вопросов в них подробно излагается теория интегрирования Лебега. Из этих двух книг книга Рудина (1987) написана на более высоком математическом уровне. 1. Alpert, В., Wavelets and other bases for fast numerical linear algebra, in C. Chui, ed., Wavelets: A Tutonal in Theory and Applications, Academic Press, New York, 1992, 181-216. 2. Amaratunga, K., and Williams, J., Wavelet-Galerkin solutions for one- dimensional partial differential equations, International J. Num. Methods in Eng. 37 (1994), 2703-2716. 3. Auscher, P., Solution of two problems on wavelets, J. Geometric Analysis 5 (1995), 181-236. 4. Auscher, P., Weiss, G., and Wickerhauser, M., Local sine and cosine bases of Coifman and Meyer and the construction of smooth wavelets, in C. Chui, ed., Wavelets: A Tutonal in Theory and Applications, Academic Press, New York, 1992, 237-256. 5. Benedetto, J., and Frazier, M., eds., Wavelets: Mathematics and Applications, CRC Press, Boca Raton, Fla., 1993. 6. Benedetto, J., and Teolis, Α., A wavelet auditory model and data compression, Appl. Сотр. Harm. Anal. 1 (1993), 3-28. 7. Beylkin, G., On wavelet-based algorithms for solving differential equations, in J. Benedetto and M. Frazier, eds., Wavelets: Mathematics and Applications, CRC Press, Boca Raton, Fla., 1993, 449-466. 8. Beylkin, G., Coifman, R., and Rokhlin, V., Fast wavelet transforms and numerical algorithms, Comm. Pure Appl. Math. 44 (1991), 141-183.
Библиография 471 9. Beylkin, G., Coifman, R., and Rokhlin, V., Wavelets in numerical analysis, in M. Ruskai at al., eds., Wavelets and Their Applications, Jones and Bartlett, Boston, 1992, 181-210. 10. Brislawn, C, Fingerprints go digital, Notices of the Amer. Math Soc. 42 (1995), 1278-1283. 11. Burke-Hubbard, В., The World According to Wavelets, A. K. Peters, Wellesley, Mass., 1996. 12. Chui, C, An Introduction to Wavelets, Academic Press, Boston, 1992a. 13. Chui, C, ed.,Wavelets: A Tutonal in Theory and Applications, Academic Press, New York, 1992b. 14. Cohen, Α., Biorthogonal wavelets, in C. Chui, ed., Wavelets: A Tutonal in Theory and Applications, Academic Press, New York. 1992, 123-152. 15. Cohen, Α., Daubechies, I., and Feauveau, J.-C, Biorthogonal bases of compactly supported wavelets, Comrn. Pure Appl. Math. 45 (1992), 485- 500. 16. Cohen, Α., Daubechies, I., and Vial, P., Multiresolution analysis, wavelets and fast algorithms on an interval, Appl Сотр. Harm. Anal. 1 (1993), 54-81. 17. Coifman, R., and Meyer, Y., Remarques sur Panalyse de Fourier a fenetre, С R. Acad. Sci., ser 1 4312 (1991), 259-261. 18. Coifman, R., Meyer, Y., Quake, S., and Wickerhauser, M., Signal processing and compression with wavelet packets, in Y> Meyer and S. Roques, eds., Proceedings of the International Conference on Wavelets, (Marseilles), Masson, Paris, 1989. 19. Dahlke, S. and Weinreich, I., Wavelet-Galerkin methods: An adapted biorthogonal wavelet basis, Constr. Approx. 9 (1993), 237-262. 20. Daubechies, I., Orthonormal bases of compactly supported wavelets, Comm. Pure Appl. Math. 41 (1988), 909-996. 21. Daubechies, I., Ten Lectures on Wavelets, CBMS-NSF Reg. Conf. Series in Appl. Math. 61, Soc. Ind. Appl. Math., Philadelphia, 1992. 22. Daubechies, I., Jaffard, S., and Journe, J.-L., A simple Wilson orthonormal basis with exponential decay, SIAM J. Math. Anal. 22 (1991), 554-572. 23. Donoho, D., Interpolating wavelet transforms, Department of Statistics, Stanford University, 1992, preprint. 24. Donoho, D., and Johnstone, I., Ideal spatial adaptation via wavelet shrinkage, Biometrika 81 (1994), 425-455. 25. Folland, G., Fourier Analysis and Its Applications, Wadsworth and Brooks/Cole, Belmont, CA, 1992.
472 Библиография 26. Frazier, M., and Kumar, Α., An introduction to the orthonormal wavelet transform on discrete sets, in J. Benedetto and M. Frazier, eds., Wavelets: Mathematics and Applications, CRC Press, Boca Raton, FL, 1993, 51-95. 27. Geronimo, J., Hardin, D., and Massopust, P., Fractal functions and wavelet expansions based on several scaling functions, J. Approx. Theory 78 (1994), 373-401. 28. Hernandez E., and Weiss, G., A First Course on Wavelets, CRC Press, Boca Raton, FL, 1996. 29. Hilton, M., Jawerth, В., and Sengupta, Α., Compressing still and moving images with wavelets, Multimedia Systems 2 (1994), 218-227. 30. Jaffard, S., Wavelet methods for the fast resolution of elliptic problems, SI AM J. Numer. Anal 29 (1992), 965-986. 31. Jawerth, В., and Sweldens, W., An overview of wavelet based multiresolution analyses, SI AM Review 36 (1994), 377-412. 32. Jawerth, В., and Sweldens, W., Wavelet multiresolution analyses adapted for the fast solution of boundary value ordinary differential equations, in N. Melson, T. Manteuffel, and S. McCormick, eds., Sixth Copper Mountain Conference on Multigrid Methods, NASA Conference Publication 3224 (1993), 259-273. 33. Kaiser, G., A Friendly Guide to Wavelets, Birkhauser, Boston, 1995. 34. Koornwinder, Т., ed., Wavelets: an elementary treatment of theory and applications, Series in Approximations and Decompositions 1, World Scientific, Singapore, 1993. 35. Lu, J., Healy, D., and Weaver, J., Contrast enhancement of medical images using multiscale edge representation, Optical Engineering 33 (1994), 2151-2161. 36. Mallat, S., A theory for multiresolution signal decomposition: the wavelet representation, Comm. Pure Appl. Math. 41 (1988), 674-693. 37. Massopust, P., Fractal Functions, Fractal Surfaces, and Wavelets, Academic Press, San Diego, CA, 1994. 38. Meyer, Y., Principe d'incertitude, bases Hilbertiennes et algebres d'operateurs, Seminaire Bourbaki 662 (1985-86), 1-15. 39. Meyer, Y., Wavelets and Operators, Cambridge University Press, Cambridge, 1993, English translation of Ondelettes et Operatews, Vol. I, Hermann, Paris, 1990. 40. Meyer, Y. Ondelettes sur Pintervalle, Rev. Mat. Iberoamericana 7 (1992), 115-133. 41. Meyer, Y., Wavelets, Vibrations and Scalings, Amer. Math. Soc, Providence, RI, 1997.
Библиография 473 42. Meyer, Y., and Roques, S., eds.. Progress in Wavelet Analysis and Applications: Proceedings of the International Conference «Wavelets and Applications» (Toulouse, France — June 1992), Editions Frontieres, Gif-sur- Yvette, France, 1993. 43. Ogden, R. Т., Essential Wavelets for Statistical Applications and Data Analysis, Birkhauser, Boston, 1996. 44. Paul, Т., and Seip, K., Wavelets and quantum mechanics, in M. Ruskai et al., Wavelets and Their Applications, Jones and Bartlett, Boston, 1992, 302-322. 45. Proakis, J., and Manolakis, D., Digital Signal Processing, 3rd ed., Prentice Hall, Upper Saddle River, NJ, 1996. 46. Qian, S., and Weiss, J., Wavelets and the numerical solution of partial differential equations, J. Сотр. Phy. 106 (1993), 155-175. 47. Richardson, W. Jr., Longbotham, H., and Gokhman, D., Multiscale wavelet analysis of mammograms, in Y. Meyer and S. Roques, eds., Progress in Wavelet Analysis and Applications: Proceedings of the International Conference «Wavelets and Applications» (Toulouse, France, June 1992), Editions Frontieres, Gif-sur-Yvette, France, 1993, 599-608. 48. Rioul, O., and Vetterli, M., Wavelets and signal processing, IEEE Signal Proc. Mag. (1991), 14-38. 49. Royden, H., Real Analysis, 3rd ed., Macmillan, New York, 1988. 50. Rudin, W., Real and Complex Analysis, 3rd ed., McGraw-Hill, New York, 1987. 51. Ruskai, M., Beylkin, G., Coifman, R., Daubechies, I., Mallat, S., Meyer, Y., and Raphael, L., eds., Wavelets and Their Applications, Jones and Bartlett, Boston, 1992. 52. Schumaker, L., and Webb, G., eds., Recent Advances in Wavelet Analysis, Academic Press, New York, 1993.
Библиография на русском языке 1. Н. К. Бари. Тригонометрические ряды. М.: Физматгиз, 1961. 2. Н. С. Бахвалов, Н. П. Жидков, Г. М. Кобельков. Численные методы. М.: БИНОМ. Лаборатория знаний, 2007. 3. К. Блаттер. Вейвлет-анализ. Основы теории. М.: ТЕХНОСФЕРА, 2004. 4. В. И. Воробьев, В. Г. Грибунин. Теория и практика вэйвлет-преобра- зования. СПб.: Изд-во ВУС, 1999. 5. Ю. К. Демьянович. Всплески L· минимальные сплайны. СПб.: Изд-во СПбГУ, 2003. 6. И. Добеши. Десять лекций по вейвлетам. Москва—Ижевск: PXD, 2001. 7. В. ГГ. Дьяконов. Вэйвлеты. От теории к практике. М.: СОЛОН-Р, 2002. 8. Ю. С. Завьялов, Б. И. Квасов, В. Л. Мирошниченко. Методы сплайн- функций. М.: Наука, 1980. 9. Б. С. Кашин, А. А. Саакян. Ортогональные ряды. М.: АФЦ, 1999. 10. Р. Курант. Уравнения с частными производными. М.: Мир, 1964. 11. С. Малла. Вэйвлеты в обработке сигналов. М.: Мир, 2005. 12. А. А. Самарский, Е. С. Николаев. Методы решения сеточных уравнений. М.: Наука, 1978. 13. Э. Столниц, Т. Де Роуз, Д. Салезин. Вэйвлеты в компьютерной графике. Теория и приложения. Москва—Ижевск: Изд-во PXD, 2002. 14. С. Уэлстид. Фракталы и вейвлеты для сжатия изображений в действии. М.: ТРИУМФ, 2003. 15. Р. В. Хемминг. Численные методы. М.: Наука, 1972. 16. К. Чуй. Введение в вэйвлеты. М.: Мир, 2001.
Предметный указатель DFT 115, 116, 156, 231, 351 в вещественном обозначении (DFT in real notation) 130 FFT 157, 161, 162, 169, 172 IDFT 118, 165 JPEG 20 Ь1-норма (L1-norm) 341 1/2-норма (L2-norm) 340 (^-преобразование (phi transform) 383 к-я частичная сумма ряда (fcth partial sum of the series) 31 ^ι-норма (^i-norm) 296 n-мерное пространство (η-dimensional space) 48 р-этапный вэйвлет-базис £2(Zn) (i>th stage wavelet basis for £2(ZN)) 209, 213, 215 ί-растяжение (^-dilation) 343 Абсолютная сходимость (absolute convergence) интеграла (of an integral) 353 ряда (of the series) 277 абсолютное значение (absolute value) 24 аксиома выбора (axiom of choice) 276 алгебраическая кратность (algebraic multiplicity) 82, 89 собственного значения (of eigenvalue) 81 аналитическая функция (analytic function) 34 аппроксимация Галеркина (Galerkin approximation) 466 аргумент комплексного числа (argument of complex number) 37 архив отпечатков пальцев ФБР (RBI fingerprint archive) 18 аудиосигнал (audio signal) 283, 383 Базис (basis) 53, 57 Фурье (Fourier) 137, 146, 148, 169, 170, 245 в fi(ZN) (in e2(ZN)) 116, 447, 453 двумерный (two-dimensional) 134 Xaapa (Haar) 199, 227 первого этапа (first-stage) 227 Шеннона (Shannon) первого этапа (first-stage) 179 байт (byte) 19 бесконечное произведение (infinite product) 388 бесконечномерное пространство со скалярным произведением (infinite dimensional scalar product space) 267, 268 биективное отображение (bijective function) 58 биортогональные вэйвлеты (biorthogonal wavelets) 188 блочные (block) артефакты (artifacts) 21, 256 линии (lines) 22, 256 быстрое вычисление (fast computation) вэйвлет-коэффициентов (of wavelet coefficients) 216, 223, 428, 430 фазы восстановления (of reconstruction phase) 219
476 Предметный указатель быстрое преобразование Фурье (FFT) (fast Fourier transform) 156 быстрый переход от одного базиса к другому (change of basis quickly) 185 Вектор (vector) 43 компоненты (components of) 45 векторное (vector) пространство (space) 43 сложение (addition) 45 вещественная (real) ось (axis) 27 часть комплексных чисел (part of complex numbers) 27 вещественное скалярное произведение (real inner product) 92 вещественные (real) вэйвлеты Шеннона (wavelets Shannon) 229 числа (numbers) множество Rn (Rn-set) 44 последовательность Komu (Cauchy sequence) 25, 30 расстояние между (distance between) 24 вещественный (real) базис Шеннона (Shannon basis) 230, 233, 242, 252 первого этапа (first-stage) 181 ряд Фурье (Fourier series in real notation) 288, 291 взаимно однозначное отображение (injective function) 58 взаимно однозначное отображение (injective) 65, 66, ПО, 311 выбор базиса (choice of basis) 63 высокочастотный вектор (high frequency vector) 123 высокочастотный фильтр (high pass filter) 178 выход фазы (output of the phase) анализа (analysis) 202, 207 восстановления (reconstruction) 209 вэйвлет-базис (wavelet basis) Шеннона (Shannon) 180 первого этапа для i2(Zjv) (first-stage for i2(ZN)) 174, 177, 184, 191, 198, 309 вэйвлет-пакеты (wavelets packets) 198 вэйвлет-преобразование (wavelet transform) 369 вэйвлет-сжатие (wavelet compression) 21 вэйвлет-система (wavelet system) 369 р-этапная D6 в £2(Z) (pth stage D6 for £2(Z)) 330 Добешп (Daubechies) 328, 421 Сгпрёмберга (Stromberg) 416 р-этапная (pth stage) 320 jtT-этапная в £2(Z) (pth stage for £2(Z)) 318 в L2(R) (in L2(R)) 378, 417 однородная (homogeneous) 320 однородная в £2(Z) (homogeneous for £2(Z)) 319 первого этапа (first-stage) 305, 308 первого этапа в £2(Z) (first-stage for £2(Z)) 376, 389 вэйвлет-тождество (wavelet identity) 369 вэйвлеты (wavelets) Добеши (Daubechies) 328 в L2(R) (for L2(R)) 422 Добеши D4 (Daubechies's D4) в ί2(Ζ) (for ί2(Ζ)) 260, 338 в L2(R) (for L2(R)) 434 Добеши D6 (Daubechies's D6) в £2(Z) (for £2(Z)) 252, 329, 386, 417 в ZN (on ZN) 237, 240 в L2(R) (for L2(R)) 423, 430 на ZN (on ZN) 242 Мейера (Meyer) 415 Сгпрёмберга (Stromberg) 416
Предметный указатель 477 Шеннона (Shannon) 228 дая L2(R) (for L2(R)) 414, 416 на R (on R) 458 Гаусс (Gauss) 40 геометрическая (geometric) кратность (multiplicity) 71, 72 собственного значения (of eigenvalue) 71 прогрессия (series) 32 гильбертово пространство (Hubert space) 106, 267, 277, 340, 455 главное значение аргумента (principal value of the argument) 37 гладкость вэйвлетов Добеши (smoothness of Daubechies's wavelets) 423, 435 граничные условия Дирихле (Dirichlet boundary conditions) 444, 455 графический стабилизатор (graphic equalizer) 146 групповой характер (group character) 301 Двоичный интервал (dyadic interval) 373 двумерная последовательность вэйвлет-фильтров (two-dimensional wavelet filter sequence) 224 двумерное DFT (two-dimensional DFT) 134, 167 двумерный (two-dimensional) вэйвлет-базис (wavelet basis) 194, 224 оператор (operator) разрежающей выборки (upsampling) 196 сжимающей выборки (downsampling) 196 деление двух комплексных чисел (division of two complex numbers) 28 дельта-функция (delta function) 343, 418 Дирака (Dirac) 143, 299 детерминант (determinant) 79, 89 диагонализация (diagonalization) 298, 300 линейных операторов, инвариантных относительно сдвига (translation-invariant linear operator) 363, 464 линейных, инвариантных относительно сдвига преобразований (of translation-invariant linear transformations) 286 диагонализуемая матрица (diagonalizable matrix) 76, 78,82 диагонализуемое преобразование (diagonalizable transformation) 75 диагональная матрица (diagonal matrix) 75, 139, 147 дискретное преобразование (discrete transform) Фурье (DFT) (Fourier) 115, 454 Фурье, обратное (IDFT) (inverse Fourier) 118, 178 косинусное (cosine) 256 дифференциальное уравнение (differential equation) 353, 455 дифференциальный оператор (differential operator) 454 с переменными коэффициентами (variable coefficient) 455 с постоянными коэффициентами (constant coefficient) 287, 449 дифференцируемая функция (differentiable function) 64 Евклидов базис (Euclidean basis) 47, 102, 111, 171, 252
478 Предметный указатель единичная матрица (identity matrix) 59 единственность преобразования Фурье в Ьг(М) (uniqueness of the Fourier transform in LX(R)) 355 единственность ряда Фурье (uniqueness for Fourier series) 280, 290 Жорданова каноническая форма (Jordan canonical form) 87 Задача в периодической постановке (periodic formulation of equation) 450 замкнутое (closed) подмножество (set) 274 подпространство (subspace) 274 Измеримое подмножество (measurable subset) 276 изоморфизм (isomorphism) 25 векторных пространств (vector space) 50 импульсный отклик (impulse responce) 144 инвариантность (invariant) относительно преобразования подобия (similarity) 73, 82, 89 относительно сдвига (translation) 139, 141, 291 интеграл (integral) Лебега (Lebesgue) 274, 276, 277, 339, 340 Римана (Riemann) 274, 277 абсолютная сходимость (absolute convergence) 276, 352 интегрируемая функция (integrable function) 340 Интернет (Internet) 20 инъективное отображение (injective function) 58 исследование нефтеносных слоев (oil procpecting archaeology) 170 Квантовая механика (quantum mechanics) 90 компактный носитель (compact support) 356, 366, 367, 369, 416, 417, 420 компаньон (companion) 307, 376 комплексная плоскость (complex plane) 27 комплексное сопряжение (complex conjugation) 27, 129 комплексные числа (complex numbers) 25 аргумент (argument) 37 вещественная часть (real part) 27 деление (division) 28 комплексно-сопряженное (complex conjugate) 27 корни степени N (Nth roots) 38 косинус (cosine) 34 мнимая часть (imaginary part) 27 множество Cn (Cn-set) 45 модуль (modulus) 27 положительные целые степени (positive integer powers) 37 полярное представление (polar representation) 37 последовательность Коши (Cauchy sequence) 29, 31 расстояние между (distance between) 28 ряд (series of) 31 синус (sine) 34 сложение (addition) 25 сходимость последовательности (convergence of a sequence) 29 сходимость рядов (convergence of series) 31 умножение (multiplication) 25 экспонента (exponential) 34 комплексный анализ (complex analysis) 34
Предметный указатель 479 компонента вектора в базисе (component of a vector with respect to a basis) 45, 49 конечная разность (finite difference) 464 конечно-разностный метод (finite difference method) 444 конечномерное векторное пространство (finite dimensional vector space) 48 косинус комплексного числа (cosine of complex number) 34 коэффициент Фурье (Fourier coefficient) 282, 283, 291 коэффициенты масштабирующей функции (scaling function coefficients) 430 кратномасштабный анализ (КМА) (multiresolution analysis (MRA)) 373, 376, 378, 381, 384-387, 396, 407, 408, 414, 416, 423 Xaapa (Haar) 373, 380, 386 критерий Komu (Cauchy criterium) 264 сходимости ряда (for convergence of a series) 32 Лемма (lemma) Pucca (Riesz) 331 Фату для последовательностей (Fatou's for sequences) 265 наложения (folding) 216 в двумерном случае (in two-dimensions) 224 Лена Сьёблом (Lena Sjoblom) 259 линейная (linear) комбинация (combination) 46 оболочка (span) 46 линейно зависимое множество (linearly dependent set) 46 линейно независимое множество (linearly independent set) 46, 73,95 линейное преобразование (linear transformation) 53, 55, 64, 65, 70, 76, 82, 141, 283 диагонализуемое (diagonalizable) 75-77, 137, 139 инвариантное относительно сдвига (translation invariant) 136, 137, 141, 144, 147, 153, 155, 156, 166, 285, 298, 299, 363 матричное представление (matrix representation) 56 нормальное (normal) 108 обратимое (invertible) 60, 66 ограниченное (bounded) 284, 439 сопряженное (adjoint) 108 локализация (localization) 463 локально интегрируемая функция (locally integrable function) 345, 350 локально компактные абелевы группы (locally compact abelian groups) 301 Лос-Аламосская национальная лаборатория (Los Alamos National Laboratory) 20 Масштабирующая функция (scaling function) 373, 375, 376, 378, 385, 386, 408, 423, 428, 430, 431, 436 масштабная последовательность (scaling sequence) 375, 376, 378, 386, 392, 408, 423, 430, 431, 436 масштабное (scaling) соотношение (relation) 375, 393, 395 уравнение (equation) 387, 388, 395, 396, 407, 413 материнский вэйвлет (mother wavelet) 174, 178, 320, 369, 417, 423, 431, 436 матрица (matrix) 54 диагонализуемая (diagonalizable) 76
480 Предметный указатель диагональная (diagonal) 75 замены базиса (change-of-basis) 156 перехода от базиса R к базису S (R to S change of basis) 62, 63 представляющая линейное преобразование (representing linear transformation) 56, 62, 71, 76 сложение (addition of) 54 умножение на скаляр (scalar multiplication of) 54 унитарная (unitary) 102 циркулянтная (circulant) 299 матричное представление DFT (matrix representation of DFT) 116 мера (measure) 417-419, 421 метод Галеркина (Galerkin method) 455-457 для вэйвлетов (for wavelets) 458, 463, 464 для системы Фурье (for the Fourier system) 464 метрика (metric) 30 метрическое (metric) неравенство треугольника (triangle inequality) 30 пространство (space) 30, 262 мнимая (imaginary) ось (axis) 27 часть комплексных чисел (part of complex numbers) 27 многоскоростной анализ сигнала (multirate signal analysis) 186 многочлен (polynomial) делитель (factor of) 43 корень (root of) 39 старший коэффициент (leading coefficient of) 39 теорема о делимости (factor theorem) 43 множество (set) всех n-мерных вещественных чисел (R-set of all n-tuples of real numbers) 44 всех n-мерных комплексных чисел (Cn-set of all n-tuples of complex numbers) 45 линейно зависимое (linearly dependent) 46 линейно независимое (linearly independent) 46, 73 модуль комплексного числа (modulus of complex number) 27 мультипликативность (multiplicativeness) 293, 351 мультипликаторный оператор Фурье (Fourier multiplier operator) 139, 145-147, 152, 156 Ha (onto) 66, 110, 311 набор (bank) вэйвлет-фильтров (wavelet filter) 202 фильтров (filter) 186, 187, 200, 322 нерекурсивная формулировка (nonrecursive reformulation) 205 процедура восстановления (reconstruction phase) 306 фаза анализа (analysis phase) 307, 323, 426 фаза реконструкции (reconstruction phase) 426 фаза синтеза (synthesis phase) 307, 323 наилучшая аппроксимация (best approximation) 380, 385 натуральные числа (natural numbers) 23 неоднородная вэйвлет-система в L2(R) (inhomogeneous wavelet system for L2(R)) 386 непрерывная функция (continuous function) 303, 305, 450
Предметный указатель 481 непрерывное (continuous) вэйвлет-преобразование (wavelet transform) 371 вэйвлет-тождество (wavelet identity) 371 непрерывность (continuity) 279, 288 функции (of function) 345, 356, 365 неравенство (inequality) Коши—Шварца (Cauchy-Schwarz) 93, 262, 273, 275, 340, 461 треугольника (triangle) в £2{Z) (in £2{Z)) 263 Β^([-π,π))(ίη^([-π,π))) 276 в L2(R) (in L2(R)) 340, 404 в R (in R) 24 в пространстве со скалярным произведением (in an inner product space) 94 ддя С (for C) 28 метрическое (metric) 30 нечетное продолжение (odd extension) 289 низкочастотный фильтр (low pass filter) 178 норма (norm) 112, 275, 284 в 12{Z) (in £2(Z)) 262 оператора (operator) 438 нормальная матрица (normal matrix) 103, 104, 110, 154, 446 нормированное векторное пространство (normed vector space) 105, 106 носитель функции (support of function) 356 Область значений линейного преобразования (range of linear transformation) 58 оболочка (span) 51 обработка медицинского изображения (medical image processing) 170 обратимая матрица (invertible matrix) 59, 66 обратное (inverse) дискретное преобразование Фурье (IDFT) (discrete Fourier transform) 118, 178 преобразование (transform) 165 преобразование Фурье (Fourier transform) 352 bLx(R) (inL1^)) 354 Β^([-π,π))(ίη^([-π,π))) 294 в L2(R) (in L2(R)) 360 одновременно диагонализуемые матрицы (simultaneously diagonalizable matrices) 90 оператор (operator) дифференцирования (derivative) 286 инвариантный относительно сдвига (translation invariant) 454 равномерно эллиптический Штурма—Лиувилля (uniformly elliptic Sturm—Liouville) 455, 460, 461 свертки (convolution) 139, 142, 143, 146, 148, 152, 155, 166 ортогональная (orthogonal) матрица (matrix) 101 проекция (projection) 96, 110, 226, 227, 272, 324, 338, 379, 385, 403, 405, 436, 453, 466 ортогональное множество (orthogonal set) 95 ортогональность (orthogonality) 94 ортонормированное множество (orthonormal set) 95, 268, 273, 278, 379 ортонормированный базис (orthonormal basis) 98, 101, 103, 173, 271 в e2{zN) (for e2{zN)) из
482 Предметный указатель основная теорема (fundamental theorem) алгебры (of algebra) 40, 81, 109 интегрального исчисления (of calculus integration) 280, 344, 461 открытое множество в С (open set in С) 33 относительная погрешность (relative error) 252, 443 отношение эквивалентности (equivalence relation) 64, 68, 70, 107, 275 отпечатки пальцев (fingerprints) 18 отцовский вэйвлет (father wavelet) 174, 178, 320, 373, 423 Параллелизуемые вычисления (parallelizable computations) 168 первый этап (first stage) 322 переменный коэффициент (variable coefficient) 454 переобуславливающая матрица (preconditioning matrix) 441, 467 периодизация (periodization) 308 периодическая формулировка уравнения (periodic formulation of equation) 448 периодическое продолжение (periodic extension) 284 пиксель (pixel) 18, 157 плотность (density) 373 плотность КМА (density of MRA) 426 плохо обусловленная система (badly conditional system) 437 повторные фильтры (repeated filters) 225, 227, 320 погрешность (error) 252 поддиапазонное кодирование (subband coding) 186 подобные матрицы (similar matrices) 64, 68, 72, 82, 87 подпространство векторного пространства (subspace of a vector space) 50, 66 поле (field) 23, 25, 43 полная ортонормированная система (complete orthonormal system) 270, 271 полное ортонормированное множество (complete orthonormal set) 270, 277, 379 в e2(z) (in e2(z)) 270 полное пространство со скалярным произведением (complete space with scalar multiplication) 466 полнота пространства (completeness) ^([-π,π))(οί^([-π,π)))277 С (of С) 29, 266 L2(R) (ofL2(R)) 340,359 £2{Z) (οϊ£2{Ζ)) 263,266 R (of R) 25 положительные целые степени комплексных чисел (positive integer powers of complex numbers) 37 поляризационное тождество (polarization identity) 107 полярное представление комплексного числа (polar representation of complex number) 37 полярные координаты (polar coordinates) 353, 365 порождающие векторы (generators) 174 последовательность (sequence) Komu (Cauchy) 268, 272 в L2(R) (in L2(R)) 340 в t2{Z) (in t2(Z)) 263 вещественных чисел (of real numbers) 25, 30 комплексных чисел (of complex numbers) 29, 31 Фибоначчи (Fibonacci) 89
Предметный указатель 483 вэйвлет-фильтров (wavelet filter) 217 р-го этапа (pth stage) 201, 215 комплексных чисел (of complex numbers) 111 суммируемая (summable) 296 последовательность, сходящаяся в ί2(Ζ) (the sequence convergent in £2{Z)) 263 поточечная сходимость (pointwise convergence) 266, 283 почти всюду (almost everywhere) 275 предельные точки (limit points) 274 преобразование Фурье (Fourier transform) 384 быстрое (FFT) (fast) 156 в £2{Z) (in i2(Z)) 294 bLx(R) (inL1^)) 352 в L2(R) (in L2(R)) 360 дискретное, обратное (IDFT) (discrete inverse) 118, 178 меры (of measure) 418 обратное (inverse) 352 bL^R) (inL1(R))354 Β^([-π,π))(ίη£2([-π,π))) 294 в L2(R) (in L2(R)) 360 приближенно тождественный элемент (approximate identity) 343, 346, 354 признак (test) Даламбера (d'Alembert) 41 сравнения (comparison) 32, 264 сходимости геометрической прогрессии (geometric series convergence) 33 произведение вэйвлетов первого этапа (first-stage product wavelets) 195 производная (derivative) 283, 364, 434, 436 пространственная и частотная информация (space and frequency analysis) 233 пространственная локализация (spatial localization) 169, 189, 230, 256 пространственно локализованный базис (spatially localized basis) 169 пространство (space) Xapdu (Hardy) 416 с (комплексным) скалярным произведением ((complex) inner product) 91 со скалярным произведением (scalar product) 106, 267 столбцов матрицы (column space of matrix) 110 строк матрицы (row space of matrix) 110 процедура Грома—Шмидта (Gram—Schmidt procedure) 97 прямая ортогональная сумма (orthogonal direct sum) 212 пуговица Саймона (Simon's button) 255 Равенство Парсеваля (Parseval's relation) 99, 115, 271, 282, 294, 357, 360, 418, 420 для преобразования Фурье (for the Fourier transform) 405 равномерно эллиптический оператор Штурма—Лиувилля (uniformly elliptic Sturm—Liouville operator) 460, 461 радиус сходимости степенного ряда (radius of convergence of power series) 33, 41 разложение в ряд Фурье (Fourier inversion) 282 размерность векторного пространства (dimension of a vector space) 48 разностное уравнение (difference equation) 85
484 Предметный указатель разностный оператор второго порядка (second difference operator) 149 разрежающая выборка (upsampling) 186, 305, 425, 428 разреженная матрица (sparse matrix) 457, 459, 463, 464 разрешение (resolution) 328 ранг матрицы (rank of matrix) 60, 66, ПО распределение (distribution) 418 расстояние в £2(Z) (distance in £2(Z)) 262 растяжение (dilation) 343, 354, 369, 376, 379 расходимость ряда (divergence of a series) 31 рекурсивная процедура набора фильтров (recursive filter bank procedure) 205 решение масштабного уравнения (solution of scaling equation) 388, 397 ряд (series) Лорана (Laurent) 303 Фурье (Fourier) 282, 286, 384, 442, 451 в вещественных обозначениях (in real notation) 285 комплексных чисел (of complex numbers) 31 сходящийся (convergent) 261 сходящийся абсолютно (convergent absolutely) 262 Саймон Занг (Simon Zhang) 255 свертка (convolution) 145, 290, 291, 341 в £2{ZN) (in £2{ZN)) 141 в R (on R) 341, 363 в Ζ (on Ζ) 295, 297, 325, 425 мер (of measure) 418, 419 на R (on R) 342 при умножении многочленов (in multiplication of polynomials) 303 свойство (property) наилучшей аппроксимации (best approximation) 96, 272, 274, 466 наличия (точной) верхней грани (least upper bound) 25 нулевого пересечения (trivial intersection) 373 ортогональности (orthogonality) 96 растяжения (dilation) 373 сгущающая выборка (downsampling) 305, 425, 428 децимация (decimation) 186 сдвиг (translation) 125, 284 в £2{Z) (in £2{Z)) 298 в L2(R) (in L2(R)) 363, 368 на DFT (DFT) 128 сепарабельное гильбертово пространство (Hubert space separable) 271 сжатие (compression) 245 данных (data) 20, 170, 199 изображения (image) 20, 170, 256 отпечатков пальцев (fingerprint) 21, 256 сигнал (signal) 135 симметричная (symmetric) матрица (matrix) 104, 446 частичная сумма (partial sum) 261, 268 синус комплексного числа (sine of complex number) 34 система (system) Xaapa (Haar) 323 в £2{Z) (in £2{Z)) 324, 381 в L2(R) (for L2(R)) 386, 407, 410 дифференциальных уравнений (of differential equations) 86 матриц (of matrices) 176, 188, 200, 201, 218, 305, 309, 314, 390 полнота (completeness) 278 скаляр (scalar) 43 умножение на (multiplication) 44, 45,54
Предметный указатель 485 скалярное произведение (scalar product) 91 b£2(Zn) (mi2{ZN)) 111 в L2(R) (in L2(R)) 339 B^2(Z) (in^2(Z))265 в £2([-тг,тг)) (in £2([-тг,тг))) 287 вещественное (real) 92 сложение (addition) векторов (of vectors) 43 комплексных чисел (of complex numbers) 25 матриц (of matrices) 54 функций (of functions) 45, 275 собственное значение (eigenvalue) линейного преобразования (of linear transformation) 82 матрицы (of matrix) 70, 79, 81, 447 собственное пространство линейного преобразования (eigenspace of linear transformation) 70 собственные функции (eigenfunctions) 286 собственный вектор (eigenvector) линейного преобразования (of linear transformation) 70 матрицы (of matrix) 71 сопряженная матрица (conjugate transpose matrix) 99 сопряженное отражение (conjugate reflection) 172, 343 сопряженный сдвиг (conjugate translation) 343 спектр линейного преобразования (spectrum of linear transformation) 103 спектральная теорема для матриц (spectral theorem for matrices) 103, 440 способ создания вэйвлет-базисов (wavelet basis recipe) 216 стандартный базис (standard basis) 47, 111, 139, 171 степенной ряд (power series) 33 ступенчатая функция (step function) 357, 366 суммируемость с квадратом (square-summable) 261, 262 сходимость (convergence) бесконечного произведения (of infinite product) 391, 410 в L2(R) (in L2(R)) 340, 360 в гильбертовом пространстве (in a Hubert space) 267 в каждой точке (at every point) 292 по норме (norm) 266, 287 последовательности комплексных чисел (of a sequence of complex numbers) 29 поточечная (pointwise) 287 рядов комплексных чисел (of series of complex numbers) 31 сюръективное отображение (surjective function) 58 Телескопическая сумма (telescoping sum) 33 теорема (theorem) Больцано—Вейерштрасса (Bolzano—Weierstrass) 267, 442 Гейне—Бореля (Heine—Borel) 357 Лебега о мажорируемой сходимости (ТМС) (Lebesgue's dominated convergence) 400, 401, 404, 406, 412, 436 Лиувилля (Liouville's) 40 Малла (Mallat's) 378 Пифагора (Pythagorean) 95 Тонелли (Tonelli) 291 Фубипи (Fubini) 281, 355, 358 выборки Шеннона (Shannon sampling) 382, 415 о делимости многочлена (factor theorem of polynomial) 43 о мажорируемой сходимости (dominated convergence) 354 о ранге (rank) 66, 452
486 Предметный указатель о монотонной сходимости последовательности (monotone convergence theorem for sequences) 265 о среднем значении (mean value) 392 теория распределений (distribution theory) 284 тождественный элемент для свертки (identity element for convolution) 343 тождество параллелограмма (parallelogram identity) 106 точечная масса (point mass) 417 точка Лебега (Lebesgue point) 345, 349, 350, 354 точное восстановление (perfect reconstruction) 187, 201, 202, 311 для двумерных наборов фильтров (for two-dimensional filter banks) 196 транспонированная матрица (transpose matrix) 99 тригонометрическая система (trigonometric system) 277 полная (complete) 282 тригонометрический многочлен (trigonometric polynomial) 277-279, 417, 420 Умножение (multiplication) комплексных чисел (of complex numbers) 25 на скаляр (scalar multiplication of) 275, 339, 348 унитарная матрица (unitary matrix) 100, 102, 103, 107, 110, 176, 184 унитарно (unitarily) диагонализуемая матрица (diagonalizable matrix) 103, 109 подобные матрицы (similar matrices) 102 упорядоченное поле (ordered field) 24, 25, 30 уравнение Штурма—Лиувилля (Sturm—Liouville equation) 455 условие Липшица (Lipschitz condition) 427, 434, 435 порядка δ (of order δ) 392 условная сходимость ряда (conditional convergence of a series) 40 устойчивость линейной системы (stability of the linear system) 440, 441 уточняющее соотношение (refinement equation) 375 Фаза (phase) анализа (analysis) 200 набора фильтров (of a filter bank) 426 восстановления (reconstruction) 200, 202, 208, 220 набора фильтров (of a filter bank) 426, 428 синтеза (synthesis) 200 фильтры повторные (repeated filters) 320 формула (formula) Кальдеропа (Caldexon) 370 Планшереля (Plancherel) 99, 115, 271, 282, 294, 357, 360 для преобразования Фурье (for the Fourier transform) 405, 407 для рядов Фурье (for Fourier series) 406 Эйлера (Euler) 34, 114, 120, 132 обратного преобразования Фурье для ί2(2) (Fourier inversion formula for £2{Z)) 295 обращения для преобразования Фурье (inversion formula for the Fourier transform) 120, 146, 151, 352, 354, 362, 371
Предметный указатель 487 преобразования Фурье (Fourier transform) 115, 116, 118 разложения в ряд Фурье (Fourier decomposition) 283 формулировка задачи в периодическом виде (periodic formulation of equation) 446 функциональный анализ (functional analysis) 103 функция (function) Xaapa (Haar) 381 интегрируемая (integrable) 276, 341 локально интегрируемая (locally integrable) 345, 350 сложение (addition of) 45 умножение на скаляр (scalar multiplication of) 45 частота (frequency) 121, 125, 146, 179, 199 частотная локализация (frequency localization) 189 частотно-временной анализ (time and frequency analysis) 172 частотно-пространственный анализ (space and frequency analysis) 172, 254 частотные векторы (frequencies vectors) 121 четное продолжение (even extension) 290 чирп (chirp) 125 числа Фибоначчи (Fibonacci numbers) 86, 89 число обусловленности (condition number) 437, 439-441, 443, 446, 448, 455, 457, 459, 463, 464 Характеристический многочлен (characteristic polynomial) 80-82 хорошо обусловленная система (well conditional system) 459 Целые числа (integers) 23 циклический сдвиг (circular translation) 127, 172 циркулянтная матрица (circulant matrix) 139, 142, 148, 152, 153, 166, 446, 447, 453, 454 Частичная сумма (partial sum) 292 геометрической прогрессии (geometric series) 33, 113 ряда Фурье (of the Fourier series) 282 частичное восстановление (partial reconstruction) 226, 228, 229, 331 Ширина диапазона (bandwidth) 383 шкала яркости (gray-scale) 18 Эквивалентность норм (norm equivalence) 458, 459 экспонента комплексного числа (exponential of complex numbers) 34 элементарные операции над строками матрицы (elementary row operation to the matrix) 80 эрмитова матрица (Hermitian matrix) 104, 446, 466 Ядро (kernel) Дирихле (Dirichlet) 292 значений линейного преобразования (of linear transformation) 58
Μ. влеты ЛИНСИНОИ ЙЛГСОрЫ isfr
Математическая теория вэйвлетов насчитывает менее 15 лет, однако вэйвлеты уже стали основным инструментом исследования во многих областях прикладной математики и инженерных дисциплин. Настоящее введение в вэйвлеты предполагает знание основных сведений из линейной алгебры (кратко представленных в главе 1) и математического анализа на студенческом уровне. Анализ Фурье и вэйвлет- анализ сначала изложены в конечномерном случае, с использованием только линейной алгебры. Затем вводятся ряды Фурье, и на их основе развиваются вэйвлеты в бесконечной размерности, но в дискретном случае. Наконец", преобразование Фурье и теория вэйвлетов рассматриваются на вещественной прямой. Акцент делается на вычислении вэйвлет-преобразования с помощью набора фильтров. Представлены также применения изложенной теории к сжатию сигналов и численному решению дифференциальных уравнений. Данное учебное пособие предназначено для преподавания соответствующего раздела математики студентам старших курсов. Оно сочетает в себе изложение развивающейся математической теории с описанием ее многочисленных приложений. ISBN 978-5-94774-557-3