История развития теории спектрального оценивания. Статьи. ТИИЭР, том 70, 1982 №9

Author: Робинсон Э.А.

Tags: электротехника радиоэлектроника спектральная оценка

Year: 1982

Similar

Радио №9-1982

Современные методы спектрального анализа: обзор. Статьи. ТИИЭР, том 69, 1981 №11

История развития ДССП от Сетуни-70 до троичной виртуальной машины

Ленинским курсом. Речи и статьи. Том 9

Text

6
ТИИЭР, т. 70, № 9, сентябрь 1982
СТАТЬИ
519.216
История развития теории спектрального оценивания
Э. А. РОБИНСОН
A Historical Perspective of Spectrum Estimation
ENDERS A. ROBINSON
Заказная статья
Предыстория спектрального оценивания уходит своими кор-
нями в древние времена и связана с изобретением календа-
ря и часов. Работа Пифагора, относящаяся к 600 г. до н. э., о
законах музыкальной гармонии получила математическое офор-
мление в XVIII в. в виде волнового уравнения. Итог многолет-
ней работы над решением волнового уравнения подвел в 1807 г.
Жан Батист Жозеф Фурье, введя в практику ряды, названные
его именем. В 1836 г. Штурм и Лиувилль распространили тео-
рию Фурье на случай произвольных ортогональных функций.
Теория Штурма — Лиувилля проложила спектральному ана-
лизу* дорогу к величайшему эмпирическому успеху. Речь идет
о формализме квантовой механики, введенном Гейзенбергом и
Шрёдингером в 1925 и 1926 гг. В 1929 г. Джон фон Нейман по-
ставил спектральную теорию атома на прочный математический
фундамент с помощью своей теоремы о спектральном представ-
лении в гильбертовом пространстве. Наряду с этим Винер в
1923 г. развил математическую теорию броуновского движения,
а в 1930 г. ввел в практику обобщенный гармонический анализ,
т. е. спектральное представление стационарного случайного
процесса. Общим для спектральных представлений Неймана и
Винера служит то, что они определены для операторов в гиль-
бертовом пространстве, но результаты Неймана относятся к
эрмитовым операторам, а результаты Винера к унитарным опе-
раторам. Эти два спектральных представления связаны между
собой преобразованием Кейли — Мёбиуса. В 1942 г. Винер ис-
пользовал свои методы для решения проблемы прогнозирования
и фильтрации. В дальнейшем его работа была интерпретирована
и развита Норманом Левинсоном. В своих прикладных иссле-
дованиях Винер больше внимания уделял не спектральным
плотностям, а корреляционным функциям.
Современная история спектрального оценивания начинает-
ся с успеха Тьюки, который в 1949 г. повторил в статистике то,
что сделал для обычных функций Фурье за 142 года до этого.
Результат работы Тьюки позволил ученым активно развивать
эмпирический спектральный анализ во всех областях науки.
Спектральный анализ всегда был трудоемким делом и требовал
большого объема вычислений. Главным успехом в вычислитель-
ной области явилось опубликование в 1965 г. алгоритма быстро-
го преобразования Фурье, разработанного Кули и Тьюки. Ме-
тод Кули — Тьюки сделал практически возможной обработку
сигналов как во временной, так и в частотной области, что так
и осталось за пределами практической возможности в теории
аналоговых систем. Преобразование Фурье перестало быть чисто
теоретическим приемом и стало достоянием практики. С разви-
тием быстрого преобразования Фурье (БПФ) эмпирический спект-
ральный анализ вышел из тени и, оказавшись чрезвычайно важ-
ным инструментом исследования, превратился в самостоятель-
ную современную научную дисциплину. Дальнейшими важными
достижениями в развитии спектрального анализа следует счи-
тать введение Джоном Бергом в 1967 г. методов спектрального
Получена 22 января 1982 г., в исправленном виде —28 апре-
ля 1982 г. Статья посвящается Норману Левинсону (11 августа
1912 г.—10 октября 1975 г.), которого автор считает своим учи-
телем в области дифференциальных уравнений.
Ориг., с. 885—907.
Manuscript received January 22, 1982; revised April 28, 1982. This
paper is dedicated to Norman Levinson, August 11, 1912-October 10,
1975, my teacher in differential equations.
The author is with the Department of Theoretical and Applied
Mechanics and the Department of Geological Sciences, Cornell Uni-
versity, Ithaca, NY 14853.
анализа по принципу максимальной энтропии; начатые в 50-е
годы работы Эммануэля Парзена и других авторов, предложив-
ших различные спектральные окна; статистический подход Мо-
риса Пристли и его школы; проверку гипотез о свойствах вре-
менных рядов в постановке Питера Уиттла в 1951 г.; метод
Бокса — Дженкинса, предложенный Джорджем Боксом и Дж.
М. Дженкинсом в 1970 г.; авторегрессионное спектральное оце-
нивание и критерии определения порядка рациональных моде-
лей, введенные Э. Парзеном и X. Акаикэ в 1960 г. К этим ста-
тистическим по своей сути работам необходимо добавить не ме-
нее важные работы технического характера, относящиеся к об-
ласти эмпирического спектрального анализа и вообще не
рассматриваются в данной статье, но являются содержанием
других статей этого тематического выпуска.
I. ВВЕДЕНИЕ
Спектральное оценивание уходит своими корня-
ми в глубокую древность, когда возникла по-
требность в определении длительности суток,
фаз Луны и продолжительности года. Применение
эмпирического спектрального анализа позволило в те
далекие времена создать календарь и часы. Если же
говорить о более близком нам времени, то эмпириче-
ским открытием спектров мы обязаны разносторонне-
му гению сэра Исаака Ньютона Ш, который обнару-
жил, что луч солнечного света превращается в мно-
гоцветную полосу, воспроизводящую спектр радуги.
Однако по-настоящему тот огромный интерес к спек-
тральному анализу, который известен нам сегодня,
зародился лишь немногим более ста лет назад, когда
выдающийся немецкий химик Роберт Вильгельм Бун-
зен (1811 —1899) повторил опыт Ньютона со стек-
лянной призмой. В отличие от Ньютона Бунзен вос-
пользовался не чистым солнечным светом, а куском го-
рящей ткани, пропитанной раствором поваренной
соли (хлористого натрия). В результате вместо кра-
сивой радуги Ньютона Бунзен увидел спектр, состояв-
ший всего из нескольких узких линий, одна из кото-
рых была ярко-желтой.
О своем результате Бунзен сообщил другому вы-
дающемуся немецкому ученому — Густаву Роберту
Кирхгофу (1824—1887). Оба они знали, что роль
стеклянной призмы сводится к рассортировыванию
падающих лучей света в зависимости от длины волны
(такое явление называется дисперсией). Ньютонов-
ская радуга представляет собой широкую непрерывную
полосу солнечного спектра, иными словами, в чистом
солнечном свете присутствуют все длины волн види-
мого света. Желтая же линия, которая появилась,
когда источником света стала горящая ткань, гово-
рила о том, что спектр поваренной соли содержит
только одну характерную длину волны. Дальней-
ИСТОРИЯ РАЗВИТИЯ ТЕОРИИ СПЕКТРАЛЬНОГО ОЦЕНИВАНИЯ
7
шие эксперименты показали, что эта желтая линия
принадлежит атомарному натрию. При этом, в состав
какого бы вещества ни входил натрий, он всегда заяв-
лял о своем присутствии яркой желтой линией в
спектре. Со временем обнаружилось, что каждому
химическому элементу присущ свой характеристиче-
ский спектр, который не зависит от того, в каком сое-
динении или веществе присутствует данный элемент.
Таким образом, спектр — это средство идентификации
элемента, и, глядя на спектр, мы можем сказать,
какие химические элементы присутствуют в вещест-
ве будь то далекой звезды или микроскопического
объекта.
Успехи спектрального анализа оказались поистине
колоссальными, и тем не менее построить спектраль-
ную теорию химических элементов на базе классиче-
ской физики было нельзя. Как известно, в 1925—
1926 гг. благодаря работам Вернера Гейзенберга
(1901—1976) и Эрвина Шрёдингера (1887—1961) ро-
дилась квантовая механика, сразу давшая объясне-
ние наблюдаемым спектрам. Развитию спектральной
теории в направлении к этому величайшему достиже-
нию и посвящена наша статья.
Безусловно, наиболее впечатляющие успехи спек-
тральной теории связаны с квантовой механикой.
Однако в своем рассказе мы постараемся не забыть
и параллельного пути, пролегавшего через класси-
ческую физику. Наличие второго пути обозначилось
с появлением работ Шарля Штурма (1803—1855)
и Жозефа Лиувилля (1809—1882) по спектральной
теории дифференциальных уравнений. В то же время,
как мы увидим дальше, конечные результаты обеих
линий развития — спектральное представление, раз-
работанное Джоном фон Нейманом (1903—1957) в рам-
ках квантовой физики, и спектральное представление,
разработанное Норбертом Винером (1894—1964) в
рамках классической физики,— обладают глубокой
внутренней связью.
Вследствие очень высокой частоты световых коле-
баний быстродействие наших приборов оказывается
недостаточным для того, чтобы непосредственно ре-
гистрировать световой сигнал. Поэтому с помощью
приборов измеряют количество энергии в соответ-
ствующей полосе частот. Измерение и анализ спект-
ров других сигналов осуществляют иными способами.
В случае низкочастотных сигналов (механические
колебания, речь, сигналы гидролокаторов, сейсмог-
раммы, кардиограммы, биржевая информация и т. д.)
можно снять зависимость сигнала от времени (или
измерить временную последовательность сигналов)
и по ней вычислить спектр. Цифровые методы спек-
трального анализа после появления цифровых вы-
числительных машин стали играть особенно важную
роль.
Несколько слов о терминах «спектр» й «спектраль-
ный». И. Ньютон ввел научный термин «спектр»
(spectrum), заимствовав его из латинского языка, где
он значит «видимость», «образ». В современном англий-
ском языке существуют слово specter, означающее
«дух», «приведение», и соответствующее прилагатель-
ное spectral. Наряду с ним имеется научный термин
spectrum, и словари указывают в качестве соответ-
ствующего ему прилагательного опять-таки слово
spectral, которое, таким образом, имеет два значения.
По мнению многих, в качестве определения в англий-
ском языке следует применять spectrum, а не spectral
а) во всех случаях, когда речь идет о массиве данных
и физических явлениях, Ь) во всех случаях, когда
определение относится к слову estimation (оценка,
оценивание). Сторонники такой точки зрения счита-
ют, что слово spectral с его излишне «призрачной»
коннотацией следует сохранить лишь в тех разделах
математики, где оно глубоко внедрилось как термин.
Материал статьи вплоть до разд. XII, относящийся
к периоду от античных времен до работ Левинсона и
Винера, можно назвать «предысторией спектрального
оценивания», поскольку здесь под этим термином по-
нимается лишь оценивание спектров по результатам
измерений. Остальным разделам можно дать общее
заглавие «О некоторых основополагающих работах
по методам спектрального оценивания».
Современное спектральное оценивание начинается
с важнейшей работы по анализу коротких временных
рядов, написанной Дж. У. Тьюки в 1949 г. Эта работа
дала начало подлинному расцвету методов спектраль-
ного анализа. Однако, несмотря на успехи цифровой
вычислительной техники, такие вычисления по-преж-
нему требовали больших затрат. Поэтому крупным
шагом явилось открытие быстрого преобразования
Фурье (БПФ), сделанное в 1965 г. Дж. У. Кули и
Дж. У. Тьюки и независимо от них Гордоном Санде.
В сочетании с техникой кремниевых микросхем это
достижение позволило начать применять спектраль-
ный анализ к широкому кругу проблем. Важнейшим
успехом стало также введение в спектральный анализ
методов максимальной энтропии, разработанных в
1967 г. Джоном Бергом.
II. РЯДЫ ТЕЙЛОРА
В XVII в., когда Ньютон и Лейбниц ввели в мате-
матику исчисление бесконечно малых, понятие «функ-
ции» ассоциировалось с рядом жестких ограничений,
которые впоследствии постепенно ослаблялись. В те
далекие времена казалось, что наблюдения за есте-
ственными процессами свидетельствуют об обяза-
тельном существовании непрерывной связи между
всеми физическими переменными. Такая точка зрения
нашла подкрепление в формулировках законов при-
роды на основе дифференциальных уравнений, при-
мером которых служат законы Ньютона. Общеприз-
нанным стало предположение о том, что любая функ-
ция, описывающая физические явления, дифферен-
цируема. Сама мысль о возможности существования
функции, которая меняется причудливым или слу-
чайным образом и вследствие этого не может быть пред-
ставлена аналитической формулой, тогдашним мате-
матикам даже не приходила в голову. Поэтому вполне
естественно, что именно современник Ньютона Брук
Тейлор (1685—1731) [2] ввел понятие «аналитиче-
ская функция». Ряд Тейлора представляет аналити-
ческую функцию в виде бесконечной суммы составля-
ющих функций. Точнее говоря, ряд Тейлора представ-
ляет функцию f(x), аналитическую в окрестности
некоторой точки х=а, в виде бесконечного ряда,
коэффициентами которого являются последовательные
производные рассматриваемой функции в данной
точке:
/(а + й) = Да) + ~f'(a) h + h2 +
8
ТИИЭР, т. 70, № 9, сентябрь 1982
Таким образом, аналитические — это такие функции, у
которых существует производная любого порядка.
Как известно, для определения производной любого
порядка в точке х—а достаточно знать значения
функции в произвольно малой окрестности этой точки.
Поразительное свойство ряда Тейлора заключается
в том, что форма функции на любом конечном расстоя-
нии h от точки х=а однозначно определяется поведе-
нием функции в бесконечно малой окрестности точки
х=а. Таким образом, существование рядов Тейлора
означает, что аналитические функции обладают внут-
ренней структурой с очень сильной связью, и, изу-
чив свойства функции в малой окрестности точки
х=а, можно точно предсказать, что произойдет с ней
в точке x=a-[-h, находящейся от а на конечном рас-
стоянии Л. Такое свойство, однако, присуще только
классу аналитических функций. К числу наиболее
известных аналитических функций относятся, разу-
меется, функции синуса и косинуса, полиномы, а
также дробно-рациональные функции вне своих полю-
сов.
III. РЕШЕНИЕ ВОЛНОВОГО УРАВНЕНИЯ, НАЙДЕННОЕ
ДАНИИЛОМ БЕРНУЛЛИ
Великий греческий математик Пифагор (около
600 г. до н. э.) первым из ученых рассмотрел чисто
физическую проблему, для решения которой потре-
бовался спектральный анализ. Пифагор занимался
изучением законов музыкальной гармонии, возбуждая
чисто синусоидальные колебания в струне, жестко
закрепленной с двух концов. Эта проблема занимала
ученых еще с древнейших времен, однако поворотный
момент в ее математическом исследовании наступил
лишь в XVIII в., когда удалось понять, что верти-
кальное смещение и(х, t) колеблющейся струны удов-
летворяет волновому уравнению
Э2и 1 Э2и
эР”"? э?-30-
Здесь х — горизонтальная координата, a t — время.
Константа с — это физическая величина, свойствен-
ная материалу струны и численно равная скорости
бегущих по струне волн. Поскольку концевые точки
х=0 и х=л фиксированы, граничные условия при-
нимают следующий вид:
u(0, t) = и(тг, t) = 0.
(Для простоты мы предположили, что длина струны
равна л.) Со времени появления этого уравнения поис-
ком его решения занимались крупнейшие математики
всех времен. Работая над этой проблемой, они прокла-
дывали путь теории спектрального анализа.
Один из лучших результатов был получен в 1738 г.
Даниилом Бернулли (1700—1782) [31. Бернулли ввел
метод разделения переменных, согласно которому сна-
чала строится пробное решение в виде произведения
некоторой функции только от х на некоторую функ-
цию только от t:
и(х, t) = X(x) T(t).
Подставив пробное решение в дифференциальное урав-
нение и решив его, Бернулли получил следующие
решения:
cos кх cos kct, cos кх sin kct,
sin kx cos kct, sin kx sin kct.
Однако в силу граничного условия при х=0 решения,
содержащие cos kx, должны быть исключены, и,
таким образом, возможные решения сводятся к двум
вариантам:
sin кх cos kct, sin кх sin kct.
Граничное условие при х—я требует, чтобы значение k
представляло собой целое число. Учитывая линейность
волнового уравнения, можно сделать вывод, что лю-
бая суперпозиция его решений также будет решением.
Таким образом, Бернулли пришел к решению вол-
нового уравнения в следующем виде:
и(х, t) = £ si11 Кх(Ак cos kct + В % sin kct),
к-1
где Ah и Bk— произвольные постоянные. Бернулли
высказал утверждение, что эта бесконечная сумма
есть общее решение уравнения колеблющейся струны.
Из такого заявления вытекали поистине поразитель-
ные следствия. Дело в том, что из основных принципов
механики было известно, что начальное смещение и
начальная скорость струны могут быть заданы произ-
вольно. Иными словами, было известно, что в началь-
ный момент /=0 как и(х, 0), так и и(х, 0) могут иметь
любую функциональную форму. (Заметим, что точка
над функцией означает дифференцирование по вре-
мени, поэтому и представляет собой скорость струны
в вертикальном направлении.) Решение же Бернулли
дает точные выражения для начального смещения и
начальной скорости:
и(х, 0) = Ак sin кх,
к-1
й(х, 0) = с £ кВк sin кх.
*г-1
Отсюда вытекает, что любую из двух произвольных
функций и (х, 0) и и (х, 0) можно разложить на отрез-
ке в бесконечный ряд по синусоидальным
функциям. Во времена Бернулли этот вывод, однако,
не удалось доказать строго.
Результат Бернулли можно представить следую-
щим образом. Пусть начальное смещение и(х, 0)
представляет собой произвольную неаналитическую
функцию f(x). Для нее существует разложение
Лх) = £ Ак sin кх,
к** О
которое означает, что любая неаналитическая функция
f(x) может быть представлена бесконечной суммой
аналитических функций sin kx с весовыми коэффи-
циентами А h. Этот результат, показавшийся для своего
времени парадоксальным, привел к историческому
спору: можно ли выбирать функцию f(x) произвольно
или она должна принадлежать к классу аналитиче-
ских функций? С физической точки зрения функция
/(х), которая представляет собой начальное смещение
струны, может выбираться произвольно. С существо-
вавшей в те времена математической точки зрения,
ИСТОРИЯ РАЗВИТИЯ ТЕОРИИ СПЕКТРАЛЬНОГО ОЦЕНИВАНИЯ
9
f(x), представляющая собой бесконечную сумму ана-
литических функций, должна быть аналитической
функцией. Этой точки зрения придерживались все
выдающиеся математики того времени.
Два величайших математика всех времен пред-
приняли попытку найти коэффициенты Ак в данном
разложении. Умножим обе части предыдущего ра-
венства на sin пх и затем проинтегрируем полученные
произведения на интервале от 0 до л. В силу того что
/*’ Г п/2 при к = п
I sin кх sin пх dx = (
Jo 10 при кФп,
получаем
2 fff
А„ = — I /(х) sin пх dx.
я Jo
Таков был результат, найденный Л. Эйлером (1707—
1783) 14] и Ж. Л. Лагранжей (1736—1813) [51. Таково
было состояние вопроса к началу XIX в.
IV. ЖАН БАТИСТ ЖОЗЕФ ДЕ ФУРЬЕ И ГАРМОНИЧЕСКАЯ
СПЕКТРАЛЬНАЯ ТЕОРИЯ
21 декабря 1807 г. инженер Жан Батист Жозеф де
Фурье (1768—1830) [6] выступил на заседании Фран-
цузской академии с утверждением, которое выдаю-
щимся математикам, состоявшим членами Академии,
показалось невероятным. Так уж случилось, что
автором одного из величайших достижений в истории
математики, нововведения, приковавшего к себе не-
малое внимание математиков более чем на целое сто-
летие, оказался простой инженер. На том историче-
ском заседании Фурье заявил, что произвольную функ-
цию, заданную на некотором конечном интервале
любой негладкой и даже разрывной кривой, можно
представить бесконечной суммой косинусоидальных
и синусоидальных функций. Выдающиеся и блиста-
тельные академики поставили под сомнение справед-
ливость теоремы Фурье, поскольку они полагали,
что всякая суперпозиция косинусоидальных и сину-
соидальных функций образует только аналитическую
функцию, т. е. функцию, дифференцируемую беско-
нечное число раз. Ясно, рассуждали академики, что
аналитическая функция не может быть разрывной и
потому наверняка будет иметь мало общего с какой-то
произвольной кривой. Ведь, как гласит теорема Тей-
лора, особенностью аналитической функции является
то, что, будучи заданной на некотором бесконечно
малом интервале, она может быть продолжена на ко-
нечный интервал вправо и влево лишь вполне опреде-
ленным однозначным способом (это так называемая
операция аналитического продолжения). Академики
н другие выдающиеся математики того времени не
могли примирить в своем сознании свойство анали-
тического продолжения с теоремой Фурье. Разве могут
физические рассуждения какого-то инженера устоять
против всей мощи аналитического мышления пред-
ставителей самых выдающихся математиков всех вре-
мен! То были дни, когда в научном мире в зените
своего могущества было много крупных авторитетов, и
Фурье отважился защищать свою теорему в одиночку.
Как уже говорилось, определение аналитической
функции предполагает такую сильную взаимосвязь
2 ТИИЭР № 9
всех ее значений, при которой информация о значении
функции в одной точке позволяет предсказать зна-
чение той же функции в другой точке, отделенной
от предыдущей конечным интервалом /г. Такой меха-
низм прогнозирования отражается в форме раз-
ложения в ряд Тейлора. В отличие от этого неана-
литическая (например, негладкая и разрывная) функ-
ция не требует столь однозначной связи между пове-
дением функции в бесконечно малой окрестности за-
данной точки и в более удаленных точках. Именно
такое более широкое понимание функции и использует-
ся при определении разложения функции в ряд Фурье.
Коэффициенты ряда Фурье, как следует из работ
Эйлера и Лагранжа, находятся не дифференцирова-
нием, как в рядах Тейлора, а интегрированием.
Каждый коэффициент Фурье Ап есть интеграл от
f (х) sin пх по всему интервалу, а потому любое изме-
нение f (х) на отдельном участке этого интервала при-
водит к изменению всех коэффициентов Фурье. От-
сюда следует, что в отличие от рядов Тейлора в ря-
дах Фурье взаимные связи действуют не в локальном,
а в глобальном смысле. Для ряда Фурье имеет зна-
чение именно поведение /(х) в большом и гораздо мень-
шую роль играет ее поведение в окрестности точки.
Как же примирить между собой эти две разновидно-
сти разложения в ряд — ряд Тейлора, который пред-
ставляет собой разложение в окрестности точки и
позволяет точно предсказывать значения функции на
определенном расстоянии от исходной точки, и ряд
Фурье, который представляет собой разложение в
большом и позволяет узнавать значения функции во
всем диапазоне изменений аргумента? Для того что-
бы получить разложение функции в ряд Тейлора,
необходимо, чтобы она была бесконечное число раз
дифференцируемой в некоторой точке, а. для разло-
жения функции в ряд Фурье дифференцируемость
не требуется вообще.
Как это ни странно, мостиком через пропасть,
разделяющую ряды Тейлора и ряды Фурье, служит
z-преобразование — фундаментальное преобразова-
ние, применяемое в теории цифровой обработки сиг-
налов. Рассмотрим аналитическую функцию /(г) ком-
плексной переменной
г =х +fy = (ге^9)'1.
Разложив f (г) в ряд Тейлора (по степеням переменной
г-1) в точке г-1=0, мы получим г-преобразование
П=О
Радиус сходимости этого ряда находится в пределах
от г-1=0 до первой особой точки, скажем до z_J-
Особой называется точка, в которой функция пере-
стает быть аналитической. Область сходимости ряда
Тейлора для функции /(г) представляет собой г-
плоскость вне круга радиуса |zj. Иными словами, об-
ласти сходимости принадлежат все точки г, для кото-
рых |г-1|<|г“}|, т. е. |г|>|г0|;
Запишем теперь выражение для ряда Тейлора
функции /(г) в точках, принадлежащих окружности
z=cos 0—/ sin 0: •
= £ <z„(cos пв - / sin пб),
Л = 0
10
ТИИЭР, т. 70, № 9, сентябрь 1982
Это выражение представляет собой комплексный ряд
Фурье с углом 0 в качестве переменной. Здесь воз-
можны три случая. 1) Особая точка z0 находится внут-
ри круга единичного радиуса на z-плоскости. В этом
случае функция аналитична на окружности единич-
ного радиуса, и, таким образом, ряд Фурье представ-
ляет собой аналитическое представление этой ана-
литической функции. Французская академия считала
такой случай единственно возможным. 2) Особая
точка z0 расположена вне круга единичного радиуса.
В этом случае ряд Фурье не представляет данную
функцию, и поэтому мы рассматривать этот случай
не будем. 3) Третий случай представляет определенный
интерес. Именно он разрешает математический пара-
докс, послуживший для Фурье отправной точкой
для открытия, которое он сделал в 1807 г. Если особая
точка г0 находится на окружности единичного радиуса,
то ряд Тейлора не будет сходящимся в некоторых
или даже во всех точках окружности единичного ра-
диуса. Таким образом, ряд Тейлора определяет ана-
литическую функцию, которая дифференцируема лю-
бое число раз вне круга единичного радиуса, но
становится неаналитической в некоторых или во
всех точках окружности единичного радиуса. Ряд
Фурье по переменной 0 совпадает с рядом Тейлора по
переменной г на окружности единичного радиуса и,
следовательно, представляет функцию переменной 0,
не обладающую свойством аналитичности в некоторых
или во всех точках области определения —л^0^л.
Небольшое изменение коэффициентов Фурье, при
котором особая точка смещается с окружности круга
единичного радиуса чуть-чуть внутрь этого круга,
превращает неаналитическое фурье-представление в
аналитическое. Самое поразительное, что уже при
сколь угодно малом смещении точки внутрь круга
первоначально недифференцируемая функция от 0
становится бесконечное число раз дифференцируемой.
Таким образом, ошибка великих французских матема-
тиков — членов знаменитой Французской академии,
решивших ограничить область применимости ряда
Фурье только аналитическими функциями, целиком
определялась чрезвычайно малым, но в то же время
конечным расстоянием от точки на периферии до
точки, находящейся внутри круга единичного радиуса.
Функция может оставаться исключительно гладкой
вплоть до самой окружности единичного радиуса, а
затем, когда радиус станет равным единице, обратить-
ся в свой ломаный, искаженный образ. Ряд Тейлора
при этом перестанет существовать, но его двойник —
ряд Фурье по переменной 0 — сохранит свое сущест-
вование. Теорема Фурье осталась справедливой, про-
гресс науки мог продолжаться.
V. СПЕКТРАЛЬНАЯ ТЕОРИЯ ДИФФЕРЕНЦИАЛЬНЫХ
УРАВНЕНИИ, РАЗРАБОТАННАЯ ШТУРМОМ
И ЛИУВИЛЛЕМ
Вслед за великим открытием, сделанным Фурье
в 1807 г., началось выявление и изучение замечатель-
ных свойств рядов Фурье, которое велось на протя-
жении всего XIX столетия и было продолжено в XX в.
Ряд Фурье в том виде, как он был предложен его авто-
ром, представляет собой разложение по косинусам и
синусам, которые образуют ортогональную систему
функций: Однако наряду с ней существует много
других систем ортогональных функций, поэтому в на-
стоящее время любое разложение некоторой функции
в ряд по ортогональным функциям называют рядом
Фурье. Как мы увидим ниже, некоторые системы орто-
гональных функций могут быть стохастическими.
Соответствующие ряды Фурье, как выяснилось, игра-
ют важную роль в статистическом спектральном ана-
лизе.
Обратимся, однако, прежде к важным обобщениям,
сделанным французскими математиками Шарлем Штур-
мом (1803—1855) [7] и Жозефом Лиувиллем (1809—
1882) [8] в 30-е годы прошлого века. Мы начнем
с краткого рассмотрения теории дифференциальных
уравнений, разработанной Штурмом и Лиувиллем.
Колебания любого бесконечно длинного правильного
кругового цилиндра единичного радиуса можно опи-
сать дифференциальным уравнением второго порядка.
Рассмотрим простой случай — дифференциальное
уравнение вида
м"(х) + л2и(х) = 0.
Это — так называемое одномерное уравнение Гельм-
гольца, которое можно получить, применив временное
преобразование Фурье к волновому уравнению, с ко-
торого берет свое начало теория Фурье. В волновом
уравнении k — волновое число, которое равно <о/с,
где w — угловая частота. В уравнении Гельмгольца
/г’— некоторый неопределенный параметр. Перемен-
ная х представляет собой центральный угол цилиндра,
и, следовательно, х меняется в интервале от —л до
л. Поскольку точки х=—л и х=л на цилиндре сов-
падают, должны иметь место два граничных условия
м(-тг) = и(тг),
u'(~ir) = и\тг).
Общее решение дифференциального уравнения имеет
вид
и (х) = A coskx +В sin кх.
Указанные граничные условия ограничивают выбор
параметра Л2 дискретным рядом значений
к2 =0, I2, 22, З2, • •,
которые называются собственными значениями урав-
нения Гельмгольца. Соответствующие решения урав-
нения, т. е. функции
ик(х) - A cos кх + В sin кх,
называются собственными функциями. Они представ-
ляют собой те самые тригонометрические функции —
синус и косинус, которые Фурье использовал для
построения своих рядов. Собственные функции описы-
вают собственные колебания цилиндра, которые воз-
можны только при указанных дискретных значениях
волнового числа (А=0, 1, 2,. . .).Таким образом, тео-
рия Штурма — Лиувилля дала* ответ на вопрос, по-
чему Фурье оказался прав, выбрав дискретное множе-
ство синусов и косинусов для решения задачи, выте-
кавшей из волнового уравнения.
Но это еще не все. Теория Штурма — Лиувилля
пролила дополнительный свет на спектральный анализ
и фактически легла в основу спектральной теории диф-
ференциальных уравнений. Следует сказать, что встре-
чающиеся в математической физике задачи о собст-
ИСТОРИЯ РАЗВИТИЯ ТЕОРИИ СПЕКТРАЛЬНОГО ОЦЕНИВАНИЯ
11
венных значениях в большинстве своем связаны с
дифференциальными операторами Н вида
dx
d
А(х)~-
dx
+ ВМ.
В физических задачах, которые мы здесь рассматри-
ваем, функция А (х) должна быть положительно опре-
деленной на заданном интервале. Определим теперь
операцию vHu—uHv:
d ,
vHu - uHv = — [A(x)(i?u - uv )].
dx
Очевидно, что правая часть есть полная производная,
и, следовательно,
I (vHu-uHv)dx = [A(x)(vu'- uv')]g.
Ja
Всякий дифференциальный оператор Н, который допу-
скает преобразование интеграла этого типа (т. е.
стоящего здесь в левой части равенства) в выражение,
зависящее только от граничных значений (приве-
денное справа), называется самосопряженным.
Таким образом, оператор Штурма — Лиувилля
Н — самосопряженный оператор. Во многих слу-
чаях граничные условия можно задать так,
чтобы правая часть последнего равенства
обратилась в нуль; такие граничные условия называ-
ются самосопряженными. В результате получается
самосопряженная задача, характеризуемая самосо-
пряженным оператором И и самосопряженными гра-
ничными условиями. При этом функции и(х) и п(х)
совпадают, что следует из равенства
Г
I (vHu - uHv) dx = О,
Ja
которое называется тождеством Грина.
Задача о собственных значениях, связанная с са-
мосопряженным оператором Н, начинается с задания
дифференциального уравнения
Нф = Хф.
Решение, удовлетворяющее граничным условиям, су-
ществует не для всех X, а лишь для определенного
множества значений X,-, которые называются собст-
венными. Это множество является бесконечным, при-
чем все Х; являются действительными, числами, а их
значения с ростом i стремятся к бесконечности. Их
обычно располагают в порядке возрастания, и в ре-
зультате получают бесконечную последовательность
собственных значений (она называется спектром)
Xi, Xj, Х3, • •
и соответствующие собственные функции
Ф1, Фз, Фз, ‘’
Рассмотрим теперь два разных собственных значения
X/ и Хк и соответствующие им собственные функции
ф, и фй. Подставив и=ф] и п=фА в тождество Гри-
на, получим
f (Х/0/Ф* - ^кФкФ;) dx = О,
откуда следует условие ортогональности
f Ф/М фк(.х) dx = 0, j^k.
Накладывая условие нормировки
f ф}(х^х=1,
J а
можно образовать из собственных функций ортонорми-
рованное множество. Свойство ортонормированности
можно записать более компактно в виде
I Ф/(х) фк(х) dx = 6/к ,
Ja
где — дельта-функция (символ) Кронекера.
Представим теперь произвольную функцию /(х)
в виде бесконечной суммы
Ях)= £ скфк(х).
к=1
Как уже говорилось, в честь основополагающей ра-
боты Фурье такое разложение названо рядом Фурье.
Коэффициенты Фурье ск получаются путем умножения
обеих частей равенства на Ф>у(х) и последующего их
интегрирования:
Г"
с/ = I f(x) ф/(х) dx.
При определенных условиях общего характера можно
показать, что эта ортонормированная система функций
является полной, откуда следует, что приведенное
выше фурье-разложение действительно сходится к
функции /(х). Допустим теперь, что f (х) есть решение
неоднородного дифференциального уравнения
Hf(x) = р(х).
На языке теории линейных систем р(х) представляет
собой входной, а /(х) — выходной сигнал. Подставим
теперь u=f и о=фк в тождество Грина. В итоге полу-
чим
f (ФкНГ- ГНфк)4х = 0,
J а
откуда следует
f (ФкР - f \^k)dx = 0.
Это уравнение можно записать в виде
Г 1 г6
I ГФк^х-- | ф/cpdx.
Ja 8к Ja
В левой части нетрудно узнать выражение для коэф-
фициента Фурье ск. Таким образом,
1 Сь
ck = Y~ I Фк(%) РФ d£-
Кк Ja
2*

12
ТИИЭР, т. 70, № 9, сентябрь 1982 1
Подставив теперь это выражение в ряд Фурье, полу-
чим
„ . ~ ... fЬ /М Г V ФкМФк(1')'\,1.
fW=£ скФкМ= I р(5) 2. ;
к=1 Ja Lfc=l Afc J
Если выражение в скобках обозначить через G(x, 5),
то последнее уравнение запишется в виде
f(x) = f p(.^G(x,^d^.
da
Это есть интегральная форма связи входного и вы-
ходного сигналов, причем выражение
G(x,|)=f ФкЫФкЮ'
к=1 ^к
называется импульсной характеристикой или функ-
цией Грина (при заданных граничных условиях)
в честь автора этого понятия Джорджа Грина (1793—
1841) [9]. Данное уравнение выражает импульсную
характеристику линейной системы через ее спектр
К, Х,2, Х»,... • В том что функция Грина действитель-
но представляет собой отклик на импульс, можно
убедиться, подав на вход сигнал р(х) в виде импульса
6(х—х0). Выходной сигнал тогда будет равен
f 6(5-x0)G(x,?)d5 = G(x,x0),
da
и, следовательно, G(x, х0) представляет собой вы-
ходной сигнал в момент х при воздействии импульса
в момент х0. Поскольку дифференциальное уравнение
математически моделирует систему с входом и выхо-
дом, функция Грина, очевидно, должна удовлетворять
условию
HG(x, х0) = 6(х - х0).
Это уравнение показывает, что функция Грина G(x, х0)
представляет собой оператор, обратный по отноше-
нию к дифференциальному оператору Н.
Итак, мы- в общих чертах рассмотрели спектраль-
ную теорию дифференциальных операторов. Теперь
можно перейти к наиболее яркому примеру практи-
ческого применения спектрального анализа — кван-
товой механике.
VI. СПЕКТРАЛЬНАЯ ТЕОРИЯ АТОМА (ТЕОРИЯ
< ШРЁДИНГЕРА)
Развитая Штурмом и Лиувиллем теория разло-
жения функций с помощью системы ортогональных
функций нашла многочисленные физические прило-
жения в работе лорда Рэлея (1842—1919). С такими
разложениями приходится иметь дело во всех зада-
чах, связанных с рассмотрением упругих колебаний
в твердом теле, и в задачах теории звука. Существенно
новый шаг, вошедший в историю физики, был сделан
Эрвином Шрёдингером (1887—1961) ПО] в 1926 г.,
когда он показал, что колебания, происходящие в
атоме, можно объяснить с помощью теории Штурма —
Лиувилля. Попробуем объяснить, каким образом
волновая механика Шрёдингера описывает спектраль-
ные линии атома. Следует отметить, что за год до Шрё-
дингера Вернером Гейзенбергом (1901—1976) [11] >
была сформулирована матричная механика, эквива- <
лентная волновой механике. с
К моменту появления квантовой теории классиче- i
ская физика зашла в тупик. С позиций классической <
физики оказалось невозможным объяснить существо-
вание атомных спектров. Так, например, наличие с
в спектре натрия яркой желтой линии, открытой I
Бунзеном, означает, что излучение атомов натрия (
происходит на дискретной частоте <о0- Если предпо- <
дожить, что эта линия излучается электроном, тогда, <
согласно законам классической физики, электрон 1
должен был бы излучать не дискретную линию на ча- с
стоте <о0, а сплошной спектр линий на всех частотах w i
без каких-либо разрывов в спектре. Иными словами, >
классическая физика предсказывает, что спектр элек- с
трона должен быть таким же сплошным, как спектр г
солнечного света. А в то же время Бунзен наблюдал 3
дискретный спектр натрия, о чем свидетельствовала >
яркая желтая линия. (Немного погодя мы увидим, г
что линия, наблюдавшаяся Бунзеном, на самом деле £
представляет собой дублет, который Бунзен не имел I
возможности разрешить с помощью имевшихся у него <
приборов.) г
Квантовая механика позволяет взглянуть на атом i
с новой точки зрения. Как утверждает квантовая ме-
ханика, электроны в атомах переходят из одного энер- >
гетического состояния в другое скачкообразно, при
этом разность энергий передается кванту электромаг- I
нитного поля — фотону. Если при таком переходе i
энергия электрона уменьшается, это означает рожде- I
ние фотона. Если же энергия электрона возрастает, 1
это означает, что непосредственно перед переходом •
электрона был поглощен фотон, или квант энергии I
некоторого стороннего поля. I
В квантовой механике электрон представлен функ-
цией плотности вероятностей. (Функция плотности г
вероятностей равна квадрату модуля |ф|’ волновой =
функции вероятности ф.) Вероятность перехода элек-
трона зависит от формы функций плотности вероят- г
ностей, которые соответствуют состоянию электрона £
до и после перехода. Вероятность перехода, вообще I
говоря, тем больше, чем больше перекрытие, или вза- £
имопроникновение, этих функций. Законы, которые £
делят переходы в атомах на более вероятные и менее ‘
вероятные, называются правилами отбора. Именно при в
таких переходах электронов и рождаются фотоны, I
которые, попадая в спектрограф, рассортировываются I
им и образуют спектральные линии. s
Чем больше фотонов в секунду излучает атом, тем i
ярче спектральные линии. Если число атомов оста- с
ется неизменным, яркость спектральных линий зави-
сит от статистической частоты электронных переходов
в атомах, которая в свою очередь определяется рас-
пределением вероятностей переходов. Этим и объясни- '
ется тот факт, что спектр атома состоит из набора ли- i
ний различной яркости. 1
Надо сказать, что проблема спектрального оцени-
вания, которой посвящен настоящий тематический
выпуск журнала, не играет главной роли в спектраль-
ном представлении, с которым приходится иметь дело J
в квантовой механике. Эго обстоятельство бросилось >
автору в глаза во время работ в Геофизической биб- J
лиотеке ВВС США, Ханском-Филдс, шт. Массачу- j
сетс,— одной из лучших научных библиотек в мире: J
ИСТОРИЯ РАЗВИТИЯ ТЕОРИИ СПЕКТРАЛЬНОГО ОЦЕНИВАНИЯ
13
множество полок в разделе, посвященном «спектрам»,
было заполнено книгами по каждой из областей в
отдельности, но не было среди этих книг ни одной, в
которой бы обсуждалась взаимосвязь между обеими
областями спектральной теории.
Спектральное оценивание в квантовой механике
опирается на фундамент спектроскопии, относящейся
к числу экспериментальных наук. В 1891 г. физик
А. А. Майкельсон создал интерферометр — прибор,
обеспечивающий суперпозицию светового сигнала с
самим собой, но задержанным на определенную вели-
чину. В одной из серий экспериментов Майкельсон
ограничил полосу светового сигнала с помощью
призмы и затем воспользовался интерферометром для
измерения видимости суперпозиционного сигнала как
функции задержки. В результате он получил кривую,
представлявшую собой ковариационную функцию ис-
ходного сигнала. Далее Майкельсон с помощью меха-
нического анализатора гармоник вычислил преобра-
зование Фурье кривой видимости; иными словами, он
оценил спектральную плотность сигнала. Майкельсон
поставил свои эксперименты с целью изучения тонкой
структуры спектральных линий света. Таким обра-
зом, в те далекие дни разделение спектрального оце-
нивания на две ветви еще не произошло.
В нынешнем столетии началось бурное развитие
метода спектрального анализа применительно к фи-
зическим задачам, стали совершенствоваться соот-
ветствующие приборы, повышаться их чувствитель-
ность. Спектроскописты преподнесли теоретикам оче-
редной вопрос: почему спектральная линия не бес-
конечно узка, а имеет определенную ширину? Ведь,
как известно, фотон соответствует линии с одним опре-
деленным значением частоты <о. Почему же тогда линии
на фотопластинке, помещенной в спектроскоп, полу-
чаются не тонкими, а несколько размытыми? Ответ
на этот вопрос удалось найти в волновых свойствах
электрона и принципе неопределенности Гейзенберга.
Начальная, равно как и конечная энер-
гия электрона в атоме относятся к стационарному
состоянию. Но переход электрона с одного уровня на
другой уже сам по себе является нарушением некоего
стационарного состояния. А раз так, значит, в дей-
ствие вступает принцип Гейзенберга. Если обозна-
чить через А/ время жизни электрона между последо-
вательными переходами, то неопределенность энер-
гии фотона будет равна ДЕ~h!А/, где h — постоянная
Планка. Используя формулу Планка для квантов
энергии, мы получим, что неопределенность энергии
ДЕ пропорциональна неопределенности Д<о частоты
фотона:
h .
&Е =----Ды.
2тг
Таким образом, спектральные линии обладают ко-
нечной шириной Дш, которая обратно пропорциональ-
на времени «оседлой» жизни электрона в атоме:
Другими словами, чем более «оседлую», «спокойную»
жизнь ведут электроны в атоме, тем уже спектральные
линии. Вот почему при высоких давлениях и темпе-
ратурах, когда большинство электронов в атоме на-
ходится в движении, спектральные линии уширяются
и теряют резкость. Итак, каждая отдельно взятая
спектральная линия имеет конечную ширину, обус-
ловленную тепловым движением и столкновениями.
Это обстоятельство, играющее важную роль в физике,
имеет самое прямое отношение к проблеме спектраль-
ного оценивания, которой посвящен данный темати-
ческий выпуск. Раз реальные «линии» имеют опреде-
ленную ширину, значит, они должны вести себя не как
монохроматический сигнал с определенной частотой
и не как постоянный по амплитуде сигнал со слабой
частотной модуляцией, а как узкополосный шум.
Вернемся снова к вопросу о желтой линии натрия,
которую наблюдал Бунзен. D-линия натрия пред-
ставляет собой дублет. Кроме того, спектр натрия
содержит четыре линии в видимой области и еще две
в ближнем ультрафиолете, интенсивность которых
достаточно велика и позволяет использовать их в
аналитической химии. В общей сложности в интервале
от D-линий до 4390 А (эта граница еще лежит в види-
мой области) спектр натрия содержит 29 линий, пред-
ставляющих интерес для астрофизиков. Можно ска-
зать, что свыше ста лет назад Бунзен осуществил
спектральное оценивание. Правда, Бунзен не сумел
разрешить две частоты дублета. Но ведь и в наши дни
в таком положении порой оказывается исследователь,
занимающийся оцениванием спектров. Бунзен не
заметил в спектре натрия много других линий. Но
ведь и в наши дни исследователь спектра не заметил
бы многих его подробностей, не располагай он совре-
менными методами. По мере совершенствования тех-
ники спектроскопии не замеченные сначала линии
постепенно обнаруживались.
В этой связи возникает другой вопрос. Многие
спектральные линии, которые, казалось бы, должны
соответствовать одной частоте, на самом деле оказы-
ваются состоящими из ряда близко расположенных
линий. Примером этого как раз и служит D-линия в
спектре натрия, являющаяся дублетом. Тонкую струк-
туру спектральных линий (дублеты и т. д.) удалось
обнаружить только благодаря ^большим успехам тех-
ники спектроскопии. Вслед за этим был открыт спин
электрона как ответ на вопрос о причинах таких «тон-
ких свойств» спектра. Поясним вкратце, в чем здесь
дело. При излучении спектра, энергии состояния
двух электронов с противоположно ориентированны-
ми спинами могут несколько различаться. В резуль-
тате спектральная линия будет раздваиваться: вместо
одной линии в спектре появятся линии-двойники с
одинаковой яркостью. Они обычно возникают только
в том случае, когда внешняя электронная оболочка
содержит один электрон. По мере возрастания числа
электронов в оболочке на месте бывшей одиночной
спектральной линии иногда обнаруживаются трипле-
ты и даже более многочисленные семейства.
Рассмотрим теперь квантовомеханическую форму-
лировку задачи о гармоническом осцилляторе. Введя
безразмерное смещение х, можно написать независи-
мое от времени уравнение Шрёдингера
Нф = Хф,
где Н — дифференциальный оператор:
14
ТИИЭР, т. 70, № 9, сентябрь 1982
а к определяется как
2Е
\=----- .
-/fCDg
Здесь ф — волновая функция вероятности, постоян-
ная Е — энергия, /1=2лА — постоянная Планка и
постоянная w0— собственная частота. Задача оты-
скания волновой функции вероятности ф представ-
ляет собой проблему Штурма — Лиувилля. Ее ре-
шение дает собственные значения в виде последова-
тельности чисел 1, 3, 5, 7,. . ., откуда
= (2fc + 1), fc = 0,1,2, •••.
Таким образом, собственные значения энергии равны
Ек = Хц = fia>o(k + |), £ = 0,1,2,
Соответствующими собственными функциями будут
фк = Ск/1к(х)е~х!'2, к = 0, 1,2, •••
где Ck— нормирующий множитель, a hk (х) — поли-
ном Эрмита k-ro порядка. Дискретный набор собст-
венных энергий Ео, Ei, Ег, ... соответствует дис-
кретным линиям, наблюдаемым в спектре. Таким
образом, квантовая механика позволяет, используя
теорию Штурма—Лиувилля, объяснить существование
атомных спектров. Но при этом остается целый ряд
математических трудностей, истории преодоления ко-
торых посвящен следующий раздел.
VII. ТЕОРЕМА НЕЙМАНА О СПЕКТРАЛЬНОМ
ПРЕДСТАВЛЕНИИ
Сформулируем следующую задачу нахождения соб-
ственных значений в конечномерном пространстве.
Дана эрмитова матрица Н. Требуется найти все ре-
шения ф (в виде векторов-столбцов) характеристиче-
ского уравнения
Нф = Хф,
где — константа, которую также необходимо найти.
Иными словами, при заданной Н требуется найти ф
и X. Решения фг, . . ., фп называются собственными
решениями (считаем их нормированными), а соответ-
ствующие им вещественные числа Xi, . . ., Х„ назы-
ваются собственными значениями матрицы Н. Сово-
купность всех собственных значений Хь X», . . ., Х„
в порядке их возрастания называется спектром. Вы-
пишем теперь собственные уравнения
Нфк = Хкфк, к=1,---,п
в виде матричного уравнения
HU= UA.
Поскольку собственные решения должны быть орто-
нормированными, матрица U (столбцы которой суть
собственные решения) является унитарной:
иит = I,
где I — единичная матрица. (Индекс Т означает
комплексно-сопряженную транспонированную матри-
цу.) Матрица Л является диагональной, причем эле-
менты диагонали образуют спектр. Таким образом,
поставленную задачу о собственных значениях можно
назвать задачей отыскания унитарной матрицы U,
превращающей Н в вещественную диагональную мат-
рицу:
и~1ни=л.
(Заметим, что если при этом элементы матрицы Н ве-
щественны, то Н — симметричная, a U — ортого-
нальная матрица.)
Хотя унитарная матрица U, столбцы которой явля-
ются собственными решениями ф,-, определяется
матрицей Н неоднозначно, Джон фон Нейман [121,
воспользовавшись свойством унитарности U, в 1929 г.
переформулировал задачу о собственных значениях.
Предложенная им новая формулировка, получившая
название задачи спектрального представления, при-
водит к тем же результатам, что и задача о собствен-
ных значениях в конечномерном пространстве, но
имеет то преимущество, «fro может быть распростране-
на на гильбертово пространство.
Напомним, что диагональная матрица Л — это,
по определению, матрица, состоящая из собственных
значений, расположенных в порядке возрастания
вдоль главной диагонали, и из нулей вне диагонали.
Благодаря такому построению она однозначно опре-
деляется для любой заданной эрмитовой матрицы Н.
Поскольку некоторые собственные значения могут
повторяться, переобозначим их как Хь Х8, . . ., Хт
(nv^ri), где теперь все X; различны. Таким образом,
для любой заданной матрицы Н мы получаем единст-
венное разложение
Л = Xi Qi + Х2 02 + ’ ’ ’ + Хт Q„
Здесь Qi— диагональная матрица с единицами на
главной диагонали в тех позициях, где Х; присут-
ствуют вЛ-матрице, и с нулями в остальных позициях.
Сумма матриц Q( дает единичную матрицу:
7 = 01 +02 + ' + Qm-
Определим теперь матрицу Pj следующим образом:
Pj = UQjU'\ j=l,2,---,m.
Проекционной матрицей называется эрмитова идемпо-
тентная матрица. Поскольку является одновре-
менно эрмитовой (Qj=Q/) и идемпотентной (QiQ>=
=Qj), можно сделать вывод, что Qf является проек-
ционной матрицей. С другой стороны, поскольку
матрица Pj является эрмитовой (Pj=PJ) и идемпо-
тентной:
PjPj = UQ/U-1 UQjU-' = UQjQjU'1 = Pj,
можно утверждать, что Pj является проекционной
матрицей. Так как при /=/=/
PiPj = UQiU~l UQjU~l = О,
то P,+Pj представляет собой проекционную матрицу,
и пространство, определяемое матрицей Pt, ортого-
нально пространству, определяемому матрицей Pj.
Определим теперь функцию ^f(X) непрерывной пере-
менной X как
Jf(X) = Pj6(X- Х1)+Р26(Х- Х2)+-+Ртб(Х-Хт)-
Данная функция есть непрерывное представление
последовательности проекционных матриц Plt Pt, .. •
- • Рт.
ИСТОРИЯ РАЗВИТИЯ ТЕОРИИ СПЕКТРАЛЬНОГО ОЦЕНИВАНИЯ
15
Рассмотрим теперь квадратичную форму иНо,
где и — вектор-строка, a о — вектор-столбец:
uHv = uUAlC1 v = uU(Xi Qi + X2Qi + + Xm Qm) v =
= u(XiP1 + X2P2 + • • + XmPm)v =
= Xj uP\ U + X2 u-^2 V + • • • + Xm uPm u.
Основной смысл спектрального неймановского пред-
ставления сводится к тому, что компоненты uPjO
численно инвариантны при заданных и, Н и о. Это
дает возможность обойти неединственность унитарной
матрицы U, проявляющуюся при разложении по
собственным значениям. Очевидно, что данную квад-
ратичную форму можно записать в интегральной фор-
ме:
uHv - I ХиХ(Х) о dX.
Это уравнение, полученное Нейманом, есть спектраль-
ное представление эрмитовой матрицы Н.
Проанализируем полученное уравнение. Исключив
из него и и о, получим
X3C(X)dX,
или в матричных обозначениях
Н — Xi-Pj + Х2 Р2 + ' ‘ ' '^'ХтРт-
Вектор-строку и можно записать в виде
uJC(X)dX,
т. е.
и = иР1 + UP2 + • • • + иРт.
В итоге приходим к выражению
XJf(X) vdX,
откуда
Но = XiPi v + Х2 Р2 и + • • + ХтРт и-
Рассмотрим теперь функции матрицы Н. Начнем с
квадрата Н:
H2=(\Pi + • • + ХтРт)2 =Х?Л + •• - + Х2трт =
X2K(X)dX.
Очевидно, что возведение Н в квадрат приводит к
возведению в квадрат X под знаком интеграла. И вооб-
ще, какую бы функцию от Я мы ни образовали, в ито-
ге получится та же функция X под знаком интеграла:
/(Я) =
Приведенное выше спектральное представление
получено для конечномерного пространства, т. е.
пространства, в котором элементы и и о представляют
собой векторы, а эрмйтов оператор Н есть матрица.
Одним из главных достижений Неймана явилось
то, что он ввел понятие бесконечномерного простран-
ства, которое он назвал гильбертовым пространством
в честь великого математика Давида Гильберта
(1862—1943). Положим теперь, что и и» представляют
собой элементы в гильбертовом пространстве, а Н
представляет собой эрмитов оператор. Гильбертово
пространство характеризуется скалярным (внутрен-
ним, точечным) произведением. Скалярное произведе-
ние элементов и и о обозначается так: (и, о}. Если
применить оператор Н к элементу о, то получится
новый элемент Но. Скалярное произведение элементов
и и Но обозначается так: (ы, Но}. Скалярное произ-
ведение представляет собой аналог квадратичной
формы иНо в конечномерном пространстве. Как толь-
ко мы установили эту связь, так сразу стало ясно,
что спектральное представление Неймана в гильбер-
товом пространстве имеет точно такую же форму, как
и в конечномерном пространстве. Таким образом, в
гильбертовом пространстве также существует оператор
X (X), являющийся непрерывным представлением ан-
самбля проекционных операторов, связанных с эр-
митовым оператором Н. В то время как й конечномер-
ном пространстве мы пользуемся квадратичной формой
иХ(Х} о, в гильбертовом пространстве мы пользу-
емся ее аналогом в виде (u, X (X) о}. Таким образом,
спектральное представление Неймана в гильбертовом
пространстве имеет вид
(и,Но)=^ Х(и,Х(Х) о} dX.
Обратимся к истории. Задача о собственных
значениях в гильбертовом пространстве, вообще го-
воря, не имеет решения, если искать его в виде инте-
грала от квадратичной формы. Однако физиков это
обстоятельство никогда не смущало. Для этой цели
физики используют квадратично-волновые пакеты
(т. е. интегрируемые с квадратом суперпозиции соб-
ственных функций с собственными значениями в не-
которой малой окрестности), причем делают это с са-
мого первого их появления в работе де Бройля и
Шрёдингера (1924)^
Один из авторов работ, приведенных в списке ли-
тературы к данной статье, знал фон Неймана лично,
усердно изучал его работу и без каких-либо оговорок
считает его одним из поистине великих основателей
квантовой теории. И тем не менее даже он считает,
что никакого «кризиса в физике», который будто бы
удалось преодолеть с помощью теоремы Неймана о
спектральном представлении, никогда не существо-
вало. Большинство тогдашних специалистов, зани-
мавшихся практическими выкладками с целью срав-
нения их результатов с экспериментальными данными,
ни разу не слышали об этой теореме, ибо она была для
них столь высокой абстракцией, что не могла иметь
ничего общего с их работами.
Мы уже успели проследить за развитием спектраль-
ной теории, начиная от аналитических функций Бру-
ка Тейлора и недифференцируемых функций Жана
Батиста Жозефа де Фурье и кончая более общими
операторами в гильбертовом пространстве. Очеред-
ные достижения на каждом из этапов этого пути но-
16
ТИИЭР, т. 70, № 9, сентябрь 1982
сили математический характер и вместе с тем закла-
дывали основы дальнейших успехов физики. Ход
рассуждений в математике и ход рассуждений в фи-
зике нередко выглядят совершенно по-разному. На
фоне того или иного переворота в физике (как, ска-
жем, возникновение в 20-х годах квантовой механики)
и 'отока ошеломляющих новый физических резуль-
татов работа математиков по доказательству теорем
о существовании и единственности, право же, иногда
кажется несколько надуманной, уводящей в "сторону.
Вернемся ненадолго к временам сэра Исаака Нью-
тона. Часто приходится слышать, что несравнимое
величие гения и трудов Ньютона состоит в соединении
выдающихся экспериментальных "'способностей с
не менее выдающимся математическим дарованием.
Точно так же многие утверждают, что наиболее отли-
чительной чертой ньютоновской науки является то,
что Ньютон связал математику и эксперимент, т. е.
ввел в практику математическую обработку результа-
тов эксперимента или (как, например, в астрономии,
геофизике и вообще в любой области науки, где экспе-
римент невозможен) результатов наблюдений. При
всей.безусловной справедливости такой характеристи-
ки, она все же не до конца отражает существо дела.
Труды Ньютона — это не просто сумма математики
и эксперимента: это еще и глубокая интуиция и
проницательность, ярко проявившиеся в истолкова-
нии природы.
В современной науке сильно развита специализа-
ция. Скажем, физики пользуются математикой: они
формулируют свои задачи на языке математики, при-
думывают методы решения, делают длинные выкладки
и вычисления; они при этом, как правило, не ставят
своей целью разработку новых математических мето-
дов: — открытие и совершенствование новых абстракт-
ных понятий и принципов относятся исключительно
к сфере математики. Джон фон Нейман (1903—1957)
являл собой блестящий пример математика, занимав-
шегося физикой, который при этом мыслил и пользо-
вался формулами, как настоящий физик, только еще
быстрее. Он разбирался во всех областях физики, а
также в химии и астрономии, но главным его талан-
том было умение выдвигать только такие математиче-
ские идеи, которые имели непосредственное отноше-
ние к насущным проблемам физики.
Введение в квантовую механику теории абстракт-
ного гильбертова пространства, сделанное главным
образом Нейманом, позволило создать на основе мощ-
ных интуитивных идей Дирака и других физиков
стройную теорию. Ее физическую сущность нельзя
сформулировать на математическом языке конечно-
мерного пространства. Для этой цели приходится
прибегнуть к гильбертовому пространству. После
работ Гейзенберга и Шрёдингера, выполненных в
1925 и 1926 гг., в абстрактной математике возник кри-
зис, поскольку физические основы квантовой меха-
ники не удавалось адекватно сформулировать в рам-
ках существовавшего математического аппарата. Вре-
менный тупик был преодолен в 1929 г. Нейманом [12],
который заложил математический фундамент кванто-
вой механики на языке гильбертова пространства.
Рассказывают, будто юный Джон фон Нейман,
который едва перешагнул через второй десяток и
еще не имел докторской степени, как-то раз выступал
с научным докладом в Гёттингене. Понятно, что боль-
шинство присутствовавших на докладе знаменитых
физиков сочли его работу слишком абстрактной. Среди
слушателей находился великий математик Гильберт.
История гласит, что престарелый Гильберт наклонил-
ся к профессору Куранту и спросил его шепотом:
«Что это за гильбертово пространство?»
Существует и другая, еще менее достоверная ис-
тория. Как-то раз к Нейману пришли несколько фи-
зиков и рассказали о физической задаче, которую им
не удавалось решить. Немного подумав, Нейман дал
численный ответ, который подтверждал результат экс-
перимента, известный физикам, но скрытый ими от
Неймана. Пораженные физики воскликнули: «Док-
тор фон Нейман, ведь, чтобы найти общее решение,
надо было решить бесконечную систему нелинейных
дифференциальных уравнений в частных производных.
Вы наверняка придумали какой-то матеметически
короткий путь?» На что Нейман ответил: «Да нет, я
как раз и решил эту самую систему».
Нейманом было показано [13], что с математиче-
ской точки зрения в квантовой механике требуется
не само по себе решение задачи о собственных значе-
ниях, а именно спектральное представление. В этом
смысле спектральная теория есть ключ к познанию
атома. Нейман пошел еще дальше, доказав [13], что
спектральное представление столь глубоко пронизы-
вает все квантовомеханические концепции, что без
него попросту невозможно обойтись. Найденное Ней-
маном спектральное представление эрмитова опера-
тора Н явилось одним из величайших достижений в ма-
тематике и одновременно вехой в истории спектраль-
ной теории.
VIII. ТЕОРИЯ БРОУНОВСКОГО ДВИЖЕНИЯ, РАЗВИТАЯ
ЭЙНШТЕЙНОМ и ВИНЕРОМ
В 1827 г. известный ботаник Роберт Броун впервые
сообщил об очень интересном кинетическом явлении,
получившем впоследствии название броуновского дви-
жения. Броун обнаружил, что «чрезвычайно малень-
кие частицы твердой материи, будучи взвешены в
чистой воде, совершают движения, которые я не могу
объяснить и которые по своей нерегулярности и явной
независимости до удивительности напоминают не
столь быстрые движения некоторых простейших жи-
вых организмов в водной питательной среде». Данный
тип нерегулярного, зигзагообразного движения лучше
всего представлен пылинками в пучке света. Причина
броуновского движения долго оставалась непонят-
ной, пока с развитием кинетической теории вещества
не стало ясно, что частицы движутся в результате
неравномерной бомбардировки их со всех сторон
быстрыми молекулами жидкости, в которой эти ча-
стицы находятся в виде взвеси. Броуновское движение
ни на мгновение не прекращается. Подробная физи-
ческая теория броуновского движения "была разра-
ботана в 1904 г. М. фон Смолуховским [14] и в более
законченной форме — в 1905 г. Альбертом Эйнштей-
ном [15]. В 1923 г. Норберт Винер [16] развил мате-
матическую теорию броуновского движения, которая
в настоящее время составляет основу математической
модели белого шума для непрерывного времени.
Белым шумом называется стационарный случайный
процесс, спектральная плотность которого постоянна.
Понятие белого шумового процесса, развитое в теории
ИСТОРИЯ РАЗВИТИЯ ТЕОРИИ СПЕКТРАЛЬНОГО ОЦЕНИВАНИЯ
17
броуновского движения Эйнштейна и Винера, играет
важную роль во всех теоретических работах, посвя-
щенных спектральному анализу;
На практике любой сигнал имеет определенную
длительность и обычно может быть представлен в
виде дискретов, которые следуют достаточно часто,
обеспечивая адекватность интерполяции. В этом смы-
сле массив данных, представляющих сигнал, факти-
чески ограничен, а потому нет необходимости иметь
дело с непрерывным или бесконечным временем,
если только у нас нет на это особого желания или если
это не несет какую-то выгоду. Другими словами, до
тех пор пока мы имеем дело с конечными интервалами
времени, мы не нуждаемся в теории Эйнштейну —
Винера. Теперь, когда читатель знает об этом, при-
ступим к обсуждению самой теории.
Белый шум как непрерывный процесс во времени
нельзя представить с помощью математических функ-
ций обычного типа, встречающихся в математическом
анализе. Его можно представить только через так
называемые обобщенные функции. Наиболее извест-
ным примером обобщенной функции может служить
дельта-функция Дирака, которую часто определяют
следующим образом:
S«-<.>("
I™. < = <о,
У 6(г - t0)dt = 1.
Наиболее важным свойством дельта-функции явля-
ется ее способность к «просеиванию», т. е. способ-
ность выделять или воспроизводить то или иное зна-
чение обычной функции / (t) в соответствии с формулой
свертки
I Я?-f0)5(f)dr = /(r0).
•^-со
Если кому-то не нравится работать с обобщенными
функциями, можно перейти к интегралам Лебега —
Стилтьеса. Например, ступенчатая функция Хеви-
сайда Я(0—это обычная функция, равная нулю
при «О и единице при £>0. С учетом того что
dHit) = bit)dt,
приведенная выше формула свертки превращается в
интеграл Лебега — Стилтьеса
J fit- t0)dHit)=fit0),
который содержит уже только обычные функции.
Возьмем теперь белый шум, который мы обозначим
как е(Ц и будем рассматривать как обобщенную слу-
чайную функцию. Пусть снова f(t) — обычная функ-
ция. Рассмотрим интеграл свертки
f fit- f0)e(r)tfr
оо
Пусть функция & (0 представляет собой интеграл от
белого шума. Тогда
d£(f) = e(r)dr.
3 ТИИЭР № 9
Интеграл от белого шума ^(г) есть обычная случай"
ная функция, а приведенная выше свертка превра-
щается в интеграл Лебега — Стилтьеса
/(? t$) d&it).
Винер в своих работах опирался только на интегралы
Лебега — Стилтьеса с обычными функциями. Мы же,
исходя из чисто инженерных соображений, воспользу-
емся обычными интегралами, но содержащими обоб-
щенные функции.
Без потери общности в последующих выкладках
можно для удобства положить /о=0. Тогда рассма-
триваемый интеграл примет вид
J /-(Oe(t)dr.
Пусть Е, как это принято в статистике, означает опе-
ратор математического ожидания. Поскольку этот
оператор является линейным, его (при выполнении
определенных условий регулярности) можно внести
под знак интеграла. Математическое ожидание при-
веденного выше интеграла будет тогда равно
Е [ f(t)e(t)dt= f f(t)Ee(t)dt.
Поскольку математическое ожидание белого шума
должно равняться нулю, записываем £е(/)=0 и по-
лучаем, что последний интеграл равен нулю.
Рассмотрим теперь дисперсию, которая определя-
ется выражением
fit) e(t) dt
fit) e(t) dt
dr
= J fit) f(r)E[eir) eiT)] dt dr.
Мы подходим теперь к важнейшему моменту в нашем
рассмотрении. Нам надо, чтобы белый шум был не
коррелирован в два различных момента времени.
Вместе с тем, для того чтобы последний интеграл не
равнялся нулю, необходимо, чтобы дисперсия белого
шума имела импульсный характер. Таким образом,
главная идея сводится к тому, что коэффициент
автокорреляции Е[е(/)е(т)] приравнивается б(/—т),
в результате чего интеграл превращается в
У fit) fir) 8 it - т) dt dr = У f2it)dt.
Итак, можно ввести следующее определение. Обоб-
щенная случайная функция е(Ц представляет, собой
белый шум при условии, что Ee(f)=0 и Ee(f)e(x) =
—8(t—т). В течение долгого времени такой подход
к случайному процессу считался неправильным. Как
хорошо известно,дельта-функцию можно с какой угодно
точностью аппроксимировать обычными функциями.
Аналогичным образом и белый шум е(Ц можно с ка-
кой угодно точностью аппроксимировать обычными
случайными процессами. Поскольку с белым шумом
оперируют не иначе как в интегральной форме, рас-
Отрг '
18
ТИИЭР, т. 70, № 9, сентябрь 1982
смотрение самого белого шума можно обойти, если
прибегнуть к помощи того же интеграла Лебега —
Стилтьеса( ’ который помогает избавиться от рассмо-
трения дельта-функции Дирака. Однако, как уже
было сказано, мы в своем изложении не будем поль-
зоваться приближением Лебега — Стилтьеса.
Рассмотрим теперь белый шум е(п) для дискрет-
ных (целочисленных) значений времени п. Он уже не
будет обобщенным случайным процессом, поскольку
с(п) является последовательностью некоррелирован-
ных случайных величин, математическое ожидание
которой равно нулю, а дисперсия является констан-
той. Однако фурье-преобразование дискретного белого
шума есть обобщенный случайный процесс, который
мы обозначим как £(<о). По определению,
£(ш)= £ е{п}е~1шп, -7г<ю<я.
л=-°°
Легко показать, что математическое ожидание Е(и>)
равно нулю, а ковариация £(<)) равна
Л^*(«)^(Д)] е(п)еУшл X =
п к
п к
Поскольку Et(n)e(A)=enh (где 6nli—символ Кроне-
кера, равный 1 при п=й и нулю в остальных случаях),
имеем
£[£*(60) £(д)] = X е'л,(д-“) = 2тг5(д - ы).
Л
Таким образом, коэффициент автокорреляции равен
дельта-функции Дирака, и мы приходим к важному ре-
зультату: фурье-преобразование белого шума при
неограниченном возрастании дискретного времени п
представляет собой белый шум непрерывной пере-
менной <о. (Нетрудно показать, что соответствующий
результат получится и для белого шума как функции
непрерывного времени.) Другими словами, фурье-пре-
образование сильно нерегулярного («белого») процесса,
зависящего от времени, представляет собой сильно
нерегулярный («белый») процесс, зависящий от часто-
ты. Фурье-преобразование сохраняет информацию,
не сглаживая (не разрушая) ее. Сегодня этот вывод
известен каждому инженеру, но в 1923 г., когда Винер
получил этот результат, он казался поразительным.
Винер подобрал ключ к спектральной теории самого
случайного из процессов — белого шума, что откры-
ло путь к практическому применению полученного
им результата для анализа более регулярных про-
цессов, характерных для многих физических явлений.
Этот шаг Винер сделал в 1930 г., создав так называемый
обобщенный гармонический анализ. Однако, прежде
чем перейти к рассмотрению его развития, нам при-
дется на время отвлечься, обратившись к пионерской
работе Юла, выполненной в 1927 г. Тогда она пока-
залась довольно скромной. В то время как большин-
ство математиков и физиков занимались разработкой
общих методов, направленных на применение спек-
трального анализа к бесконечно большим и бесконеч-
но малым величинам, Юл создал простую модель с
конечным числом параметров (т. е. конечно-парамет-
рическую модель), рассчитанную на использование
спектрального анализа в тех случаях, когда эта мо-
дель приемлема. Эта модель Юла получила название
авторегрессионного (АР) процесса.
IX. авторегрессионный метод спектрального
ОЦЕНИВАНИЯ ЮЛА
На рубеже XX в. сэр Артур Шустер [17] предло-
жил численный метод спектрального анализа эмпи-
рических временных рядов. Пусть х(п) — общий член
временного ряда с дискретным (целочисленным) значе-
нием времени п. При числе наблюдений N, когда
время пробегает значения от п=1 до n=N, метод
Шустера заключается в вычислении периодограммы
Р(<о), имеющей следующий вид:
Р(ш)=- |х(1)е'/ы + х(2)е"/ы2 +• + x(N) \2.
N
Предположим, например, что временной ряд пред-
ставляет собой синусоиду с частотой <оо, искаженную
некоторой помехой; тогда периодограмма будет иметь
максимум при <о=<оо- Таким образом, рассчитав пе-
риодограмму, можно по ее максимумам определить по-
ложение частот основных синусоидальных процессов.
До появления в 1927 г. работы Юла .(1871—1951)
Ц8] метод периодограмм Шустера был единственным
•исленным методом эмпирического спектрального ана-
лиза. К сожалению, большинство временных рядов,
наблюдаемых в природе, дают очень неустойчивую пе-
риодограмму, в которой трудно выделить какие-либо
максимумы. Эго дало Юлу повод к созданию авторе-
грессионного метода спектрального анализа. В те годы
под эмпирическим спектральным анализом понимали
исследование периодичностей в возмущенных рядах.
Главной практической задачей, стоявшей перед Юлом,
было определение спектра временных рядов Вольфа,
описывавших поведение пятен на Солнце.
В 1927 г. в своей фундаментальной работе, посвя-
щенной исследованию периодичностей во временном
ряду, в частности связанном с числом солнечных пятен
(числом Вольфа), Г. Адни Юл выдвинул для анализа
стационарного случайного процесса идею, в основе
которой лежала конечно-параметрическая модель. Ес-
ли взять кривую, описывающую синусоидальную
функцию времени, и наложить на ординату неболь-
шую случайную ошибку (помеху), то это приведет
лишь к некоторой потере регулярности; кривая по-
прежнему сохранит заметную на глаз периодичность.
Если теперь увеличивать амплитуду помехи, кривая
будет становиться все более нерегулярной, а перио-
дичность все менее явной и в конце концов совсем
исчезнет; тем не менее даже при большом уровне по-
мехи метод периодограмм Шустера остается приме-
нимым и при достаточно большом числе наблюдений
дает возможность весьма точно определять период
и амплитуду основной синусоиды.
Юл рассуждал следующим образом. Пусть с по-
мощью периодограмм надо проанализировать вре-
менной ряд, порождаемый некоторым физическим яв-
лением, в котором могут существовать одна или не-
сколько периодичностей. Тогда, подумал Юл, есте-
ственней всего будет начать с гипотезы о том, что
подлинные периодичности замаскированы только адди-
тивным случайным шумом. Как известно, аддитив-
ный случайный шум никак не влияет на стационар-
ИСТОРИЯ РАЗВИТИЯ ТЕОРИИ СПЕКТРАЛЬНОГО ОЦЕНИВАНИЯ
19
ные характеристики исходной синусоидальной функ-
ции или функций. Конечно, периодограмма уже сама
по себе покажет, правильна ли гипотеза, но, считал
Юл, почему бы заранее не принять эту гипотезу как
наиболее вероятную?
Поэтому Юл решил в качестве модели воспользо-
ваться системой входа — выхода с обратной связью.
Зависимость амплитуды колебаний простого гармони-
ческого маятника с затуханием (в дискретной аппрок-
симации) может быть представлена однородным раз-
ностным уравнением
b(n) + atb(n- 1) + а26(л- 2) = 0.
Здесь Ь(п) —- значение амплитуды в дискретные (це-
лочисленные) моменты времени п. Погрешности на-
блюдений должны вызывать флюктуации Ь(п), но,
рассуждал Юл, усовершенствованием аппаратуры и
автоматических методов регистрации результатов по-
грешности измерений можно практически свести к
нулю. Под действием начального импульса или флюк-
туации маятник придет в движение, и тогда решение
разностного уравнения даст реакцию на импульсное
воздействие (т. е. дает импульсную характеристику).
Начальными условиями являются Ь(п)—0 при п<0
и й(0)=1. Характеристическое уравнение, соответ-
ствующее данному разностному уравнению, имеет вид
Е2 +aiE + a2 =0.
Из физических соображений следует, что импульсная
характеристика имеет вид затухающих колебаний,
поэтому корни Ei и Е1 характеристического уравне-
ния должны быть комплексными с амплитудой (мо-
дулем) меньше 1. Это условие эквивалентно условиям
а><1 и 4а,—а? >0. Решение разностного уравнения,
таким образом, имеет вид
й(л),еАВ +
sin w0 ’
где
Л = 0,5 1па2,
ы0 = arotg [-в?1 V4a2 - я? ].
Затухающее колебание Ь(п) описывает импульсную
характеристику, причем ш0 есть ее основная частота.
Как уже было сказано. Юл вначале исключил из
рассмотрения вносимые погрешности. Но теперь он
делает допущение о наличии управляющей функции
(входного воздействия) в виде белого шума, который
он описывает следующим образом. Предположим, что
мы ушли из комнаты, где стоит наш прибор, а в это
время в нее вбежали дети и стали бросать в маятник
то с одной, то с другой стороны горох. Юл утвержда-
ет, что движение маятника изменит свой характер,
но не под влиянием наложенных флюктуаций, а под
действием управляющего возмущения. В результате
и кривая колебаний будет резко отличаться от графи-
ка синусоиды с наложенным на нее шумом: она, как
это ни странно, останется весьма гладкой, но зато
амплитуда и фаза будут непрерывно меняться, под-
чиняясь неоднородному разностному уравнению
х(л)+я1Х(п - 1) + а2х(л- 2) = е(л),
где е (л) — входной сигнал в виде белого шума.
Решение этого уравнения имеет вид
*(л)= 22 Ь(к)е(п - к),
*0
где b(k) — приведенная выше импульсная характе-
ристика.
Таким образом. Юл создал модель с конечным чис-
лом параметров, в качестве которых выступили пара-
метры at и а, разностного уравнения. Исходя из эм-
пирически заданного временнбго ряда х(л), Юл вос-
пользовался для определения этих коэффициентов
методом регрессионного анализа. Поскольку при этом
используется регрессионная связь х (л) со своей собст-
венной предысторией, а не с другими переменными,
такой процесс можно назвать саморегрессией или
авторегрессией. В обычные уравнения, применяемые
в методе наименьших квадратов, входят эмпири-
ческие коэффициенты автокорреляции временных ря-
дов, поэтому в настоящее время эти уравнения назы-
вают уравнениями Юла — Уокера.
Юл применил свой авторегрессионный метод ана-
лиза к числу солнечных пятен (числам Вольфа), ко-
торое представляет собой последовательность еже-
годно наблюдаемых значений числа солнечных пятен.
Взяв значения этого числа за период с 1749 по 1924 г.,
Юл построил уравнение авторегрессии (с исключенным
средним)
х(л)- 1,34254 х(л- 1) + 0,65504 х(л - 2) = е(л),
откуда он получил
X = 0,5 In 0,65504 - -0,21154,
ы0 = 33,963°/гад.
Таким образом, главный период равен 36О°/шо—
—10,60 лет. Юл считал свой метод авторегрессии лишь
одним из способов оценки спектра, используемым вза-
мен периодограмм Шустера. Однако в действительно-
сти авторегрессионная модель Юла позволяет полу-
чить оценку не только энергетического, но и амплитуд-
но-фазового спектра
-e.yJ+flae.aM,
который для числа солнечных пятен имеет вид
В(ы) = ------------J—------------т-
1 - 1,34254 е~'ш + 0,65504 е~^ш '
Модуль | В (ш )| и фаза 0(ш) связаны уравнением
В(ы) = |В(со)|Л(ш\
Энергетическая спектральная плотность равна квад-
рату амплитудной спектральной плотности, т. е.
|В (ш)| *. Максимум спектра близок к основной частоте
<|>0=33,9637год. Если не считать разведочной геофи-
зики [19, 20], где амплитудно-фазовый спектр Юла
В(ш) физически представляет спектр сейсмоимпульса
с минимальной задержкой, до начала 60-х годов юлов-
ский метод спектрального оценивания почти не на-
ходил применения.
20
ТИИЭР, т. 70, № 9, сентябрь 1982
X. ОБОБЩЕННЫЙ ГАРМОНИЧЕСКИЙ АНАЛИЗ ВИНЕРА
В 1930 г. Норберт Винер [211 опубликовал класси-
ческую работу Обобщенный гармонический анализ,
которую он сам считал своей лучшей работой. Во вве-
дении к ней он писал, что толчком к ее созданию по-
служили результаты, полученные в оптике, особенно
работы Рэлея и Шустера. Однако, как показал Винер,
область применения обобщенного гармонического ана-
лиза выходит далеко за рамки оптики. Полученные им
результаты включали в себя точное определение корре-
ляционной функции и спектральной плотности и вы-
явление связи между ними. Теорема о том, что эти
две функции связаны преобразованием Фурье, извест-
на в настоящее время под названием теоремы Винера —
Хинчина [221.
Следует заметить, что такой фундаментальный факт,
как существование спектральной плотности, вытекает
из свойств положительно определенных функций.
Теорема Бохнера о спектральном представлении по-
ложительно определенных функций дает единую ма-
тематическую трактовку спектральных теорий в гиль-
бертовом пространстве и в стационарных времен-
ных рядах.
В 50-х годах автор настоящей статьи в беседах с
проф. Винером несколько раз затрагивал вопрос о
том, почему работа Винера 1930 г. в то время не наш-
ла признания у математиков и не применялась ими.
Как и в других случаях, Винер смотрел на историю,
как и на все другое, совершенно объективно, со свой-
ственной ему заботой о людях и любовью к ним. Огля-
дываясь назад, будет, наверное, правильным сказать,
что ученый мир сумел по-настоящему понять общий
замысел и следствия из работ Винера только после
выхода в свет в 1948 г. его Кибернетики [23], а также
открытого отчета Временные ряды (1949)124].
Мировоззрение Винера, его огромное личное обая-
ние хорошо иллюстрирует следующий отрывок из
книги Интеграл Фурье [25], вышедшей в 1933 г.:
С физической точки зрения это есть не что иное, как пол-
ная энергия той доли колебаний, которая заключена в задан-
ном интервале. Но, поскольку она определяет распределение
энергии в спектре, ее можно кратко назвать «спектром». Автор
не видит никакой необходимости избегать физической терми-
нологии в чистой математике, коль скоро то или иное матема-
тическое понятие тесно смыкается с понятием, уже известным
в физике. При поиске термина для описания идеи, еще незна-
комой чистым математикам, во всех отношениях будет лучше,
если мы откажемся от ненужного дублирования и восполь-
зуемся уже бытующим ее наименованием. Термин «спектр»
в этой книге призван выразить то самое понятие, которое
уже известно физикам и которое могло бы поэтому войти под
тем же названием.
Определим теперь понятие стационарного слу-
чайного процесса. При этом оперировать можно как
дискретным, так и непрерывным временем, но мы для
удобства воспользуемся дискретным (целочисленным)
временем п. Обозначим рассматриваемый процесс
через х (п) и будем считать, что его математическое ожи-
дание равно нулю. Такой процесс (второго порядка)
называется стационарным, если его ковариационная
функция
ф(,к)=Ех*(п)х(п + fc)
зависит только от временного (корреляционного)
сдвига k. Здесь, как обычно, звездочка означает ком-
плексно-сопряженное. Нормированную ковариацион-
ную (autocovariance) функцию называют корреляцион-
ной функцией. Однако Винер, как правило, называл
функцию «корреляционной» (autocorrelation) неза-
висимо от того, нормирована она или нет. Нам все
же кажется, что неудобно пользоваться термином
«корреляционный» в двух разных значениях. В соот-
ветствующих случаях лучше употреблять термин
«(авто)ковариационный».
Белый шум представляет собой стационарный про-
цесс. Для непрерывного времени корреляционной
функцией белого шума служит 6(t) (дельта-функция
Дирака), тогда как в случае дискретного времени
корреляционной функцией является (дельта Кро-
некера). Как мы уже видели, фурье-преобразование
£(<о) белого шума как функции времени является
белым шумом и в частотной области, т. е. корреля-
ционная функция в частотной области есть дельта-
функция Дирака
ЕЕ*(ы) Е(ы + ц) = 2я8(ц).
Проблемы, с которыми в первой половине нашего
века сталкивались экспериментаторы, работавшие
в области спектрального анализа, были связаны глав-
ным образом с периодограммами Шустера. Шустер
ввел это понятие в самом начале века, и до работы Юла
1927 года метод Шустера оставался единственной прак-
тической возможностью для проведения эмпириче-
ского спектрального анализа. Предположим, что
наблюдается стационарный случайный процесс, при-
чем время наблюдения очень велико, и в результате
получается временной ряд х(п), п=1, 2, . . ., N,
где N — очень большое число. Шустер рассчитывал
периодограмму
Р(ы)=^|Т(ш)|2,
где X (<о) — дискретное преобразование Фурье
Х(ы)=22 х(п)е~1шп.
И=1
(В наше время X (о>) можно вычислить очень быстро с
помощью быстрого преобразования Фурье, предло-
женного Кули и Тьюки, однако в то время вычисле-
ние Х(<о) было очень сложной задачей.) В том слу-
чае, когда стационарный процесс состоит из сину-
соидальных колебаний, на которые наложен белый
шум, периодограмма оказывается эффективным сред-
ством выявления дискретных частот синусоид. Од-
нако чисто недетерминированный стационарный про-
цесс представляется формулой свертки (связывающей
входной и выходной сигналы)
х(п)= X Ъ(к)е(п- к).
fc = 0
(Здесь b(k) играет роль импульсной характеристики
фильтра, белый шум е (п) — роль сигнала на входе
фильтра, а стационарный процесс х (п) — роль вы-
ходного сигнала фильтра.) А для такого процесса
периодограмма Шустера Р(ш) носит сильно нерегу-
лярный характер, и нередко ее бывает нелегко интер-
претировать. Вот почему эмпирический спектраль-
ный анализ зашел в тупик. Методы, бывшие извест-
ИСТОРИЯ РАЗВИТИЯ ТЕОРИИ СПЕКТРАЛЬНОГО ОЦЕНИВАНИЯ
21
ними в 1930 г., как правило, не позволяли анализи-
ровать временные ряды, наблюдаемые в природе.
И вот в 1930 г. Винер выступает с обобщенным
гармоническим анализом. Если говорить кратко, то
Винер'к 1930 г. научился находить фурье-образ слу-
чайного стационарного процесса, что стало крупной
вехой в истории практического применения методов
Фурье. В обобщенном гармоническом анализе Винера
рассматривается одна из разновидностей обобщенной
случайной функции — процесс Эйнштейна — Винера
(белый шум). Для того чтобы правильно оценить ме-
сто работы Винера, мы на время отвлечемся, чтобы
рассмотреть наиболее известную обобщенную функ-
цию — дельта-функцию Дирака.
Импульсная функция (дельта-функция Дирака)
была известна задолго до того момента, когда ею в
1928 г. воспользовался Дирак [26]. Она была извест-
на еще Хевисайду [27]. Однако понадобилось поло-
жение великого физика, каким обладал Поль Дирак,
чтобы узаконить ее применение в физике. В те вре-
мена о дельта-функции 6(1) обычно говорили как о
функции аргумента t в обычном смысле, т. е. как о
функции, для которой
j fi(f)/(f)df = /(O).
Эта идея вызывала большое неудовольствие и возра-
жения у математиков, некоторые из которых даже ут-
верждали, что Дирак неправ, несмотря на то что
он получал один за другим вполне разумные и полез-
ные результаты. Что касается физиков, то они, пола-
гаясь на свою интуицию, отвергали столь крайние
проявления критического отношения. Посмотрим, по-
чему же, несмотря на критическое отношение матема-
тиков, физики оказались правы. Физики действитель-
но рассматривали 6(0 как обычную функцию,-(како-
вой, строго говоря, она не является),и, как и обычную
функцию, интегрировали ее и даже дифференци-
ровали. Но действия физиков были оправданы тем,
что они применяли 6(0 только под знаком интеграла
в сочетании с достаточно дифференцируемыми фун-
кциями /(/). Так, производная от 6(0 встречалась не
иначе как под знаком интеграла, который вычислялся
методом интегрирования по частям:
f = - f 8 dt = -/'(0).
Физики применяли дельта-функцию только для на-
хождения вещественных численных значений обыч-
ных функций. В этом плане они использовали лишь
вычислительный аппарат, а не язык теории распре-
делений, которая была специально разработана для
обоснования существования дельта-функций. После-
довательную теорию обобщенных функций разработал
и изложил после второй мировой войны в своей из-
вестной монографии Теория распределений (1950 и
1951 гг.) французский математик Л. Шварц. Начиная
с этого времени в области теории обобщенных функ-
ций интенсивно и плодотворно работали многие ма-
тематики. Стремительное развитие теории распределе-
ний было обусловлено главным образом потребностями
математики и теоретической физики и прежде всего
такими их разделами, как теория дифференциальных
уравнений и квантовая физика. Обобщенные функции
обладают рядом замечательных свойств, расширяю-
щих возможности классического математического ана-
лиза. Например, любая обобщенная функция оказы-
вается бесконечное число раз дифференцируемой
(в обобщенном смысле), расходящийся ряд обобщен-
ных функций можно дифференцировать почленно бес-
конечное число раз, преобразование Фурье обобщен-
ной функции всегда существует и т. д. Благодаря это-
му применение аппарата обобщенных функций поз-
воляет существенно расширить диапазон разрешимых
задач и приводит к существенным упрощениям, в ре-
зультате которых обычно трудные операции выполня-
ются автоматически.
По мере продвижения науки вперед для формиро-
вания ее теоретических положений, как правило,
требуется математика все более высокого уровня.
В 1931 г., выступая с теоретическим предсказанием
существования античастиц (Proc. Roy. Soc. London,
Ser. A, vol. 133, pp. 60—72), Дирак писал: «Ско-
рей всего, такой процесс повышения уровня абстрак-
ции сохранится и впредь, причем прогресс физики
будет связан не с’логическим развитием какой-то
одной математической схемы с закостеневшим фунда-
ментом, а с непрерывным видоизменением и обобще-
нием аксиом, лежащих в самой основе математики».
Последующие достижения теоретической физики под-
твердили эту точку зрения. Мы уже видели, что со
времен Ньютона поиски и исследования математиче-
ских моделей физических явлений заставляли прибе-
гать к широкой гамме математических приемов, сти-
мулируя тем самым развитие различных областей
математики. Но вернемся к Норберту Винеру, к его
работам 1930 г.
Физики заняты раскрытием тайн, и импульсная (ди-
раковская) дельта-функция облегчает их задачу. Им-
пульсная функция представляет собой простейшую
обобщенную функцию. Можно представить себе неза-
видное положение Винера в среде математиков в
1923 г., когда он вводит обобщенные случайные функ-
ции в математическую литературу, и особенно в 1930 г.,
когда он применяет их в своей упоминавшейся выше
работе.
Сформулируем теперь основные положения вине-
ровского обобщенного гармонического анализа. Как
известно, свертка по времени соответствует умноже-
нию в частотной области. Таким образом, на языке
преобразования Фурье приводившийся выше интеграл
свертки входа и выхода может быть записан в виде
X(w)=fi(w)£(w).
В этом уравнении Е(ы)— это фурье-преобразование
белого шума, т. е. Е (<о) является обобщенной функ-
цией, которую можно рассматривать как «белую»
(иными словами, очень нерегулярную) по частоте.
Передаточная функция фильтра В (со) — это гладкая
регулярная (обычная) функция без каких-либо осо-
бенностей. Х(<о), представляющая собой произведе-
ние этих функций, также в высшей степени нерегу-
лярна.
Вычислим теперь обратное преобразование Фурье
для Х(<о):
1 гя
х(л) =--I eta,nX(a>)da>,
22
ТИИЭР, т. 70, № 9, сентябрь 1982
или
1 Г"
х(п) =--I е,шпВ(а>) Е(со) dai.
2тг
С помощью этой формулы осуществляется винеров-
ский обобщенный гармонический анализ функции
х(п); иными словами, эта формула осуществляет
спектральное представление, стационарного случай-
ного процесса х(п). В эту формулу входят гладкая
передаточная функция фильтра В(ы) и очень нерегу-
лярный («белый» по частоте) процесс £(ы). Мы видим,
таким образом, что спектральное представление тре-
бует применения винеровской обобщенной случайной
функции £(<•>), родившейся в работах Винера по
исследованию броуновского движения.
Предложенный Винером обобщенный гармониче-
ский анализ (т. е. спектральное представление) объя-
сняет, почему периодограмма Шустера не работает в
случае процессов типа свертки. Поскольку при до-
статочно большом числе измерений периодограмма
имеет вид
P(w)= -1№)12,
N
можно сделать вывод, что периодограмма характери-
зуется неизбежной нерегулярностью процесса Х(<о).
(Справиться с этой трудностью удалось только после
появления в 1949 г. работы Тьюки 1341, ознаменовав-
шей наступление целой новой эпохи.)
В своей работе 1930 г. Винер выдвинул следующий
метод, который оставался в роли стандартного до
появления в 1949 г. работы Тьюки и предназначался
для работы с очень длинными временными рядами.
Он заключается в том, что сначала вычисляется кова-
риационная функция как среднее по времени
ф(к) =— *(п)х(п + к)
N п
для —где р меньше максимального значения
аргумента V, а затем находится спектральная плот-
ность Ф(ш) как преобразование Фурье
Ф(со)= £ Ф(к)е~'шк.
к=-р
Эта связь ковариационной функции со спектральной
плотностью через преобразование Фурье, как уже
говорилось, в наше время известна под названием
теоремы Винера — Хинчина.
Если работа Неймана 1929 года в области кванто-
вой физики сразу получила широкую известность и
заслуженное признание физиков и математиков, то
работа Винера 1930 года долго оставалась в тени.
Однако сейчас, оценивая прошлое с позиций совре-
менной науки, имеет смысл попытаться примирить
между собой оба подхода к спектральному оцениванию.
Этим мы и займемся в следующем разделе.
XI. НЕПРОТИВОРЕЧИВОСТЬ ОБЕИХ СПЕКТРАЛЬНЫХ
ТЕОРИИ
Мы проследили весь длительный путь историческо-
го развития спектрального оценивания. С тех древ-
них времен, когда устанавливался календарь, до
работ великих математиков XVIII в., сформулировав-
ших волновое уравнение, прошло немало тысячеле-
тий. Затем последовали работы Бернулли, Эйлера и
Фурье, в результате которых к началу XIX в. сло-
жилась спектральная теория, опиравшаяся на иссле-
дование синусоидальных функций. Благодаря работам
Штурма и Лиувилля ее удалось распространить на
случай произвольных ортогональных функций, что
привело спектральный анализ к величайшему эм-
пирическому достижению всех времен — физиче-
ским результатам спектрального оценивания, поз-
волившим раскрыть загадку атома. Заслуга в полу-
чении этого результата принадлежит Гейзенбергу и
Шрёдингеру, опубликовавшим свои работы соответ-
ственно в 1925 и 1926 г. Вслед за тем, в 1929 г., работа
Неймана, с ее теоремой о спектральном представлении,
поставила спектральную теорию атома на прочный
математический фундамент. Эта работа венчает собой
данное направление исследований в квантовой физи-
ке. Вместе с тем еще в начале XX в. Рэлей и Шустер
попробовали применить старые методы Фурье, ос-
нованные на применении синусоидальных функций, к
анализу данных, в рамках классической физики. Од-
нако аппарат периодограмм Шустера не давал удов-
летворительных результатов в случае чисто недетер-
минированных случайных процессов, что привело Юла
в 1927 г. к созданию спектральной теории для под-
класса так называемых авторегрессионных процессов.
Примерно тогда же (точнее, в 1923 г.) Винер разработал
математическую теорию броуновского движения, а в
1930 г. предложил обобщенный гармонический ана-
лиз, иными словами спектральное представление ста-
ционарного случайного процесса. Таким образом, в
1930 г. сосуществовали две спектральные теории, одну
из которых представляла теорема о спектральном пред-
ставлении Неймана, а другую — теорема о спектраль-
ном представлении Винера. В этом разделе мы соби-
раемся— разумеется, с позиций сегодняшнего дня —
показать связь между спектральными теориями Ней-
мана и Винера.
Общей почвой обеих теорий служит гильбертово
пространство. Как мы уже видели, результат, полу-
ченный Нейманом,— это спектральное представление
эрмитова оператора Н в гильбертовом пространстве.
Уравнение Шрёдингера записано с помощью эрмитова
оператора; этим уравнением определяется спектр
атомов и молекул. Но забудем на время это и рассмо-
трим другое гильбертово пространство, которое опре-
деляется вероятностной мерой, служащей фундамен-
тальной характеристикой интересующего нас стацио-
нарного случайного процесса. Как известно, гильбер-
тово пространство определяется внутренним (или ска-
лярным) произведением. Элементами гильбертова про-
странства являются случайные переменные, скалярное
произведение определяется как математическое ожи-
дание:
<х, у)=Ех*у.
(звездочка означает комплексно-сопряженное). В этом
гильбертовом пространстве стационарный процесс оп-
ределен следующим образом. (Мы будем пользоваться
дискретным (целочисленным) временем п, но следует
иметь в виду, что такое же определение можно сформу-
лировать и в случае непрерывного времени.) После-
довательность случайных переменных х(п) в гильбер-
ИСТОРИЯ РАЗВИТИЯ ТЕОРИИ СПЕКТРАЛЬНОГО ОЦЕНИВАНИЯ
23
1982
эвав-
челе-
ра и
сло-
ссле-
ютам
ь на
что
эм-
зиче-
поз-
юлу-
гу и
твет-
абота
гнии,
чный
:обой
ризи-
устер
, ос-
ий, к
. Од-
удов-
(етер-
। Юла
под-
весов,
ботал
а в
ана-
е ста-
ом, в
одну
пред-
раль-
соби-
,НЯ —
Ней-
:ртово
полу-
лен не
ястве.
1итова
пектр
1CCMO-
опре-
гамен-
гацио-
пьбер-
и ска-
а про-
1ярное
: ожи-
3 этом
JCC оп-
ваться
ледует
[юрму-
Тосле-
льбер-
товом пространстве называется стационарным слу-
чайным процессом, если его корреляционная функция
Ф(к) = <х(л), х(п + к))
зависит только от временного сдвига k, но не от аб-
солютного значения времени п. Такое определение
предполагает, что элементы х(п) рассматриваемого
процесса получаются с помощью унитарного опера-
тора согласно рекуррентной формуле
Ux(n) = x(n +1),
откуда
х(п +Л) = икх(п).
Поскольку унитарный оператор описывает вращение в
исходном пространстве, то, как мы видим стационар-
ный случайный процесс описывает спираль (так на-
зываемую винеровскую спираль) в гильбертовом про-
странстве. Теперь мы подходим к искомой связи.
Она гласит, что в применении к эрмитову оператору
преобразование Кейли — Мёбиуса [28] представляет
собой унитарное преобразование, т. е. в гильбертовом
пространстве имеет место взаимно однозначное со-
ответствие между эрмитовыми и унитарными опера-
торами. В самом деле, спектральное представление
Неймана введено для эрмитова оператора. Если к
эрмитову оператору применить преобразование Кей-
ли — Мёбиуса, то получится соответствующее спек-
тральное представление для унитарного оператора U,
которое имеет вид
1
2я
где 11 (ш) представляет семейство проекционных опе-
раторов и является функцией угловой частоты со.
Таким образом, наш процесс имеет следующее пред-
ставление:
1
х(л) = Ц"х(0) = — | e/wn<U(w)x(0)dw.
Вводя обозначение
H(w)x(O) = x(w),
получаем
1 Г"
х(п) =— | е'ШПХ(ш)с1ы.
2я
А это — уже известная нам формула Винера, лежащая
в основе его обобщенного гармонического анализа про-
цессов. Таким образом, мы установили искомую
связь: оба спектральных представления связаны пре-
образованием Кейли — Мёбиуса.
XII. ТЕОРИЯ ПРЕДСКАЗАНИЯ ВИНЕРА - ЛЕВИНСОНА
Еще в 1940 г. Винер был привлечен к участию в ра-
ботах МТИ по оборонной тематике, в частности 'к раз-
работке установки для управления огнем зенитной
артиллерии. Задача состояла в том, чтобы ввести в
систему управления орудием механическое устройство,
которое бы позволяло осуществлять автоматическое
управление им. Задача эта на самом деле распадалась
на две части: математическую часть, которая заклю-
чалась в предсказании координат самолета на основа-
нии данных наблюдений о его предшествующих коор-
динатах, и техническую часть, которая заключалась
в реализации математического решения в виде физи-
ческого устройства. Понимая, что создать техниче-
ски совершенный универсальный предсказатель не-
возможно, Винер сформулировал поставленную ма-
тематическую задачу на статистической основе. Он
ввел понятие оптимального фильтра предсказания,
который, по определению, должен обеспечивать ми-
нимум среднеквадратичной ошибки предсказания. За-
дача минимизации приводит к интегральному уравне-
нию Винера — Хопфа, которым и завершается матема-
тическая часть задачи. Что касается технической за-
дачи, то Винер сразу же понял, что можно создать
устройство, которое будет реализовывать решение
уравнения Винера — Хопфа. Как утверждает Винер
в своей автобиографии [291 (с. 233), «Оказалось, что
решение, найденное нами на бумаге, нетрудно реали-
зовать в металле. Для этого нужно было только соб-
рать простенькую схему из индуктивностей, сопротив-
лений и конденсаторов и подключить к ней электро-
моторчик, который можно купить у любой приборо-
строительной фирмы». Математические результаты
Винера [24] были опубликованы в 1942 г. в секретном
отчете отдела D2 Национального комитета оборонных
исследований. Этот отчет и был той самой знамени-
той книгой Винера Временные ряды, которую мы
уже упоминали. Полное ее название гласит: Экстра-
поляция, интерполяция и сглаживание стационарных
временных рядов, включая технические приложения.
В 1949 г. она была переиздана в Кеймбридже изда-
тельством MIT Press уже без служебного грифа.
Если появление винеровского «обобщенного гар-
монического анализа» сначала прошло незамеченным,
то книга Временные ряды, написанная более понят-
ным языком, сразу оказала свое влияние на тех, кто
имел к ней доступ в 1942 г., а в 1949 г.— и на широкую
научную общественность. Как мы сейчас увидим,
большая заслуга в распространении идей Винера при-
надлежит его бывшему студенту, а впоследствии кол-
леге проф. Н. Левинсону.
Первый личный контакт Левинсона с Винером от-
носится к 1933/34 учебному году, когда Винер читал
курс по рядам и интегралам Фурье. Вот как говорил
об этом Левинсон:
Я познакомился с Винером в сентябре 1933 г. еще
студентом предпоследнего курса электротехнического фа-
культета, когда я записался на его курс для выпускников.
Фактически это был семинар. По сравнению с другими пре-
подавателями, ведшими такие же курсы, он больше других
умел разбудить у своих слушателей мысль, фактически на
доске в аудитории он проводил свои исследования. Как толь-
ко я показал, что начал что-то понимать во всех его выклад-
ках, Винер вручил мне для просмотра рукопись Пейли —
Винера. В одном из доказательств я обнаружил непоследо-
вательность и, чтобы устранить ее, доказал лемму. Увидев
это, Винер сел за пишущую машинку, напечатал мою лемму,
проставил на рукописи мое имя и отправил ее в редакцию
одного журнала. Не часто знаменитые профессора выступают
в роли секретарей молодых студентов.
Динамичный, блестящий математик и обаятельный,
сердечный человек, Н. Левинсон выполнил целый ряд
важных работ в области технических и приклад-
ных наук, не потерявших своего значения и в наши
дни. Теорема Левинсона в квантовой механике служит
24
ТИИЭР, т. 70, № 9, сентябрь 1982
наглядным подтверждением его умения улавливать
связь между физическими понятиями и математиче-
ским аппаратом. Такое дано немногим. Лучше всего
это качество проявилось у Левинсона в двух популяр-
ных статьях, написанных в 1942 г. вскоре после за-
крытого издания книги Винера Временные ряды.
Обе они были опубликованы в 1947 г. в Journal of
Mathematical Physics, и через них состоялось первое
знакомство широких кругов специалистов с резуль-
татами, полученными Винером в области временных
рядов. Позднее обе статьи были включены в виде при-
ложений С и В в уже упоминавшееся открытое изда-
ние книги Винера 1949 года [24].
Ценность вклада Левинсона в науку особенно от-
четливо проявляется на историческом фоне. У книги
Винера, изданной в 1942 г., была обложка из желтой
бумаги, и, так как в математическом отношении она
была очень сложна, то читатели-инженеры прозвали
ее «желтой угрозой» (этот термин знаком математи-
кам: так называли знаменитую серию учебников повы-
шенной трудности). Как бы ясен ни был для самого
Винера принцип построения реального прибора, мало
кто из тогдашних инженеров был в состоянии понять
смысл найденного Винером математического решения
и тем более реализовать его в виде физического при-
бора. Вот в этот-то момент в игру вступил Левинсон
со своим «Эвристическим изложением винеровской
математической теории предсказания и фильтрации»
[30] — одной из двух его классических статей при-
кладного характера, разъясняющих труды Винера.
Сам Левинсон называет свою работу популярным изло-
жением винеровской теории. Свою первоначальную
инженерную подготовку Левинсон получил в области
электротехники, благодаря чему он владел методами
расчета электротехнических устройств. В упомянутой
нами статье он довольно элементарно показывает,
почему уравнение Винера— Хопфа нельзя решить,
используя теорему о фурье-преобразовании, после
этого вполне естественным образом вводит спектраль-
ные коэффициенты и получает точное решение для опе-
ратора предсказания и для оператора фильтра вообще.
Шедевр популярного изложения, статья Левинсона
открыла инженерам доступ к этим методам.
Вторая, также ставшая классической статья Ле-
винсона прикладного плана была озаглавлена «При-
менение винеровского критерия среднеквадратиче-
ской ошибки при предсказании и при расчете фильт-
ров» [31]. Попытаемся оценить место и этой работы
в истории нашего вопроса. В 1942 г. Метеорологиче-
ское управление ВВС США заключило контракт с
МТИ на проведение работы по статистическому ана-
лизу метеорологических и климатологических данных,
в частности в связи с проблемой предсказания погоды,
и нс применению статистических методов при долго-
срочном прогнозировании погоды [32]. Руководите-
лем проекта был назначен профессор кафедры мате-
матики МТИ Уодсворт. Основная идея состояла в том,
чтобы, собрав и расклассифицировав большое коли-
чество метеорологических данных, научиться делать
прогнозы погоды методом аналогий. Примерно также
поступают и сегодня, готовя прогнозы для передачи
по телевидению: метеоролог анализирует данные на
нимкях Земли, сделанных со спутников. Метод Уодс-
ji/рта имел свои достоинства, но необходимые для
прогноза данные в 40-х годах получить было невоз-
можно. Книга Винера Временные ряды была законче-
на в то самое время, когда в МТИ начиналась работа
над «Метеорологическим проектом». Поскольку полу-
чаемые тогда метеоданные относились к дискретным
отрезкам времени, непосредственное применение к
ним методов Винера, разработанных для непрерывного
времени, оказалось невозможным. Поэтому Уодсворт
обратился к Левинсону с просьбой написать вариант
теории Винера применительно к дискретному времени.
В результате появилась статья Левинсона о винеров-
ском методе наименьшего среднеквадратического от-
клонения с левинсоновскими рекуррентными фор-
мулами. Однако теории предсказания Винера — Ле-
винсона так и не нашлось применения в Метеороло-
гическом проекте МТИ, осталась в тени и статья Ле
винсона.
Для того чтобы понять, почему методы Левинсона
не нашли применения в 40-х годах, необходимо взгля-
нуть на вычислительную технику того времени. На
практике реализация этих методов означала бы прив-
лечение персонала, оснащенного ручными калькуля-
торами (арифмометрами). Ручной калькулятор по-
зволял складывать, вычитать, умножать и делить,
но не имел никакой памяти, кроме примитивного на-
копителя. Таким образом, результат каждого отдель-
ного вычисления приходилось вручную заносить в
журнал, что было утомительно и отнимало много вре-
мени. Так что ручной калькулятор был плохой за-
меной устройствам, работающим в масштабе реально-
го времени, которые имел в виду Винер, когда писал
[24] (с. 102): «Существенно менее важной, хотя и пред-
ставляющей практический интерес является проблема
цифрового фильтра для статистической обработки,
который должен принципиально отличаться от обыч-
ного фильтра — физически активного элемента ап-
паратуры».
После того как Левинсон написал эти две статьи —
а закончил он их в 1942 г.,— и он, и Винер отошли
от исследования вычислительной (программной) сто-
роны винеровской теории. Винера больше интере-
совала машинная (аппаратная) реализация своей
теории, к тому же в это время он начал переключаться
на занятие биологическими и медицинскими пробле-
мами. В конечном счете именно сочетание этих двух
научных пристрастий привело Винера к открытию
и созданию основ новой науки — кибернетики, ко-
торую он сам назвал проблемой управления и обес-
печения связей в машинах и у животных. Следует
сказать, что еще в 1940 г. Левинсон решил прервать
работу по винеровским методам в области фурье-пре-
образований и заняться исследованиями нелинейных
дифференциальных уравнений, о чем он рассказал
тогда же своим друзьям. После двух-трех лет упор-
ной работы (тех самых лет, когда были написаны и обе
статьи с изложением теории Винера) Левинсон по-
нял, что в достаточной мере владеет этой новой для
себя областью. И это было действительно так, сви-
детельством чему — весьма почетная премия им. Бо-
кера за работы в области математики, присужденная
Левинсону в 1954 г. за вклад в теорию дифференциаль-
ных уравнений.
Несмотря на занятость другими исследованиями,
и Винер, и Левинсон всегда умели найти время и си-
лы, чтобы оказать помощь в работе по Метеорологи-
ческому проекту МТИ, руководимому Уодсвортом,
ИСТОРИЯ РАЗВИТИЯ ТЕОРИИ СПЕКТРАЛЬНОГО ОЦЕНИВАНИЯ 25
Винер особенно интересовался возможностью найти
физические примеры корреляционных функций. Это
побудило Уодсворта и его друга и коллегу X. Р. Сей-
уэлла (331, работавшего в Океанографическом ин-
ституте, Вудс-Хсл, шт. Массачусетс, заняться вы-
числением нескольких корреляционных функций на
базе данных, относящихся к океаническим волнам.
Интерес к этим вычислениям вылился в Симпозиум
по корреляционному анализу в применении к физи-
ческим проблемам, который был организован в июне
1949 г. в Вудс-Холе Управлением по научным иссле-
дованиям ВМС США. Центральное место на симпо-
зиуме занял доклад Тьюки [341. До этого спектраль-
ные плотности, вычислявшиеся по эмпирическим кор-
реляционным функциям, отличались такой нерегу-
лярностью, что их невозможно было использовать
для выработки тех или иных физических гипотез.
Тьюки не только корректно показал, как следует
вычислять спектральную плотность по эмпирическим
данным, но и заложил статистическую основу для
анализа коротких временных рядов, которые выгодно
отличались от очень длинных рядов у Винера и Ле-
винсона.
Уодсворт был одновременно руководителем секции
МТИ в Группе анализа военно-морских операций,
созданной во время второй мировой войны и поло-
жившей начало исследованию операций в США.
В начале 50-х годов Уодсворт стал применять методы
исследования операций в промышленности. К этому
времени он утвердился как один из самых высокооп-
лачиваемых консультантов в США. В МТИ в прием-
ную к его секретарю приходило так много представи-
телей промышленных предприятий, что даже на 5—
10-минутный прием к Уодсворту им приходилось за-
писываться заранее за несколько недель. Автор на-
стоящего обзора начал свою деятельность в сентябре
1950 г. с должности младшего научного сотрудника
у Уодсворта на кафедре математики МТИ. Проф.
Уодсворт поручил ему работу по сейсмологии. Фирма
Mobil Oil предоставила в наше распоряжение 8 сей-
смограмм, и автор сразу почувствовал себя весьма
тоскливо. Это ощущение особенно усиливалось по
ночам в лаборатории, когда приходилось вручную,
с помощью линейки и карандаша, оцифровывать эти
сейсмограммы. В те дни ни в МТИ, ни даже во всей
нефтяной промышленности никто, кроме Уодсворта,
не верил, что анализ дискретных сейсмограмм когда-
нибудь станет практической реальностью.
К счастью, Тьюки проявил интерес к работе над
сейсмограммами и прислал письмо с некоторыми идея-
ми относительно этих исследований. Первыми эмпи-
рическими результатами явились спектры Тьюки,
вычисленные к весне 1951 г. для различных фрагментов
сейсмограмм фирмы Mobil Oil. На основе этих резуль-
татов к лету 1951 г. был разработан метод сейсми-
ческого анализа, предусматривавшей вычисление оши-
бки предсказания и впервые позволивший использо-
вать винеровскую теорию предсказания в дискретной
форме (до появления этой работы методы Винера были
реализованы только в аналоговой форме). И вот, на-
неся на график вручную первые численные результаты,
полученные в той области, которая сегодня называ-
ется линейным кодированием с предсказанием (ЛКП),
автЬр настоящего обзора не поверил своим глазам:
получились исключительно удачные результаты. Ка-
залось что это просто случайность. Но обсчитаны
вторая, третья сейсмограмма... и снова хорошие
результаты. Метод цифровой обработки, получивший
название деконволюции, работает! Не теряя ни ми-
нуты автор записывается на прием к Уодсворту. При-
ем назначается через три недели. В сентябре 1951 г.
эта встреча состоялась, и в результате дискретизован-
ные сейсмограммы [35] были отправлены специалистам
нефтяной промышленности, после чего нефтяные ком-
пании ассигновали средства на продолжение проекта.
Так в МТИ возникла Группа геофизического анализа.
В период ее существования (1952—1957) для анализа
сейсмограмм использовалась имевшаяся в МТИ циф-
ровая вычислительная машина Whirlwind («Вихрь»),
Все это время Тьюки помогал исследователям щедрыми
советами 136, 371. Так, например, им были предложены
методы оценки когерентности (которые в настоящее вре-
мя называют по-разному; в частности, в нефтеразведке
их называют методами «подобия»), которые сейчас
лежат в основе методов определения скорости сейсмо-
волны, а также в основе других многоканальных ме-
тодов. Неизменное влияние на все работы оказывала
уверенность Тьюки в возможности создания метода
быстрого преобразования Фурье. Действительно,
С. М. Симпсон [381, позднее ставший во главе Группы
геофизического анализа, даже придумал эффектив-
ное 24-точечное преобразование Фурье, которое яви-
лось предшественником быстрого преобразования
Фурье (БПФ), предложенного Кули и Тьюки в 1965 г.
С появлением БПФ сразу же вышли из употребления
все эффективные симпсоновские программы вычисле-
ния корреляционных функций и спектров, которым он
отдал почти полжизни. Немало времени отдавал этому
проекту и Винер [391. Его работа по многоканальным
методам [40, 411 пригодилась позднее, когда рекуррент-
ную формулу, которую Левинсон доказал для одно-
мерных временных рядов, понадобилось распростра-
нить на многомерный случай [42]. Прекрасные сей-
смические данные и соответствующие каротажные
диаграммы, полученные Группой геофизического ана-
лиза от нефтяников, позволили разработать статисти-
ческую модель стратиграфических слоев земной коры,
основанную на минимуме задержки, а также теоре-
тически обосновать метод деконволюции сейсмограмм
[19, 431.
Революция в цифровой технике, наступившая в
конце 50-х годов в связи с внедрением транзисторов
в схемы цифровых ЭВМ, позволила создать надежные
вычислительные машины, стоимость которых была
значительно ниже, чем у их предшественников, что
позволило перевести сейсморазведку полностью на
цифровые методы. Произошло это в начале 60-х годов,
спустя десять долгих лет после получения первых
цифровых результатов. С тех пор почти каждая сей-
смограмма, полученная при разведке нефтяных и га-
зовых месторождений, подвергается цифровой декон-
волюции или обрабатывается с помощью других циф-
ровых методов. Цифровая обработка сейсмических
данных позволила открыть громадные залежи нефти,
которые не удавалось обнаружить аналоговыми ме-
тодами. Это большинство подводных месторождений
в Северном море, Мексиканском заливе, Персидском
заливе, а также месторождения на Аляске, в Азии,
Африке, Латинской Америке и на Ближнем Востоке,
открытые за последние два десятилетия. Сегодня иная
4 ТИИЭР № 9
26
ТИИЭР, т. 70, № 9, сентябрь 1982
нефтяная компания с помощью аналого-цифровых
преобразователей и цифровых ЭВМ обрабатывает
за день до 1 млн. сейсмограмм. А в 1951 г. за все лето
удалось обработать всего 32 сейсмограммы!
Начавшись прежде всего в геологоразведке, что
объяснялось огромной точностью и универсальностью
больших цифровых ЭВМ, цифровая революция сегод-
ня охватила все стороны жизни, достигнув грандиоз-
ных масштабов. Мы видим, как все больше и больше
людей начинает по достоинству оценивать и применять
на практике результаты работы Винера и Левинсона.
Цифровая обработка сигналов превратилась в посто-
янно растущую и развивающуюся отрасль науки и
техники, занимающуюся разработкой новой техники
и внедрением цифровых методов в ранее не освоенные
области. Вычислительная техника прошла путь от
цифровых полупроводниковых элементов до сверх-
больших интегральных схем (СБИС), плотность от-
дельных элементов в которых превышает 100 тыс.
единиц на один кремниевый кристалл. Появление
быстродействующих дешевых микропроцессоров и спе-
циализированных ИС с высокой плотностью элемен-
тов означает, что реализацию математических методов,
сложность которых постоянно растет, можно свести
к созданию соответствующих электронных устройств.
Это и имел в виду в свое время Винер (правда,
соответствующие устройства оказались цифровыми, а
не аналоговыми). Так, например, в настоящее время
стало возможным создание на базе нескольких спе-
циализированных БИС сверхбольшой интегральной
схемы, реализующей алгоритмы линейного предска-
зания. Если поначалу цифровые методы приходилось
применять, и притом ценой громадных затрат, только
потому, что решение соответствующих задач требо-
вало большой гибкости и точности, то сейчас мы уже
достигли такой стадии, когда.применение именно циф-
ровых, а не аналоговых методов обусловливается в
первую очередь ожидаемым долговременным эконо-
мическим эффектом.
XIII. ЭМПИРИЧЕСКИЙ СПЕКТРАЛЬНЫЙ АНАЛИЗ
ТЬЮКИ
Как уже говорилось, поворотным пунктом в эм-
пирическом анализе временных рядов явился Сим-
позиум по применениям корреляционного анализа,
состоявшийся в Вудс-Холе в 1949 г. На этом симпо-
зиуме Тьюки доложил первую из трех работ [34, 36, 37J
по спектральному анализу, написанных им в пред-
шествующие годы. Эти работы знакомили читателей
с классическим численным методом спектрального
оценивания, предложенным Тьюки и с тех пор ши-
роко используемым специалистами. Там же Тьюки
описал приближенное распределение, необходимое
для оценивания. Оно давало возможность правильно
планировать эксперимент по получению данных в
виде временных рядов. В одной очень интересной
статье [44] Тьюки рассказывает, почему он стал за-
ниматься спектральным оцениванием. В частности, он
вспоминает, как обсуждалось предложение Хэммин-
га относительно сглаживания дискретного фурье-
преобразования эмпирической корреляционной функ-
ции, послужившее толчком к сотрудничеству Хэм-
минга и Тьюки.
За последние 40 лет Тьюки [45—50] ввел в прак-
тику множество терминов и методов, ставших стан-
дартными в практике анализа временных рядов. Та-
кие общепринятые термины и понятия, как prewhite-
ning (предбеливание), aliasing (дублирование, нало-
жение, неоднозначность частот, элиасинг), smoothing
and decimation (сглаживание и децимация, прорежи-
вание), tapering (весовая обработка), bispectrum (би-
спектр), complex demodulation (комплексная демо-
дуляция), cepstrum (кепстр),— придуманы Тьюки.
Редко какая статья, посвященная прикладному ана-
лизу временных рядов, обходится без упоминания в
той или иной форме идей и методов Тьюки. Большин-
ство же работ прямо признает важную роль его идей.
Тьюки внес также большой вклад [51—55] в обосно-
вание роли анализа временных рядов применительно
к современным исследованиям в физических науках,
статистике, вычислительных методах, численном ана-
лизе.
Мы уже упоминали о громадном влиянии, которое
оказал Тьюки на Группу геофизического анализа
МТИ, в состав которой входили Уодсворт, Симпсон,
автор настоящего обзора и другие. Сотрудники Нью-
йоркского университета Пирсон и Тик [56] восполь-
зовались методами Тьюки для анализа временных ря-
дов в океанографических съемках. Под руководством
Тьюки была написана выдающаяся диссертация Гуд-
мена [57], в которой результаты Тьюки были распро-
странены на случай стохастических процессов с двумя
переменными. Группа из Ла-Хольи, шт. Калифорния,
в которую входили Манк, Рудник и Снодграсс, при-
менила спектральные методы Тьюки для оценки вол-
новых процессов, вызванных штормами, происходя-
щими за много тысяч миль от места наблюдения, что
лишний раз подтвердило большие возможности этих
методов. Мтнк и Макдоналд написали великолепную
книгу Вращение Земли [58], в которой нашли приме-
нения новые формы спектральных методов Тьюки.
В тот же период стали появляться пакеты программ
для обработки временных рядов на ЭВМ. Так, начи-
ная с 1960 г. вошел в обращение комплект программ,
созданных Хили [59] (Bell Laboratories). В Ла-Холье
был разработан пакет программ ВОММ [60]. Парзен
включил в свою книгу [61] несколько применявшихся
им программ. Программы, разработанные в МТИ,
описаны в [38, 62].
В книге Грэнджера [631, вышедшей в 1964 г. и по-
священной эконометрии, нашли отражение многие
методы, предложенные Тьюки для анализа временных
рядов одной и двух переменных. Наиболее успешным
примером применения спектральных методов к рядам
экономических показателей можно считать их исполь-
зование для описания разнообразных процедур учета
сезонных колебаний. В астрономии Нейман и Скотт
(1958) провели анализ двумерного массива данных,
представляющих собой координаты изображений га-
лактик на фотопластинках [64].
Норберт Винер работал до своих последних дней
(он умер в 1964 г.). Его последние труды включали
как эмпирические результаты (например, моделиро-
вание и анализ энцефалограмм [66, 67]), так и теоре-
тические результаты, как, например, совместная с
Масани работа по многомерной теории предсказания
[40, 41]. Смерть Винера обозначила конец целой эры
в анализе временных рядов и в спектральной теории.
ИСТОРИЯ РАЗВИТИЯ ТЕОРИИ СПЕКТРАЛЬНОГО ОЦЕНИВАНИЯ
27
XIV. БЫСТРОЕ ПРЕОБРАЗОВАНИЕ ФУРЬЕ,
ПРЕДЛОЖЕННОЕ КУЛИ И ТЬЮКИ
Современный этап в развитии анализа временных
рядов начался в 1965 г. с публикации работы Кули и
Тьюки по быстрому преобразованию Фурье [681.
Влияние, которое оказала эта работа на научно-тех-
ническую практику, невозможно переоценить. В статье
был описан алгоритм дискретного преобразования
Фурье по T=Tt ... Т„ значениям, в котором требу-
ется не Т2 произведений (что первым приходит в
голову), а только T(Ti+. . . + Тр) произведений.
Подобные алгоритмы были известны и раньше [69],
однако они, судя по всему, использовались не часто.
Одновременно Санде разработал независимо от Кули
и Тьюки своеобразный симметрично связанный алго-
ритм.
Появление нового алгоритма означало, например,
что теперь на порядок быстрее можно было получать
спектральные оценки и коррелограммы, результаты
фильтрации рядов, осуществлять комплексную де-
модуляцию, находить преобразования Лапласа (см.,
например, [70]). Общие вопросы, касающиеся при-
менения и значения алгоритмов БПФ, освещены в
[71, 72]. Фурье-преобразование отдельной группы
измеренных данных теперь можно считать одной из
основных статистических характеристик, а класси-
ческие разновидности статистического анализа — мно-
жественную регрессию, дисперсионный анализ, метод
главных компонент, анализ канонических корре-
ляций, анализ ошибок в переменных, дискримина-
ционный метод и т. д.— можно эффективно применять
к результатам БПФ (см. [731 и ссылки, приводимые
в этой работе). Появилась практическая возможность
вычислять спектры высших порядков [74]. В настоя-
щее время многие, даже небольшие лаборатории рас-
полагают недорогими портативными ЭВМ, дающими
возможность выполнять спектральный анализ.
Весь период, начинающийся 1965 г., проходит
под знаком существования БПФ. Все более разно-
образными становятся типы анализируемых данных.
Если раньше это были почти исключительно диск-
ретные или непрерывные функции реального вре-
мени, то теперь обычным делом стал совместный
анализ многих рядов. Например, на установке LASA
(Large Aperture Seismic Array — крупноапертурная
сейсморешетка) в Монтане [75] совместно обрабаты-
вается 625 рядов. Анализируются и пространствен-
ные ряды [751. В самостоятельное направление вырос
статистический анализ точечных процессов [76]. Круп-
ным шагом здесь стала программа SASE IV, разрабо-
танная П. Льюисом [77]. Следует также отметить,
что наряду с преобразованием Фурье вызывают ин-
терес и другие виды преобразований [78, 79].
XV. СПЕКТРАЛЬНЫЙ АНАЛИЗ НА ОСНОВЕ МЕТОДА
МАКСИМИЗАЦИИ ЭНТРОПИИ, ПРЕДЛОЖЕННОГО
БЕРГОМ
Дискретное преобразование Фурье ковариацион-
ной функции называется спектральной плотностью.
Таким образом, спектральная плотность стационар-
ного временного ряда с ковариационной функцией
ф(п) имеет вид
Ф(ш) = £ 0(п)е"^ып (~л <ы<тг). (1)
fl 8-00
В своем изложении мы не будем требовать, чтобы
ковариационная функция была нормирована, т. е.
ф(0) не обязательно равна единице. Если ковариа-
ционная функция известна полностью, т. е. если ф(п)
известно для всех п, то спектральную плотность
можно, очевидно, найти по формуле (1). Однако на
практике ковариационная функция нередко бывает
известна или ее можно надежно измерить только для
некоторого конечного числа значений п, скажем, для
п=1, 2, . . .,р. Поскольку ковариационная функция
является симметричной, т. е. ф(п)=ф(—п), мы знаем
значения ф(п) для п=0, ±1, ±2,.. . ,±р, но не
знаем ф(п) для |п|>р. Вопрос состоит в том, как
оценить спектральную плотность (1), опираясь на
эту неполную информацию.
Для того чтобы ответить на этот вопрос, необхо-
димо прежде всего более внимательно рассмотреть
характер интересующего нас явления, ибо разным
видам явлений соответствуют и разные методы спект-
рального анализа. Бриллинджер и Тьюки утверж-
дают, что основное значение имеет классификация,
согласно которой процессы делятся на: а) шум, Ь)
сигналы, с) сигнал + шум; случай (Ь) обычно мало-
вероятен, однако нередко в случае (с) уровень шума
бывает настолько мал, что такой процесс можно рас-
сматривать как случай (Ь).
Процесс типа шума порождает временной ряд,
совершенно отличный по своему характеру от времен-
ных рядов, порождаемых процессами типа сигнала.
Регулярность процесса типа шума находит свое от-
ражение не в форме отдельных реализаций, а в ста-
тистической структуре, составляющей основу случай-
ного процесса. Вследствие этого разные реализации
оказываются не похожими друг на друга. Фрагмент
одной реализации не похож на аналогичный фрагмент
другой реализации; у разных фрагментов разные
ковариационные функции. Так что можно допустить
большую ошибку, если, воспользовавшись оценкой
ковариационной функции, полученной из данной
реализации, считать ее «известной» ковариационной
функцией и строить дальнейшие оценки, считая,
что они должны в точности соответствовать ей. Брил-
линджер и Тьюки справедливо отмечают, что, распо-
лагая зачастую только одной реализацией, мы вынуж-
дены делать максимально надежные выводы о лежащей
в основе процесса статистике. Поэтому надо мыслить
статистически и при интерпретации численных ре-
зультатов не забывать о сугубо предварительном
характере всех структурных и стохастических ги-
потез, на которых зиждется та или иная модель
процесса. Многие методы Фурье предназначены для
спектрального оценивания тех процессов, которые в
общем ряду расположены в окрестности чистых шу-
мов, где эти методы особенно эффективны.
На другом краю этого ряда расположены процессы
типа сигнала. Некоторые наиболее характерные при-
меры таких процессов можно встретить в разведочной
сейсмологии. В этом случае источник направленной
энергии используется для получения сейсмограммы.
Поскольку уровень случайного фонового шума, как
4*
28
ТИИЭР, т. 70, № 9, сентябрь 1982
правило, бывает мал, любая сейсмограмма внешне
будет почти не отличаться от другой сейсмограммы,
полученной в том же пункте, но в другое время.
По мнению Бриллинджера и Тьюки, для исследо-
ваний процессов типа сигнал вполне возможно при-
менение принципиально других методов.
Имеется еще один вид спектрального анализа,
привлекающий многих исследователей, работающих
в области прикладных наук и располагающих огра-
ниченным объемом данных для анализа. Здесь уже
нет тех строгих ограничений на модель процесса,
которые требуют наличия содержательных данных
о его существе, временные ряды регистрируются
лишь на небольших интервалах времени, получаемые
данные не отличаются четкими особенностями, а соот-
ветствующие диаграммы внешне выглядят различно.
При таком почти полном отсутствии материала для
работы исследователям не остается ничего другого,
как действовать методом подбора нескольких кон-
стант. Известны, например, методы подбора с моде-
лями малого порядка (АР, СУ,АРСУ) в соответствии
с методикой Бокса — Дженкинса [931. Как отмечают
Бриллинджер и Тьюки, этот подход, судя по имею-
щимся данным, во многих практических случаях
работает гораздо лучше, чем можно было бы ожидать.
Наиболее сложный вопрос в спектральном оце-
нивании — правильный выбор модели и как следствие
выбор метода спектрального оценивания [102]. При-
менение метода спектрального оценивания, опираю-
щегося на неправильно выбранную модель, может
привести к серьезным ошибкам.
Вернемся теперь к центральному вопросу: как
оценить спектр, имея возможность вычислить лишь
конечное число значений ковариационной функции.
Вычисляя и затем применяя лишь ограниченное
число коэффициентов автокорреляции, исследователи,
как правило, отнюдь не считают остальные коэф-
фициенты равными нулю: с помощью имеющихся
данных обычно вычисляют определенные квадратич-
ные формы, исходя из того что средние значения (по
ансамблю) этих форм, как, впрочем, и любых других
квадратичных форм, вычисленных по результатам
наблюдения, представляют собой интеграл свертки
известного ядра и неизвестной спектральной плот-
ности. Соответственным образом интерпретируются
и полученные при этом данные. Так что не следует
подозревать таких исследователей в каких бы то
ни было допущениях об остающихся невычисленными
коэффициентах автокорреляции. При этом совер-
шенно правильно считается, что вычисляемые оценки
коэффициентов автокорреляции будут разными в
разных реализациях и что, следовательно, их нельзя
рассматривать как истинные значения оцениваемого
параметра.
Одна из целей нашего исторического обзора —
попытаться оттенить роль важнейших достижений в
истории спектрального оценивания. К сожалению,
автор не смог принять участия в 37-й сессии Общества
разведочной геофизики, состоявшейся в Оклахома-
Сити в 1967 г., хотя он был участником всех преды-
дущих и последующих сессий этого общества. «К со-
жалению» потому, что именно на этой сессии Джон
Берг выступил с докладом, который пошатнул ос-
новы спектрального оценивания. Эта фундаменталь-
ная работа [80] называлась «Спектральный анализ
по методу максимальной энтропии», а аннотация к
докладу звучала так:
Обычный дискретный метод получения оценки спектраль-
ной плотности по результатам измерений ковариационной
функции основан на предположении о том, что корреляцион-
ная функция равна нулю при любых сдвигах, для которых
оценки этой функции отсутствуют, и на использовании опре-
деленных преобразований имеющихся оценок с целью умень-
шения эффекта усечения ковариационной функции. В отли-
чие от этого при предлагаемом методе все заданные оценки
коэффициентов автокорреляции остаются без изменения, а
для коэффициентов, которые не могут быть оценены непосред-
ственно, используется ненулевая оценка. Предлагаемый прин-
цип оценивания состоит в том, что спектральная оценка дол-
жна соответствовать максимально случайному процессу, ины-
ми словами, должна иметь максимальную энтропию по срав-
нению с любой другой спектральной плотностью, согласую-
щейся с измеряемыми данными. По сравнению с обычными
методами новый метод анализа обеспечивает значительное
повышение разрешающей способности спектральной оценки,
причем время вычисления возрастает незначительно. Указан-
ные преимущества метода иллюстрируются на конкретных
примерах.
Оценка спектральной плотности стационарного
временного ряда на основе ограниченных данных о
ковариационной функции — это классическая задача,
привлекающая к себе пристальное внимание на про-
тяжении многих лет. Почти все работы, посвященные
ей, основаны на использовании весовых функций
(окон), свойства которых можно проанализировать ме-
тодами Фурье. В своей основополагающей работе
[80—82] Берг ввел в спектральный анализ новые
идеи, которые базируются на общих вариационных
принципах, и в частности на методе максимальной
энтропии (ММЭ), рассмотрением которого мы сейчас
и займемся.
Обычный подход к оцениванию спектральной
плотности функции ф(п), основан на предпо-
ложении о том, что 0(п)=О при п>р, и на преобра-
зовании Фурье выражения ш(п)ф(п), |п|^р, гдеш(п)—
весовая функция. Метод максимальной энтропии,
предложенный Бергом, состоит в следующем.
При заданном ограниченном множестве значений
ковариационной функции и с учетом того факта, что
спектральная плотность Ф(<о) не может быть отри-
цательной, как известно, имеется, вообще говоря,
неограниченное число вариантов спектральной плот-
ности, соответствующих исходной информации. Таким
образом, для решения задачи требуется дополнитель-
ная информация, и вполне разумно будет постараться
найти единственную функцию Ф(<о), представляющую
класс всех возможных спектральных плотностей.
В таком случае необходимо сделать определенный
выбор. Берг прибег с этой целью к понятию энтропии.
Спектральный анализ по методу максимальной энт-
ропии основан на выборе такого спектра, который
бы соответствовал наиболее случайному или наиболее
непредсказуемому временному ряду, для которого
в свою очередь в тех точках, где значения ковариа-
ционной функции заданы, они совпадают с заданным
набором значений. Эта та самая идея максимизации
энтропии, которая используется в статистической
физике и теории информации; она, как мы увидим,
связана с наложением наименьших ограничений на
известные значения ковариационной функции.
Уравнение (1) описывает спектральную плотность
Ф (<о) в виде дискретного преобразования Фурье
ковариационной функции ф(п). Из теории Фурье
ИСТОРИЯ РАЗВИТИЯ ТЕОРИИ СПЕКТРАЛЬНОГО ОЦЕНИВАНИЯ
29
известно, что ковариационную функцию можно по-
лучить как обратное преобразование Фурье от спект-
ральной плотности:
1
ф(.п) = — I Ф(ы) е^шп dw для всех целых п. (2)
Главным в спектральном анализе по методу мак-
симальной энтропии является предположение о том,
что рассматриваемый стационарный процесс пред-
ставляет собой наиболее случайный, или наименее
предсказуемый, временной ряд, согласующийся с
результатами измерений. В качестве последних в
данном случае выступают известные коэффициенты
автокорреляции
обратная спектральная плотность
[Ф(ы)Г* =—5~
Ф(ы)
(8)
также определена положительно. Пусть она пред-
ставляет собой интегрируемую ограниченную функ-
цию. Тогда ее саму можно рассматривать как обычную
спектральную плотность, не имеющую особенностей.
Таким образом, обратную спектральную плотность
(8) можно связать с ковариационной функцией,
которую мы обозначим через ф(п) и для которой
справедливы выражения (1) и (2):
[Ф(со)]-‘= f ф(п)е-^п (-я<«<тг), (9)
л»-°°
Ф(ы) е1шп du
П
(|п|<р). (3)
Ф(") = 7-Г [Ф(^)1'1е/шп<1ш
для всех целых п. (10)
На языке теории информации это означает требова-
ние максимальности удельной энтропии временного
ряда. Из работы Шеннона 1948 года следует, что энт-
ропия пропорциональна интегралу от логарифма
спектральной плотности
J* log Ф(ы) du. (4)
Следовательно, искомой спектральной плотностью,
характеризующей энтропию, будет такая функция
ф(ш), которая соответствует максимуму выражения (4)
при выполнении условия (3).
Один из способов решения проблемы решения
указанной задачи при фиксированных значениях ф(п)
и при |л|Ср основан на использовании множителей
Лагранжа. Но можно воспользоваться и следующим
подходом. Как следует из (1), частная производная
функции Ф(<а) по ф(п) равна
Ъф(п)
Отсюда следует
Э log Ф (со)
Эф(п)
-/ыл
—— =[Ф(ы)]-1е->“п.
Ф(ы)
(5)
Найдем теперь максимум (4) относительно неизвест-
ных значений ф(п) при |п|>р. С этой целью мы при-
равняем нулю частные производные (4) поф(п) при
Ы>р:
9 Г, ж/ Г Э1°8ф(<
—— 108Ф(ы)<?<0= ---——-
Поскольку мы не вводим нормировку, значение ф(0)
для нулевой задержки не обязательно должно рав-
няться единице.
Вернемся теперь к процессу с максимальной энт-
ропией. Как мы показали, его обратная спектральная
плотность удовлетворяет уравнению (7) при |п|>р.
Заменив в (7) п на —п и умножив обе части уравнения
на 1/2л, получим
7- f [Ф(ы)]_1еУшл dGj = 0, |п|>ЛГ. (11)
2я
Сравнивая (11) с (10), мы видим, что для процесса
с максимальной энтропией
ф(п) = 0, |п|>р. (12)
Подставляя полученное выражение в (9), находим
обратную спектральную плотность процесса с мак-
симальной энтропией:
(Ф(Ы)Г1 = £ ф(п)е-1шп. (13)
п=-р
Правая часть (13) представляет собой конечный три-
гонометрический ряд. Таким образом, мы показали,
что процесс с максимальной энтропией — это такой
процесс, обратная спектральная плотность которого
представляет собой конечный тригонометрический
ряд или, что то же самое, спектральная плотность
которого есть обратный конечный тригонометрический
ряд:
|п|>р. (6)
Подставляя в это выражение равенство (5), получаем
(Ф(ы)Г1 е~’шп du = 0,
№>р. (7)
Этим уравнением определяется вид обратной спект-
ральной плотности [Ф(<о)]“‘ для процесса с макси-
мальной энтропией. Объясняется это следующим.
При заданном стационарном процессе с положи-
тельно определенной спектральной плотностью Ф (со)
Ф(ы) = —-------------
X ФЫ е-/шп
п—Р
(14)
Если положить г=е1а, то конечный тригономет-
рический ряд (13) можно записать в виде
1 р
ад
30
ТИИЭР, т. 70, № 9, сентябрь 1981} ??
Это выражение допускает факторизацию по методу
Феиера ([431, р. 194) в виде
р 1
У Ф(п)г~п = ~ [1 +а12 1 +• • • +apZ-pjx
п=-р &
х[1 + оцг + + apzp], (15)
где о2 — положительная константа, а
A(z) = 1 + aiz-1 + • • + apz~p (16)
— передаточная функция минимально-фазового фильт-
ра (т. е. A (z) не имеет нулей на границе или вне круга
единичного радиуса). Таким образом, процесс с мак-
симальной энтропией определяется функцией
о2
A(z)A(z-1) '
Этот результат показывает, что процесс с максималь-
ной энтропией представляет собой авторегрессионный
(АР) процесс р-го порядка.
Используя методы решеток, Сильвиа и Робинсон
183]'установили связь между принципом максималь-
ной энтропии и обратной задачей в геофизике. Ита-
кура и Сайто [85] предложили две очень важные
идеи, которые находят все более широкое применение
в технических приложениях спектрального оценива-
ния. Первая из них заключается в применении к
спектральному оцениванию принципа максимального
правдоподобия. Сама по себе эта идея не нова. Однако
авторы ввели специальную спектральную метрику,
которая все более широко используется в различных
практических применениях, в частности в анализе
речи. Парзен [85] назвал эту метрику информационной
дивергенцией. Она аналогична информационному чис-
лу Кульбака — Лейблера. Он показал также ее связь
с понятием взаимной энтропии. Вторая идея заклю-
чается в использовании решетчатой структуры в ка-
честве фильтра — чистонулевого для целей анализа
и чистополюсного для целей синтеза. Идея адаптив-
ной решетчатой структуры была впервые предложена
Итакурой и Сайто в качестве средства адаптив-
ной оценки коэффициентов частичной корреляции
(PARCOR — термин, введенный указанными авто-
рами). Макхол [86] показал, что метод Берга фак-
тически представляет собой частный случай анализа
с помощью решетчатой структуры. Решетчатые струк-
туры стали играть важную роль еще и потому, что
они обеспечивают быструю сходимость и относительно
слабую чувствительность к ошибкам округления.
XVI. СТАТИСТИЧЕСКАЯ ТЕОРИЯ СПЕКТРАЛЬНОГО
ОЦЕНИВАНИЯ
За время, истекшее с момента появления в 1949 г.
основополагающей работы Тьюки [34], статистиче-
ская теория спектрального оценивания пополнилась
многими важными достижениями. Однако подробное
их изложение могло бы стать предметом отдельной
большой статьи. Поэтому наша единственная задача —
познакомить читателя со статистической теорией лишь
настолько, насколько это необходимо для понимания
и практического применения спектрального оцени-
вания.
Автор испытывает чувство подлинного восхищения
по отношению к работам Парзена, который начиная с
50-х годов и до настоящего времени непрерывно
пополняет теорию и методику идеями принципиаль
ной важности [61, 85, 87, 88]. Принадлежащая ему
большая серия статей по анализу временных ряди
включает знаменитую работу, посвященную приме
нению в спектральном анализе метода окна. Большую
роль сыграла также предложенная Парзеном форму-
лировка задачи анализа временных рядов на языке
гильбертовых пространств с воспроизводящим ядром}
Под руководством Парзена намного больше, чем по(
руководством кого-либо другого из специалистов,
написано диссертаций по вопросам анализа временны!
рядов. Вот уже на протяжении многих лет автор имей,
счастливую возможность обсуждать с проф. Пар-}
зеном вопросы, связанные с применением временны!
рядов в геофизических задачах, и не было случая)
чтобы Парзен не высказал при этом новых глубоки!
физических идей, касающихся применения статиств)
ческих методов. Прочитанный Парзеном в 1976 г.
в Гарварде курс лекций стал одним из лучших курса)
по анализу временных рядов и спектрального оценв*
вания, прочитанных в стенах знаменитых гарвардски!
аудиторий.
Книга Гренандера и Розенблатта [65], вышедша!
в 1957 г., поставила на формальную основу многи
вошедшие в практику приближения и операции и!
области анализа данных. Указанные авторы мной
сделали для решения вопроса о выборе спектральноп
окна и полосы пропускания. Роль, которую в решения
этой проблемы сыграли работы Парзена и Дженкинса,
освещена в статье Тьюки [51] (1961). Точное содер-
жательное изложение достижений теории спектраль-
ного оценивания в 50-х годах можно найти в рабой
Тьюки [44].
В области статистической теории спектральноп
оценивания заслуживает внимания также проблем!
выравнивания при оценивании когерентности, ио
следовавшаяся в 60-х годах Акаикэ и Яманути, При-
стли и Парзеном. Обсуждение этих работ и ссылк!
на первоисточники можно найти в монографии При-
стли [89] — исключительно удачной книге, котора!
вышла в 1981 г. и уже успела задать новый тон всей
исследованиям. Ее можно рекомендовать как авто
ритетное изложение статистической теории спектраль
ного оценивания, которого мы лишь бегло касаемо
гл
Р«
си
Р(
Щ
ni
П[
кг
вГ
и
с
це
ст
ди
ме
ки
ме
ст
Б.
и
И
У»
СК
из
ра
ва
ав
ли
СП
на
ДУ
во
Ш1
М<
по
ра
бо
на
те!
СП
ну
ве
ее
пр
XI
в этом разделе.
В диссертации, выполненной в 1938 г. в Сток-
гольмском университете под руководством проф. Ха-
ральда Крамера [90], X. Вольд ввел термины «про-
цесс скользящего среднего» и «авторегрессионны!ме
процесс». В диссертации Вольд рассчитал модель®*
ежегодного изменения уровня озера Ванер в Швеции, 011
рассматривая его как процесс скользящего усред- Ра
нения текущего уровня осадков за предыдущий год.
Он рассчитал также авторегрессионную модель деС01
ловой активности в Швеции за период с 1843 по 1913 г. ни
В 1951 г., уже под руководством проф. Вольда, вчи
Университете г. Уппсала была написана диссертация
Уиттла [91], в которой он заложил основы и сущест- сп
венно развил теорию проверки гипотез применительно
к анализу временных рядов. Образцом скрупулезно-"°
сти, характерной для работы Уиттла, служит приво-
димый им пример применения авторегрессионного*
ИСТОРИЯ РАЗВИТИЯ ТЕОРИИ СПЕКТРАЛЬНОГО ОЦЕНИВАНИЯ
31
«2
ИЯ
но
lb-
му
IOB
ле-
ую
«У-
же
дм.
юд
DB,
ЫХ
зет
ар-
ых
ая,
сих
th-
г.
сов
ни-
<их
пая
гие
из
ого
ого
гии
[са,
iep-
ль-
юте
ОГО
ема
ис-1
[ри-
лки
[ри-
рая
.сем
вто-
гль-
мся
анализа к графику сейшей [92]. В этом примере Уиттл
решает задачу идентификации параметров авторегрес-
сионной модели низкого порядка по данным изме-
рений и проводит статистические испытания для
проверки адекватности модели. Проф. Уиттл часто
приезжал в Швецию. Автору вспоминаются долгие
прогулки с ним по окрестностям Уппсалы в поисках
камней с рунами и древних курганов викингов. В свое
время автор ушел из Висконсинского университета
и переехал в Швецию с целью совместной работы
с проф. Вольдом. Но случилось так, что подлинным
• центром работ в области анализа временных рядов
стала группа в Висконсинском университете, руково-
: димая проф. Дж. Боксом. Именно благодаря сов-
i местной работе проф. Бокса и проф. Дж. М. Джен-
! кинса [93] авторегрессионный метод (метод АР) и
I метод скользящего усреднения (метод СУ) по-на-
I стоящему стали достоянием научной общественности.
I Блестящий характер этой работы сделал имена Бокса
I и Дженкинса синонимом анализа временных рядов.
I И это как нельзя более справедливо, ибо никто не
I умеет лучше Бокса извлекать с помощью статистиче-
| ских методов содержательные выводы из результатов
I измерений.
I В 60-х годах Парзен [87] и Акаикэ.[94], подробно
I рассмотрев авторегрессионное спектральное оцени-
I ванне, разработали критерии определения порядка
авторегрессионной модели [88, 95], которые позво-
I лили начать широкое применение авторегрессионного
I спектрального оценивания в различных областях
I научных исследований. Акаикэ установил связь меж-
I ду статистикой и теорией управления, что дало ему
К возможность получить важные результаты, подняв-
I шие его работу на высочайший научный уровень.
I Молодые научные работники могут почерпнуть много
I полезного для себя, если внимательно изучат его
I работы.
Конечно, хотелось бы иметь и больше места, и
I больше информации, чтобы подробнее поговорить
В на затронутую в этом разделе тему. Во всяком случае,
I тем многочисленным специалистам в области стати-
I стнки, о работах которых здесь не удалось упомя-
I нуть, следует иметь в виду, что мы надеемся еще
вернуться к истории данного вопроса и осветить
I ее более полно. Поэтому автор с благодарностью
I примет любые отзывы и предложения.
[98, 99] и статью Ульриха и Бишопа [1001. Несмотря
на уже достигнутые успехи в данной области, работы
еще остается непочатый край, а исследователя, ко-
торый решит заняться этой увлекательной. и благо-
дарной темой, ожидает немало волнующих впечат-
лений.
ОТ АВТОРА
Я хочу выразить искреннюю признательность
проф. Д. Р. Бриллинджеру, разрешившему мне без
каких-либо ограничений использовать свою статью
«Об истории анализа временных рядов в США» из
сборника History of Statistics in the United States
(История статистики в США), вышедшего под редак-
цией Д. Оуэна в издательстве Marcel Dekker в 1976 г.
Хочу также поблагодарить д-ра Дж. Макхола,
приславшего мне свои заметки по вопросам, касаю-
щимся принципа максимального правдоподобия и
решеточных структур. Особенно благодарен я авто-
рам работ, перечисленных в библиографическом спи-
ске, чьи конструктивные замечания позволили за-
метно улучшить настоящий обзор. В статье на исто-
рическую тему надо было бы сослаться на не сотню,
а, наверное, на целую тысячу публикаций. Сейчас
же, к сожалению, за рамками обзора пришлось ос-
тавить важные работы в области статистического
спектрального анализа. Естественно, в свой обзор
мы не включили работы инженерно-технического
характера, поскольку этой тематике посвящены об-
зорные статьи выпуска. Но так как в данном вопросе
трудно провести четкую границу, за рамками статьи
в этом смысле осталась весьма важная часть работы.
Однако все такие опущения, если они есть, сделаны
ненамеренно, и автор с радостью исправит их в своих
будущих публикациях. Наконец, больше всего мне
хочется поблагодарить проф. Тьюки за моральную
поддержку и помощь в области спектрального оце-
нивания, которую он мне оказал в МТИ 30 лет назад.
Эту
благодарность я сохраню навсегда.
ГОК-
Ка-
дро-
вый
1ель
ли и,
ред-
год.|
де-В
Зг.|
ЦИЯВ
ест-и
ЪНОЖ
зно-К
гво-В
ЮГОВ
XVII. ТЕХНИЧЕСКИЕ ПРИЛОЖЕНИЯ СПЕКТРАЛЬНОГО
ОЦЕНИВАНИЯ
В этом разделе мы хотим лишь кратко Проком-
S' ментировать остальные статьи настоящего тематиче-
I екого выпуска. Во всех них вопросы применения
I спектрального оценивания в технике освещены го-
। раздо полнее, чем это удалось сделать в нашем об-
I зоре. Эти статьи — живая история, отражающая
современное состояние в области спектрального оце-
нивания; в них, как и в приводимых в них ссылках,
читатель сможет познакомиться с работами специали-
стов, усилиями которых спектральный анализ и
спектральное оценивание стали неотъемлемой частью
современной науки. В качестве ссылок, общих для
всего выпуска, хотелось бы назвать книгу (961, вы-
пущенную ИИЭР в 1978 г. под редакцией Чайлдерса,
книгу Хайкина [97], сборники трудов конференций
ЛИТЕРАТУРА
I. Newton, Optics. London, England, 1704.
В. Taylor, Methodus Incrementorum Directa et Inverse. Lon-
don, England, 1715.
D. Bernoulli, Hydrodynamics. Basel, Switzerland, 1738.
L. Euler, Institutions Calculi Differentialis. St. Petersburg,
Russia, 1755.
J. L. Lagrange, Theorie des Fonctions Analytiques. Paris,
France, 1759.
J. Fourier, Theorie Analytique de la Chaleur. Paris, France:
Didot, 1822.
C. Sturm, “Memoire sur les equations differentielles lineaires du
second ordre,” Journal de Mathematiques Pures et Appliquees,
Paris, France, Series 1, vol. 1, pp. 106-186, 1836.
J. Liouville, “Premier memoire sur la theorie des equations dif-
ferentielles linearies et sur le developpement des fonctions en
series,” Journal de Mathematiques Pures et Appliquees, Paris,
France, Series 1, vol. 3, pp. 561-614, 1838.
G. Green, Essay on the Application of Mathematical Analysis to
the Theories of Electricity and Magnetism. Nottingham, En-
land, 1828.
E. Schrodinger, Collected Papers on Wave Mechanics. London,
England: Blackie, 1928.
[11] Гейзенберг В. Физические принципы квантовой теории. Л.;
[12]
[2J
[3]
[4]
[5]
[61
[7]
[8]
[9]
[10]
[141
[151
М.: ГТТИ, 1932.
J. von Neumann, “Eigenwerttheorie Hermitescher Funcktional-
operatoren,” Math, Ann., vol. 102, p. 49, 1929.
---, Mathematische Grundlagen der Quantenmechanik. Berlin,
Germany: Springer, 1932.
M. von Smoluchowski, The Kinetic Theory of Matter and
Electricity. Leipzig and Berlin, Germany, 1914.
A. Einstein, “On the theory of the Brownian movement,”
32
ТИИЭР, т. 70, № 9, сентябрь 1982
Annalen der Physik, vol. 19, pp. 371-381, 1906.
[ 16.] N. Wiener, ‘‘Differential space,” J. Math. Phys., vol. 2, p. 131.
[17] A. Schuster,” On the investigation of hidden periodicities with
application to a supposed 26-day period of meterological phe-
nomena,” Terr. Magnet., vol. 3, pp. 13-41, 1898.
[18] G. U. Yule, “On a method of investigating periodicities in dis-
turbed series, with special reference tp Wolfer’s sunspot num-
bers,” Phil Trans. Roy. Soc. London, A, vol. 226, pp. 267-298.
[19] E. A. Robinson, Predictive Decomposition of Time Series with
Applications to Seismic Exploration. MIT Geophysical Analysis
Group, 1954; Reprinted in Geophysics, vol. 32, pp. 418-484,
1967.
[20] , An Introduction to Infinitely Many Variates. London,
England: Griffin, 1959, p. 109.
[21] N. Wiener, “Generalized harmonic analysis,” Acta Math., vol.
55, pp. 117-258, 1930.
[22] A. Y. Khintchine, “Korrelations theorie der Stationaren Sto-
chastischen Prozesse,” Math. Ann., vol. 109, p. 604.
[23] N. Wiener, Cybernetics. Cambridge, MA: MIT Press, 1948.
[24] , Extrapolation, Interpolation, and Smoothing of Station-
ary Time Series with Engineering Applications, MIT NDRC
Report, 1942, Reprinted, MIT Press, 1949.
[25] Винер H. Интеграл Фурье и некоторые его приложения. М.:
Физматгиз, 1963.
]26] Дирак П. М. Основы квантовой механики. М.; Л.: ГТТИ,
1932.
[27] О. Heaviside, Electrical Papers, vol. I and II. New York: Mac-
millan, 1892.
(28) J. von Neumann, “Uber Funktionen von Funktional opera-
toren,” Ann. Math., vol. 32, p. 191.
129] Винер H. Я — математик. M.: Наука, 1967.
[30] N. Levinson, “A heuristic exposition of Wienir’s mathematical
theory of prediction and filtering,” Journal of Math, and
Physics, voL 26, pp. 110-119, 1947.
[31] N. Levinson, The Wiener RMS (root mean square) error crite-
rion in filter design and prediction, J. Math. Phys., vol. 25, pp.
261-278, 1947.
[32] G. P. Wadsworth, Short-Range and Extended Forecasting by
Statistical Methods, Air Weather Service, Washington, 1X3, 1948.
[33] H. R. Seiwell, “The principles of time series analyses applied to
ocean wave data,” in Proc. Nat. Acad. Sci., U.S.., vol. 35, pp.
518-528, 1949.
[34] J. W. Tukey, “The sampling theory of power spectrum esti-
mates,” in Proc. Symp. Appl Autocorr. Anal. Phys, Prob. U.S.
Off. Naval Res. (NAVEXOS-P-725), 1949. Reprinted in J.
Cycle Res., vol. 6, pp. 31-52, 1957.
[35] G. P. Wadsworth, E. A; Robinson, J. G. Bryan, and P. M. Hur-
ley, “Detection of reflections on seismic records by linear
operators,” Geophys, vol. 18, pp. 539-586, 1953.
[36] 3. W. Tukey and R. W. Hamming, “Measuring noise color 1,”
Bell Lab. Memo, 1949.'
[37] J. W. Tukey, Measuring Noise Color, Unpublished manuscript
prepared for distribution at the Institute of Radio Engineers
Meeting, Nov. 1951.
[38] S. M. Simpson, Time Series Computations in FORTRAN and
FAP. Reading, MA: Addison-Wesley, 1966.
[39] N. Wiener, Bull Amer. Math. Soc., vol. 72, pp. 1-145.
[40] N. Wiener and P. Masani, “The prediction theory of multivariate
stochastic processes,” Acta Math., vol. 98, pp. 111-150, 1957.
[41] , “On bivariate stationary processes,” Theory Prob. Appl.,
voL 4, pp. 300-308.
[42] R. A Wiggins and E. A Robinson, “Recursive solution to the
multichannel filtering problem,” J. of Geophys Res., vol. 70.
pp. 1885-1891, 1965.
[43] E. A Robinson, Statistical Communication and Detection with
Special Reference to Digital Data Processing of Radar and
Seismic Signals. London, England: Griffin, 1967. Переиздано
под заглавием, Physical Applications of Stationary Time Series.
New York: Macmillan, 1980.
[44] J. W. Tukey, “An introduction to the calculations of numerical
spectrum analysis,” in Spectral Analysis of Time Series, B.
Harris, Ed. New York: Wiley, 1967, pp. 25-46.
[45] H. Press and J. W. Tukey, “Power spectral methods of analysis
and their application to problems in airplane dynamics,” Bell
Syst Monogr., voL 2606, 1956.
[46] R. B. Blackman and J. W. Tukey, “The measurement of power
spectra from the point of view of communications engineering,”
Bell Syst Tech. J., vol. 33, pp. 185-282, 485-569, 1958; also
New York: Dover, 1959.
[47] J. W. Tukey, “The estimation of power .pectra and related
quantities,” On Numerical Approximation, R. E. Langer, Ed.
Madison, WI: University of Wisconsin Press, 1959, pp. 389-411.
[48] , “An introduction to the measurement of spectra,” in
Probability and Statistics, U. Grenander, Ed. New York:
Wiley, 1959, pp. 300-330.
[49] 1 "Equalization and pulse shaping techniques applied to the
determination of the initial sense of Rayleigh waves,” in The
Need of Fundamental Research in Seismology, Appendix 9,
Department of State, Washington, DC, 1959, pp. 60-129.
[ 50 ] В. P. Bogert, M. J. Healy, and J. W. Tukey, “The frequency anal-
ysis of time series for echoes; cepstrum pseud-autoqovariance,
cross-cepstrum and shape-cracking,” in Time Series Analysis,
M. Rosenblatt, Ed. New York: Wiley, 1963, pp. 201-243.
[51] J. W. Tukey, “Discussion emphasizing the connection between
analysis of variance and spectrum analysis,” Technometrics,
vol. 3, pp. 1-29, 1961.
[52] , “The future of data analysis,” Ann. Math. Statist., vol.
. 33, pp. 1-67, 1963.
(53) —“What can data analysis and statistics offer today?” in
Ocean Wave Spectra, Nat. Acad. Sci., Washington, DC, and
Prentice-Hall, Englewood Cliffs, NJ, 1963.
[54] , “Uses of numerical spectrum analysis in geophysics,” Bull
Int Statist. Inst., vol. 39, pp. 267-307, 1965.
[55] , “Data analysis and the frontiers of geophysics,” Science,
vol. 148, pp. 1283-1289, 1965.
[56] W. J. Pierson and L. J. Tick, “Stationary random processes in
meteorology and oceanography,” Bull. Int Statist Inst., vol.
35, pp. 271-281, 1957.
[57] N. R. Goodman, “On the joint estimation of the spectra, cospec-
trum and quadrature spectrum of a two-dimensional stationary '
Gaussian process,” Science Paper no. 10, Engineering Statistics
Laboratory, New York University, New York, 1957.
[58] Манк У., Макдональд Г. Вращение Земли. М.: ИЛ, I960.:
[59] М. J. Healy and В. Р. Bogert, “FORTRAN subroutines for time
series analysis,” Commun. Soc. Computing Machines, vol. 6, pp.
32-34, 1963.
[60] E. C. Bullard, F. E. Ogelbay, W. H. Munk, and G. R. Miller, A
User’s Guide to BOMM, Institute of Geophysics and Planetary
Physics, University of California Press, San Diego, 1966.
[61] E. Parzen, Time Series Analysis Papers. San Francisco, CA:
Holden-Day, 1967.
[62] E. A Robinson, Multichannel Time Series Analysis with Digital
Computer Programs San Francisco, CA: Holden-Day, 1967.
[63] C. W. J. Granger, Spectral Analysis of Economic Time Series.
Princeton, NJ: Princeton University Press, 1964.
[64] J. Neyman and E. L. Scott, “Statistical approach to problems
of cosmology,” J. Roy. Statist Soc., Series B, vol. 20, pp. 1-43, '
1958.
[65] U. Grenander and M. Rosenblatt, Statistical Analysis of Station-
ary Time Series New York: Wiley, 1957.
[66) Винер H. Нелинейные задачи в теории случайных процесс»
М.: ИЛ, 1961.
[67] , “Rhythm in physiology with particular reference to en-
cephalography,” Proc. Roy. Virchow Med. Soc., NY, vol. 16,
pp. 109-124, 1957.
[68] J. W. Cooley and J. W. Tukey,” An algorithm for the machine
calculation of Fourier series,” Math. Comput., vol. 19, pp.
297-301, 1965.
[69] J. W. Cooley, P. A W. Lewis, and P. D. Welch, “Historical notes
on the fast Fourier transform,” IEEE Trans Audio Electro-
acoust., vol. AU-15, pp. 76-79, 1967.
[70] C. Bingham, M. D. Godfrey, and J. W. Tukey, “Modem tech-
niques of power spectrum estimation,” IEEE Trans Audio
Electroacoust., voL AU-15, pp. 56-66, 1967.
[71] E. O. Brigham and R. E. Morrow, “The fast Fourier transform,” •
IEEE Spectrum, pp. 63-70, 1967.
[72] IEEE Trans Audio Electroacoust (Special issue on Fourier
transform), В. P. Bogert and F. Van Veen, Eds., vol. AU-15,
June 1967 and vol. AU-17, June 1969
[73] Бриллинджер Д. Временные ряды. Обработка данных i
теория. М.: Мир, 1980.
[74] D. R. Brillinger and М. Rosenblatt, “Computation and interpre-
tation of k-th order spectra, ” in Spectral A nalysis of Time Series,
B. Harris, Ed. New York: Wiley, 1967, pp. 189-232.
[75] Кейпон. Приложение теории обнаружения и оценки сипи
лов к сейсмологии больших групп. ТИИЭР, 1970, т. 58, Ж
с. 170—180.
[76] Stochastic Point Processes, Р. A W. Lewis, Ed. New York;
Wiley, 1972.
[77] P. A W. Lewis, A M. Katcher, and A. H. Weiss, “SASE IV—An
improved program for the statistical analysis of series of events,”
IBM Res Resp., RC2365, 1969.
[78] Proc. Symp. Walsh Functions, 1970-1973.
[79] A Cohen and R. H. Jones, “Regression on a random field,”
J. Amer. Statist Ass., vol. 64, pp. 1172-1182, 1969.
[80] J. P. Burg, Maximum Entropy Spectral Analysis. Oklahoma
City, OK, 1967.
[81] —, Maximum Entropy Spectral Analysis. Stanford, CA: Stan-
ford University, 1975.