Э.ХЕННАН
МНОГОМЕРНЫЕ
ВРЕМЕННЫЕ
РЯДЫ
-г II I I I 1 II 1 I I II 1 II I 11 I 1
1
1
п
¦
J
1

MULTIPLE TIME SERIES
E. J. HANNAN
THE AUSTRALIAN NATIONAL UNIVERSITY
CANBERRA
John Wiley and Sons, Inc.
New York-London-Sydney. Toronto
1970

Э. ХЕННАН
МНОГОМЕРНЫЕ
ВРЕМЕННЫЕ
РЯДЫ
Перевод с английского А. С. Холево
Под редакцией Ю. А. Розанова
ИЗДАТЕЛЬСТВО «МИР» МОСКВА 1974

УДК 519.2
Монография Э. Хеннана представляет собой подробное и весь-
весьма полное изложение теории и методов статистического анализа
временных рядов. В первой части излагаются вероятностные осно-
основы, включающие спектральную теорию, а также теорию прогно-
прогнозирования и фильтрации многомерпых стационарных процессов.
Вторая часть посвящена статистическим проблемам; в ней рассма-
рассматривается спектральное оценивание, статистические процедуры для
рациональных спектров и регрессионные методы. Высокий мате-
математический уровень сочетается с наглядностью и доступностью
изложения. Автор не ограничивается доказательством теорем
и уделяет много места обсуждению и сравнительному анализу
статистических процедур, дает конкретные рекомендации по их
применению.
Книга предназначена как для специалистов по теории вероят-
вероятностей и математической статистике, которые найдут в ней ква-
квалифицированный обзор многих результатов, разбросанных по пе-
периодическим изданиям, так и для аспирантов и студентов-старше-
студентов-старшекурсников, специализирующихся в этой области. Она будет полезна
также специалистам по прикладной статистике, работающим в гео-
геофизике, технике, экономике и других областях.
Редакция литературы по математическим наукам
20203-012 ^
04K0D-74 *2-74 © Перевод на русский язык, «Мир», 19/4

От редактора перевода
Книга известного австралийского статистика Э. Хеннана по-
посвящена обзору различных стационарных моделей многомерных
временных рядов и статистических методов их исследования. Среди
них и разнообразные параметрические модели типа «регрессии»
или «авторегрессии», которые находят самые широкие применения
(например, в технике, экономике), и представляющие большой инте-
интерес (например, в геофизике) модели со скрытыми периодичностями,
и многое другое. Большое внимание уделяется исследованию раз-
различных параметрических схем с помощью статистического спек-
спектрального анализа.
Предлагаемые здесь статистические методы (скажем, общие методы
оценивания спектра) существенно опираются на результаты теории
многомерных стационарных процессов. Элементы этой теории, а так-
также «математическое приложение», занимают значительное место
в книге. Хотя их изложение, на наш взгляд, несколько неровно
и фрагментарно, оно дает весьма полное представление о тех чисто
математических вопросах, знакомство с которыми будет полезно
специалистам, занимающимся приложениями статистических ме-
методов.
Книга едва ли может служить учебником для начинающих (автор
предполагает, например, знакомство читателя с известным учебни-
учебником Г. Крамера [1946]), но она представляется нам очень полезным
руководством по статистическим методам анализа временных ря-
рядов, особенно для статистиков, уже имеющих определенный опыт
в применении таких методов.
При переводе был обнаружен ряд опечаток и мелких погрешно-
погрешностей, которые были исправлены после уточнений, любезно прислан-
присланных автором. В список литературы добавлено несколько работ
(они отмечены звездочкой).

6 От редактора перевода
Э. Хеннан уже знаком советскому читателю по переводу его
предшествующей книги «Анализ временных рядов» («Наука», М.,
1964), в которой рассматривались одномерные процессы. Нужно
сказать, что многомерные процессы, исследование которых в свое
время натолкнулось на ряд принципиальных трудностей, пред-
представляют все более возрастающий интерес для приложений, и с
этой точки зрения новая книга Э. Хеннана кажется весьма свое-
своевременной.
Ю. Розанов

Предисловие
Предмет анализа временных рядов тесно связан с широким кругом
вопросов, среди которых можно назвать статистическую теорию
связи, теорию прогноза и регулирования и статистический анализ
временных данных. Последний играет в какой-то мере вспомогатель-
вспомогательную роль по отношению к первым двум теориям, ибо в его задачу
входит разработка рекомендаций, существенных для применения
этих теорий. Однако статистический анализ существует и независимо
от них, поскольку он необходим в тех областях, где пока нет хорошо
разработанных точных методов регулирования (например, в эконо-
экономике).
В этой книге мы будем иметь дело именно с анализом времен-
временных рядов, но ее содержание несколько шире в двух отношениях.
Прежде всего (что наиболее существенно) в первой части книги
весьма полно рассматривается лежащая в основе всего изложения
вероятностная теория стационарных процессов второго порядка.
Эта теория в значительной мере является классической и излагается
во многих книгах, однако она служит необходимым введением при
изучении анализа временных рядов и обойтись без нее было бы невоз-
невозможно. Я включил и некоторый материал сверх необходимого мини-
минимума, например нелинейные фильтры и случайные процессы не толь-
только во времени, но и в пространстве. Статистические исследования
в последней области в настоящее время носят фрагментарный харак-
характер, однако вскоре могут приобрести важное значение.
Второй дополнительной темой является теория прогноза, интер-
интерполяции, выделения сигнала и сглаживания временных рядов.
Включение этого материала представляется обоснованным по двум
причинам. Во-первых, оно обусловлено тем пониманием структуры
случайного процесса, которое дают классические «теории Винера —
Колмогорова». Такое понимание необходимо по крайней мере для

Предисловие
некоторых статистических исследований (например, в задачах иден-
идентификации и в вопросах, касающихся связи между спектром и соб-
собственными значениями матрицы ковариаций). С другой стороны,
эти исследования приобретают сейчас важное значение для многих
людей, занимающихся статистикой и имеющих дело с временными
рядами (например, при оценивании параметров траекторий или
в экономике). Конечно, в этой области имеются и новые, практиче-
практически более полезные работы, для надлежащего изложения которых
потребовалась бы отдельная книга, однако некоторые упоминания
об этом необходимы.
Есть одна особенность, которой должна отличаться любая совре-
современная книга о временных рядах,— это обобщение теории и методов
на случаи, когда в каждый момент времени производится несколько
измерений, как это обычно и бывает.
После того как установлено содержание книги, автор должен
определить манеру и уровень изложения. Задумывая эту книгу,
автор надеялся дать такое изложение теории методов, представляю-
представляющих интерес для анализа временных рядов, которое позволит овла-
овладеть этими методами и понять, когда следует применять тот или
иной метод на практике. Как правило, приводятся лишь окончатель-
окончательные формулы: подробности вычислений зачастую не обсуждаются
и нигде не приводятся программы для вычислительных машин
(многие из обсуждаемых методов уже запрограммированы, и про-
программы имеются в готовом виде). Численные примеры почти не при-
приводятся.
Эта книга посвящена не «практическому спектральному ана-
анализу», но теории предмета. Конечно, книги первого типа необ-
необходимы, но нужны и книги второго типа, ибо любой статистик, зани-
занимающийся анализом временных рядов, испытывает потребность
в руководстве, где можно было бы найти четкое изложение теории
того или иного метода.
Некоторые трудности возникли при выборе уровня изложения,
так как рассматриваемая теория является глубокой и ее математи-
математическая сторона мало знакома статистикам. По-видимому, вероятност-
вероятностные основы можно было бы изложить проще, если бы ограничиться
более частными предположениями (или поступиться строгостью
изложения).
Чтобы сделать книгу более доступной, был избран другой путь:
наиболее трудные или технические доказательства вынесены в

Предисловие 9
приложения к главам, а несколько параграфов, которые можно*
опустить, отмечены звездочкой. Предполагается, что читатель зна-
знаком с теорией вероятностей и статистикой на уровне, который харак-
характеризуется знанием классического труда Гаральда Крамера «Мате-
«Математические методы статистики». В математическом приложении
дается краткий обзор необходимых сведений из функционального
анализа и теории Фурье.
Некоторые вопросы рассмотрены неполно, отчасти из-за направлен-
направленности моих интересов, отчасти из-за необходимости удержать объем
книги в разумных пределах. Совсем мало сказано о спектрах высших
моментов, в основном потому, что полезность такой спектральной
теории еще не была продемонстрирована (см. обсуждение в § 8
гл. II).
Не много сказано также о нестационарных процессах и осо-
особенно об их статистической обработке. Этот раздел теории в настоя-
настоящее время является еще фрагментарным, возможно, он таким и оста-
останется.
Совсем кратко рассматриваются «квантованные» наблюдения
(например, «пороговые» сигналы, регистрирующие только превыше-
превышение некоторого фиксированного значения). Фактически отсутствует
рассмотрение свойств траекторий гауссовских процессов, ибо мастер-
мастерское изложение этого предмета имеется в недавней книге Крамера
и Лидбеттера [1967], и отпала необходимость включать его в эту
книгу.
Не затронуты также те статистические процедуры для точеч-
точечных процессов, которые основаны на моментах наступления собы-
событий. Они рассматриваются в недавней книге Кокса и Льюиса [1966].
Наконец, во второй части этой книги (посвященной статистиче-
статистическим проблемам) рассматривается только случай дискретного вре-
времени. Это оправдывается преобладающей ролью, которую играют
Цифровые машинные методы.
Я не пытался дать полный список литературы по временным
Рядам. Весьма полный перечень работ до 1959 г. имеется в книге
Вольда [1965]. Я надеюсь, что приведенные здесь ссылки позволят
читателю проследить основные направления развития предмета
вплоть до настоящего времени.
Я многим благодарен за помощь. Эта книга возникла из курса
лекций в Университете Джонса Гопкинса (Балтимор, Мериленд),
и ЗНачительная часть работы финансировалась ВВС США. Книга

10 Предисловие
появилась отчасти благодаря ободряющей поддержке д-ра Дж. С. Ват-
сона. Д-р К. Роуд из Университета Джонса Гопкинса и Р. Д. Террел,
П. Томсон и Д. Ничолс из Австралийского национального универси-
университета прочитали различные части этой книги и исправили ряд ошибок
в ее предварительном варианте.
Канберра, Австралия
Апрель, 1970
3. Дж. ХЕННАН

Часть I
ВЕРОЯТНОСТНЫЕ ОСНОВЫ

Глава I
Вводные сведения
1. ВВЕДЕНИЕ
Во многих статистических приложениях обрабатываемые данные
представляют собой временной ряд, т. е. ряд наблюдений Xj (n);
j = 1, . . ., р; п = 1, . . ., N, производящихся последовательно
во времени. Здесь индекс / нумерует различные измерения, выпол-
выполняемые в каждый момент времени п. Совокупности наблюдений такого
рода преобладают в некоторых геофизических науках (таких, как
метеорология, сейсмология, океанография и геоморфология) и в
социальных науках (особенно в экономике). Они играют важную
роль и в других областях; например, в медицинских исследованиях
(электрокардиограммы и электроэнцефалограммы) и в связи с зада-
задачами оценивания траекторий ракет. Хотя до сих пор мы предполага-
предполагали, что величина п измеряет время, существуют ситуации, в которых
•она может быть и пространственной переменной. Величины xj (n)
могут быть результатами измерений, производящихся в равноотстоя-
равноотстоящих точках протяженного образца какого-либо материала (напри-
(например, полосы газетной бумаги, прядильного волокна или угольного
среза). Другой пример: п может измерять расстояние вдоль реки
(в каких-нибудь единицах) от какой-либо определенной точки,
a Xj (п), ] = 1, 2, 3, могут быть результатами измерений, скажем,
скорости и направления течения.
Важная особенность этих ситуаций, отличающая их от ситуаций,
рассматриваемых в классических разделах статистики, состоит
в том, что величины Xj (m) и Xj (n) могут не быть независимыми, даже
если т -фи. В самом деле, почти всегда наблюдения, производимые
в равноотстоящие моменты времени, образуют выборку из процесса,
допускающего в принципе непрерывное наблюдение *). Тогда пред-
представляется неправдоподобным, что при сближении s и t величины
Xj (s) и Xj (t) будут оставаться независимыми, так что отказ от неза-
независимости диктуется таким фундаментальным фактом, как (видимая)
непрерывность природных явлений. Хотя, как мы уже говорили,
многие дискретные временные ряды возникают в результате выборки
г) Мы используем обозначение Xj (t), когда рассматриваются процессы
с непрерывным временем, но иногда и для процессов с дискретным временем.
Обозначение xj (n) мы используем для процессов с дискретным временем, когда
необходимо подчеркнуть различие между этими случаями.

14 Гл. I. Вводные сведения
значений некоторой непрерывной функции времени, мы иногда будем
рассматривать такие ряды как самостоятельные вероятностные
объекты, отвлекаясь от непрерывности лежащего в их основе явле-
явления. Символ х (t) без индексов обозначает векторный процесс с ком-
компонентами Xj(t). Разумеется, x(t) может быть, в частности, ска-
скалярным.
Наблюдаемую величину x(t) следует рассматривать как слу-
случайный вектор. Таким образом, мы предполагаем, что для любого
конечного множества tu t2, . . ., tr значений t задано совместное
распределение вероятностей всех компонент векторов x(tj), j =
= 1, . . ., г. Это же распределение можно получить и иначе. Мы
можем отправляться от множества временных точек tu t2, . . ., tr,
tr+1 и соответствующего распределения вероятностей компонент
х (Ь)' 7 = 1» • • •» г + 1» и получить из него маргинальное распре-
распределение компонент х (tj), j = 1, . . ., г. Если полученное таким
образом распределение отличается от первоначального, то наши
исходные предположения, очевидно, противоречивы. Поэтому есте-
естественно считать, что подобная несогласованность не может иметь
места, и тогда можно показать, что существует вероятностное (выбо-
(выборочное) пространство Q «элементарных событий» со, на котором
могут быть определены все случайные величины Xj (t). Таким обра-
образом, на а-алгебре Jk подмножеств Q задана вероятностная мера Ру
в терминах которой выражаются все вероятностные утверждения
о Xj (t). Это пространство Q можно считать пространством всех
«траекторий» или «реализаций» векторной функции х (?), и чтобы
подчеркнуть, что наши случайные величины при любых фиксиро-
фиксированных у, t представимы в виде измеримых функций на Q, мы иногда
вместо Xj (t) будем писать Xj (t, со). [Дальнейшее обсуждение можно
найти в книге Биллингслея [1968], стр. 228 *).] Когда со фиксировано,
a t меняется, мы получаем одну из траекторий. Меняя со, мы полу-
получаем разные траектории (из которых может наблюдаться лишь одна,
да и то частично).
Семейство всех таких траекторий вместе с соответствующей
вероятностной структурой мы называем стохастическим (или слу-
случайным) процессом, а термин временная функция (или временной ряд
в дискретном случае) обозначает отдельную траекторию (или «реа-
«реализацию») случайного процесса. Мы часто опускаем переменную со,
например, заменяя явное выражение для интеграла по Q относи-
относительно вероятностной меры Р символом математического ожида-
ожидания Е.
В основном мы будем иметь дело со случаем, когда все вторые
моменты
Е (Xj (s) xh (*)) = Уии (s, t)
x) См. также Дуб [1953], стр. 11 — 15, 49—51. [При ссылках на работы,
переведенные на русский язык, страницы указываются по русскому изданию.] —
Прим. пер ев.

1. Введение 15
конечны. При j = к мы для краткости пишем у у (s, t). Из этих вели-
величин yj>h {s, t) мы формируем симметричную р х р-матрицу Г (s, t)r
которую называем ковариационной, даже если величины не центри-
центрируются. Кроме того, в случае непрерывного времени мы почти всегда
предполагаем, что yj,h Is, 0 непрерывны по своим аргументам.
В связи с этим имеет место следующая теорема:
Теорема 1. Для того чтобы yj>k (s, t); /, к = 1, . . ., ру
были непрерывны, необходимо и достаточно, чтобы у j (s, t); j =
= 1, . . ., p, были непрерывны при s = t.
Доказательство. Необходимость очевидна. Докажем
достаточность. Используя неравенства Шварца и Минковского х),
имеем:
v) — yjtk{s, t)\ =
v)}-E{xj(s)xk(t)}\ =
+ E {xj (s) (xk (t + v) - xk (t))} | <
< [E {(xj (s + u)- xj E)J} yk (t + v,t + v)]1/* +
+ [E {(xh (t + v) - xk @J} yj (s, s)]42.
Если условие теоремы 1 выполнено, то yh (t + v, t + v) равномерно
ограничена по v, когда и изменяется в любом конечном интервалег
и поэтому непрерывность yj>k (s, t) следует из условия, что для всех s
)-*Л*)JН0, /=1,...,р, A.1)
но так как левая часть равна
lim {у j (s + u, s+u) + yj(s, s) — 2yj(s + u, s)},
то утверждение следует из непрерывности у;- (s, t) при s = t.
Мы показали также, что непрерывность yj)k (s, t) эквивалентна
условию A.1), которое называется условием непрерывности в средне-
среднеквадратичном. Можно представить себе и более «беспорядочное»
поведение временной функции, чем то, которое соответствует усло-
условию A.1), однако оно, по-видимому, не может быть зарегистрировано
из-за неспособности «записывающего» устройства адекватно реаги-
реагировать на мгновенные изменения. Положим
|| X (t) || = [Е {*' (t) X («)}Р/»,
где штрих означает транспонирование вектора. Далее нам придется
ввести линейные комбинации векторов х (tj) с комплексными коэф-
1) См. математическое приложение в конце книги.

16 Гл. I. Вводные сведения
фициентами; если z — такая комбинация, то положим
|| z || = [Е {z*z}]4>,
где звездочка означает транспонирование вместе с переходом к ком-
комплексно сопряженному вектору. Эта величина называется нормой z.
2. ДИФФЕРЕНЦИРОВАНИЕ II ИНТЕГРИРОВАНИЕ
СЛУЧАЙНЫХ ПРОЦЕССОВ
Пусть хп, п = 1, 2, . . .,— последовательность случайных величин,
таких, что Е (| хп |2) < оо. Говорят, что хп сходится в среднеквадратич-
среднеквадратичном г) к случайной величине х, если
lim Е (| х- хп |2) = lim \\x — xn ||2 = 0. B.1)
п п
Мы пишем тогда хп -> х. Знак абсолютной величины использован
здесь для того, чтобы охватить комплексные случайные величины
хп, когда каждая хп может рассматриваться как пара вещественных
случайных величин. Необходимым и достаточным условием сущест-
существования величины х, для которой выполняется B.1), является крите-
критерий Коши
lim \\хп-хт\\=0. B.2)
т, п-*оо
Предел х определен однозначно в том смысле, что любые две
случайные величины х, удовлетворяющие условию B.1), разли-
различаются лишь на множестве нулевой меры. Далее, функция
Е (ху) непрерывна по х и у, так что если \\хп\\ и \\уп\\ конечны
и хп ->¦ х, уп ->- у, то Е (хпуп) ->¦ Е (ху) (см. математическое прило-
приложение). С другой стороны, если Е (хпхт) сходится к какому-либо
пределу при т, п -> оо, то выполняется условие Коши, ибо
|||||||| ||||())
Теперь нам нужно ввести операции дифференцирования и инте-
интегрирования случайного процесса с непрерывным временем.
(i) Мы говорим, что скалярный процесс х (t) дифференцируем
в среднеквадратичном в точке ?, если б {х (t + б) — х (t)} имеет
предел в среднеквадратичном, когда б стремится к нулю.
Мы сейчас рассматриваем б как непрерывную переменную. Одна-
Однако, выбирая произвольную последовательность бп, такую, что бп-> 0
при п ->- 0, мы видим, что для дифференцируемости в среднеквадра-
среднеквадратичном необходимо следующее условие Коши:
lim || 671 {х (t + bi)-x (t)} - б {х (t + б2) - х (t)} || = 0 B 3)
Si» 62-»-0
г) Дальнейшее обсуждение понятия сходимости в среднеквадратичном см.
в математическом приложении в конце книги.

2. Дифференцирование и интегрирование случайных процессов 17
Это условие является также достаточным, так как если 8п и 6^ —
две сходящиеся к нулю последовательности, то мы можем объеди-
объединить их в последовательность 6? и B.3) гарантирует, что {х (t + S'4)—
— х (t)}/8'n также сходится в среднеквадратичном, причем предел
не зависит от выбранной последовательности.
Из сказанного выше о среднеквадратичной сходимости следует,
что необходимым и достаточным условием выполнения B.3) является
существование предела
lim Е [671 {х (t + 8i) — x (*)} б {х (t + 82)-x (t)}] =
6i, 62-+0
_ 1,тп У(* + бД, t + 62)-y(t + bi, t)-y(t,
11 111 ? ?
Для этого в свою очередь достаточно, чтобы производная
{д2у (s, t)ldsdt) существовала и была непрерывна (см., например,
Гурса и Хедрик [1904], стр. 13 х)). Мы видим, что ковариационная
функция среднеквадратичной производной х (t) равна
вД Q E {671 (х (s + 60 - х («)) б (х (t + б2) - х (t))} =
Аналогично,
Теорема 2. Необходимым и достаточным условием средне-
среднеквадратичной дифференцируемости скалярного процесса х (t) являет-
является существование предела
ь tf — yit, t-\-&2)-\-y (t, t)
61,62-0 Si62
?сл1г .r (?) — среднеквадратичная производная, то ее ковариационная
функция равна д2у (s, t)/ds dt и
Е (х (s) х (t)) = ду (s, t)/dt.
(ii) В связи с интегрированием мы рассмотрим сначала определе-
определение интегралов, которые символически будут записываться в виде 2)
f x(t)m(dt), B.4)
где т есть cr-конечная мера, нормированная, например, так, чтобы
соответствующая функция распределения была непрерывна справа.
г) См. также Л. Д. Кудрявцев, Математический анализ I, M., 1970,
стр. 311.— Прим. перев.
2)иМы предпочитаем обозначение 7/? (dt) общепринятому dm (t) по той оче-
очевидной причине, что именно t, а не т, получает бесконечно малые приращения.

18 Гл. I. Вводные сведения
Будем рассматривать только такие процессы х (t), которые непрерыв-
непрерывны в среднеквадратичном и имеют ковариационные функции, удов-
удовлетворяющие условию
со
\ \ у (s, t) m (ds) m (dt) < оо. B.5)
— оо
Определим сначала интеграл
ъ
\x(t)m(dt) B.6)
а
с помощью интегральных сумм
п
2 х (tj) {т (($,_!, Sj])},
1
2
1
где точки Sj делят интервал [а, Ь] на подинтервалы длины меньше 8
и ?j6(s/-i> sj]. Если эти суммы сходятся в среднеквадратичном
к одному и тому же пределу, когда п возрастает так, что е стремится
к нулю, то мы называем этот предел интегралом от х (t) относительно
т (t) по интервалу [а, Ъ] и обозначаем его символом B.6).
Интеграл B.6) существует, если х (t) непрерывен в среднеквадра-
среднеквадратичном. Доказывается это путем непосредственной модификации
известного доказательства существования интеграла Римана —
Стилтьеса от непрерывной функции на конечном интервале. Действи-
Действительно, чтобы получить нужную модификацию, достаточно лишь
заменить в доказательстве абсолютные значения на нормы (и рас-
рассматривать х (t) как непрерывную функцию). Теперь интеграл B.4)
может быть определен как среднеквадратичный предел последова-
последовательности интегралов вида B.6) при а -> — оо, Ъ -> оо. Достаточным
условием существования (и единственности) такого предела является
условие B.5). В самом деле, из определения B.6) вытекает, что
x(t)m (dt) IP = f G (s, 0 m (^) m (dt),
II J J
a a
так что условие Коши, например при Ъ ->• оо, принимает вид
lim || \ x(t)m(dt)\\2= lim f f 7E, t) m (ds) m (dt) = 0,
u bo-+oo II J II bi, 62-^00 J J
01 01
bu bo-+oo II J
а из B.5) следует, что этот предел действительно равен нулю.
Мы можем сформулировать эти результаты в следующем виде:
Теорема 3. Если х (t) среднеквадратично непрерывен, а
m(t) — некоторая G-конечная мера, то интеграл B.6) однозначно
определяется как среднеквадратичный предел интегральных сумм

2. Дифференцирование и интегрирование случайных процессов 19
Римана — Дарбу. Необходимым и достаточным условием того, что
интеграл B.4) существует как среднеквадратичный предел интегра-
интегралов B.6) при а-> —оо, Ъ -> оо, является условие B.5).
Конечно, определение B.4) может быть обобщено на значительно
более широкий класс функций, подобно тому как из интеграла
Римана для непрерывных функций с компактным носителем можно
получить интеграл Лебега для широкого класса функций, интегри-
интегрируемых по Лебегу. Рассмотрение этого вопроса читатель может най-
найти в книге Хилле и Филлипса [1957], гл. III. В нашей книге подоб-
подобные обобщения не потребуются.
Мы хотим также определить интеграл, который обозначается
символом
' g(t)l(dt), B.7)
где теперь g (t) — комплекснозначная функция от t, a ? (t) —случай-
—случайный процесс. Нас особенно будет интересовать случай, когда ? (t) —
процесс с ортогональными приращениями, т. е. такой, что ковариа-
ция величин ? (^) — ? (t2) и ? (s4) — ? (s2) равна нулю, если интерва-
интервалы [tu t2] и [sl7 s2] не имеют общих точек. В ситуации такого рода
мы не хотим делать предположение о том, что ? (t) непрерывен в сред-
среднеквадратичном. Очевидно, что
Е (Ц (*) - I (t0)}2) B.8)
монотонно возрастает вместе с t при t ^ t0.
Имея в виду часто встречающийся далее случай, когда
Е {I2 (t)} ^ а < оо, положим F (t) = E {I2 (t)}. Тогда выраже-
выражение B.8) может быть записано в виде F (t) — F (t0); оно определяет
меру Лебега — Стилтьеса на (— оо, оо), «приращение» которой
на интервале (?0, ?] равно F (t) — F (t0). Мы снова можем опреде-
определить интеграл B.7) в случае конечного интервала [а, Ъ] как средне-
среднеквадратичный предел последовательности интегральных сумм
если этот предел существует и однозначно определен. Так будет,
например, если g (t) непрерывна (доказывается это прямой провер-
проверкой). Затем с помощью еще одного предельного перехода определе-
определение можно обобщить на бесконечные интервалы. Впрочем, сущест-
существует более прямой и содержательный способ (см. приложение к этой
главе), позволяющий определить интеграл B.8) для любой функции
g (t), измеримой относительно меры Лебега — Стилтьеса F(dt)
и такой, что

20 Гл. I. Вводные сведения
3. НЕКОТОРЫЕ СПЕЦИАЛЬНЫЕ МОДЕЛИ
(i) Важный класс образуют скалярные временные ряды, порож-
порождаемые линейным механизмом вида
2Р(/)*(л-/) = 2а(*)е(и--*), Ро = 1, C.1)
о о
где Р(/) и а(к) вещественны, а г(п) удовлетворяет условию
Е (8 (т) 8 (/г)) = G26? х).
Такого рода механизм, основанный на идее, что х (п) определяется
своими значениями в ближайшем прошлом и прошлыми возмущения-
возмущениями, часто оказывается хорошим приближением к реальности. Конеч-
Конечно, линейность является удобным математическим упрощением. Как
показывает опыт, модели типа C.1) пригодны для широкого класса
данных. Если s = 0, то C.1) называется уравнением авторегрессии.
При s > 0 иногда используется термин смешанная модель авторегрес-
авторегрессии и скользящего среднего. Если G = 0, то говорят о (конечном)
скользящем среднем.
Ясно, что если заданы q начальных значений х (—д), . . ., х (—1),
то соотношение C.1) позволяет определить х (п) через 8 (п). Мы
хотим исследовать структуру соотношения, выражающего х (п)
через 8 (п), г (п — 1), ... . Рассмотрим однородное уравнение,
которое получается, если заменить правую часть C.1) нулем, и будем
искать его решения в виде zn. Это приводит к характеристическому
уравнению
2 Р (/)*-' = о. C.2)
о
Каждому простому корню zu отвечает решение buz^. Если корень
zu имеет кратность ри, то, как легко проверить, решениями будут
bu,j^zu при / = 0, 1, . . ., ри — 1. Если zu — комплексный корень,
то каждому из таких решений, очевидно, отвечает, комплексно
сопряженное решение. Таким образом, мы получаем общее решение
однородного уравнения в виде
2! S bu.sn3zZ, C.3)
где q констант bu>j определяются q начальными условиями. Конечно,
выражение C.3) можно записать также как сумму слагаемых вида
и'рЦ {К, j cos Qun -Ь b'u, j sin Qan), C.4)
-1) Мы всегда будем считать, если не оговорено противное, что г(п) —
процесс с такими ковариационными свойствами. Здесь, конечно, 6^ — символ
Кронекера.

3. Некоторые специальные модели 21
где zu = puexpi8u, a bu, j = 1ki (b'u, j—ib'L, j), если G^O, я. (Если
6a = 0, я, то, конечно, ba,j = b'Utj и bu,j = O.)
Постоянные bUtJ- могут быть выбраны так, что выражение C.3)
будет принимать любые заданные значения в q фиксированных точ-
точках, например в точках п = —q -f- k, k = 0, . . ., q — 1. В самом
деле, если бы это было не так, то q последовательностей пЧ\ были
бы линейно зависимы в этих q точках, откуда следовало бы, что нену-
ненулевой многочлен степени не выше q — 1 имеет q корней, а это невоз-
невозможно. При условии, что ни один из корней zu не равен по модулю
единице, можно найти последовательность / (п), удовлетворяющую
уравнению
и такую, что | / (п) | экспоненциально стремится к нулю при | п \ ->
->• оо. В самом деле, при этом условии ряд Лорана функции
(S P (z)^) сходится в некотором кольце, содержащем внутри
единичную окружность. Если
— этот ряд, то / (п) удовлетворяет требуемому соотношению, посколь-
поскольку S Р (/') z'1L / (w) ^п ^ 1 Для всех z в этом кольце. Очевидно,
/ (w) экспоненциально стремится к нулю, как и требуется.
Теорема 4. Если г (п) — последовательность случайных вели-
величин с ковариациями Е (е (т) г (п)) = б^а2, а х (—д), . . ., я; (—1) —
заданные начальные значения, то существует, единственная случайная
последовательность х (п), удовлетворяющая соотношению C.1) и
принимающая указанные начальные значения. Если ни один из кор-
корней zu не равен по модулю единице, то это решение имеет вид
Доказательство. Очевидно, что если заданы начальные
значения, то х (п) однозначно определяется по этим значениям и по
последовательности г (п); если, например, |3 (q) фО, то
1 О
и х (п) для п < — q может быть определено путем итерации этого
соотношения. Сумма
N
2
v=-M

22 Гл. I. Вводные сведения
очевидно, сходится в среднеквадратичном, когда М, N стремятся
к бесконечности, так как | / (п) | экспоненциально убывает при
возрастании \ п \. Поэтому выражение для х (п) корректно опреде-
определено. Кроме того, нетрудно проверить, что
S a (A) S f{n-v)*(v-k)
удовлетворяет C.1). В самом деле,
ЗРУ) ( S f(n-j-v)B(v-k)}~
оо q
= S B PU)/(n-»-7)}e(i;-A) = e(n
г>= — оо О
так как выражение в фигурных скобках равно нулю при п — v
и единице при v = п. Поскольку buj, как мы знаем, можно выбрать
так, чтобы удовлетворить любым q начальным условиям, доказа-
доказательство завершено.
Полагая
Ч/)= 23 а №/G-А),
мы можем переписать решение в виде
оо
* (») = S S raiP" Фи, i cos Qan + Ы, 5 sin 0цп) + S Л (/) е (re - у). C.5)
U j -oo
Для решения #(я) вида
х(п)=%Х(])г(п-]) C.6)
— оо
имеем
оо
Е (х (п) х (т)) = а2 2 ^ (у) ^ (/ + | т — п |) = у {т — тг).
— оо
Случайный процесс х (п), ковариации которого зависят только
от (т — тг), называется стационарным в широком смысле (или ста-
стационарным второго порядка) *).
Наиболее важный случай теоремы 4 — это случай, когда ри <С 1
для всех и, ибо в этом случае / (п) = 0 при п < 0, т. е. А, (/) = 0 при
/ < 0. Тогда стационарное решение C.6) уравнения C.1) представ-
х) Таким образом, в стационарном случае у (т, п) = у @, п — т), и мы
полагаем, несколько непоследовательно, у (п — т) = у @, /г — т). Подобные
обозначения используются всюду в дальнейшем. В скалярном случае, конечно,
у (п — т) = у (т — п).

3. Некоторые специальные модели 23
ляет собой (бесконечное) скользящее среднее прошлых значений
процесса 8 (п). Этот случай, очевидно, должен быть наиболее интере-
интересен, ибо если мы «моделируем» уравнением C.1) какую-либо реальную
систему, то мы обычно предполагаем, что 8 (п) — возмущение, впер-
впервые воздействующее на систему в момент п. Кроме того, в этом слу-
случае решения однородного уравнения стремятся к нулю при п —>• оо,
так что любое решение сближается с временным рядом C.6) *).
Случай, когда ри = 1 для некоторых и, также представляет инте-
интерес в связи с задачами экономики и системного планирования (см.
Оркут [1948]; Бокс и Дженкинс [1962]). Разложим многочлен
2 Р 00 zQ~^ на Два множителя, первый из которых соответствует
корням, равным по модулю единице, а второй — всем остальным.
Пусть qt и q2 — степени этих многочленов, так что q = g4 + q2.
Пусть Р' (/) и Р" (/) — коэффициенты этих многочленов, причем
Р' @) = р" @) = 1. Для уравнения
Т хК ( l\ TI (YI - 7 \ ¦ > ГЧ (l~f\ С IУ1 \с \ (*\Г7\
/ | LI \J I У V ~ I I / | \J* \tv J C/ [ it tv J I tJ. I 1
0 0
можно найти стационарное решение вида C.6).
Первый многочлен можно записать в виде
О и=1
где, в силу вещественности Р' (/), вместе с Qu содержится и —0W,
если Qu =7^0, jc. Обозначим через Si оператор, который преобразует
последовательность вида у (п) в
п
у^ ill} = S\y \Jl) = ^j у (]} в l(n~^') 71 ~^ —(Ji.
Тогда
У\(п) — eiQiy1(n—1) = г/(?г), ft>—^i + l.
Определяя теперь Su через exp iQu подобно б*!, мы можем обра-
образовать последовательность у2 (п) = S2yt (n), которая удовлетворяет
соотношению
у2 (п^ — (#*0i -|- е^2) у2 (п — 1) -f- ei^i^^y2 (n — 2) = у (?г),
Повторяя эту операцию д4 раз, мы видим, что
A1 Su)y(n)
м=1
х) Если 5 (у) = 0 при / < 0, то говорят, что преобразование C.6) является
неупреждающим (или физически осуществимым).— Прим. ред.

24 Гл. I. Вводные сведения
является решением C.1) при п ^ 0. Таким образом, при подходящем
выборе bUtj последовательность
^i^n5pZ(bu9j cos Qun + buj3inQun) + (\\ Su)y(n), ti>0, C.8)
и j и= 1
будет удовлетворять уравнению C 1) при «^0и любым q началь-
начальным условиям при п = —q, —q +1, . . ., —1. Теперь уравнение C.1)
уже не имеет стационарного решения. Ситуацию в общем случае
можно пояснить на простом примере. Полагая
Ах (п — 1) = х (п) — х (п — 1) C.9)
и рассматривая уравнение
Ах (п — 1) = в (тг),
мы получаем решение
*Gi) = *(-l) + 2eG), тг >0.
о
В этом случае
Е {(х (п) — х (—1)) (х (т) — х (—1))} = a2 min (m, п).
Таким образом, коэффициент корреляции между х (п) и х (т)
стремится к единице, если тип стремятся к бесконечности так, что
п — т остается постоянным. В силу этого реализация процесса
будет выглядеть относительно гладкой. Обсуждение характера
поведения подобных реализаций читатель может найти во второй
главе книги Кокса и Миллера [1965].
(и) Рассмотрим теперь случай, когда х (п) — вектор. Зададим
модель уравнением
2 B(j)x(n-j)=.j]A(k)E(n-k), Б@) = /р, C.10)
о о
где В (/) — квадратные матрицы, но А (к) произвольны г). Пред-
Предположим, что 8 (п) удовлетворяет условию
Е (г(п) г' И) = 6*G. C.11)
Мы будем использовать ту же терминологию, что и в скалярном слу-
случае (авторегрессия, скользящие средние и т. п.).
*) Возможны более общие формулировки (представляющие интерес, в част-
частности, в экономике); однако если х (п) однозначно определяется по своему про-
прошлому и по величинам е (п — /с), то система должна приводиться к указанному
виду.

3. Некоторые специальные модели 25
Теперь мы ищем решение однородной системы в виде Ъ (и) z™r
где Ъ (и) — вектор, удовлетворяющий соотношению
[2(/)
о
a zu удовлетворяет уравнению
j}B(j)z9u->] = 0. C.12)
о
Если zu — кратный корень, то мы сможем найти более чем одно
решение Ъ (и), отвечающее одному и тому же zu. Обозначим эти
решения Ъ (?, и). В общем случае, однако, мы должны будем также
включить дополнительные члены вида njz™b (i, и). Далее рассужде-
рассуждения проходят по прежнему плану, так что мы можем сформулиро-
сформулировать теорему 4', доказательство которой помещено в приложении
к этой главе.
Теорема 4'. Если г (п), п = 0, ±1, . . ., — последователь-
последовательность случайных векторов, удовлетворяющая условию C.11), то реше-
решение уравнения C.10) однозначно определяется заданием q начальных
значений х (—q), . . ., х (—1). Если ни один из корней zu уравне-
уравнения C.12) не лежит на единичной окружности, то решение C.10)
имеет вид
WSSS^ / )(, )+ S
и г j k——оо
где элементы Xij (к) матрицы А (к) экспоненциально стремятся
к нулю при | к | ->¦ со.
Вновь, если \ zu \ < 1 для всех и, то первый член в выражении
для х (п) в конечном счете становится сколь угодно малым и мы
получаем решение вида
к которому приближается любое решение уравнения C.10). Для
этого решения имеем
оо
Е (х (т) х' (л)) = 2 Л (/) GA' (n~m + j) = T (n - т).
о
Легко видеть, что Г (п — т) = Г' (т — п). Если матрицы ковариа-
ции процесса х (п) зависят только от (п — т), то мы вновь будем
говорить, что х (п) стационарен в широком смысле х).
г) См. примечание на стр. 22. Мы вновь полагаем Г (п) = Г @, п) в стацио-
стационарном случае.

26 Гл. I. Вводные сведения
(Hi) Теперь мы можем построить модель, основанную на диффе-
дифференциальном уравнении, во многом аналогичную примерам (i) и (И).
Мы не будем сейчас стремиться к общности и обсудим пример, кото-
который приведет к простой модели, важной для некоторых приложений.
Процесс (с непрерывным временем), для которого Е (е (s) г (t)) =
= б (s — t), называют обычно белым шумом х). Если е (s) и 8 (t)
независимы, то иногда говорят о чистом белом шуме. Предыдущие
рассмотрения приводят к модели
х (t) + p (t) x(t) = a (t) 6 (t). C.13)
Действуя формально и полагая
и
мы получаем общее решение в виде
t t
x(t) = bk(t) + [ а(т)ехр{ — f $(u)du\ s(x)d%. C.14)
и т
К сожалению, эти выкладки математически неприемлемы, так
как процесс 8 (t) не является интегрируемым в обычном смысле.
Однако мы можем придать строгий смысл интегралу в C.14), записав
его в виде
t t
\ а(т)ехр | — \ р (u)d
О т
где ?(?) — процесс с ортогональными приращениями, для которого
t
a2(x)dx, t>0.
о
[Если ^ (t) — гауссовский процесс и a (t) = 1, то ? (t) называется
процессом броуновского движения 2).]
Соотношение C.14) принимает вид
t
о
и его еле ует интерпретировать как решение интегрального урав-
уравнения
t
*(*)+ \ ${t)x(x)dx = l(t), ^>0. C.16)
о
г) Здесь б (s — t) — дельта-функция Дирака.— Прим. перев.
2) Часто его называют также винеровским процессом.

3. Некоторые специальные модели 27
Если р(?) = р, то C.15) принимает вид
t
о
и при р = 0 это равно Е (/)-f-ft. Если р>0 и
t
f >.2(f — т) а2 (т) dt < оо,
— оо
то решение приближается в среднеквадратичном к
t
X(<-x)l(dx). C.17)
Если, наконец, a2 (t) = а2, то ковариационная функция процес-
процесса C.17) равна
т.е. процесс C.17) является стационарным в широком смысле1).
Очевидно, что можно рассмотреть дифференциальные уравнения
более высоких порядков и получить множество решений, которые
в случае постоянных коэффициентов будут аналогичны рассмотрен-
рассмотренным в примере (i). Можно рассмотреть и системы уравнений, как
в пункте (ii).
(iv) Робинсон [1962] называет импульсом (wavelet) функцию
времени w (t), —оо < t << оо, такую, что
(a) f w2(t)dt<oo,
(b) w(t) = 0, t<0.
Тогда если ? (t) — процесс с ортогональными приращениями,
такой, что Е (?2 (dt)) = dt, то процесс
t
j w(t-T)l(dx) C.18)
— оо
является стационарным. Функция w (t) = X (t), t ^ 0, где К (t)
такая же, как в примере (iii), очевидно, является импульсом. К подоб-
подобной терминологии приводит интерпретация процесса C.18) как
суперпозиции импульсов, испускаемых в последовательные моменты
*) См. примечание на стр. 22.

28 Гл. I. Вводные сведения
времени, причем все импульсы имеют одинаковую форму, но разные
амплитуды х) ? (dx). Вообще, мы могли бы рассмотреть функции
w (t), удовлетворяющие условию (а), но не удовлетворяющие (Ь), и
оо
j w(t-t)t(dT) C.19)
— оо
по-прежнему будет корректно определенным стационарным в широ-
широком смысле процессом; однако, чтобы интерпретировать его как
суперпозицию импульсов, теперь потребуется предположение (кото-
(которое для временных рядов неправдоподобно), что импульсы распро-
распространяются в обоих направлениях времени. Мы часто называвхМ C.19)
скользящим средним, добавляя эпитет «одностороннее», если w (t) —
импульс. Односторонний случай, как мы увидим, чрезвычайно
важен в теории прогнозирования.
Эта же (импульсная) терминология очевидным образом перено-
переносится на дискретный случай. Подобные определения можно обоб-
обобщить и на векторный случай; например, назовем (р X q) -матрично-
значную функцию W (t) импульсом, если
оо
(a) j W(t)W*(t)dt<oo,
(b) W(t)=0, t<0.
Интеграл в (а) следует понимать как матрицу, элементы которой
получаются поэлементным интегрированием матрицы W (t) W* (t).
Если ? (t) — векторный процесс с ортогональными приращениями,
такой, что Е (g (dt) ?* (dt)) = G dt, то
t
J W(t-x)l(dx)
— oo
— векторный стационарный процесс. Мы можем вновь интерпрети-
интерпретировать его как суперпозицию вкладов векторных импульсов, испу-
испускаемых в каждый момент времени и отличающихся друг от друга
только благодаря случайным изменениям ? (dx). Примером такой
системы с конкретной W (п) = А (п) в многомерном случае для
дискретного времени является C.10). Конечно, мы можем также
рассмотреть двусторонние средние
когда выполняется только (а), однако смысл физической интерпрета-
интерпретации вновь теряется из-за того, что импульсы должны распростра-
распространяться в двух направлениях времени.
г) На самом деле правильнее называть амплитудой | | (dx) |.

4. Стационарные процессы и их ковариационная структура 29
(v) Выше мы рассмотрели процесс второго порядка с дискретным
временем, для которого Aqx (n) является конечным скользящим
средним. Аналогичное определение можно дать и для непрерывного
времени; следуя Яглому [1952], скажем, что процесс х (t) имеет
стационарные приращения порядка д, если процесс
стационарен для любого положительного h.
Если (скалярный) процесс х (t) непрерывно дифференцируем q раз,
то, поскольку его производная порядка q является среднеквадратич-
среднеквадратичным пределом величин h~q^x (О И имеет ковариационную функцию
процесс х^ (t) стационарен, ибо его ковариационная функция зави-
зависит только от (s — t).
Представляет, однако, интерес и тот случай, когда этой производ-
производной не существует, как, например, для броуновского движения,
когда процесс (очевидно) имеет стационарные приращения первого
порядка, но не дифференцируем.
Мы закончим этот параграф следующим замечанием. Иногда
делают вывод, что уравнение вида
X (п) = рХ (П — 1) + 8 (И), р > 1,
не имеет стационарных решений. Это не верно, как показывает
оо
решение х (п) = — ^ p"J~1e (п + у + 1). Верно же, конечно, то, что
о
не существует стационарных решений, выражающихся только через
настоящие и прошлые значения е (п). Часто физический смысл имеют
только такие решения. Поэтому в дальнейшем, говоря, что х (п) —
стационарное решение уравнения вида C.10), мы имеем в виду
стационарное решение, выражающееся через 8 (т), т ^ п; таким
образом, употребляя этот термин, мы предполагаем, что все нули
уравнения C.12) лежат внутри единичного круга.
4. СТАЦИОНАРНЫЕ ПРОЦЕССЫ II ИХ КОВАРИАЦИОННАЯ
СТРУКТУРА
Стационарным в узком смысле мы называем процесс х (t), такой, что
для всех N, tu . . ., ^ п h (в случае дискретного времени все эти
числа целые, но для непрерывного времени только первое из них
должно быть целым) распределения вероятностей семейств х (^), . . .
* ' •> х (tx) и х (ti + h), . . ., х (tx + h) одинаковы. Если х (t)

30 Гл. I. Вводные сведения
имеет конечные вторые моменты, то отсюда следует, что
Е (х (s) х1 (*)) = Е (х @) х' (t -s)) = T @, t - s),
и, как было условлено, мы обозначаем это Г (t — s).
Так как наши статистические исследования будут весьма суще-
существенно основываться на свойствах второго порядка, то последнее
условие, которое мы назвали стационарностью второго порядка,
будет играть важную роль. (Впрочем, для некоторых целей нам
будут нужны и более сильные условия.) Очевидно,
Е (х (t) xr (s)) = Г (t - s) = Г (s - t).
В частности, в скалярном случае у (s, t) зависит только от | s — t \.
Мы видим также, что, в силу теоремы 1, для среднеквадратичной
непрерывности необходимо и достаточно, чтобы функции у7- (t)
были непрерывны при t = 0.
Весьма важный класс статистических методов, которые будут
рассмотрены во второй части книги, основывается на следующем
результате.
Теорема 5. Пусть х (п) — векторный стационарный про-
процесс с дискретным временем, порождаемый соотношениями C.10)
и C.11), причем все корни уравнения C.12) лежат внутри единичного
круга; тогда ковариационная функция процесса х (п) удовлетворяет
уравнениям
( s
2 A(k)GA'(k — u), — oo<u<s,
•[ ft=max(O, u)
Ц (/)(/-И)= { h=m«@.u)
>=° I 0, s<u.
D.1)
Доказательство вытекает из соотношения
^B(j)E{x(n-j)x' (n-u)}=j±A(k)E{e(n-k)x'(n-u)}.
о о
Левая часть этого соотношения совпадает с левой частью D.1) по опре-
определению, а правые части равны потому, что
оо
*G1)= 2 Л(/) 8G1-/),
о
как показано в § 3.
Из D.1) видно, что в условиях теоремы 5 функция Г (га), как
и Л (га), экспоненциально убывает при возрастании п.
Часто бывает удобно работать с безразмерными величинами
pjh{n)~

4. Стационарные процессы и их ковариационная структура 31
которые мы называем коэффициентами корреляцииг) процесса.
Если / = /с, то они называются коэффициентами автокорреляции
и обозначаются р7- (п) = yj (n)/yj @).
Прямое решение уравнений D.1) бывает иногда полезным в тео-
теоретических расчетах. Группа из первых (q + 1) уравнений (когда
и пробегает значения от 0 до q) содержит только матрицы Г @),
Г A), . . ., Г (q) или транспонированные Г @)', Г A)', . . ., Г (q)'.
Следовательно, эти уравнения можно разрешить, и мы получим
начальные значения для нахождения решений оставшихся уравне-
уравнений (u>q). Проиллюстрируем это на простом примере, когда
р = 1, g = 2, s = 0. Тогда 8 (t) можно также считать скаляром,
и, полагая а0 = 1, мы обозначим его дисперсию а2. Получаем урав-
уравнения.
у @) + р A) Y A) + Р B) Y B) = о2,
Y A) + р A) у @) + р B) у A) = 0,
у B) + р A) у A) + р B) у @) = 0,
решением которых является
7@)
Предположим, что дискриминант р2 A) — 4р B) отрицателен.
Тогда все корни характеристического уравнения комплексны, и мы
должны иметь
Г Ч ' COS ф
где
cosO= \. , tgOtg9-l Щг-.
2 [p B)] ^2 a cos 6
Таким образом, р (я) осциллирует с затуханием, причем скорость
затухания определяется только величиной р B)^2.
В этом простом примере нетрудно объяснить ковариационную
структуру процесса, но в общем случае это сложная задача. Даже
если известно, что процесс авторегрессионный, но неизвестен поря-
порядок авторегрессии, то определить этот порядок по функции Г (п)
нелегко. (На практике, конечно, основные трудности возникают
из-за выборочных флуктуации в оценках Г (п), однако обсуждение
этого вопроса мы отложим до второй части книги.) Впрочем, данную
конкретную проблему можно разрешить, используя частные коэф-
*) Вновь мы используем несколько неточную терминологию, так как про-
процесс не центрирован.

32 Гл. I. Вводные сведения
фициенты корреляции, которые мы сейчас рассмотрим в скалярном
случае.
Пусть 5V есть (т + 1)-мерное вещественное линейное простран-
пространство, порождаемое случайными величинами х (/, со), / = п, п — 1,
п — 2, . . ., п — т. Таким образом, SC состоит из всевозможных
вещественных линейных комбинаций
т
2 ajx (n — j),
5=0
где мы вновь, для упрощения обозначений, опустили со. Мы можем
теперь рассмотреть регрессию х (п) на х (п — /), ; = 1, . . ., т,
т. е. проекцию х (п) на яг-мерное подпространство 2С, натянутое
на х (п — у), / = 1, . . ., т. Положим
Рт = [р (У - А)], Рт = (Р (У)),
где Рт — матрица с элементами р (/ — к) в j-x строках и к-х
столбцах, а рт — вектор с ;-й координатой р (/). Тогда вектор коэф-
коэффициентов регрессии *) равен РтРт- Коэффициент регрессии при
х (п — т) равен
2=1
где Рт т) — матрица, полученная из Рт вычеркиванием i-ii строки
и т-ю столбца. Но, разлагая det (Pw+?+1)) по элементам первого
столбца, имеем
m
det (i4V?+1)) = g (- l)i+1 P @ P% m\
так что рассматриваемый коэффициент регрессии равен
р(т| 1, . . .,/гс—1) =- — ^ ^+1 D.2)
Эта величина называется яг-м частным коэффициентом автокор-
автокорреляции. Если х (п) порождается авторегрессией 2) порядка in, то
р (яг | 1, . . ., m — 1) = —р (яг). В самом деле, тогда
и так как все х (п — /), / ^ 1, ортогональны 8 (гг), то проекция х (гг)
на х (п — 1), . . ., х (п — яг) как раз равна —У] р (у) х (п — /).
х) Используемые здесь без доказательства формулы и результаты теории
регрессии можно найти в книге Крамера [1946], гл. 23.
2) Рассматривая нашу авторегрессию, условимся считать, если не оговоре-
оговорено противное, что все нули функции У^Р (/') Z~J лежат внутри единичного круга.

4. Стационарные процессы и их ковариационная структура 33
Таким образом, если р (иг) равно нулю, то и р (т | 1, . . ., иг — 1)
равен нулю.
Тот факт, что р (иг | 1, ..., иг — 1) одновременно является
и коэффициентом регрессии, и частным коэффициентом корреля-
корреляции, может показаться странным читателю, знакомому с классиче-
классической теорией регрессии. Это обусловлено, конечно, весьма специаль-
специальным видом матрицы Рт. Для дальнейшего исследования введем
коэффициенты
R*m=pMPm; D.3)
Rm есть сводный коэффициент корреляции между х (п) и х (п — /),
/ = 1, . . ., иг. В самом деле, средний квадрат проекции х (п)
на эти последние векторы (т. е. «средний квадрат регрессии») равен
так как Гт — матрица ковариации величин х (п — /), j = 1, . . ., иг.
Поэтому отношение среднего квадрата регрессии к полному среднему
квадрату (а именно, у @)) равно D.3).
Теорема 6. Если Rm определено соотношением D.3), а
р(иг|1, ..., иг — 1) — соотношением D.2), то
3 = 1
причем р (иг | 1, . . ., иг — 1) равен частному коэффициенту корре-
корреляции между х (п) и х (п — иг) после устранения посредством регрес-
регрессии влияний всех величин х (п — 1), . . ., х (п — иг+ 1).
Доказательство. Мы установим нужную формулу, если
покажем, что
В свою очередь это будет следовать из классического соотношения
теории регрессии (Крамер [1946], стр. 338), если мы докажем, что
р (иг | 1, . . ., иг — 1) — частный коэффициент корреляции, о кото-
котором говорится в теореме. Пусть х (п) — регрессия х (п) на
х (п — 1), . . ., х (п — иг + 1)- (Таким образом, коэффициенты при
этих величинах задаются компонентами вектора P^-iPm-i-) Пусть
х (п — т) — регрессия х (п — т) на те же самые величины. Тогда
квадрат частного коэффициента корреляции по определению равен
отношению среднего квадрата регрессии х (п) — х (п) на х (п — иг)—
— х (п — иг) к среднему квадрату х (п) — х (п). Последний, как
мы видели, равен у @) A — Rm_{). Числитель же равен произведе-
произведению р2 (иг | 1, . . ., иг — 1) на средний квадрат х (п — т) — х (п — иг),
поскольку, как мы знаем, р (иг | 1, . . ., иг — 1) является коэффи-
коэффициентом регрессии. Поэтому наше утверждение будет доказано, если

34 Гл. I. Вводные сведения
мы установим, что средний квадрат х (п — т) — х (п — т) также
равен у @) A —Rm-\) или что Rm-i равен сводному коэффициенту
корреляции между х (п — т) и х (п — т + 1), . . ., х (п — 1).
Но это является простым следствием того, что Гт (или Рт) не изме-
изменяется при одновременной перестановке строк и столбцов.
Таким образом, коэффициенты р (т | 1, . . ., т — 1) не только
обеспечивают критерий для проверки гипотезы о том, что процесс
порождается авторегрессией того или иного порядка, но и дают
некоторое разложение дисперсии х (п) на компоненты, обусловленные
влиянием прошлого. Как мы увидим далее *), оценки для этих
частных коэффициентов автокорреляции обладают также простыми
свойствами статистической независимости. Поэтому, например, гра-
график р (am | 1, . . ., ш — 1) более информативен и легче объясним,
чем график самих коэффициентов р (/). Следует, однако, подчеркнуть,
что полезность подобного описания сильно зависит от того, насколько
процесс х (п) близок к процессу авторегрессии не слишком большого
порядка. Рассмотрим, например, случай, когда
х (п) = a cos nQ + Ь sin nQ -f- У (п),
у{п) = ру(п- 1) + г(п), |р|<1,
где а и Ъ — независимые случайные величины с единичной диспер-
дисперсией, не зависящие также от 8 (п). Тогда у (п) = cos nQ + <т2рп
и коэффициенты р (т | 1, . . ., т — 1) имеют чрезвычайно сложную
структуру, которую было бы очень трудно объяснить, если бы эти
коэффициенты были даны без каких-либо дополнительных указаний
о характере процесса.
5. ВЫСШИЕ МОМЕНТЫ
Очень многие методы анализа временных рядов основываются на
моментах первого и второго порядков, и до сих пор мы рассматривали
только такие методы. Если, однако, х (t) стационарен в узком смысле,
то функции
) xk (t2) xi (t3) . . . xr (tm)} = yjt kt . . . (tu t2, . . ., tm)
удовлетворяют условию
Yj\ ki • • • (?i? hi • • «i ^m) = Yj, k, . .. @, t2 — ?1, . . ., ?m — ^i).
Аналогично, мы можем сказать, что процесс х (t) стационарный
порядка т, если этому условию удовлетворяют все моменты до
порядка т. Мы будем обозначать через Kj k...r (h, hi • • ., tm) семи-
семиинвариант m-го порядка величин xj (^), xh (t2), . . ., xr (tm). Неко-
Некоторые из индексов /, к, . . . могут совпадать. Конечно, моменты можно
!) См. § VI.3.

6. Обобщенные случайные процессы 35
выразить через семиинварианты по известным формулам; мы приве-
приведем здесь лишь соотношение
E{xj (t,) xk (t2) xt (t3) xm (*4)} = yjk (t2 - h) ylm (h — h) +
+ Ул (t3 — h) Укт (h — h) + yjm (h — h) yki (t3 — h) +
(tu t2, t3, t,). E.1)
Отметим очевидный факт, что для любого момента или семиинва-
семиинварианта можно переставлять аргументы tj, отвечающие одинаковым
индексам, при этом момент или семиинвариант не изменятся.
6. ОБОБЩЕННЫЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ х)
Известен классический факт, впервые строго установленный Вине-
Винером [1923], что реализации броуновского движения почти всюду
недифференцируемы. Тем не менее интуитивно удобно представлять
себе процесс броуновского движения ? (t) как интеграл от | (t), где
? (t) — процесс, удовлетворяющий соотношению
Е (| (*) \ (*)) = б (* - *)•
•
Не удивительно, что на самом деле процессу ? (t) можно придать
смысл, введя понятие обобщенного случайного процесса (ОСП),
подобно тому как вводятся обобщенные функции (обзор необходимых
сведений об обобщенных функциях см. в математическом приложе-
приложении к этой книге). Мы следуем Гельфанду и Виленкину [1961].
Рассмотрим пространство К бесконечно дифференцируемых функ-
функций ф (t) с компактным носителем (т.е. равных нулю вне замкнутого
ограниченного множества). Если бы процесс | (t) был уже корректно
определен, то мы могли бы образовать интеграл
который после формального интегрирования по частям принимает вид
оо
- j t(t)<p'(t)dt, F.1)
— с»
ибо ф (t) обращается в нуль в концах подходящего интервала. Послед-
Последнее выражение несомненно определено корректно. Это наводит нас
на мысль взять за основу определения обобщенного случайного про-
процесса некоторое обобщение выражений такого рода и определить
*) Материал этого параграфа является специальным и почти не будет исполь-
использоваться в дальнейшем. Поэтому при желании его можно пропустить.

36 Гл. I. Вводные сведения
производную броуновского движения, обратив ход рассуждений,
которые привели нас от | (t) к F.1).
Итак, определим ОСП как соответствие, сопоставляющее эле-
элементам ф ? К случайные величины Ф (ф), причем (а) Ф (ф) — линей-
линейный функционал от ф, т. е. для любых вещественных чисел а, р
мы имеем Ф (аф4 + рф2) = аФ (ф4) + рФ (фг). Фь фг 6 К\ (Ь) Ф (ф) —
непрерывный функционал от ф. Под этим подразумевается следую-
следующее: если ф1, п, ф2, п» • • •» Фг, п — любые г последовательностей
элементов /?, составленные из функций, равных нулю вне некоторого
фиксированного компактного (одного и того же для каждой отдель-
отдельной последовательности) множества (которое, однако, может зави-
зависеть от рассматриваемых последовательностей), и сходящиеся равно-
равномерно вместе со всеми производными к функциям фь ф2, . . ., фг
(которые, следовательно, также принадлежат К), то совместное
распределение Ф (ф1§ п), Ф (ф2> „), . . ., Ф (фг, п) сходится к совме-
совместному распределению случайных величин Ф (ф4), . . ., Ф (фг)
(в обычном смысле сходимости последовательности функций рас-
распределения в любой точке непрерывности предельной функции рас-
распределения). Конечно, вновь требуется, чтобы совместные распре-
распределения Ф (ф) были согласованы в том смысле, что заданное рас-
распределение любого множества величин совпадает с маргинальным
распределением, полученным из любого более широкого множе-
множества 1).
Процессам, непрерывным в среднеквадратичном, а также процес-
процессам с ортогональными приращениями можно сопоставить ОСП по
следующей формуле:
оо
= J x(t)<f>(t)dt. F.2)
Физическая мотивировка этих идей, помимо того, о чем говори-
говорилось выше, основывается на представлении, что мы неизбежно наблю-
наблюдаем некоторый функционал от основного процесса, поскольку наблю-
наблюдения производятся с помощью некоторого прибора. Таким образом,
Ф в F.2) может рассматриваться как характеристика прибора. Линей-
Линейность функционала, конечно, является некоторым ограничением,
удобным с математической точки зрения, и все же излагаемая кон-
концепция носит весьма общий характер, хотя бы потому, что х (t)
в F.2) может быть существенно нелинейной функцией от каких-либо,
возможно, более фундаментальных случайных явлений.
Положим теперь, как подсказывают предыдущие рассмотрения,
ф' (ф) = -Ф (Ф').
Из свойств пространства К вытекает, что любой ОСП можно про-
продифференцировать и прийти к новому ОСП.
г) В книге Гельфанда и Виленкина [1961], гл. IV, § 2, обсуждается кон-
конструкция вероятностного пространства, на котором могут быть определены все
величины Ф (ер).

Упражнения 37
Теперь мы определим стационарный второго порядка ОСП.
Рассмотрим процесс Ф, для которого
Уф (Ф, i|)) = е{ф (Ф) ф (ф)> < оо, ф, ф е к.
Положим теперь^ ф(8) (t) = ф (s + t). Процесс Ф называется ста-
стационарным второго порядка, если
для всех s ? (— оо, оо) и ф, i|) 6 i?.
Очевидно, что тогда Ф' также будет стационарным второго поряд-
порядка и его ковариационная функция равна ^ф (ф', г|/).
В заключение приведем один пример. Рассмотрим обобщенный
случайный процесс, ковариационный функционал которого равен
оо
у{ф, ц}= f f ф (S) -ф (t) min E, ^)&^, F.3)
oJ
причем совместное распределение величин Ф (ф7), / = 1, . . ., /с,
гауссово с нулевым средним и матрицей ковариаций у (ф;«, ф&).
Этот процесс можно отождествить со случайным процессом броу-
броуновского движения ? (t) по формуле
t
Ф(Ф)= Jq>(T)g(T)dT.
и
Тогда Ф', очевидно, также имеет гауссово распределение, и его
ковариационный функционал равен
О
Это легко получить, если представить F.3) в виде
t 00 t
f I [(p(s)ds— [ <p(s)ds\ I f \|?(s)ds— f
00 о и о
Мы видим, что Ф' имеет ковариационный функционал производной
броуновского движения; таким образом, введение обобщенных слу-
случайных процессов позволило определить процесс, которого в обычном
смысле не существует. Очевидно, что Ф' стационарен.
УПРАЖНЕНИЯ
1. Пусть х (п) = х (п — т) -\- г (п), где х (п) — скаляр. Показать, что
т— 1 [п/т]
*(«)= 2 ajeiia'^m+ S s(n-mj), n > О,
О j=0

38 Гл. I. Вводные сведения
где aj могут быть выбраны так, чтобы х (п) удовлетворял т начальным усло-
условиям.
2. Пусть х (п) стационарен и порождается уравнением
S Р (/)*(*-/) = в (п);
о
показать, что
det rq+i
3. Найти вид ковариаций для
Q
х (п) = у. {ос (/) cos 7iAj-j-|3 (/) sin тгЛу}, Ху= ,
где а (/), Р (/), 7 = 0, ..., д, — случайные величины, для которых
а все остальные ковариаций равны нулю.
4. Пусть х (t) непрерывен в среднеквадратичном смысле, и пусть
t
\ х (т) dx, t > 0,
о
о
— \ х (т) dx, f < 0.
Доказать, что г/ (г) среднеквадратично дифференцируем и у (t) = x (t). (См.
Манн [1953], теорема 1.4.)
5. Характеристический функционал ОСП определяется как L (ф) =
= Е {ехр /Ф (ф)}. Доказать, что если Ф — гауссов (т. е. совместные распре-
распределения Ф (ф), ф (Е К, гауссовы), то L (ф) = ехр {—1/2у (ф, ф)}.
ПРИЛОЖЕНИЕ
1. Гильбертовы пространства1) случайных величин и интегрирование
относительно процесса с ортогональными приращениями
Рассмотрим скалярный случайный процесс х (г, со), для которого Е (х (tJ) <
< оо, —оо < t < оо. Предположим сначала, что х (t) среднеквадратично
непрерывен. Таким образом, каждая величина х (t, со) принадлежит простран-
пространству Ь2 (Й, ^, Р) всех комплекснозначных функций на Й, квадратично инте-
интегрируемых относительно Р. Пусть &€—замкнутое подпространство пространства
L% (^» Jfr-> Р)-, порождаемое элементами х (г, со). Оно состоит из всех конечных
комплексных линейных комбинаций
N
х=У] ajx(tj) A)
г) Обзор необходимых сведений из теории гильбертовых пространств см.
в математическом приложении в конце книги.

Приложение 39
и среднеквадратичных пределов сходящихся последовательностей таких линей-
линейных комбинаций. Обозначим через (х, у), х, у ? &€, скалярное произведение
в Ш. Разумеется, (х, у) = Е (ху), х, у ? $#, и, в частности,
(x(s),x(t)) = y(s, t). B)
Пространство &€ сепарабельно. В самом деле, величины х (t), где t рационально,
образуют счетное множество, а в силу среднеквадратичной непрерывности ими
можно сколь угодно точно аппроксимировать любой х вида A).
Множество оМ ? &€ называется (замкнутым) подпространством, если оно
является линейным пространством, замкнутым относительно сходимости в сред-
среднеквадратичном, т. е. по норме, соответствующей скалярному произведению.
Множество всех элементов х?_&€, ортогональных всем элементам cJl/l, которое
обозначается оАЬ^-^ также является замкнутым подпространством, и любой эле-
элемент z ? &€ однозначно разлагается по формуле z = х -{- г/, х ? о41, у ? о/М-^-. Опе-
Операция, которая сопоставляет элементу z элемент х, называется ортогональным
проектированием на <М (аналогично для операции, сопоставляющей у ? <М^~
элементу z). Она, конечно, является некоторым обобщением понятия регрессии,
введенного в § 4.
Определения существенно не изменятся, если мы позволим исходному про-
процессу х (t) принимать комплексные значения г). Рассмотрим частный случай,
когда х (t), обозначаемый теперь g (t), имеет ортогональные приращения, т. е.
Положим
F @ —^ (*) = Е A g (*) —Б (*) Is),
где F (t) — всюду конечная неубывающая вещественная функция.
Легко видеть, что g (t) имеет в каждой точке односторонние пределы, напри-
например предел справа. В самом деле,
lim Е {| Б (*2) — Е (*±) |а> = Hm [F(t2)-
где обозначения указывают на то, что предел берется при tu t2i стремящихся,
убывая, к t. Таким образом, любая последовательность g (tfj, tj > t, где tj,
убывая, стремится к t, имеет среднеквадратичный предел, который может совпа-
совпадать с ? (t), но может и не совпадать, если ? (t) имеет «скачок» в t. Конечно,
предел, который мы обозначим ? (?+), в любом случае определен однозначно,
ибо ееjiii tj и Sj — две убывающие последовательности, стремящиеся к t% то
lim Е {| I (tj)-l(sj) |2}= lim \F(tj)-F {sj) | = 0.
В большинстве случаев можно без каких-либо последствий для конечных резуль-
результатов переопределить процесс ? (t) так, чтобы он был непрерывен справа, т. е.
чтобы lim ? (s -\- t) = ? E) в среднеквадратичном смысле. В дальнейшем мы
по
будем считать, что это уже сделано. Сейчас мы не предполагаем, что ? (t) сред-
среднеквадратично непрерывен. Однако если мы построим по ? (t) пространство &6,
как оно раньше строилось по х (t), то это пространство вновь будет сепарабель-
ным. Это следует из того факта, что F (t) имеет не более чем счетное число скач-
скачков, так что значения g (t) в точках скачков F (t), вместе со значениями g (t)
для рациональных t, не являющихся точками скачков, образуют счетное мно-
множество, плотное в (Ш,
*) Существование (Q, ^, Р) очевидно, так как комплекснозначный ска-
скалярный случайный процесс можно рассматривать как вещественный векторный
процесс с двумя компонентами.

40 Гл. I. Вводные сведения
Рассмотрим теперь функции ф (t) вида
@, t < *0,
с}, *7-1<*<*л / = 1» •••> N, C)
О, tN < *,
и установим соответствие
N
Ф= ( () ? (Л)
В левой части мы рассматриваем ф (/) как элементы полного линейного про-
пространства А2 (F) функций, квадратично интегрируемых относительно F (dt),
тогда как в правой мы имеем случайные величины, принадлежащие гильбер-
гильбертову пространству &€, определяемому процессом \ (t). Конечно, L2 {F) само
является гильбертовым пространством, и, как легко проверить,
j 4>i(t)y2(t)F(dt) = (cpucp2) E)
для любых двух функций вида C).
Следовательно, указанное соответствие сохраняет скалярное произведение.
Поэтому его можно продолжить на все функции, квадратично интегрируемые
относительно F, ибо если ф„ (t) — последовательность функций указанного
типа, такая, что
lim
m, n-*oo
f |фт@-
J
Т0 Фт @ сходится по норме L2 (F) к функции ср (t), квадратично интегрируемой
относительно F, а E) гарантирует, что соответствующая последовательность
фт сходится к элементу пространства &в'. Кроме того, ступенчатые функции C)
«плотны» в L2 {F) в том смысле, что все квадратично интегрируемые функции
могут быть получены из сходящихся в среднеквадратичном последовательностей
таких функций. (На самом деле мы можем считать, например, что точки разрывов
tj рациональны, так что L2 (F) содержит счетное плотное множество, т. е. L2 (F)
«сепарабельно».) Таким образом, соответствие D) позволяет для любой ф (t),
принадлежащей L2 (F), определить случайную величину, которую мы обозна-
обозначим символом
Jq> @ 6 (dt).
Такие же рассуждения позволяют определить интеграл
j Ф (*) I (dt), F)
где ?¦ (t) теперь — векторный процесс с ортогональными приращениями, т. е.
Е (Ц (t2) - I (s2)] Ц (h) - I (Si)]*) = 0, t2 > s2 > tx > ^.
Здесь, конечно, Ф (t) — матрица, у которой число столбцов совпадает с размер-
размерностью ?, а элемент cpf7- (t) матрицы Ф (t) должен принадлежать L2 (Fj), где
Fj(t)-Fj(s)= E {\lj(t)-lj(s) |«}.
В самом деле, F) определяется как вектор с компонентами
^ \<PU(t)lj(dt),
а каждое отдельное слагаемое уже было определено.

Приложение
41
2. Доказательство теоремы 4'
В § 3 мы ввели модель C.10), которая привела нас к рассмотрению решений
системы уравнений
[2 Я (/)*«-'] 6 = 0. A)
о
Пусть zu — корень уравнения
det
(Я
] = 0;
B)
обозначим соответствующие решения системы A) через b (г, и), i = 1, . . ., su
Существование таких решений и их кратности как собственных векторов уста-
устанавливаются теорией эквивалентности матриц, элементы которых являются мно-
многочленами от переменной z (см., например, Макдаффи [1956], стр. 40, или Бохер
[1907], гл. XX). Доказывается, что для матрицы в левой части A), которую мы
обозначим С (z), существуют матрицы Ри^, элементы которых являются мно-
многочленами от z, с определителями, равными ненулевым константам, такие, что
PC(z)Q =
'h<
h2(z)
hp (z) J
где недиагональные элементы равны нулю, ht (z) — многочлен от z степени pit
причем hi делит ht+i для любого i. (В общем случае внизу на диагонали могут
быть нулевые элементы, но для С (z) это невозможно, поскольку мы предполо-
предположили, что В @) — единичная матрица.) Многочлены hj (z) называются инва-
инвариантными множителями. Пусть zu — корень ht (z), не являющийся корнем
ht_i (z); тогда, учитывая, что Р'1 — также матрица многочленов от z, мы видим,
что существует su = (р — i + 1) решений b (г, и), i = 1, . . ., su, уравнения
С (zu) b = 0; именно, подставим значение z=zubP, С и Q и возьмем в каче-
качестве b (г, и) последние (р — i + 1) столбцов получающейся матрицы Q. Эти
решения, очевидно, линейно независимы, поскольку определитель Q равен
ненулевой постоянной. Таким образом, каждому zu мы сопоставили su решений
уравнения С (zu) b = 0, а именно, указанные выше b (/, и). Пусть pt, u —
степень множителя (z — zu) в инвариантном множителе, соответствующем
b (г, и). Построим тогда систему векторов:
ъ (;, и) zg/ii, u = U ••-, s,
7 = 0, ..., (P(.u-l),
где s — число различных корней zu. Отметим, что число таких векторов совпа-
совпадает со степенью pq определителя С (z) как многочлена от z. Образуем теперь
выражение
(i,j,u)z^b(i,u), C)
где с (i, ;', и) должны быть выбраны так, чтобы этот вектор удовлетворял q
1 В (
) р
начальным значениям при и = —1,
творяет уравнению
2
о
р ур q
., —q. Вектор с (п), очевидно, удовле-
удовлеD)

42 Гл. I. Вводные сведения
(То, что z^rJb (i, и) удовлетворяет D) при / > 0, можно проверить, дифферен-
дифференцируя / раз обе части соотношения С (z) Q = Р~ХН и полагая z = zu.) Остается
только доказать существование чисел с (г, /, и) для заданных начальных усло-
условий, а это сводится к проверке того, что матрица, у которой в к-й группе из р
строк (к = 1, . . ., q) столбец с индексом (г, /, и) равен
z-h(-k)ib(i, и),
имеет ненулевой определитель. Но если бы этот определитель был равен нулю,
то можно было бы найти ненулевые с (г, ;, w), такие, что с (п) = 0, при п =
= —1, . . ., —q, а это, очевидно, невозможно, так как компоненты вектера
с (п) являются многочленами степени не выше (q — 1).
Теперь мы можем завершить доказательство теоремы 4'. Пусть Q~1(z~1) =
= ^Qjz-3 и Р (zw~1) = ^JPjzw~J. Тогда, переходя к новому процессу у(п) =
== /j Qjx(n~~l) и заменяя правую часть C.10) выражением
J h
мы сводим доказательство существования единственного решения уравнений
C.10) к доказательству того же факта для системы скалярных уравнений с произ-
производящими функциями h (z) для левых частей. Таким образом, остается только
вторая часть доказательства, и мы предположим теперь, что ни один из корней
уравнения B) не лежит на единичной окружности. Тогда для (^B(j)z3)-1
имеет место разложение Лорана в кольце, содержащем единичную окружность;
записывая его в виде
мы приходим к выражению
с»
2 F(n — и) А (к) г (и — к).
U=—-оо
Это выражение определено корректно как предел в среднеквадратичном, посколь
ку элементы F (п) экспоненциально стремятся к нулю при возрастании п\ но
тогда, в силу соотношения
о
имеем
q
F(n — u — f)A(k)s(u — k))=A(k)B(n — k)
оо
j 5j F(n — и)А(к)г(и — к)
2 2
h=0 u=—oo
является решением C.10). Полагая
2
мы можем записать это решение в виде
2 А (/) в («-/). E)
— ОО
Комбинируя C) и E), получаем теорему 4'.

Глава II
Спектральная теория векторных
процессов
1. ВВЕДЕНИЕ
Эта глава посвящена анализу Фурье для временных рядов. Методы
Фурье тесно связаны с понятием стационарности, так что случайные
процессы, обладающие этим свойством, будут находиться в центре
внимания, хотя мы рассмотрим также и некоторые отклонения от
стационарности. Пожалуй, сначала стоит пояснить, почему методы
Фурье играют такую существенную роль в рассматриваемой теории.
Наложенное нами фундаментальное условие стационарности для
скалярных процессов имеет вид у (s, t) = у (t — s). Таким образом,
мы рассматриваем ограниченный класс ковариационных функций,
которые инвариантны по отношению к группе сдвигов вещественной
прямой, т. е. у (s, t) = у (s+т, t -|- т). В связи с этим возникает
вопрос: нельзя ли заменить функцию времени х (t) какой-нибудь
новой функцией х (t), которая линейно выражается через х (t) и для
которой ковариационная функция имеет более простую, а именно
диагональную, форму: у (s, t) = 0, s фг. (Это может показаться
маловероятным из-за того, что у (s, t) определенно должна быть
разрывной, однако в нашем эвристическом вступлении мы не будем
касаться таких подробностей и отложим их обсуждение на после-
последующее.) В примере (iii) § 3 гл. I мы уже встретились с подобным
преобразованием, когда рассматривали представление вида
*-TM(dx), A-1)
справедливое для некоторого специального класса стационарных
процессов. Здесь процесс х (t) выражен линейно через новый слу-
случайный процесс !• (t), хотя и не стационарный, но имеющий стацио-
стационарные и, более того, некоррелированные приращения; таким обра-
образом, рассуждая очень нестрого, можно рассматривать !• (dt)ldt как
Однако представление A.1) не дает того, что нам нужно, так как
оно не может быть реализовано, если нам известно лишь, что у (s, t) =
= у (t — 5), но функция у (t) в целом не известна. Мы же ищем
преобразование, которое диагонализирует у (s, t) и задано a priori,
если только известно, что у (s, t) = у (t — s) (но сама функция у (t)

44 Гл. II. Спектральная теория векторных процессов
не известна). Не удивительно, что такое преобразование выполняется
методами Фурье, ибо в некотором смысле, который мы здесь не
уточняем *), exp Wk является собственной функцией оператора U (т),
действующего по формуле U (т) / (t) = / (t + т) и, следовательно
описывающего стационарность процесса.
Прежде чем продолжить обсуждение намеченной процедуры, мы
рассмотрим пример, в некоторых отношениях более простой и более
общий, который иллюстрирует сказанное выше. Рассмотрим непре-
непрерывный в среднеквадратичном скалярный случайный процесс х (t)r
ковариационная функция которого у (s, t) известна, и ограничимся
сначала случаем интервала [О, Т]. Тогда по теореме Мерсера (Рисе
и Надь [1956], стр. 265)
где фг (s) — собственные функции ядра y(s,t),
т
о
г
Ф; (s) ф.; (s) ds = б?.
и
Двойной ряд для у (s, t) сходится к своему пределу равномерно
по s и t. Образуем теперь ряд
оо Т оо
0 0 0
Коэффициенты at являются случайными величинами (определение
их как среднеквадратичных пределов интегральных сумм обосновано
в п. 1 приложения к гл. I). Они удовлетворяют соотношениям
т
Е (с^о,-) = \ \ Е {х (s) х (t)} q>i (s) ф,- (t) ds dt =
0
T
= J J Y (*> 0 Ф, (s) Фу (t) ds dt - pfi\.
о
Таким образом, они «ортогональны». Кроме того,
т
Е (х (t) at) = j Y (*. 0 Ф^ № ds = |
i) См. § 10.

2. Спектральные теоремы для стационарных процессов 45
откуда следует, что
а это выражение, как нам известно, равномерно сходится к нулю.
Итак, имеем
(Н2*Ф«@
о
в смысле среднеквадратичной сходимости частичных сумм1). Этот
результат остается верным, например, в случае, когда [О, Т] заме-
заменяется на (— оо, оо), у (s, t) квадратично интегрируема на плоскости
и интегралы по [О, Т] заменяются на интегралы по (— оо, оо). Двой-
Двойной ряд для у (s, t) будет сходиться теперь только в среднеквадра-
среднеквадратичном, т. е.
оо N
lim ( ( Гт (*, 0-2 ИМ (*) Ф« (О? dsdt = 0,
jv.oo J J L ^ J
хотя, если у (s, t) непрерывна, сходимость будет равномерной на
любом конечном интервале.
Мы получили здесь некоторую диагонализацию ковариационной
матрицы (новые переменные — это величины осг), которая имеет,
однако, ограниченную применимость, поскольку требует полного
знания у (s, t). Некоторое обобщение этих идей читатель может
найти в работе Парзена [1961].
В § 2 мы сформулируем и докажем основные теоремы, касающие-
касающиеся анализа Фурье для х (t). В § 3 мы обсудим связь с аналогичным
анализом Фурье для временных рядов с дискретным временем.
В § 4 обсуждаются линейные фильтры; некоторые специальные моде-
модели рассматриваются в § 5. Нелинейные фильтры и некоторые формы
отклонений от стационарности, которые все еще позволяют исполь-
использовать спектральные методы, рассматриваются в § 6—11, где также
затрагиваются другие спектральные теории.
2. СПЕКТРАЛЬНЫЕ ТЕОРЕМЫ ДЛЯ СТАЦИОНАРНЫХ ПРОЦЕССОВ
С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ
Докажем сначала следующую теорему.
Теорема 1. Если Г (s, t) = Г (t — s) —ковариационная матрица
стационарного процесса второго порядка, то
оо оо
Г(*)= \ e^F(dk)= f {cos tlC (dX) + sin tXQ (dl)}, B.1)
x) Полученное разложение называется разложением Карунена—Лоэва. —
Прим. перев.

46 Гл. II. Спектральная теория векторных процессов
где F (Я) — матрица, приращения которой F (Я4) — F (Я2), /ц ^ Я2,
эрмитовы и неотрицательны. Функция F (Я) определяется однозначно,
если мы дополнительно потребуем, что (i) lim F (Я) = О, (ii) F (Я)
непрерывна справа. Матрицы С (Я) и Q (X) вещественны и являются
соответственно симметричной и кососимметричной, причем С (Я^ —
— С (Я2) неотрицательна при Я4 ^ Я2.
Матрица F (К) называется матричной спектральной функцией,
а С (Я) и Q (Я) — соответственно коспектральной матричной функ-
функцией и квадратурной спектральной матричной функцией. Правая
часть B.1), конечно, представляет собой матрицу интегралов относи-
относительно комплекснозначных мер Лебега — Стилтьеса, порождаемых
элементами Fjk (X) матрицы F (Я).
При доказательстве теоремы 1 мы используем классические
«теоремы единственности и непрерывности для характеристических
функций» (см., например, Крамер [1946]), утверждающие, что после-
последовательность функций распределения сходится к собственной функ-
функции распределения тогда и только тогда, когда соответствующая
последовательность характеристических функций сходится поточеч-
поточечно к функции, непрерывной в нуле, которая оказывается характе-
характеристической функцией предельного распределения, и что эта харак-
характеристическая функция однозначно определяет функцию распреде-
распределения, нормированную, например, условием непрерывности справа.
Мы будем использовать эти теоремы в случаях, когда верхний предел
всех функций распределения равен одному и тому же положительно-
положительному числу (не обязательно равному единице); очевидно, что указан-
указанные теоремы применимы и в этом случае.
Чтобы доказать теорему 1, построим сначала скалярный процесс
ха (t) = a*x (t),
где а — фиксированный вектор из р комплексных постоянных.
Положим
уа @ - Е (ха (s) xa(s+t)) = a*T (t) a.
Тогда имеет место основная
Лемма 1. Функция уа (t) неотрицательно определенна в том
смысле, что для любых п, ?ь . . ., tn и комплексных постоянных
Pi, • • ., К
У %.hfaya(tj-th)>O. B.2)
Это следует из простых преобразований
f №kya(tj-h)= У
2
i=l h=\

2. Спектральные теоремы для стационарных процессов 47
Для продолжения доказательства теоремы 1 положим
\t\>T,
(
(о,
— оо
Поскольку
т т
fP (К) = J ,-ia A _Ж) ?а@Л:=^ Г Г Н-^^
т о
J
-т
/(Г)
то /(аГ)(А,)^0, ибо правая часть может быть с любой точностью
аппроксимирована суммами вида B.2) (где р; = ехр (itft) dt, a tj —
равноотстоящие точки). Образуем теперь чезаровское среднее функ-
функции /(аТ)(Я):
м
¦ST J (l-^fT^e^dl, B.3)
которое сходится к у{Р (t) при М —>¦ оо. (См. § 3 математического
приложения.) Так как B.3) является характеристической функцией
(подинтегральный множитель перед ехр ПК положителен), то уа (t)
как предел сходящейся последовательности характеристических
функций, непрерывный при t = 0, также является характеристиче-
характеристической функцией. Теперь, устремляя Т к бесконечности, мы видим,
что функция уа (t) также является пределом последовательности
характеристических функций, и так как она непрерывна при t = 0r
то является характеристической функцией:
Единственность Fa (К) при выполнении условий (i), (ii) теоремы 1
следует из теоремы единственности для характеристических функций.
Выберем теперь вектор а так, чтобы его у-я компонента равня-
равнялась единице, а все остальные — нулю. Тогда получаем
yj(t)=
Если мы положим
*a(l) (t)=Zj (t)+Xk @, Xai2) (t)=Xj (t) + ixh (t),
то, учитывая, что
4 [Tad) (О i

48 Гл. II. Спектральная теория векторных процессов
имеем
где
Обозначим через F (X) матрицы с элементами Fjk(X). Из того что
Г/'< @ = Yft; (— *). следует, что F(X) = F*(X), ибо
оо
= \
Из доказательства видно, что a*F (X) a = Fa (X), откуда следует,
что F (X) эрмитова и имеет неотрицательно определенные прираще-
приращения. Так как
оо оо
Г( —*)= j e-ui-F(dk) = r(t)= j e^F' (dX),
— оо —оо
то мы видим, что F' ( — X) = Г @) — F (X) во всех точках непрерыв-
непрерывности, или, что равносильно,
F(K)-F(X2) = F'(-X2-)-F'(-Xi-), Х^Х2, B.4)
где, например, F'( — 'kl — )= lim F' (К). Мы будем сокращенно запи-
C)k (dX) = {
сывать B.4) в виде F (dk) =F' (d(—X)), что равно, коь?ечно, F(d(—X)).
Используя обозначения Re для вещественной части, Im для мни-
мнимой части, положим
2Re{Fjh(dX)},
Fjh(dX),
Qjh (dX) = -2Im {Fjk
Эти соотношения определяют две вещественные функции ограни-
ограниченной вариации Cjk (X) и Qjk (X). Как и в § 1, гл. I, мы опускаем
один из индексов, если эти индексы совпадают. Тогда Qj (X), очевид-
очевидно, равны нулю, а С j (X) имеют неотрицательные приращения. Соот-
Соотношения F (X) = F* (X), F (dX) = F' (d (-X)) показывают, что
С (dX) — симметричная матрица и ее можно определить так, чтобы
она была четной функцией от X, тогда как Q (dX) — кососимметрич-
ная матрица и ее можно определить так, чтобы она была нечетной
функцией от X. Имеем
Г (t) = у \ cos tXC (dX) + -j \ sin tXC (dX) — у ^ cos tXQ (dX) +
и о b
oo oo oo
+ -1 j sin tXQ (dX) +y j cos tXC (dX) - -i J sin tXC (dX)

. Спектральные теоремы для стационарных процессов 49
оо оо
-f Y j cos tkQ (dk) + у j sin tkQ (dk) =
о о
OO OO
= \ cos tkC (dk) + [ sin tkQ (dk).
Это завершает доказательство теоремы 1.
Для матрицы F (к) имеет место разложение Лебега
F (к) = F^ (к) + F<2> (к) -j- F^(к).
Здесь i^1) (к) абсолютно непрерывна (относительно меры Лебега
на прямой), так что
= j f(k)dk,
где / (А,) — матрица с элементами fjt h (к), называемая матричной
спектральной плотностью. Пусть / (k) = V2 (с (к) — iq (к))] тогда
с (к) и q (к) называются соответственно матричными коспектральной
и квадратурной спектральной плотностями. Функции /у, /г (А,) для
j =фк называются взаимными спектральными плотностями. Компо-
Компонента F^ (k) может возрастать только скачками в конечном или
счетном множестве точек интервала (— оо, оо), не имеющем предель-
предельных точек (помимо ±оо).
Элементы матрицы ^3^ (к) непрерывны и имеют почти всюду
равные нулю производные относительно лебеговской меры. Было бы
трудно придать им какой-либо физический смысл, и мы часто будем
предполагать, что эта третья компонента отсутствует. На самом
деле, как мы увидим дальше, в случаях, когда стационарная модель
адекватно отражает всю сложность реальной ситуации, часто (но,
возможно, не всегда) можно считать, что F{1) (к) является единствен-
единственной, присутствующей компонентой. Ниже мы обсудим это более
подробно.
Теперь мы должны пояснить физический смысл утверждения
теоремы 1. Для этого рассмотрим сначала несколько искусственный
частный случай. Предположим, что Xj (t) = Xj (t + 2fcrt), / = 1, ...
..., p, & = 0, ±1, ..., т.е. что наблюдается периодическая слу-
случайная функция. Например, %j (t) при —я < t ^ я может соответ-
соответствовать некоторому измерению, производимому на некоторой фикси-
фиксированной широте и долготе t, причем результаты измерений про-
продолжаются просто по периодичности. Тогда также yjk (t) =
= yjk {t + 2/ся). Мы будем писать xj (ф) и yjk (ф) в случае, когда
эти функции рассматриваются на интервале —я < ф ^ я.

50 Гл. II. Спектральная теория векторных процессов
Теорема 1'.
оо оо
Г (ф) = 2 А (п) eim = 2 й (w) cos ЯФ + ¦# (w) sin гсф},
-оо 0
где ряд Фурье сходится абсолютно.
Доказательство. Так как Г (t) — непрерывная периоди-
периодическая функция от t, то
^ д (л) (l-J?l
-Я
(см. математическое приложение). Поскольку Г (t) удовлетворяет
условиям теоремы 1, для нее выполняется B.1). Пусть FN (К) —
функция, возрастающая скачками в точках п, \ п \ ^ N, причем
величины скачков равны А (я) A — \ п \IN). Тогда, в силу теорем
единственности и непрерывности для характеристических функций,
FN (k)-> F (к). Поэтому имеет место первое соотношение теоре-
теоремы 1'. Полагая
А (п) = V2 (А (п) - iB (л)), п =?0, А (п) = А (п), п = 0,
получим второе равенство.
Мы будем обозначать элементы матриц А, А, Б соответственно
8jt ъ {п), CLjt k (п), Ру, ъ. (^)- Интересно отметить, что рассматриваемый
ряд Фурье, согласно теореме 1, сходится абсолютно. Это обусловлено
свойством неотрицательной определенности Г (ф) и для произволь-
произвольных непрерывных функций, вообще говоря, неверно.
Теорема 2'.
оо оо
xj (ф) = S ?; (п) е-ы<" = 2 {Ь (п) cos пц> +1\, (n) sin иср}, / = 1, . .., р,
-оо 0
B.5)
где ряды сходятся в среднеквадратичном, и
т& (»)+*%(»)). »>о,
и=о, B.6)
Ковариации величин \{п) и ц (п) равны
Е (I, (m) U (п)) = Е (п, (т) % (п)) = б^ау, ft (/г),
Е (?, (то) Лй (»)) = - Е (ti> (in) ?ft (n)) = 6й,рЛ k (л),

2. Спектральные теоремы для стационарных процессов 51
Доказательство. Положимг)
( Я
1 С
— \ Xj (ф) cosmpcfrp, п = 1, 2, ...,
Г 1 р
I — \ xj (ф) sinmpdq), гс=1, 2, ...,
{ О, п = 0.
Отсюда вытекают формулы B.7); например, при га, пфО
Е (lj (m) lk (/г)) = я j j yjk (ф2 — Ф^ cos
-я
я rt
^^t \ Т^(ф) j \ cos тг|з cos ^г (ф -^
-я -я
откуда следует нужный результат.
Таким образом, если мы рассмотрим частные суммы
N
Sj(N)= 2 {lj (n) cos ny + ^jin) sin пц},
71=0
то, очевидно,
оо
Е[{Х;(ф)-^(^)}2]= S «И»),
iV+1
ОО
где правая часть сходится к нулю, так как ряд 2 а; (w) = Ту @)
о
абсолютно сходится. Мы использовали легко проверяемое соотно-
соотношение:
Е [{^j (n) cos щ + r\j (n) sin жр} х}- (ф)] = ссу (^г).
Таким образом, доказано, что Xj (ф) равен правой части B.5), откуда
сразу получается и выражение для Xj (ф) через ? (?г).
Итак, формула B.5) представляет х (ф) в виде ряда Фурье, коэф-
коэффициенты которого являются случайными величинами особенно
простой ковариационной структуры. Переход от х}- (ф) к Ну (^г)
-1) Определение подобных интегралов см. в п. 1 приложения к гл. I. Раз-
Разложение B.5) является, конечно, частным случаем результата, относящегося
к непрерывным ковариационным функциям на конечном интервале, который
был указан нами в § 1 этой главы, с той оговоркой, что здесь рассматривается
векторный случай.

52 Гл. II. Спектральная теория векторных процессов
и r[j (;г), а именно формулы B.6), не требуют никаких специальных
сведений о ковариационной функции Xj (ф). Таким образом, нам
удалось найти некое разложение такого типа, о котором шла речь
в § 1 этой главы, так как мы представили х (ф) в виде суммы ортого-
ортогональных случайных величин с помощью преобразования, не завися-
зависящего от ковариационной функции. Если мы предположим сразу, что
х (t) имеет период 2Г, то мы получим разложение вида B.7), где,
однако, вместо e~inv будет фигурировать (я/Г)^ехр (—itnn/T). Устрем-
Устремляя Т к бесконечности, мы приходим к предположению, что в общем,
непериодическом, случае должно иметь место представление (спек-
(спектральное представление) вида
оо
x(t)= \ e-Mz(dk), B.8)
— оо
которое получается из B.5), если подставить А, вмезто пп/Т и z (dk)
вместо (я/Г) ? (п). Так как
Е (? Н ?(»)*) = 0, щфп,
то естественно ожидать, что процесс z (А,), нормированный условием
непрерывности справа, будет векторным случайным процессом
с ортогональными приращениями, т. е.
Е{(z (К) - z (k2)) (z (к3) - z (К))*} = О, К > Х2 > Х3 > Я4,
причем
E{(z (?ц) - z (X2)) (z (К) ~ * (Я2))*} = F (Х{) - F (Я2), kt>X2.
Последнее соотношение мы будем сокращенно записывать в виде
E{z(dk)z(dk)*} = F (dk).
Эти утверждения обосновываются следующей теоремой.
Теорема 2. Если х (t) — стационарный процесс второго
порядка с матричной спектральной функцией F (к), то имеет место
соотношение B.8), где правая часть есть среднеквадратичный предел
последовательности интегральных сум Римана — Стилтъеса,
a z (X) — комплекснозначный процесс с ортогональными приращения-
приращениями, такой, что Е (z (X) z (A,)*) — F (k). Если потребовать, чтобы
процесс z (к) был непрерывен справа в среднеквадратичном, то он
определяется однозначно с точностью до подмножества Q нулевой
вероятности.
Доказательство этой теоремы дается в п. 2 приложения к этой
главе. Следующая теорема 3 показывает, каким образом процесс
z (к) однозначно (в существенном) определяется через х (t).

2. Спектральные теоремы для стационарных процессов 53
Теорема 3. Для любых двух точек непрерывности Х2 > Х{
функции F (X) имеем
т
= lim-^- [ Г @ е х* -~е г ' dt
pik\t
z (A2) - z (K) = 1 л:т. -± ]x(t) ./ dt.
(l.i.m. обозначает здесь среднеквадратичный предел последователь-
последовательности случайных величин.)
Доказательство этой теоремы также дано в п. 2 приложения
к этой главе.
Теорема 4. Если х (t) удовлетворяет условиям теоремы 2,
то имеет место также вещественное представление
оо
x(t)= [ {cos Xt% (dk) + sin Щ (dJi)}, B.9)
о
где Ъ, (К) и г\ (k) — вещественные процессы с ортогональными прира-
приращениями, такие, что Е{(? (?ц) — !• (к2)) (л (^з) — Л (?ч))} = О ^ЛЯ
непересекающихся интервалов [к2, К), [?Ч> ^з)- Ненулевые ковариации
имеют вид
(dX) I' (dX)} * F (dX) = С (dX), X = 0,
ЕЦ (dX) I' (dX)} = E{t! (dX) r]' (dX)} = 2Re (F (dX)) = С (dX), X фО,
E{? (dX) V (dX)} = -E{t! (dX) I' (dX)} = 2Im (F (dX)) = Q (dX),
E{r] (dX) t]7 (dX)} = 0 = Q (dX), X = 0.
Доказательство. Определим два вещественных процесса
Н (А,), г) (X) с ортогональными приращениями следующим образом.
Если z (X) имеет скачок при X = 0, то мы полагаем !• @) равным
этому скачку. Далее,
Ъ(Х) - I @) = 2Re (z (X) - z @)), X > 0.
Полагаем г) @) = 0 и
т| (X) = 2Im (z (X) - z @)).
Так как х (t) — вещественный процесс, то, согласно теореме 3, для
любых двух точек непрерывности Хи Х2
Т
р-гШ p-i%\t
Поэтому мы можем переписать B.8) в виде B.9). (Это соотношение
является аналогом B.5).)

54 Гл. II. Спектральная теория векторных процессов
Поскольку z (X) имеет ортогональные приращения, то
E{z (dX) z (dX)'} = E{z (dX) z (d (-X))*} =0, X =9*0.
Поэтому
1 [E {I (dX) I (dX)'}-Е{ц (dX) ц (dX)'}] +
+\ [E {t| (dX) I (dXY}-E{% (dX) т| (dX)'}] = 0, X Ф 0.
Так как, кроме того,
E{z(dX)z(dX)*} = F (dX),
то мы видим, что \ (X) и ц (X) — процессы с ортогональными прира-
приращениями, такие, что Е (? {dXi) r)' (dX2)) = 0, Х{ фХ2, а ненулевые
ковариации таковы, как указано в формулировке теоремы. Дока-
Доказательство завершено.
Следующие рассуждения поясняют смысл коспектра и квадратур-
квадратурного спектра *). Вернемся на время к периодическому случаю
и к соотношению B.5) и определим, при какой величине временного
сдвига компоненты ^ (п) cos пц> + r\j (n) sin пц> относительно ?& (п) X
X cos пц) -\- r\k (n) sin жр (/ =?/с) квадрат коэффициента корреляции
между ними будет максимальным. Если мы заменим в первой ком-
компоненте ф на ф + т, то получим ковариацию
ajk (n) cos nx — $jk (n) sin пх = cos (^гт + y
Qjk in) = arctg {pife
Квадрат коэффициента корреляции, очевидно, максимален при т =
= — n~l§jh(ri), причем максимальная корреляция равна2) Gjk(n), где
Величина сг^ (^) называется коэффициентом когерентности и являет-
является адекватной мерой связанности между двумя компонентами при
«волновом числе» п. Величина 6^ (я) определяет опережение или
запаздывание, которое приводит две компоненты в наилучшее согла-
согласие в смысле квадратичного отклонения, усредненного по всем
реализациям. Мы будем называть ее фазой.
Определим теперь аналогичные величины в общем случае. Если
Fj (X) и Fh (X) абсолютно непрерывны, то мы, естественно, положим
M т- BЛ0)
г) Спектром в собственном смысле называется множество точек интервала
(— оо, оо), в которых F (к) возрастает; однако этот термин широко употребляется
и для обозначения самой спектральной функции, и мы придерживаемся этой
общепринятой терминологии.
2) Обычно эта величина обозначается рд (п), но буква р будет нужна нам
в этой книге для другой цели.

2. Спектральные теоремы для стационарных процессов 55
В общем случае достаточно найти какую-либо функцию распределе-
распределения, относительно которой Fj (A,), Fk (к) и Fjk (к) абсолютно непре-
непрерывны; тогда o2jk (к) можно определить через производные Радона —
Никодима относительно этой меры. Очевидно, для этой цели подходит
функция Fj (к) + Fk (к) 1). Таким образом, мы можем построить
функции
)), /у (А) -
и определить о)к (к), Qjk (к) в терминах этих функций. Выбор функ-
функции распределения Fj + Fk является естественным: любое множество
точек А,, имеющее нулевую меру относительно этого распределения,
не представляет интереса, так как не содержит спектральной массы
ни одного из двух рассматриваемых процессов. Величины o)k (к)
и Qjk (к) можно интерпретировать теперь в терминах аппроксимации
х (t) периодическим процессом с большим периодом Г. Мы далее
обсудим эту интерпретацию более подробно.
Подводя итог, можно сказать, что мы представили х (t) в виде
оо
Xj (t) = \ {cos kt-lj (dk) + sin Ai-ri,
о
где ненулевые ковариации имеют вид
E{i7- (dk) lh (dk)} = E{y]j (dk) цк (dk)} = Cjh (dk),
K{tj (dk) T)fc (dk)} = -E {т)у (dk) U (dk)} = Qjh (dk),
откуда
oo
yjh(t) = E(x)(s)xs(s + t))= \ {cosktCjk(dX)+sinXtQjh(dK)}.
i
Смысл Cjh и Qjk станет понятным, если рассмотреть коэффициент
когерентности и фазу, которые в абсолютно непрерывном случае
даются соотношениями
первое из них описывает степень связанности, т. е. максимальную
корреляцию, достижимую за счет сдвига по фазе одной из двух
компонент Xj (t), а второе определяет величину такого фазового
сдвига.
Таким образом, мы представили Xj (t) в виде «суммы» (интеграла)
осциллирующих компонент, амплитуда и фаза которых определяются
случайными величинами ?7- (dk), т]у (dk), и описали ковариационную
структуру этих величин.
-1) Более полное обсуждение см. в § 2 математического приложения. Случай
абсолютной непрерывности настолько более важен, что мы не станем задержи-
задерживаться здесь на другом случае.

56 Гл. II. Спектральная теория векторных процессов
3. ДИСКРЕТИЗАЦИЯ ПРОЦЕССА С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ.
ПРОЦЕССЫ С ДИСКРЕТНЫМ ВРЕМЕНЕМ
Теперь мы должны обсудить важные проблемы, возникающие, когда
процесс с непрерывным временем наблюдается лишь на некотором
дискретном подмножестве точек вещественной прямой. Ясно, что
в большинстве случаев временные функции будут исследоваться
именно таким образом, хотя бы потому, что в этом исследовании
важную роль играют вычислительные машины. Конечно, могут
встретиться и ряды, дискретные по самой природе, как, например,
последовательность экспериментов, которые производятся раз в день.
Мы рассмотрим и такую ситуацию, однако начнем с дискретизован-
ных функций непрерывного времени, поскольку этот случай пред-
представляется наиболее важным и мотивирует результаты для случая
дискретного времени. Нам предстоит обсудить вопросы двоякого
рода. Во-первых — что можно сказать о спектре всего процесса на
основании выборки 1). К этому тесно примыкает второй вопрос —
о нахождении наилучшей оценки для х (t), где t — некоторый момент
времени, не входящий в выборку. Здесь мы ограничимся рассмотре-
рассмотрением первого вопроса, а второй обсудим в гл. III, где рассматривают-
рассматриваются задачи прогноза и интерполяции.
Простейшая ситуация имеет место тогда, когда х (t) наблюдается
периодически в точках An. В лучшем случае нам может быть изве-
известна Г (An), n = О, ±1, .... Вопрос о том, можем ли мы узнать
даже эту функцию, будет обсуждаться позже, когда мы займемся
эргодической теорией; во всяком случае, если используются только
характеристики второго порядка, то Г (An) — это самое большее,
что может быть известно. Имеем
Г (Дга) = ( eiAn*-F {dk) =
— оо
те л/А+2яз/А
V f einMp
-оо -я/А+2я.1/А
я/А
(dX) = \
-я/А
где
Wi{( *f)(^i^)} . C.1)
Здесь второй член добавлен в каждое слагаемое только для того,
чтобы функции F^ (А,) имели конечную полную вариацию. Если
*) Под выборкой здесь понимается наблюдаемая часть процесса.— Прим.
пер ев.

3. Дискретизация процесса с непрерывным временем 57
F (к) абсолютно непрерывна, то
л/Д
Г(иД)= \ ein^f^(k)dk,
-л/Д
так что при А, 6 [О, л/А]
2 {с (¦^•4-
1
2 {q(*SL + x)-qBf-Л.)} . C.4)
1
1
Описывая соотношения C.1), C.2), C.3) и C.4), обычно говорят,
что частоты к, 2 л/7 А + к, к ? [0, я/А], являются «двойниками»,
причем к называется «главным двойником». Эту терминологию ввел
Дж. У. Тьюки, который позаимствовал ее из теории планирования
экспериментов, где возникает совершенно аналогичная проблема.
Соотношение C.3) можно описать геометрически, если рассмотреть
график Cjk (к), который складывается в виде гармошки в точках
2л//А, / = 1,2,.... Тогда значения cjk (к) во всех точках, которые
являются двойниками некоторой главной частоты А,о, налагаются
друг на друга, и с^ (к0) получается, если сложить значения Cj^ (к)
в налагающихся частотах. Аналогичную геометрическую интер-
интерпретацию имеет и соотношение C.4). Очевидно, зная Г (/гД), мы
можем найти только F^, так что разные F, которым отвечает одна
и та же F(A\ неразличимы. В абсолютно непрерывном случае при
достаточно малом А эффекты наложения будут незначительныт
поскольку fjk (к) равна нулю на бесконечности. Это, конечно, интуи-
интуитивно очевидно. При интерпретации оценок спектра временного
ряда с дискретным временем следует помнить об эффектах наложе-
наложения. Так, если спектр, полученный по дискретным данным, имеет
пик, то надо иметь в виду, что для основного процесса с непрерывным
временем этот пик может соответствовать какому-либо «двойнику»
главной частоты; например, если наблюдаемый ряд описывает уровни
моря, измеряемые ежедневно в полдень, то наблюдаемый спектр
/(Л) (к) будет иметь заметный пик на низких частотах, обусловленный
приливно-отливными явлениями; в самом деле, приливы могут иметь
период порядка 12 ч 25 мин, что при единице времени 1 день и А =
= 1 дает пик, приходящийся на угловую частоту 48я/12,416 =
= 4л — 0,041, которая, следовательно, наложится на частоту 0,041.

58 Гл. II. Спектральная теория векторных процессов
Если мы рассмотрим процесс х(Л) (я) = х (An), то, согласно
теореме 2,
я/Л
(л) = С e-
/Л
-я/Л
где
так что
Как отмечалось в § 1, можно было бы сразу начать с процесса
х (п), наблюдаемого в дискретные моменты времени, промежуток
между которыми для простоты считается равным единице.
Теорема 1". Пусть Г (т, п) = Т (п — ш) — ковариационная
функция векторного стационарного процесса второго порядка с дис-
дискретным временем; тогда
я я
Г (п) = \ einW (dk) = f {cos nX С (dX) + sin nl Q (<2A,)},
-я о
где F (А,), С (А,) и Q (А,) такие же, как указано в теореме 1, за исключе-
исключением того, что F (—я) = 0.
Доказательство этой теоремы в основном повторяет доказатель-
доказательство теоремы 1. Мы заменяем х (п) на ха (п) = а*х (п), где а —
произвольный комплексный вектор, доказываем, что уа (п) =
= а*Г (я) а —неотрицательно определенная последовательность, т. е.
i h
для любых комплексных чисел р;- и любых N целых чисел
а затем строим функцию
где слагаемое, отвечающее ?г = 0, равно 7а@)(я + Я). Далее мы пока-
показываем, что F^fa) не убывает, F^)(-n) = 0, F^(n) =ya@),
и замечаем, что
Правая часть при TV -> сх> сходится к Ya (^) Для любого тг. Так
как мы имеем дело с последовательностью функций распределе-

3. Дискретизация процесса с непрерывным временем 59
ния l) F{a (к) на конечном интервале, а функции exp ink плотны
(в смысле равномерной сходимости) в пространстве всех непрерыв-
непрерывных функций на (—я, я], то F^ (к) сходится в каждой точке непре-
непрерывности к функции распределения Fa (к) с коэффициентами Фурье
Та (п) (см. Биллингслей [1968], теоремы 1.3 и 2.1). Функция Fa (к)
определяется однозначно, если мы потребуем, чтобы она была непре-
непрерывна справа. Дальнейшее доказательство не отличается от соответ-
соответствующей части доказательства теоремы 1, в частности С (X) и Q (А,)
определяются так же, как прежде.
Теорема 2". Если х (п) — векторный стационарный процесс
второго порядка с дискретным временем, то
я
х(п)= \ e-inH (dk) - f {cos nX I (dX) + sin nX r\ (dk)},
-n 0
где z (A,), ? (A,), r| (A,) — векторные процессы с ортогональными прира-
приращениями на (—я, я], имеющие такие же ковариационные свойства,
что и соответствующие процессы из теорем 2 и 4.
Доказательство этой теоремы, аналогичное доказательству тео-
теоремы 2, дано в п. 1 приложения к этой главе.
Теорема 3". Для любых точек Х% > Xi непрерывности F (X)
имеем
= lim 4- У. Г (п)
N-*oo «l ^ —Ы
'•^г-2 *(»)¦
in
где символ 2 ' означает, что при п = 0 в первой формуле мы берем
слагаемое (А,2 — kt) Г @), а во второй (А,2 — А,4) х @).
Доказательство помещено в п. 3 приложения к этой главе. Разу-
Разумеется, 1. i. m. имеет тот же смысл, что и в теореме 3.
Нет необходимости останавливаться здесь на физической интер-
интерпретации этих теорем, поскольку она уже дана для случая непрерыв-
непрерывного времени; единственное отличие состоит в том, что спектр теперь
ограничивается отрезком [—я, я].
х) Все эти функции распределения имеют полную вариацию уа @), которая
не обязана равняться единице, однако это не вносит каких-либо изменений.
Здесь мы вновь пользуемся теоремами единственности и непрерывности для
характеристических функций (см. Биллингслей [1968], стр. 51), но уже для
функций распределения, определенных на конечном интервале (—л, л], когда
вся характеристическая функция определяется своими значениями в целых
точках.

60 Гл. II. Спектральная теория векторных процессов
Помимо рассмотренного способа дискретизации процесса х (t)
существуют и другие, и ради полноты мы скажем о них несколько
слов, хотя они, по-видимому, не столь важны с точки зрения прило-
приложений. Пожалуй, наиболее часто встречающейся представляется
«периодическая выборка с возмущениями», рассмотренная в работе
Шапиро и Сильвермена [1960]. Предположим, что наблюдения произ-
производятся в моменты п + ип, где ип — независимые одинаково распре-
распределенные случайные величины, причем дисперсия ип сравнительно
мала. Это соответствует ситуации, когда возмущения в некотором
измерительном устройстве приводят к тому, что наблюдения произ-
производятся в моменты времени, слегка отличающиеся от намеченных.
Полагая
у (п) = х (п + ип),
легко получаем, что
оо
j T(n + u)P(du),
где Р — распределение величины ит+п — ит. Таким образом, у (а)
стационарная последовательность. Последний интеграл есть
f Г е«п+иКР (dX) P (du) = \ ein**\y(X)\2F(dk),
— оо — оо — оо
где ф (К) — характеристическая функция ип. Это равно
я
где
Функция F — это наибольшее, что мы можем получить из наблюде-
наблюдений у (п). В случае когда F (К) является постоянной вне интервала
[—я, я], мы, очевидно, можем найти F (X) по F (к) при условии, что
известно Р, а следовательно, и ф. В противном случае при интерпре-
интерпретации наблюдаемого спектра следует соблюдать осторожность.
Шапиро и Сильвермен [1960] рассмотрели также случай, когда
наблюдения производятся в точках tn, где (tn — tn^) — независимые
одинаково распределенные (неотрицательные) величины (иначе гово-
говоря, tn является реализацией процесса восстановления) с характери-
характеристической функцией, которую мы вновь обозначим ф (X). Теперь,

3. Дискретизация процесса с непрерывным временем 61
полагая у (п) = х (tn), имеем
где Р{П) — функция распределения величины tn — tQ. Как и раньше,
получаем
Г(л)= j (fn(X)F{dk), /г>0, C.5)
— оо
так что у (п) — также стационарная последовательность.
Зададимся теперь вопросом: может ли быть так, что последова-
последовательность Г (/г), содержащая в себе всю информацию, основанную
на свойствах второго порядка, однозначно определяет функцию
F (К) (подчиненную обычным условиям нормировки). Другими сло-
словами, можно ли избавиться от наложения частот, используя опи-
описанный способ выборки и подбирая надлежащим образом ф (К).
Ответ дается теоремой 5, принадлежащей Шапиро и Сильвермену
11960], доказательство которой мы опускаем.
Теорема 5. Для того чтобы спектральная функция F (К)
однозначно определялась по функции C.5), достаточно, чтобы для
любых двух точек (A,b А,2)'. A,j Ф- А,2, А,!, К2 6 (—°°> оо), выполнялось
условие ф (А,4) Ф ф (А,2) (т. е. чтобы ф (X) была унивалентна на
{— оо, оо)).
Представляет интерес случай, когда tn порождаются пуассонов-
ским процессом с интенсивностью появления событий \х. Тогда
Ф (К) = A -f- iX/jLi), и достаточное условие теоремы 5, очевидно,
выполняется. В этом пуассоновском случае утверждение теоремы
легко доказать непосредственно г); в самом деле, полагая для просто-
простоты обозначений (.1 = 1, мы видим, что множество А комплексных
линейных комбинаций функций вида A ± ik)~n, п = 0, 1, . . .,
является не только линейным пространством над полем комплекс-
комплексных чисел, но и алгеброй, т. е. произведение двух таких комплексных
комбинаций вновь является комплексной линейной комбинацией
функций A ± ik)~n. В самом деле, A + ^)-1 A — ^)~1 =
= 1/2 (A + ik)'1 + A — ^А,)), откуда и следует высказанное
утверждение. Таким образом, А является алгеброй непрерывных
функций, обращающихся в нуль на бесконечности, замкнутой отно-
относительно комплексного сопряжения и обладающей тем свойством,
что для любых двух точек К{ Ф^2 найдется элемент А, принимающий
в них различные значения. Тогда (см. Иосида [1965], стр. 20) алгебра А
плотна в смысле равномерной сходимости в пространстве С (— оо, оо)
2) Этот результат не понадобится в дальнейшем, и читатель может опустить
доказательство.

62 Гл. II. Спектральная теория векторных процессов
всех непрерывных функций, обращающихся в нуль на бесконечно-
бесконечности. Таким образом, если бы Г (п) не определяла однозначно F (dX)
и существовали бы две разные функции, удовлетворяющие усло-
условию C.5), то для матричнозначной функции М, которая равна раз-
разности этих функций, мы имели бы
и из только что сказанного следовало бы, что
оо
f a(X)M(dX) = 0, а?С{ — оо, оо).
— оо
Однако это возможно лишь в случае, если М (dX) = 0 (Иосида
[1965], стр. 170), так что единственность доказана.
Мы не будем рассматривать здесь проблему явного выражения F
через у (п)- Практическая ценность такого результата не ясна.
Если имеется в виду планируемая выборка, то описанная выше про-
процедура представляется несколько громоздкой и использование перио-
периодической выборки с очень малым интервалом выборки может ока-
оказаться более предпочтительным. Как видно из формул C.3) и C.4),
для абсолютно непрерывной F (К) это будет эффективным средством
избежать наложения частот (с (К) и q (X) очень малы при больших А,),
Может встретиться и другая разновидность дискретизации:
«периодическая неравномерная выборка» (Фримен [1965], стр. 77),
когда моменты выборки имеют вид tj -f мД, / = 1, . . ., N, n =
— 0, ±1» • . .» где 0 ^ tj <C Д. Такого рода выборки возникают,
например, в связи с некоторыми типами рынков, которые бывают
открыты в какие-либо N нерегулярно выбранных дней в течение
торгового периода (недели, месяца, года) 1). Мы можем найти тогда
Г (пА + tj — th)\ /, к — 1, . . ., N. Достаточно рассмотреть лишь
множество о? таких пар (/, к), для которых разности (tj — tjz) отли-
отличаются друг от друга на величины, не кратные Д. Любая пара (tn, t0),
для которой tn — ?0 отличается от разности, соответствующей какой-
либо паре из сУ, на /сД, очевидно, не несет новой информации. Зану-
Занумеруем пары (/, к) из of индексом т, пробегающим значения от 1
до М, и обозначим через рт значение га-й разности tj — th. Легко
видеть, что М ^ TV; рассматривая для простоты скалярный абсолют-
абсолютно непрерывный случай, получаем
Я/А оо
— л/А и= — оо
т = 1, ..., М.
х) Примером может служить заключение фыочурсных сделок по шерсти
в Австралии.

4. Линейные фильтры 63
Чтобы разобраться в возникающем здесь наложении частот, пред-
предположим, что / (к) равна нулю вне интервала [—Мп/А, Мп/А].
Тогда мы можем наблюдать функции
[М/2]
где lx] — наибольшее целое, не превосходящее х. Это приводит
к системе из М уравнений для М величин / (к + 2ли/АO
и = — [V2 (М + 1I, . . ., [V2M], с определителем, который на пере-
пересечении га-й строки и и-то столбца имеет элемент ехр{фт (к-\-2ли/А)}.
Легко видеть, что такой определитель равен выражению
м м
П eipmk П
m=i
которое по предположению не равно нулю. Таким образом, мы
оказываемся в той же ситуации, как если бы наблюдения производи-
производились через равные промежутки AIM, хотя фактически точки наблю-
наблюдений отстоят друг от друга в среднем на AIN. Если tj расположены
очень нерегулярно, то можно ожидать, что М велико по сравнению
с JV, и этот способ выборки в значительно большей мере способствует
устранению наложения частот, чем чисто периодическая выборка. Это
дает интуитивное объяснение явлению, которое было обнаружено
выше для выборки, соответствующей пуассоновскому процессу.
4. ЛИНЕЙНЫЕ ФИЛЬТРЫ
Прежде чем приступить к изучению линейных фильтров, мы хотим
ввести некоторые понятия, связанные с определением интегралов
по неограниченному интервалу. Более полно эти понятия обсуж-
обсуждаются в математическом приложении. Так, в скалярном случае
мы будем иметь дело с выражениями (преобразованиями Фурье)
f a(t)eiadt. D.1)
Если | a(t)\ интегрируема, то его можно рассматривать как инте-
интеграл Лебега. Однако для нас более важен другой случай (не охваты-
охватывающий полностью только что отмеченный), когда D.1) определяется
как предел при Т ->- оо в среднеквадратичном с весом F (dk) (или„
коротко, (/^-среднеквадратичный предел) интегралов
т
-т

64 Гл. II. Спектральная теория векторных процессов
существование которых предполагается для всех О ^ Т < оо. Таким
образом, мы рассматриваем случай, когда функция от к, определяемая
выражением D.1), удовлетворяет соотношению
оо оо Т
lim \ \ a(t)ein*dt— \ a(t)eiadt 2
-оо —оо -Г
Это выполняется тогда и только тогда, когда
оо Т S
lim f [a(t)eiadt— [ a (t) eiadt 2 F (dk) =0.
Аналогично можно определить интегралы типа
оо
f eii%m(dt)
(преобразование Фурье — Стилтьеса), где ^г — функция, имеющая
ограниченную вариацию на любом конечном подинтервале (— оо, оо).
В векторном случае поступим следующим образом. Сначала введем
обозначение
оо
\ X (X) F (dk) X* (X)
— оо
для матрицы интегралов, типичный элемент которой имеет вид
оо
2 \ xih(X)^JP)Fhl(dk).
k, I -"oo
Мы рассматриваем только тот случай, когда F (к) имеет эрмитовы
неотрицательные приращения; будем говорить, что X (к) (/^-квадра-
(/^-квадратично интегрируема (или принадлежит L2 (F)), если
оо
Тг | j X(X)F (dX) X* (К)\ < оо.
— оо
Теперь определим
оо оо
j A(t)eiadt, f e^M(dt), D.2)
— оо — оо
подобно тому как это было сделано выше. Именно, если для
Т S
-т -s

4. Линейные фильтры 65
имеет место соотношение
Km Tr
S, Т-оо
— оо
то мы будем говорить, что первый из интегралов D.2) есть (/^-средне-
(/^-среднеквадратичный предел выражений
г
-г
Второй интеграл D.2) определяется аналогично.
Всюду в этом параграфе мы используем именно такие определе-
определения преобразований Фурье (или Фурье — Стилтьеса) функций a (t),
A (f), m (t) и М {?) и рассматриваем только такие функции, для
которых преобразование Фурье (Фурье — Стилтьеса) в этом смысле
существует. В этом параграфе процесс х (t) стационарный второго
порядка.
Сейчас мы хотим рассмотреть некоторые (специальные) линей-
линейные операторы, которые преобразуют исходный векторный стацио-
стационарный процесс в другой. Такие операторы называются линейными
фильтрами. Мы начнем с наиболее важных примеров фильтров,
а затем перейдем к более общему рассмотрению, которое будет про-
продолжено в § И этой главы. Многие конкретные примеры фильтров
приводятся в этой главе и гл. III.
(i) Интегральные операторы
Рассмотрим сначала операцию, которая преобразует х (t) в
y(t)= j A(s)x(t-s)ds,
— оо
где функция A (s) такова, что интеграл
h(k)=
существует в определенном выше среднеквадратичном смысле. Более
общим образом, мы можем рассмотреть
оо
y(t)= J M(ds)x(t-s),
— оо
где у(t) —вектор с компонентами
h(t — s)mjk(ds),
k -оо

66 Гл. II. Спектральная теория векторных процессов
а М (s) — матрица функций, имеющих ограниченную вариацию
на каждом конечном интервале, такая, что
h (Я)- [ eisK\I(ds)
существует в смысле определенной выше среднеквадратичной сходи-
сходимости относительно F.
Теорема 6. Для того чтобы случайный процесс у (t) был
корректно определен как среднеквадратичный предел интегралов по
конечным промежуткам, необходимо и достаточно, чтобы h (X) суще-
существовала как (Р)-среднеквадратичный предел. Если это- выполнено, то
у (t) стационарен и имеет ковариационную функцию
Vy(t)= \ е
Доказательство. Типичная компонента вектора y(t)
имеет вид
J xk(t —
к -с
поэтому мы должны рассмотреть среднеквадратичную сходимость
интегралов
b
\ xk (t — s) mjh (ds)
—a
при a, b -> oo. Согласно теореме З гл. I, необходимым и достаточным
условием среднеквадратичной сходимости является существование
интеграла
\ \ yk(u-v) rrijk (du) rrijk (du);
но
Ь Ъ oo
, (и _ v) m.k (du) mjk (dv) = [ [ [ el^-^Fh (dl) mjk (du) mjk {du) -
— a —oo
oo b
= J | j eiu}-mjh (du) |2 Fh (dX),
— oo —a
так что для среднеквадратичной сходимости необходимо и достаточ-
достаточно, чтобы функция hjk (X) существовала как (^)-среднеквадратичный

4. Jiииейиые фильтры 67
предел. Это условие выполняется для всех /, к тогда и только тогда,
когда второй интеграл D.2) существует как (^)-среднеквадратичный
предел. Ковариационная функция равна
Г„ (t-s) = Е (у (*) y(t)')^jJM (du) E(x(s- и) х' (t-v)) M' (dv) -
— оо
оо оо
= [ \ M(du) \ el«-s+u-^F (dX) M' (dv) =
— оо — оо
оо
= f e^t
откуда видно, что у (t) — стационарная последовательность, имею-
имеющая указанный спектр, и теорема доказана.
Таким образом, действие фильтра очень просто описывается
в спектральных терминах. Это в особенности относится к скалярному
абсолютно непрерывному случаю, когда / (X) заменяется просто на
| h (X) |2 / (X). В векторном абсолютно непрерывном случае / (X)
переходит в h (X) f (X) h (X)*. Ситуация, в которой
оо
У @ = 2 Akx(t-tk),
— оо
охватывается случаем, когда М (t) возрастает только скачком, так
как Ак можно считать величиной скачка функции М (t) в точке th.
В случае когда М (t) абсолютно непрерывна и М (ds) можно записать
как A(s)ds, функцию A(s) иногда называют матричной импульсной
переходной функцией фильтра, ибо если вместо х (t) в формуле для
у (t) подставить импульсную функцию (т. е. дельта-функцию с осо-
особенностью в начале координат; см. § 3 математического приложения),
то на выходе будет именно A (t). Функция h (X) называется матрич-
матричной частотной характеристикой фильтра. Смысл термина «частот-
«частотная характеристика» станет более понятным, если рассмотреть спек-
спектральное представление процесса у (t). В общем случае имеем х)
оо оо оо оо
y(t)~ j M(ds) j e-'(*-s%(cu)= j e-«?-{ j eu%M (ds)} z (dX) =
— oo — oo — oo —oo
oo
= \ e-it^h(X)
x) Полное обоснование этих преобразований мы даем в приложении к этой
главе. (См. доказательство теоремы 9.)

68 Гл. II. Спектральная теория векторных процессов
Таким образом, процесс с ортогональными приращениями, отве-
отвечающий у (t), получается из соответствующего процесса для х (t)
просто умножением компоненты, отвечающей (произвольной) часто-
частоте Я, на частотную характеристику h (Я).
(и) Дифференциальные операторы
Рассмотрим теперь операторы вида
о
где Аи — матрицы. Предположим, что
Тг { ( Х2р^(сй)} <оо. D.3)
— оо
Положим теперь
МЛ) = 2ЛЛ(-&)\ D.4)
о
Теорема 7. Для того чтобы х (t) был р раз среднеквадратично
дифференцируем, необходимо и достаточно, чтобы выполнялось
условие D.3). В этом случае процесс
о
является стационарным и имеет ковариационную функцию
где h (k) определяется соотношением D.4).
Согласно теореме 2 гл. I, необходимым и достаточным условием
среднеквадратичной дифференцируемости в стационарном скалярном
случае является существование предела
У (^2 — fli) — У (•— ^l) — 7 (^2) +V @)
бьб2-0 6lfi2
= lim
6t, б2—0
00
- lim f б (^-^i^_ i) 5-1
6i. бя—0 J
^0
— оо

4. Линейные фильтры 69
Подинтегральное выражение оценивается по абсолютной величине как
sin х/2 SiX-sin !/2 i
6i62
поэтому, в силу мажорированной сходимости1), условие является
достаточным. С другой стороны, полагая 6i = 62> получаем
оо
lim \ 46~2sin2
lim f
6-*0 J
— 00
j
>«sj •»*•'<*>-1
s
—a -a
также в силу мажорированной сходимости. Таким образом, если
условие теоремы не выполнено, то указанного предела не существует
и не выполняется необходимое условие среднеквадратичной диффе-
ренцируемости процесса х (t). По индукции получаем, что в стацио-
стационарном скалярном случае условие D.3) необходимо и достаточно для
существования р-и производной. Обобщение на векторный случай
очевидно.
Если теперь х (t) среднеквадратично дифференцируем р раз, то,
согласно теореме 2 гл. I,
о
v
k,l=0
Это равно
оо р
J e4t-s)x ^ A(k)(iX)l(-iX)kF(dX)A(l)'=
-00 k, Z=0 -00
Появление множителя (— i)h в члене ( — i)hlkh можно объяснить,
обратившись к спектральному представлению, так как в нашем
случае 2)
x) Здесь и далее имеется в виду известная теорема Лебега о возможности
предельного перехода под знаком интеграла в случае, когда последовательность
подинтегральных функций мажорируется фиксированной интегрируемой функ-
функцией.— Прм. перев.
2) Подробное обоснование спектрального представления мы даем в прило-
приложении к этой главе (см. доказательство теоремы 9).

70 Гл. II. Спектральная теория векторных процессов
(ш) В случае дискретного времени общее уравнение фильтра
имеет вид
=И А{т)х(п — т). D.5)
— оо
Частотная характеристика, равная
оо
ВД= 2 A(m)einA,
— оо
описывает действие фильтра по формуламг)
у(п)=
-Я
Я
^(дг)=-- [ einkh(X)F (dX)h(k)*.
Теорема 8. Для того чтобы ряд D.5) сходился в среднеквадра-
среднеквадратичном, необходимо и достаточно, чтобы Тг Ту @) < оо. При ука-
указанном условии у (п) будет стационарным процессом с описанными
выше ковариационной функцией и спектральным разложением.
Мы опускаем доказательство, которое аналогично доказательству
теорем 6 и 7 (но проще).
В случае F {dX) = clp dX, где с — постоянная, условие последней
теоремы принимает вид
оо
2 А(п)А{п)*<оо,
—-оо
что равносильно условию
где || А || — норма матрицы А, в качестве которой (см. математиче-
математическое приложение) можно взять положительное значение квадратного
корня из наибольшего собственного значения матрицы А А *.
(iv) Удобно ввести обозначение у (t) = Ax (t) для осуществляемой
фильтром операции преобразования x(t) в у (t). В частности, А может
быть любым из рассмотренных выше фильтров.
Довольно очевидно, что если мы заменим х (t) на и (t) = Ax (t),
а и (t) на у (t) = Bu (t), где А и В — линейные фильтры, то
См. предыдущее примечание.

4. Линейные фильтры 71
где индексы указывают, к какому фильтру относится частотная
характеристика. В частности, в скалярном случае все линейные
фильтры коммутируют. В любом случае вычисление переходной
функции произведения фильтров может быть сведено к вычислению
переходных функций сомножителей. Это довольно тривиальное заме-
замечание имеет важное практическое значение.
Не все линейные фильтры являются фильтрами описанного выше
типа. Конечно, сразу возникает вопрос: «А что такое линейный
фильтр?» Один из возможных ответов: «Фильтр есть операция, кото-
которая преобразует процесс *)
x(t)=
в процесс
y(t)=
где h (К) удовлетворяет условию
h(X)F(dX)h(X)*<oo».
Ниже мы дадим другое определение, но пока остановимся на этом.
Оно действительно охватывает все ранее рассмотренные случаи.
В следующей главе мы приведем примеры фильтров в смысле этого
определения, не являющихся фильтрами типов (i), (ii) или (iii).
В связи с данным определением возникает следующий вопрос.
Пусть х (t) и у (t) совместно стационарны, так что векторный процесс,
объединяющий все компоненты х (t) и у (t), является стационарным.
Обозначим через Fx (к) матричную спектральную функцию для х (t),
через Fy (к) — для у (t), а через Fxy (к) — матричную взаимную
спектральную функцию, так что (/, /с)-элементом матрицы Fxy являет-
является взаимная спектральная функция процессов Xj (t) и yk (t). Имеет
место следующая теорема (Розанов [1963]):
Теорема 9. Пусть х (t) и у {t) совместно стационарны.
Для того чтобы у {t) мог быть получен из х (t) с помощью фильтра
с частотной характеристикой h (к), необходимо и достаточно, чтобы
Fv (X) = h (X) Fx (X) h (X)*,
Fxy (X) = Fx (X) h (X)*.
Доказательство несложно, и мы поместили его в приложении
к этой главе.
х) Мы рассматриваем случай непрерывного времени. Это определение,
конечно, переносится и на случай дискретного времени, когда t принимает
только целые значения, а интегрирование производится по интервалу [—л, л].

72 Гл. II. Спектральная теория векторных процессов
Данное выше определение фильтра представляется не вполне
удовлетворительным в первую очередь потому, что предпочтитель-
предпочтительнее было бы определение, позволяющее, по крайней мере принци-
принципиально, описать фильтр в терминах его действия на сам процесс
х (t), не обращаясь к рассмотрению спектра. Было бы желательно
затем доказать, что линейный фильтр полностью описывается своей
частотной характеристикой. Во-вторых, это определение не обобщает-
обобщается на нелинейный случай, так как нелинейные фильтры не описы-
описываются частотными характеристиками *). Более подходящим являет-
является, по-видимому, следующее определение. Рассмотрим произволь-
произвольную случайную величину х, которая является линейной комбинацией
величин Xji (?i), Xj2 (t2), . . ., Xj (tn). [Символом U {t) x мы обозна-
обозначаем такую же линейную комбинацию величин х^ (^ -f- t), ...
. . ., Xj (tn -f- t). Предположим, что случайные величины Ах
и AU (t) х корректно определены как пределы (в среднеквадратич-
среднеквадратичном) указанных линейных комбинаций, что А линеен относительно
Xj (tj), и потребуем, чтобы AU (t) x = U (t) Ax для всех указанных х
и t. Такой оператор А и будем называть фильтром. Мы обсудим подоб-
подобные операторы в § 11. (Материал § 11 является более сложным и не
понадобится нам в дальнейшем.) Мы покажем, что такой оператор А
действительно задает фильтр в определенном ранее смысле и, сверх
того, что новое определение обобщается на нелинейный случай.
Согласно этому определению, фильтром (линейным или нет) является
оператор, инвариантный относительно временных сдвигов, который
преобразует (возможно, ненаблюдаемый) процесс х (t) в наблюдае-
наблюдаемый процесс у (t). Впрочем, далее в этой книге (за исключением § 11
этой главы) мы будем работать с более простым определением, кото-
которое использовалось в теореме 9.
Обсудим теперь физический смысл понятия фильтра. Конечно,
мы уже затронули один из его аспектов, когда охарактеризовали
фильтр как оператор, инвариантный относительно временных сдви-
сдвигов. Теперь, однако, мы хотим описать его действие на спектр. Рас-
Рассмотрим сначала скалярный случай. Мы полагаем
h {X) = | h {X) | eiQ(»
и называем [ h (X) | коэффициентом усиления, а 0 {X) — фазой филь-
фильтра. Мы видели, что в скалярном абсолютно непрерывном случае
fx (X) преобразуется в | h (k) \2 fx (Я) = fy (X). В этом аспекте дей-
действие фильтра описывается изменением амплитуды компоненты,
отвечающей частоте X. Частоты, для которых коэффициент усиления
относительно мал, становятся несущественными («подавляются»).
Таким образом, выбирая подходящий фильтр, мы можем выделить
нужные нам частоты. Если коэффициент усиления заметно отличен
от нуля только на некотором интервале частот, то фильтр иногда
х) Нелинейные фильтры мы обсудим в § 7 этой главы. Мы рассматриваем
их только для процессов, стационарных в узком смысле.

4. Линейные фильтры 73
называется «полосовым» (band-pass), т.е. таким, который в основном
пропускает только определенную полосу частот. В соответствии
с расположением этого интервала (интервалов) фильтр называется
«низкочастотным», «среднечастотным» или «высокочастотным».
Если процессы у (t) = Ах (t) и х (t) одномерны, то коэффициент
когерентности между этими процессами, очевидно, равен единицег
каков бы ни был фильтр А. Однако взаимный спектр, очевидно, равен
h (X) F (dX), так что сдвиг фазы на частоте X есть 0 (X).
Математически простейшим является случай, когда 0 (X) = Хх.
Очевидно, такую фазу имеет фильтр х (t) ->- х (t — т). Если 0 (X) —
гладкая функция в окрестности точки Хо, то можно положить
0 (X) « 0 (Хо) + (X - Хо) 0' (Хо) =a + XQf (Хо),
так что в отношении фазы действие фильтра локально эквивалентно
последовательному действию фильтров со спектральными характе-
характеристиками exp ia и exp iXQ' (Хо). Величина 0' (Хо) называется иногда
групповой задержкой. Ее можно рассматривать как величину задерж-
задержки, которой подвергается компонента, проходящая через узкий
диапазон частот вблизи Хо.
В векторном случае можно положить (Халмош [1947], стр. 227)
h (X) = к (X) р (X),
где р (X) — эрмитова неотрицательная матрица, а к (X) действует
как изометрическое отображение из /^-мерного векторного простран-
пространства векторов х (t) в g-мерное пространство, в котором лежит у (t) =
= Ах (t). Изометричность к означает, что для любого х вектор к (X) х
имеет ту же длину, что и х. Матрица р (X) определена однозначно
как (неотрицательный) квадратный корень из h* (X) h (X), тогда
как матрица к (X) однозначно определяется на области значений
р (X) соотношением к (X) у = h (X) х, у = р (X) х, и может быть
выбрана произвольно (но так, чтобы она оставалась изометрической)
на ортогональном дополнении. Естественно назвать р (X) коэффи-
коэффициентом усиления фильтра. В абсолютно непрерывном случае спек-
спектральная плотность выходного процесса получается из
р (к) / (X) р (X)*
воздействием фильтра со спектральной характеристикой к (X); так
как выбором подходящего базиса в пространствах компонент на
частоте X для процессов х и у матрицу к (X) можно привести к диа-
диагональному виду, причем диагональные элементы будут либо равны
нулю, либо по модулю равны единице, то мы видим, что фильтр со
спектральной характеристикой к (X) воздействует лишь на фазы
компонент. Это оправдывает термин «коэффициент усиления» при-
применительно к р (X).

74 Гл. II. Спектральная теория векторных процессов
5. НЕКОТОРЫЕ СПЕЦИАЛЬНЫЕ МОДЕЛИ
Теперь мы рассмотрим некоторые специальные модели и соответ-
соответствующие им спектры.
(i) Если х (п) — последовательность некоррелированных случай-
случайных векторов, т. е.
Е (х (п) х9 (т)) = Г @) 6™, E.1)
то, очевидно, F (dX) — BЯ) Г @) dX. Спектр в этом случае назы-
называется равномерным, так как все частоты одинаково существенны.
Как уже говорилось выше, используется также термин «белый шум»,
по аналогии с белым светом, для которого все интервалы видимого
спектра равноправны.
(п) Если
*(n) = S A(j)B(n-j), 2 ||4G)||2<оо, E.2)
— оо —оо
где 8 (п) такое же, как в (i), то, согласно результатам § 4,
оо оо
f* м=4г B А 0)eiix)г (°) (S А* 0) е~ш) ¦ E-3)
Такой процесс х (п) определен корректно как предел в среднеквадра-
среднеквадратичном, ибо диагональные элементы fx (k) интегрируемы (относи-
(относительно dX).
С другой стороны, если нам дан процесс х (п) с абсолютно непре-
непрерывным спектром и спектральной плотностью fx (Я), то мы всегда
можем найти функцию Yf (^)> значениями которой являются эрмито-
эрмитовы (неотрицательно определенные) матрицы, такую, что
Тогда каждый элемент матрицы ]/"/ (X) квадратично интегрируем
и может быть разложен в ряд Фурье, сходящийся в среднеквадратич-
среднеквадратичном (относительно dX). Поэтому
где

5. Некоторые специальные модели 15
Отсюда вытекает (доказательство см. в п. 5 приложения к этой гла-
главе), что
оо оо
<оо, E.4)
где 8 (п) такое же, как в (i), причем Г @) = /р. Таким образом,
класс процессов вида E.4) совпадает с классом стационарных про-
процессов с абсолютно непрерывным спектром.
Мы увидим в гл. III (см. также пример (iii) из этого параграфа),
что если такой процесс х (п) не является безошибочно (линейно)
прогнозируемым по своему прошлому, то «скользящее среднее» E.4)
будет односторонним, т. е. 1)
E.5)
В случае скалярных величин х (п) и е (п) будем писать а7- вместо
А (/); тогда соотношение E.5) может быть интерпретировано так же,
как в примере (iv) из § 3 гл, I. Последовательность г {п — /) а0,
г (п — /) а1? 8 (п — /) а2, ... следует рассматривать как протяжен-
протяженный во времени импульс, испускаемый в момент (п — /). Форма
импульса определяется последовательностью а7-, а случайная вели-
величина 8 (п — /) определяет его амплитуду (и знак). Наблюдаемая
величина х (п) является суперпозицией всех импульсов, испускаемых
во все моменты времени вплоть до п.
Местами вид последовательности х (п) не будет сильно отличаться
от вида последовательности а7- (или —а7-), так как иногда будут
попадаться очень большие значения е {п — /), следующие за малыми
и предшествующие малым значениям. Если, в частности, cty образуют
слабо затухающую осциллирующую последовательность, то график
х (п) может местами обнаруживать регулярное поведение, близкое
к синусоидальному, однако амплитуда и фаза колебания, конечно,
будут меняться от промежутка к промежутку, по мере того как
доминирующий импульс, возникший в какой-то момент времени,
будет постепенно затухать до исчезновения и уступать место другой
волне. В этом случае, когда последовательность а7- напоминает
затухающую синусоиду, абсолютная величина выражения
^1 ctj exp (?/А,), естественно, будет велика вблизи частоты этой сину-
синусоиды, и значительная часть дисперсии х (п) будет обусловлена
близкими к ней частотами. Этот пример показывает, какое место
занимает спектр в объяснении структуры временного ряда.
2) Это не совсем точно, так как «скользящее среднее» E.5) отвечает раз-
разложению в ряд Фурье не функции "]// (к), а некоторой другой фупкцин ф (к),
удовлетворяющей (как и ~\/f (к)) условию ф (к) (р (к)* = f (к).— Прим. ред.

76
Гл. II. Спектральная теория векторных процессов
(ш) Рассмотрим далее случай, когда спектр процесса с дискрет-
дискретным временем абсолютно непрерывен и
т. е. / (Я) — тригонометрический многочлен.
Рассмотрим сначала скалярный случай. Пусть
Это выражение имеет 2q корней (с учетом их кратности). Пусть
?fe — корень, не равный по модулю единице. Тогда
-q -q
так что tji1 также является корнем. Пусть существует г ^ q таких
пар корней (с учетом их кратности). Тогда имеется 2s = 2q — 2r
корней, равных по модулю единице, которые мы обозначим
exp iQj, ] — 1, . . ., 2s. Имеем
г 2s
откуда следует, что выражение в фигурных скобках вещественно
и неотрицательно. Поэтому корни 07- должны быть попарно равны,
так как из того, что выражение в скобках неотрицательно и обращает-
обращается в нуль при X = 0j, следует, что его производная при X = 67-
обращается в нуль. Занумеруем теперь половину корней 97- индекса-
индексами от 1 до s, так чтобы в занумерованные попало по одному корню
из каждой пары, и положим ^k+r = exp ?9ft, к = 1, . . ., s. Тогда
E.6)
где
J6,
Поскольку / (X) — четная функция, комплексные корни ?>k появ-
появляются сопряженными парами, так что если в число корней, зануме-

5. Некоторые специальные модели 77
рованных от 1 до д, вместе с ?& попадает и ?&, то коэффициенты а (у)
вещественны. Таким образом, мы доказали основную часть следую-
следующей теоремы, принадлежащей Фейеру и Риссу (см. Ахиезер [1965]):
Теорема 10. Если
-я
то f (X) можно представить в виде E.6). Если у (у) = 7 (—/)» т. е.
f (X) — четная функция от X, то а (у) можно выбрать вещественными.
Каноническое представление вида E.6) можно получить, выбирая
а @) вещественным, а корни ^ лежащими на или вне единичной
окружности. В этом случае а (у) обязательно вещественны для чет-
четной f (X).
В доказательстве нуждаются только последние два утверждения.
Очевидно, если | ?7- | ф1, то мы можем поменять ролями ?7- и ?j\
поэтому можно считать, что | ?7- | ^ 1. Выбирая а @) вещественным,
мы устраняем неоднозначность в определении У\ а (у) exp (ijk), свя-
связанную с выбором постоянного множителя, равного по модулю
единице. Теперь очевидно, что такое представление единственно.
Очевидно также, что вместе с корнем ?7- для 2 а (у) z° должен быть
выбран и корень ?7-, откуда следует, что а (у) обязательно веще-
вещественны.
Более общим является случай, когда / (Я) есть отношение триго-
тригонометрических многочленов, т. е. рациональная функция. Имеем
2л q (ett}
Мы можем сократить все множители, общие для числителя и знаме-
знаменателя; если это сделано, то
Поэтому и числитель, и знаменатель можно факторизовать только
что описанным способом, так что
где и — отношение многочленов от exp ik. В частности, функцию
и (z) можно выбрать так, чтобы она была голоморфной в замкнутом
единичном круге и не имела нулей внутри него, ибо мы можем найти
такую каноническую факторизацию для числителя, а для знамена-
знаменателя, в силу E.7), можно найти канонический множитель, не обра-
обращающийся в нуль в единичном круге вместе с границей.
Следуя Розанову [1963], рассмотрим теперь векторный случай.
Предположим сначала, что определитель / (X) не равен тождественно

78 Гл. II. Спектральная теория векторных процессов
нулю. Кроме того, проще начать со случая, когда элементами / (А,)
являются тригонометрические рациональные выражения. Обозна-
Обозначим через W (?) матричную функцию, которая получится, если
в выражении для / (А,) заменить exp ik на ?. Нетрудно доказать, что
найдется матричная функция Н (?), элементы которой являются
рациональными функциями ?, такая, что
W @ = Я (О D (Р Я (?),
где D (Z) диагональна, а // получается из И транспонированием,
переходом к комплексно сопряженным коэффициентам и заменой ?
на ?-1. В самом деле, все, кроме первого, элементы первого столбца
матрицы W (?) можно обратить в нуль, умножая W (?) слева на
матрицу Н (?), у которой на главной диагонали стоят единицы,
в первом столбце — элементы вида —wn (Q W\j (?) (/ > 1), а на
остальных местах — нули 1).
Определитель матрицы Щ1 равен единице, поэтому матрица Н^
имеет такую же структуру. Очевидно, умножение справа на Щ1
приводит к аналогичному преобразованию первой строки. Далее
доказательство может быть завершено по индукции. Каждый из
диагональных элементов матрицы D (Q в отдельности имеет тот же
вид, что и в скалярном случае; следовательно, D (?) допускает
факторизацию D = С/С/, где С/ — диагональная матрица, элементы
которой являются рациональными функциями от ?, голоморфными
в единичном круге. Мы можем подобрать скалярную функцию с (Q
так, чтобы с (?) // (?) также обладала этим свойством (в качестве с
можно взять произведение всех линейных множителей из знамена-
знаменателей элементов Я, которые обращаются в пуль в единичном круге).
Тогда с (?) с (?) также вещественна и неотрицательна на единичной
окружности и, следовательно, с (?) с (?) = Ь (V) Ь (Q, где Ъ (?) —
многочлен от ^, не имеющий корней внутри единичного круга. Имеем
w (I) - {с (о и (о б (?)-i с/ @} {с/ (о ь (S)-1 я (О с (С)} - л (о 1 @,
где 4 (?) голоморфна в единичном круге и состоит из рациональных
функций от ?.
Теперь остановимся на случае, когда элементами / (Я) являются
тригонометрические многочлены
-qr
Мы можем считать, что в факторизации W (?>) = A (QA (Q матрица
А @) невырождеина, так как любой множитель ? из с (?) или С/ (Q
можно сократить с множителем ^-1 из с (?), С/ (^). Разлагая теперь
х) Элемент ши (Q не может равняться нулю, так как / (к) и. в. положительно
определенна.

5. Некоторые специальные модели 79
элементы А (?) в степенной ряд, сходящийся в единичном круге,
мы видим, что если матрица коэффициентов Aj при / > g не равна
нулю, то А (?) A (?) имеет при ? = 0 полюс порядка выше д. Так как
это, очевидно, невозможно, то
-ш 2 гу)«-«x=isr {2 ^т) {2 ^
-q 0 0
Покажем теперь, как можно получить каноническую факторизацию.
Пусть ?4 — корень определителя А (?), лежащий внутри единич-
единичного круга. Тогда (Макдаффи [1956], стр. 78) можно найти унитарные
матрицы U и У и такие, что VXA (?i) Ux будет диагональной матрицей,
в которой первые г4 диагональных элементов, и только они, равны
нулю. Введем теперь диагональную матрицу Д4 (?), в которой первые
г4 диагональных элементов равны
-^^7 . E.8)
а остальные равны единице. На единичной окружности выраже-
выражение E.8) по модулю равно единице, так что Д4 на единичной окруж-
окружности является унитарной матрицей. Тогда Вх (?) = А (?) C/jAi (?)
вновь является матрицей, составленной из многочленов от ?, и
Однако .Bi отличается от А тем, что множитель (? — ^)ri в определи-
определителе -4 заменился на (? — Si1O- Продолжая таким образом, мы
придем к факторизации / (Я) (на многочлены степени д), для которой
определитель не обращается в нуль внутри единичного круга. Если
А @) задана, то эта факторизация единственна в существенном, ибо
если W (?) = А (?) А (?,) = В (?) ? (g) — две такие факторизации,
то {В-1 (О А (?)} ={Л @ 5 (?)} = /Р, и J70(C) = Б (С) A (Q
является рациональной функцией от ? с определителем, тождественно
равным единице (так как он голоморфен в единичном круге, равен
единице при ? = 0 и равен по модулю единице на единичной окруж-
окружности). Таким образом, на единичной окружности Uo является
унитарной матрицей с определителем, равным единице. Поскольку
Uo голоморфна в круге, разложение ?70 на окружности содержит
лишь неотрицательные степени exp fk. Но U~l = U* и, значит,
разложение U* содержит лишь неположительные степени exp ik.
Следовательно, Uo — постоянная унитарная матрица. Таким обра-
образом, А (?) = В (?) Uo. Мы показали, что если Ао (?>) — некоторый
частный канонический (т. е. голоморфный и не обращающийся
в нуль в единичном круге) множитель, то для произвольной фактори-
факторизации / (к) имеем
/ (к) = {Ао (е*) U (е*)} {Ао (е*) U {е*)}*,

вО Гл. II. Спектральная теория векторных процессов
где U (?) унитарна на единичной окружности и голоморфна в единич-
единичном круге (U (?) строится из множителей типа UqA'1 (?) С/ ...).
Легко видеть, что факторизация определяется единственным
образом, если к условию, что все корни det B Aff) лежат вне
или на единичной окружности, добавить требование положительной
определенности Ао. Таким образом, мы установили следующий
результат:
Теорема 10'. Если
4
4r
-я.
имеет определитель, не равный тождественно нулю, то f (X) можно
представить в виде
}{Г
о о
где Ао—эрмитова неотрицательно определенная матрица, а все
нули det 2 AjZJ лежат вне или на единичной окружности. Такое
представление единственно, и если f (X) — матрица спектральной
плотности (т. е. f (X) = / (—X)), то Aj вещественны. Любое другое
представление f (X) в форме АА*, где А — матрица многочленов
от exp iX, имеет вид
я я
± (e*) U* (е* {
{
о о
где матрица U унитарна для почти всех X, a U (z) голоморфна в еди-
единичном круге.
Конечно, теорема 10 является частным случаем теоремы 10'.
Случай, когда det{/ (X)} = 0, легко сводится к только что рас-
рассмотренному. В самом деле, пусть ранг W (?) равен г (?) ^ г ^ р
и г (Со) = г- Тогда найдется некоторый базисный минор матрицы
W (?о)> не равный нулю; поскольку этот определитель является
многочленом от ? и ?~1, он равен нулю лишь в конечном числе точек,
и W (?) имеет ранг г всюду, за исключением этих точек.
Мы можем тогда найти матрицу Р с постоянным определителем,
состоящую из многочлена от ? и такую, что все элементы матрицы
Р (?) W (?) Р (?) вне первых г строк и столбцов равны нулю 1).
х) Найдутся матрицы Р (?) и Q (?), состоящие из многочленов от ?, с посто-
постоянными определителями, такие, что все элементы матрицы Р (?) W (Q Q (С)
в последних р — г строках и столбцах равны нулю, следовательно, элементы
матрицы Р (?) W @ в последних р — г строках равны нулю; но тогда таким
свойством обладает и Р (?) W (Q Р (О- С другой стороны, W (?>) Р (Q —
— [Р (l,-1) W (S)]'? а У этой матрицы последние р — г столбцов состоят из
нулей; значит, и Р (?) W (?) Р (С) имеет нули на тех же местах. Утверждение
доказано.

5. Некоторые специальные модели 81
Поэтому можно рассматривать только матрицу, построенную на
первых г строках и столбцах матрицы
а к ней применимы предыдущие рассуждения.
Так же как в последнем примере, полученная факторизация
приводит к представлению х (п) в виде
х(п) = УА (j)e(n-j), Е (е(/г) е(го)') --6S4?.
о
Мы довольно подробно рассмотрели здесь проблему факторизации
по следующей причине. В гл. III мы установим существование
подобной факторизации для q = оо при гораздо более общих усло-
условиях. Доказательства таких результатов значительно более сложны,
и некоторые читатели, возможно, захотят их пропустить. Эти теоремы
применяются в задачах прогнозирования и фильтрации. На практике
во всех случаях, когда используются подобные методы, мы задаем
/ (Я) как функцию рассматриваемого здесь типа, поскольку / (Я)
будет оцениваться по численным данным. (Более общий результат
вряд ли может иметь значение с точки зрения априорных физических
соображений, поскольку х (п) обычно получается из процесса
с непрерывным временем.) Таким образом, теоремы настоящего
параграфа охватывают все важные случаи.
(iv) Пусть стационарный процесс х (п) удовлетворяет уравне-
уравнению C.10) гл. I, и пусть det (^В (/) zj) не имеет корней на единич-
единичной окружности 1). Тогда, согласно уравнению C.10), матричная
спектральная плотность процесса 2 В (]) х (п — /) равна
Отсюда, используя еще раз уравнение фильтра C.10), получаем,
что спектральная плотность х (п) равна Bя)~г AGA*, где
А (X) = (S Я (У) еЫ)~1 B А (к) е**).
и и
В скалярном случае и при s==0 мы видим, что
2
о
я
-2
г) Это условие можно ослабить, но мы не будем здесь на этом останавли-
останавливаться.

82 Гл. II, Спектральная теория векторных процессов
Если абсолютная величина ?и близка к единице, то при Я, близком
к 6U, где ?u = pu exp iQu, f (k) велика. Мы показали, что в случае,
когда все ?и по модулю меньше единицы, уравнение
имеет решение
со
о
где X(j) имеют вид
2 S nhPju Ф">, k cos 0tt/ + Ьщ k sin 0U;).
и k
Если одна из величин ри значительно больше остальных и близка
к единице, то это выражение близко к
^ (/) = Pi Фи cos Quj + b'i sin euj),
и х (п) представляет собой суперпозицию затухающих гармониче-
гармонических колебаний с частотой 6U. Не удивительно, что / (к) имеет пик
при X = ±6)и-
(v) Модель
"V В (i) х (t) = ii (t) E 9^
о
где у (t) имеет матричную спектральную плотность fy (X), приводит
к следующей матричной спектральной плотности для стационарного
решения х (t) уравнения E.9):
V V
о о
в предположении, что
V
о
не имеет чисто мнимых корней.
(vi) В случае когда х (t) — векторный процесс с непрерывным
временем, имеющий абсолютно непрерывный спектр, мы можем
написать

5. Некоторые специальные модели 83
где )' f(k) — эрмитова неотрицательно определенная матрица;
полагая
со
и 2л J
имеем
Мы подробнее обсудим этот результат в п. 5 приложения к этой
главе; там будет также показано, что
со
х@= j A(t-s)l(ds), E.10)
— OO
где ? (s) — процесс с ортогональными приращениями, такой, что
Е (? (ds) ?* (ds)) = ds/2n. В этом случае мы также хотели бы иметь
одностороннее представление, когда A (s) можно положить равной
нулю при 5 < 0, ибо тогда, скажем в скалярном случае, мы могли бы
наглядно интерпретировать E.10) как суперпозицию импульсов
a (t — s) % (ds) одинаковой формы, испускаемых в моменты s, с ампли-
амплитудой и знаком, определяемыми случайной величиной ? (ds). Мы уви-
увидим в гл. III, что такая модель является весьма правдоподобной.
(vii) До сих пор мы рассматривали случаи, когда был задан
спектр процесса х (t) или порождающая его феноменологическая
модель. Третья возможность состоит в задании ковариационной
последовательности. Рассмотрим, например, случай, когда
где собственные значения матрицы А имеют положительные веще-
вещественные части, а Г — положительно определенная симметричная
матрица. Тогда, в силу соотношения Г (t) — Г' (—t), должно быть
AT = ТА' (это можно доказать, разлагая экспоненту в степенной
ряд и устремляя | t | к нулю). Рассмотрим матрицу
со
/(A,) = _L j е~лтге-ы dt = ~ {(А + ill)-1 + (A-iliy1} T
L j етге dt = ~
— со
(см. упражнения в конце главы). Она равна
—г (А + а/;2А (А - а/) Г = -^- (А + а/) 2АТ (А' - ill)-1.
Но матрица 2А Г является симметричной и положительно определен-
определенной. В самом деле, если РТР' = I, то РАР~Х = РАР~1РТРГ =

84 Гл. II. Спектральная теория векторных процессов
= РТА'Р' = Р'~ХА'Р'. Следовательно, собственные значения матри-
матрицы РАР'1 вещественны (поскольку она симметрична), а так как
они совпадают с собственными значениями А, то они вещественны
и положительны. Но PAP'1 = P (AT) Р', значит, AT симметрична
и имеет положительные собственные значения, что и требовалось
доказать. Полагая 2АТ = G, получаем факторизацию
/ (X) =Л- (А + Ыу1 G{A + Шу-К E.11)
Так как
ТО
= / е'А'' *>0'
I о, t<o,
60
о
о о
Соответственно мы можем написать
x(t)= jeA«-e>?(ds), E.12)
где Е (? (ds) ? (ds)*) = G ds и | (s) имеет ортогональные приращения.
Конечно, E.11) приводит также к уравнению
x(t) + Ax(t) = е@,
где 8 (t) — белый шум с Е (е (s) 8* (t)) = Bл) CS (s'— ^). Как мы
видели, с таким уравнением связаны некоторые математические
трудности, однако E.12) является, очевидно, его строгой интерпре-
интерпретацией.
(viii) При исследовании текстиля интерес представляет следую-
следующая модель: постулируется, что нить состоит из налегающих друг
на друга волокон длины Z, причем левые концы волокон распола-
располагаются вдоль нити в точках tj, образующих пуассоновский процесс
с параметром \х. Таким образом, вероятность того, что на интервале
E, s + J) будет / таких точек, равна
Число волокон нити в точке t равно
x(t)= [a(l, t-s)t(ds),
где a (Z, t) равно единице при 0 ^ t ^ I и нулю при остальных t7
а {I (s) — I @)} — число левых концевых точек в интервале @, s].

5. Некоторые специальные модели 85
Процесс | (s) имеет независимые приращения, причем var (? (ds)) =
= jli ds. Удобно произвести центрирование, и тогда мы получаем,
что спектральная плотность центрированного процесса равна
2л
[ а(/, t —
(V2A,J
о
Она концентрируется на низких частотах, причем тем сильнее,
чем больше Z. Это, конечно, соответствует интуитивным представле-
представлениям, так как при большом Z нить будет относительно ровной и низкие
частоты будут преобладающими.
Более реалистичная модель получится, если и длины волокон
с концами в точках tj также считаются случайными величинами Z7-,
независимыми для разных / и не зависящими от t^. Введем обозна-
обозначение
Р (х) = Р{0< 1^х}.
Мы можем считать, что Р (х) не имеет скачка в нуле. Тогда
со оо
x(t)= j ja(Z, t-s)l(dl, ds),
о о
где {I (/, 5) — ? (Z, 0)} — число левых концов волокон длины, не
превышающей Z, лежащих в интервале @, s]. Вновь предположим,
что положения левых концов определяются пуассоновским процес-
процессом. Легко видеть, что ? (lu s) — ? (Z2, s), Z4 > Z2, является пуассо-
пуассоновским процессом с параметром
(х ( Р (dl).
h
Кроме того, процессы, отвечающие непересекающимся интервалам
[Z2, Z4), [Z4, Z3), независимы (подробности см. в книге Кокса и Милле-
Миллера [1965], стр. 155). Это можно вывести из того, что суперпозиция
двух независимых процессов с такими параметрами дает правильный
результирующий процесс. Таким образом, х (t) (после центрирова-
центрирования) — это стационарный процесс со спектральной плотностью
о о
со
и (* sin21/2lk 1
— \ /
о
Так как
со
sin29

86 Гл. II. Спектральная теория векторных процессов
то дисперсия х (t) равна
IX J lP(dl);
о
это выражение зависит только от jli и среднего значения распределе-
распределения I и на самом деле совпадает со средним значением х (t).
С рассмотренной моделью связана следующая, которая обычно
называется «случайным телеграфным сигналом». Вновь рассмотрим
последовательность точек tj, порождаемую пуассоновским процес-
процессом с параметром jli, а также процесс х (t), принимающий только
значения ±1 и изменяющий значение при переходе через точки tj x).
Тогда легко видеть, что
Е (х (s) х (s + t)) = exp (—2|li | t |).
В самом деле, величина х (s) x (s + t) равна -f-1 в том и только в том
случае, когда в интервал (s, s -f- t], t ^ О, попадает четное число
точек tj, и равна —1 в случае, когда число точек tj в этом интервале
нечетно. Поэтому
7
о
Таким образом, спектральная плотность равна
Этот пример показывает, насколько неоднозначно спектр про-
процесса определяет его вероятностное поведение, ибо реализация гаус-
совского процесса с ковариационной функцией exp (—2jli | t \) совер-
совершенно непохожа на реализацию случайного телеграфного сигнала.
Процессы такого типа называются точечными (см. Бартлет [1955],
стр. 104); это такие процессы, для которых случайные изменения
состояния происходят только скачками в дискретном множестве
точек. Мы свели пуассоновскии процесс к некоторому стационарному
процессу с конечной дисперсией, сопоставив скачкам некоторую
функцию (в нашем примере a (Z, ?)). Процесс ? (t) сам по себе не
является стационарным в рамках нашей теории (см., впрочем,
далее параграф, касающийся обобщенных процессов). Конечно,
мы могли бы не ограничиваться пуассоновским процессом, однако
здесь мы не хотим углубляться в эти вопросы (см. Бартлет [1963]).
В рассмотренных случаях вероятностное распределение х (t) опре-
определено в целом, если известны jli, а и Р. Из-за этого спектральная
теория, использующая лишь свойства второго порядка, кажется
не вполне удовлетворительной. Однако это не обязательно так, ибо
*) Условимся считать, что х (t) непрерывен справа.

5. Некоторые специальные модели 87
рассматриваемые модели — всего лишь модели, а действительность
никогда не бывает столь простой. Таким образом, скажем, иссле-
исследование ковариационной функции диаметра нити может оказаться
полезным статистическим методом, в особенности если имеются
в виду рассмотренные выше простые модели (или их варианты),
допускающие наглядную интерпретацию эмпирических результатов.
(ix) В этом примере мы хотим проиллюстрировать смысл спек-
спектрального представления (теорема 2) на одной модели, похожей на
обсуждавшуюся в теореме 2', но не сводящейся к периодическому
случаю. Пусть
оо
хз @ = 2 {?./ (ni О cos 2rm? -f* r\j (nt) sin 2nnt} -f- Uj (t) = Wj (t) + Uj (?),
71=0
где
E{tj(m, s)lk(n, t)}c=E{^(m, s)r\k(n, t)} = E{lj(m, s)r\k(n, t)} = 0,
тфп,
для всех ;, /с, s, t и
E{Uj(s)lk(n, t)} = E{uj{s)r\k{n, t)} = E{lj(n, sLj(n, t)} = 0,
E{%j(n, s)%h(n, s + t)} = E{jr\j(n,s)r\h{n, s + t)} = aJ9k(n, t),
E{E7-(^, s)r\k(n, в + 0}=-Е{т|;(п, s)lh{n, s + t)} = pjtk(n, t)
для всех ;, /с, 5, t, n, причем
оо
2 а/(и, 0)<оо
о
для любого 7. При этих условиях первая компонента Wj (t) опре-
определена корректно как предел в среднеквадратичном. Предположим,
что все спектральные функции абсолютно непрерывны, и обозначим
плотности через cjh (п, X) (для ^ (п, t) и lk (n, t), а также т]7- (га, t)
и r\k (n, t)) и qjk (n, I) для %j (n, t) и r\k (n, t). Тогда случайные про-
процессы
{lj (n, t) cos 2nnt + r\j (n, t) sin 2nnt}, j = 1, . . ., p, E.13)
имеют ковариационные функции
<Zjk (ni t) cos 2nnt + $jk (n, t) sin 2nnt,
так что взаимные спектральные плотности для этих компонент
равны
(га, X —2яга) —

88 Гл. II. Спектральная теория векторных процессов
Если положить
у(л, X) — iqjk(n, k)) = fjk(n, —X) = fjk( — n, К),
то спектральные плотности для компонент E.13) равны
fjh (п, X + 2лп) + fjh (п, X — 2лп).
Поэтому матричная спектральная плотность векторного процесса
х (t) есть
со
71= —со
где / (и, X) — спектральная плотность векторного процесса и (t)
(при п = 0 мы, конечно, полагаем т]7- (?г, ?) = 0, так что q^ (О, X) = О
и /м (О, Я) - см (О, X)).
Интересным является случай, когда для всех (п, /) функции
fj (n, X) концентрируются в начале координат (т. е. «близки к дельта-
функции») и, следовательно, / (К) является суммой / (и, X) и после-
последовательности слагаемых, близких к дельта-функциям с особенно-
особенностью в точках 2лп, п — 0, ±1, . . ., причем «масса», приходящаяся
на точку 2лп, стремится к нулю при | п \ —>¦ оо. В соответствии
с этим \j (n, t) и г)у (п, t) будут изменяться очень медленно (если
концентрация fj (n, л) достаточно ощутима), так что на протяжении
заметных промежутков времени Wj (t) будет вести себя как периоди-
периодическая функция с единичным периодом. Конечно, если все |7- (п, t)
не зависят от t, то / (п, Я) в точности равны дельта-функции, а х (t)
просто равен сумме периодических функций (ряд Фурье сходится
в среднеквадратичном) и «шумовой» компоненты и (t). В этом случае
матричная спектральная функция F (К) процесса х (t) имеет абсолют-
абсолютно непрерывную компоненту с плотностью / (и, X) и скачки в точках
2ятг, п — 0, +1, ... • Довольно очевидно, что по одной конечной
реализации, 0 ^ t ^ T, почти невозможно отличить случай, когда
F (X) имеет скачки, от случая, когда / (п, X) лишь очень близки
к дельта-функциям. Общеизвестно, что естественные явления, пред-
представляющиеся на первый взгляд безукоризненно периодическими, при
ближайшем рассмотрении оказываются не такими (например, вра-
вращение Земли). Таким образом, строго периодических явлений в при-
природе, по-видимому, не существует. Тем не менее никакая математи-
математическая модель не в состоянии отразить всю сложность природного
явления, а некоторые естественные явления настолько близки
к периодическим, что строго периодическая модель для них отвечает
самым высоким научным критериям, которые только можно предъя-
предъявить. Поэтому рассмотрение спектра, содержащего скачки, не являет-
является бесполезным занятием.
Случай, противоположный (по отношению к / (п, X)) рассмо-
рассмотренному выше,— это случай, когда спектральная плотность почти
постоянна. Разумеется, она не может быть строго постоянной, так

5. Некоторые специальные модели 89
как интеграл от нее, равный дисперсии, должен быть конечным.
Впрочем, если х (t) — скалярный процесс и
то
т
1 Г „•« 7л sin tT
tT
-т
Если Т достаточно велико, то у (t) быстро падает от своего значения
при t = О (равного единице) к очень малым значениям, так что
наблюдения, производимые даже в относительно близкие моменты
времени, являются почти некоррелированными.
(х) В заключение рассмотрим пример фильтра, который подав-
подавляет только нулевую частоту, а в остальных точках спектра имеет,
пожалуй, простейшую частотную характеристику.
Пусть на выходе фильтра будет
оо
1 (* X (
х (t) cosa-j I —'
о+
Это можно записать в виде
\ х
JT J t —
S
где интеграл следует понимать в смысле главного значения по Коши,
как было отмечено в предыдущем выражении. Для того чтобы этот
фильтр был корректно определен как предел в среднеквадратичном,
необходимо, чтобы частотная характеристика второго слагаемого,
усеченная в точке S, т. е.
\ ds,
J s
о+
сходилась в среднеквадратичном с весом F (dX) при возрастании S.
Но это, очевидно, выполняется, поскольку главное значение по
Коши
S
sin sX -.
~7~ s
сходится, как известно, к я при А, > 0, к нулю при А, = 0 и к —п
при X < 0, причем сходимость является ограниченной, что видно,

90 Гл. II. Спектральная теория векторных процессов
например, из графика функции х'1 sin х. Сходимость в среднеквадра-
среднеквадратичном следует теперь из ограниченной поточечной сходимости.
Таким образом, частотная характеристика построенного нами филь-
фильтра равна
cos a + i sin а, А, > 0,
cos а, X = 0,
cos а — i sin а, А, << 0
и обладает требуемыми свойствами. Полагая а = я/2, получаем
преобразование Гильберта (или преобразование Стилтьеса)
оо
X (t) —>• X (t) = \ —
Такой фильтр действительно подавляет нулевую частоту и не влияет
на абсолютную величину спектральной плотности на других часто-
частотах. Соответственно фильтр х (t) cos a + х (t) sin а умножает ком-
компоненту на нулевой частоте на cos а и не изменяет абсолютных вели-
величин других компонент. Для дискретного времени мы получим совер-
совершенно аналогичный результат, если положим
оо
х (п) = — 2 х{п — т)< — (cos пт — 1)
— оо
где штрих означает, что —(cosjm—1) следует считать равным
нулю при т?г = О1).
Преобразование Гильберта используется иногда при определе-
определении «огибающей» процесса, которая определяется как
\x{t) — te (*) |.
Чтобы уяснить интуитивную основу этого определения, пред-
предположим, что вся спектральная масса х (t) сосредоточена в очень
узком диапазоне вблизи А,о, т. е.
х (t) ~>
Тогда
х (t) ~ ize^ot __ tee-****, x (t) — ix (t) =
и модуль последнего выражения равен 2 | z \ — амплитуде синусои-
синусоиды х (t).
х) Заключение, что преобразование такого типа можно использовать
для устранения тренда (см. Гренджер и Хатанака [1964]), представляется
неверным. Такое преобразование предназначено для чрезвычайно точного
устранения только нулевой частоты. По-видимому, оно не имеет какого-либо
практического значения.

6. Некоторые спектральные методы 91
Таким образом, для узкополосных процессов, для которых эта
амплитуда будет изменяться со временем t, огибающую можно
представлять себе как гладкую линию, проведенную через максиму-
максимумы почти синусоидальных колебаний х (t), что и оправдывает ее
название.
В качестве менее очевидного примера фильтра с единичным коэф-
коэффициентом усиления рассмотрим оператор
о
со спектральной характеристикой
а — е1'
равной по модулю единице. Фаза, равная теперь
не пропорциональна X. Имеем
y(t)=
— оо
Групповая задержка 6' (X) в этом случае, как легко видеть, равна
1 —fl2
1 + fl2 — 2a cos A,
и при а, близких к 1, концентрируется в точках X = 2fcrt.
6. НЕКОТОРЫЕ СПЕКТРАЛЬНЫЕ МЕТОДЫ
ДЛЯ НЕСТАЦИОНАРНЫХ ПРОЦЕССОВ
В этом параграфе мы рассмотрим некоторые нестационарные явления,
к которым применима своего рода спектральная теория. Только
первый из рассматриваемых случаев имеет некоторое значение для
дальнейшего изложения, остальные же могут быть опущены.
(i) Начнем с рассмотрения асимптотически стационарных про-
процессов с дискретным временем. Основная идея здесь заключается
в том, что, хотя Г (т, п) может и не быть функцией только от (п — т)>
тем не менее может существовать наблюдаемая ковариационная
N
функция, такая, как N'1 ^х (п) х' (п + т), которая в каком-то
1
подходящем смысле сходится к предельному значению, зависящему
только от /тг, но не от начальной точки. По-видимому, наиболее
важная из подобных теорий принадлежит Гренандеру [1954], кото-
который, следуя Винеру [1933], гл. IV, рассматривает векторный случай-

92 Гл. II. Спектральная теория векторных процессов
ный процесс с дискретным временем, удовлетворяющий следующим
условиям (мы будем называть их условиями Гренандера), выполняю-
выполняющимся почти наверное:
JV
limdj(#)=vlim ^ х){п) = оо, / = 1, . ..,р, F.1а)
N-+oo JV-»oo 71 = 1
JV
F.1c)
В формуле F.1с) подразумевается, что пределы существуют
с вероятностью 1. В упражнениях к этой главе мы поясним, как
можно доказать, что последовательность неотрицательных чисел
х) (N) удовлетворяет соотношению F.1Ь) только тогда* когда она
удовлетворяет условию
4^
JV->oo Ь"
т. е. последовательность Xj (n) должна расти медленнее, чем экспо-
экспонента. Более того, если Пт{^| (N)ld) (N)\ > 0, то | х* (nk) \ возра-
JV
стает экспоненциально при к -> оо.
Случаи экспоненциального роста всегда нуждаются в отдельном
рассмотрении, и условие F.1Ь) призвано их исключить. Оно гаран-
гарантирует также, что pjk (n) не зависит от краевых эффектов, например
N-n-q
{ 2 zj(
Обозначим через R (п) матрицу с элементами pjk (n). Если мы
положим ра (п) = а*Д (п) а, где а — комплексный вектор, то ра (тг)
образуют неотрицательно определенную последовательность в смысле
первой части доказательства теоремы 1". (Величина
является пределом неотрицательных величин, которые получаются
заменой pjk (n) на выражения в F.1с), стоящие под знаком предела.)
Таким образом, к Л (?г) применима теорема 1", и мы получаем следую-
следующую теорему:

6\ Некоторые спектральные методы 93
Теорема 11. Если Xj (п) удовлетворяют условиям Гренандера,
a R (п) — матрица с элементами pjk (п), то
R(n)= [ ein^M
zde M (X) — матричная функция с эрмитовыми неотрицательными
приращениями М (Я2) — М (А,4), Я2 ^ Яь которая однозначно опре-
определяется требованиями непрерывности справа и равенства нулю
при К = —я.
Разумеется, вновь для всех точек непрерывности %t, X2 мы имеем
М (Х2) - М (X,) = {М(-^)-^(-^)}-
В качестве примера последовательности, удовлетворяющей усло-
условиям Гренандера, можно взять xj (п) = п3'1, 7 = 1, . . ., р. Легко
видеть, что
т=\
поэтому для таких Xj (n) условия F.1) выполнены и
Таким образом, М (к) возрастает только в нуле, причем скачок
равен R @). В данном случае М (к) дает довольно скудное описание
последовательности х (п), и все «детали» утрачиваются. Однако для
некоторых целей такое описание представляет интерес.
Следующий пример: x2j (п) = cos 07тг, #2j-i (n) = s^n ®jni I =
= 1, . . ., р, 07- =^=0fe, у Фк. Вновь условия F.1) выполнены,
и R (п) теперь состоит из р блоков, лежащих на диагонали, у-й из
которых имеет вид
cos Qjn sin I
- sin 0;тг cos 07тг
(все остальные элементы матрицы равны нулю). Следовательно,
М (к) возрастает только в точках ±07-, причем для скачков в этих
точках ненулевым является только у-й блок, который имеет вид
1 Г1 -Г
соответственно в точках 07- и —07-.
В гл. IV мы увидим, что при условиях, которые ни в коей мере
не являются ограничительными, выборочные автоковариации ста-
стационарного векторного процесса сходятся с вероятностью единица.
В этом случае стационарный векторный процесс будет также удовле-

94 Гл. II. Спектральная теория векторных процессов
творять условиям F.1), причем, конечно, pjk (n) = yjk (^){T;(T()}
так что М (X) имеет элементы mjk (X) = Fjk (X)/{yj @) yk @)}1/2, где
F (X) — матричная спектральная функция процесса х (п). Нетрудно
показать, что если х (п) — процесс рассматриваемого типа, у (п) —
векторная последовательность той же размерности с элементами п\
a z (п) — последовательность той же размерности с элементами
cos nQj, sin nQj, то х (п) + у (п) + z (n) также удовлетворяет усло-
условиям F.1). Можно построить и более общие примеры, однако и этого
достаточно, чтобы убедиться, что условия Гренандера допускают
последовательности довольно общего характера.
Рассмотрения настоящего пункта легко обобщаются на процессы
с непрерывным временем, однако их применения в основном связаны
с дискретным временем и с использованием машинных вычислений^
поэтому мы ограничимся изложенным.
(ii) Лоэв [1960], стр. 496, называет (скалярный) процесс гармо-
гармонизуемым, если
где
a F — функция ограниченной вариации на плоскости. Возможно,
что более плодотворным является подход, при котором z (X) может
зависеть от t, т. е.
(dl). F.2)
Конечно, предполагается, что zt (А,) меняется со временем медленно,
так как иначе подобное представление было бы довольно бессмыслен-
бессмысленным, а определение соответствующего спектра, зависящего от вре-
времени, стало бы затруднительным. Модель рассматриваемого типа
возникает, очевидно, в связи с модуляцией сигнала. Простейшим
является случай амплитудной модуляции, когда наблюдается у (t) =
= a (t) х (t), где х (t) — стационарный процесс. Тогда zt (dX) =
= а @ zx (dX). Если a (t) — стационарный процесс, не зависящий
от х (t), то у (t), разумеется, также стационарен, причем
уу (t) =E(y (s) y(s + t)) = ух (t){ya (t) J- ^2},
где jli — среднее значение a (t), которое теперь целесообразно счи-
считать не равным нулю. Если х (t) иа (t) имеют абсолютно непрерывный
спектр, то
оо оо
Та @ - j е1а { J */« (* - 6) /* (9)dQ

6. Некоторые спектральные методы 95
и спектральная плотность у (t) равна \x2fx (X) + /х * /а (^)> гДе
fx* fa обозначает свертку функций, т. е. интеграл в фигурных
скобках в правой части. Таким образом, если х (t) имеет узкополос-
узкополосный спектр, сконцентрированный в точках ±Я, и a (t) — узко-
узкополосный спектр, сконцентрированный в нуле, то спектр процесса
у (t) будет иметь пики в нуле и точках ztX, несколько более широкие,
чем у процесса х (t).
Второй пример дает частотно-модулированная синусоидальная
волна
у (t) = a cos @a (t) + ф)>
где ф — случайная величина, распределенная равномерно в интер-
интервале [—я, я). Если положить zt (dX) — V2 а ехр{Ш (a (t) + t)} zx (dX),
где zx(dX) возрастает только в точках ±9 скачками величины
ехр (±?ф), то у (t) вновь представляется в виде F.2). Если ср не
зависит от a (t), то
Е (У (s) у (s+t) \ a (t)) = 1/2a2 cos @ (a (s + t) - a (s))),
где слева стоит условное математическое ожидание при данной
функции a (t). И опять у (t) может быть стационарным; так будет
в случае, когда a (t) — случайный процесс, не зависящий от ф
и имеющий стационарные в узком смысле приращения первого
порядка (см. пример (v) в § 3 гл. I), ибо, вычисляя математическое
ожидание относительно a (t), получаем
E(y(s)y(s+t)) =72a2Re(9, @)),
где <pt @) — характеристическая функция приращения a (s -\- t) —
— a (s). Например, можно взять
t
[ u(s)ds,
\u(s)ds,
где и (t) — стационарный гауссовский процесс (см. Вайнштейн
и Зубаков [1960], стр. 382). Тогда
t
Е (у (s) y(s +1)) = V2«2 ехр { - Ч2№ j yu (v) A - -Ц1) dv } .
t
j
-t
Мы обсудим этот пример подробнее в § 7.
Не следует думать, что можно обойти любую проблему, связанную
с нестационарностью, введя подходящую стационарную модель.
В некоторых случаях система изменяется так быстро, что это совер-
совершенно невозможно. Однако при рассмотрении такой быстрой эволю-

96 Гл. II. Спектральная теория векторных процессов
ции нередко приходится использовать какую-либо частную модель,
а модификации типа рассмотренных в этом пункте оказываются
неприменимыми (так как нельзя считать, что zt медленно меняется
с t). В противоположном случае, когда изменения происходят очень
медленно, стационарная модель может оказаться надуманной и не
приведет к полезным рекомендациям.
(ш) В § 3 гл. I мы ввели понятие процесса со стационарными при-
приращениями. Было показано, что если х (t) имеет стационарные
приращения q-ro порядка и q раз среднеквадратично дифференцируем,
то x(q) (t) — стационарный процесс. Поэтому
и, значит,
— оо
где х0 — (векторная) случайная величина. Повторяя это преобразо-
преобразование, получаем
(q-})\{tK)l У '
Е^ F-3)
0
Введем новый процесс с ортогональными приращениями по формуле
и перепишем F.3) в виде
}
где R — прямая (— оо, оо). Теперь G (dk) = Е (| ? (dk) |2) удовлетво-
удовлетворяет соотношению
оо
(*
<ОО.
Мы еще вернемся к этим выкладкам в § 9 и рассмотрим случай,
когда х (t) не является q раз среднеквадратично дифференцируемым
(см. также Дуб [1953], стр. 495).

7. Нелинейные преобразования случайных процессов 97
Очевидно, что процесс х (t) вида F.3) относится к типу медленно
меняющихся процессов, которые рассматривались выше в п. (и).
В каком-то смысле они соответствуют пограничным случаям, так
как находятся на грани стационарности. Это очевидно в случае
<7 = 1; в самом деле, процесс
t
e-K'-^(dT), P>0, E
является стационарным, но если Р стремится к нулю, то х (t) при-
приближается уже к процессу со стационарными приращениями.
7. НЕЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ СЛУЧАЙНЫХ ПРОЦЕССОВ
В § 4 мы видели, что частотные характеристики дают простое и
интуитивно понятное описание действия линейных фильтров. Однако
многие преобразования случайных процессов являются нелинейны-
нелинейными. Проблема описания действия таких фильтров чрезвычайно слож-
сложна, и нельзя ожидать какой-либо систематической теории, сравнимой
с теорией линейных фильтров. Прежде всего действие фильтра уже
не может быть описано только в терминах величин второго порядка.
Это сразу выдвигает на первый план гауссовские процессы. В прин-
принципе можно иметь дело с любым процессом, для которого заданы
все высшие моменты. Однако практически в негауссовском случае
выкладки становятся чрезвычайно сложными. Поэтому мы ограни-
ограничимся гауссовским случаем.
Мы рассмотрим в основном нелинейные фильтры без памяти,
т. е. преобразования вида
x(t)-*g(x(t))=y(t).
Естественно начать с наиболее простых выражений, какими
являются многочлены от х (t). Однако вследствие гауссовости пред-
предпочтительно использовать (что эквивалентно) многочлены Эрмита г)
JLJ. уу I tv J ¦— — I """""" Л. \ \s I \Jb I \A/tA/ \s ) •
Первые из них2)
Многочлены Эрмита удовлетворяют соотношениям
оо
1 Г Нт(х)Н (х)е~1
/2я J m
г) Это определение отличается от более привычного, в котором вместо
ехр (—1/2х2) фигурирует ехр (—х2).
2) Они легко вычисляются последовательно по формуле #n+i (^) =
=хНп (х) - Нп (х).

98 Гл. II. Спектральная теория векторных процессов
которые легко получаются последовательным интегрированием па
частям. Более того, если х и у — совместно гауссовские величины
с нулевыми средними, единичными дисперсиями и коэффициентом
корреляции р, то имеет место несколько неожиданный результат
(см. упражнения к этой главе).
Это соотношение позволяет описать действие фильтра без памяти,
каким является полиномиальная функция р от х (t), на спектр про-
процесса х (t). Пусть
d
где
т\ат = -±=- \ p(x)Hm(x)e-V*2dx. G.1)
у 2.71 J
Тогда, предполагая, что х (t) имеет нулевое среднее и единичную
дисперсию (чего всегда можно добиться, переходя к новой полино-
полиномиальной функции), имеем
d
Е (y(s) у (s + t)) = 2 а^{у{Щтт1 у@) = 1.
о
Рассмотрим сначала случай, когда х (t) имеет абсолютно непрерыв-
непрерывный спектр с плотностью / (X). Тогда
оо
= J
G.2)
где f*m обозначает т-кратную свертку функции f (X) с собой. (Преды-
(Предыдущие рассмотрения применимы как к непрерывному, так и к дис-
дискретному времени, однако в последнем случае при определении
свертки / (X — 9) продолжается за интервал [—я, я] по периодич-
периодичности.) При т = 0 мы интерпретируем /*т (X) как б (X), дельта-
функцию Дирака г). Тогда имеем
1у(Ь) = %а*пт\Гт(к). G.3)
о
Можно, конечно, избежать введения б (X), заменив у (t) на
у (t) — Е (у (t)) = у (t) — а0, ибо легко видеть, что если х — гаус-
совская величина с нулевым средним, то Е (Нт (х)) =0, т > 0.
х) Дельта-функция Дирака рассматривается в математическом приложении.
Ее использование в этом параграфе вполне очевидно и не должно привести
к каким-либо затруднениям.

7. Нелинейные преобразования случайных процессов 99
Так, например, процесс х2 (t) — 1 имеет спектр 2/*2 (к), т. е.
— Q)f(Q)dQ.
Конечно, эти утверждения можно значительно обобщить и в пер-
первую очередь можно освободиться от требования, что х (t) имеет
абсолютно непрерывный спектр. Тогда спектральная функция про-
процесса у (t) равна
d
где F*m есть m-кратная свертка спектральной функции F с собой,
a F*° (к) теперь означает единичную функцию Хевисайда, которая
равна нулю при к < 0 и единице при к ^ 0. Таким образом,
оо
F*2(k)= J F(k — Q)F(dQ).
Во-вторых, нет необходимости ограничиваться полиномиальными
функциями. В самом деле, если р (х) квадратично интегрируема
с весом ехр (—1/2^2), то можно положить
где ат даются соотношением G.1) и ряд сходится *) к у (t) в средне-
среднеквадратичном. Соответственно
g
и
(ряд сходится абсолютно), и мы получаем
). G.4)
и
В-третьих, мы можем обобщить наши рассмотрения на нелиней-
нелинейные функции от векторнозначных случайных величин. Однако
здесь рассуждения становятся несколько более сложными, и мы
откладываем их, как и обсуждение фильтров с памятью, до § 11.
Проиллюстрируем теперь на примерах результаты G.3) и G.4).
Эти результаты не так легко интерпретировать, как теорему
фильтрации для линейных фильтров. Природа рассматриваемой
х) Мы опираемся на полноту последовательности функций Нп (х) ехр (—.г2/4),
т. е. на тот факт, что они порождают пространство всех квадратично интегри-
интегрируемых функций на вещественной прямой. Доказательство см. в книге Винера
[1933], стр. 86.

100 Гл. II. Спектральная теория векторных процессов
ситуации проявляется в случае, когда F (X) имеет скачки в точках
±Хи ±А,2, • • ., ±Xh, Xj > 0, / = 1, . . ., к. Тогда легко видеть,
что F*2 (X) имеет скачки во всех точках X, которые равны всевоз-
всевозможным суммам частот из множества точек скачков F (X). По индук-
индукции получаем, что Fу (X) имеет скачки во всех точках вида
ь
2 "А/, G.5)
1
где rij — целые. Так, если гравитационные силы, обусловливающие
приливно-отливные явления, имеют шесть основных частот Xi, ...
. . ., Х6 (Мунк и Картрайт [1966]), а именно, частоты вращения
Земли, орбитального движения Луны, орбитального движения
Земли вокруг Солнца, лунного и солнечного перигея и регрессии
узловых точек лунной орбиты, то следует ожидать, что нелинейное
воздействие таких сил на океаны приведет к появлению всех цело-
целочисленных линейных комбинаций этих частот вида G.5). Разумеется,
если F (X) абсолютно непрерывна, но / (X) имеет относительно резкие
пики в частотах Xj, то следует ожидать, что fy (X) будет иметь пики,
несколько менее резкие, в частотах вида G.5).
Рассмотрим следующий пример. Для простейшей модели частот-
частотно-модулированного сигнала выход передатчика задается соотно-
соотношением
у (t) = a cos (9*+<p+Ps@).
Выше было указано (см. конец § 6, пример (ii)), что если ф имеет
равномерное распределение на [ — я/2, я/2] и не зависит от х (t), то
? (У (s) У (s+t)) = V2a2E [cos{to + p (x (t+s)—x (s))}],
так что если х (t) — гауссовский процесс со стационарными при-
приращениями, то у (t) является стационарным. Мы ограничимся более
специальным случаем, когда х (t) стационарен, имеет абсолютно
непрерывный спектр и у @) = 1. Указанные ограничения на ф
представляются разумными, а условие у @) = 1 несущественно
в силу наличия |3. Разлагая exp (zx — V2z2) в степенной ряд, полу-
получаем непосредственно из определения Нт (х)
со
exp {tax (t) + V2a2} = 2 ^f~ Hm (x (*)).
о
Следовательно,
о
a,» («) = Re е* <е*-И» (ip)m,

7. Нелинейные преобразования случайных процессов 101
откуда
со
Е (у is) у (s +1)) = V2GArP2 cos Ы 2
о
= 1/2а2е-& U-W»cosQt.
Соответственно мы имеем
т=0
так как у (t)m exp iQt есть преобразование Фурье функции /*т (А) *
* 8 (А, — 8) = /*т (Я — 6). Если / (X) заметно концентрируется
в начале координат, т. е. модуляция производится медленно меняю-
меняющейся функцией х (t), то fy (X) в основном будет концентрироваться
в частотах zb^8, за исключением «спектральной линии», отвечающей
А, = 0, которая будет устранена центрированием; если Р мало, то
/ (А), как и следовало ожидать, будет концентрироваться в точ-
точках + 8.
В тех случаях, когда производные функции g (x), начиная с неко-
некоторой, выражаются только через производные дельта-функций, коэф-
коэффициенты разложения G.4) получаются чрезвычайно просто. Обо-
Обозначая через ф (х) плотность стандартного нормального распределе-
распределения (j/^jt) exp — 1/2х2 и интегрируя по частям, получаем
со
ml am= \ g(x)Hm(x)q)(x)dx =
со
= j g{m4x)y(*)dx,
в предположении, что g (x) хорошо ведет себя на бесконечности.
Начиная с некоторого т это выражение будет состоять только из
членов вида
со
j — а) ф (х) dx = ( — \)k ф(*) (а) = Нк (а) ср (а).
В качестве примера рассмотрим
— а, х^ —а,
а,

102 Гл. II. Спектральная теория векторных процессов
Тогда а0, как легко видеть, равно нулю и
а
а4 = \ ф (х) dx.
-а
Так как
?<"•> (х) = 6(м-2) (z + а) - 8(т) (* - а),
ТО
т\ ат = Нщ-2 (— о) ф (— о) — Нш-2 (а) ф (а),
что равно нулю при четном т и — 2ф (а) Ят_2 (а) при нечетном иг.
Отсюда
= { J
Соотношение G.4), по-видимому, чрезвычайно трудно интер-
интерпретировать качественно, и хотелось бы иметь более простые форму-
формулы для достаточно простых функций g (•). Представляет интерес
метод, предложенный Прайсом (см. Дейч [1962], стр. 16). Его резуль-
результат в нашей формулировке заключается в следующем. Рассмотрим
две обобщенные *) функции g (x), h (у) от двух совместно гауссовских
случайных величин с нулевыми средними, единичными дисперсиями
и коэффициентом корреляции р. Эти ограничения на средние и дис-
дисперсии, разумеется, несущественны. Некоторые трудности связаны
с вложением функций, неинтегрируемых на любом конечном интер-
интервале, в пространство обобщенных функций, однако они здесь также
несущественны, поскольку формулы, которые мы собираемся выве-
вывести, будут применяться только в тех случаях, когда функции g и h
после нескольких дифференцирований сводятся к линейным комби-
комбинациям дельта-функций.
Теорема 12. Пусть g и h — обобщенные функции, а х, у —
совместно гауссовские случайные величины с нулевыми средними, единич-
единичными дисперсиями и коэффициентом корреляции р. Тогда
— Е(
Доказательство представляет собой не более чем применение
теоремы Планшереля, однако мы все-таки приводим его в приложе-
приложении к этой главе.
Следующие два примера иллюстрируют применение этой теоремы.
Пусть h (х) = g (х) — х при х ^ 0; h (х) = g (х) = 0 при х ^ 0.
Положим х = х (s), у = х (s -f- t), y @) ~ 1- Тогда g" (x) = б (х)
г) Обзор используемых далее математических средств дается в математиче-
математическом приложении.

7. Нелинейные преобразования случайных процессов 103
и, в силу теоремы,
Кроме того,
оо
о
Поэтому
Центрирование процесса у (t) устраняет член 1/4. Выражение для
спектра у (t) в терминах спектра х (t) будет чрезвычайно сложным.
Можно, конечно, разложить g (•) по многочленам Эрмита и исполь-
использовать G.4), и это действительно могло бы привести к более простому,
легко интерпретируемому результату, однако в определенных слу-
случаях предпочтительнее работать с простым аналитическим выраже-
выражением для ковариационной функции.
В качестве второго примера рассмотрим «пороговый» сигнал,
когда у = -j- 1 при x(t)^0 и у = —1 при x(t)<iQ. Полагая h(x)==
= g (x), имеем hr = gr = 26 (t), и, считая, как прежде, что у @) = 1,
получаем
d /,ч 4
откуда
Аналогичный прием можно использовать для нахождения кова-
ковариационной функции «квантованного» сигнала, т. е. сигнала вида
у (t) = п, ап^х (t) < an+i, n = 0, ±1, . . .,
однако вычисления становятся, конечно, более сложными.
Оба рассмотренных метода можно обобщить для нахождения
взаимных спектров и взаимных ковариации между двумя нелинейны-
нелинейными фильтрами без памяти в случае гауссовских процессов.
До сих пор мы рассматривали лишь нелинейные фильтры без
памяти. Эти рассмотрения можно, конечно, комбинировать с резуль-
результатами для линейных фильтров с памятью, если последние не взаимо-
взаимодействуют с нелинейным фильтром. Так, если
оо
z(t)= f a(s) x(t — s)ds,

104 Гл. II. Спектральная теория векторных процессов
где 9, ф и х (t) — такие же, как в первом рассмотренном примере,
a z (t) — стационарный процесс, то
где
о
Конечно, получится даже более простой результат, если линей-
линейный фильтр следует за нелинейным. (Следует обратить внимание
на то, что два фильтра, из которых по крайней мере один нелинеен,
вообще говоря, не коммутируют.)
8. СПЕКТРЫ ВЫСШИХ ПОРЯДКОВ
В предыдущем параграфе мы рассмотрели спектры нелинейных
функций от гауссовских процессов. Дело может обстоять таким
образом, что ничего не известно ни о нелинейном фильтре, ни о пре-
преобразуемом гауссовском процессе х (t), однако желательно получить
представление о нелинейном механизме, порождающем наблюдаемую
временную функцию. Хассельман и др. [1963] приводят пример,
когда из-за нелинейностей в уравнениях распространения (океан-
(океанских) волн при гауссовском входном процессе на выходе получается
процесс, уже немного отличающийся от гауссовского. Можно попы-
попытаться исследовать структуру этого механизма с помощью высших
моментов. Чтобы пояснить эту мысль, рассмотрим пример, когда
скалярный процесс с непрерывным временем представим конечными
суммами вида 1)
y(t) = ^1ajx(t + sj) + ^aj,kx(t + tJ)x(t + th), (8.1)
где х (t) — гауссовский процесс с нулевым средним и единичной
дисперсией. Тогда
y(t)= j aW(l)e-^zx(dl)+^ |в<2>(Ях, Х2) е~« <М+*2>zx («&,) zx (dl2) =
— со
со
где
х
М*) =
х) В § 11 обсуждается общность представления нелинейных фильтров с па-
памятью в виде мультиномиальных функций.

8. Спектры высших порядков 105»
Предположим, что спектр х (t) абсолютно непрерывен. Очевидно,
без ограничения общности мы можем считать, что а^ (К1, к2) —
симметричная функция. Если теперь вторая компонента в (8.1)
мала по сравнению с первой,то спектр у (t) близок к | а^ (к) |2 fx (k)r
тогда как
оо
= j j j exp^i {s (k + Xi + Яг) + tfa + t2k2} E {zy (dk) zy (d>M) zy (d/.,)}.
— oo
Если левая часть не зависит от s, как в случае нашей модели, то
математическое ожидание в правой части может давать ненулевой
вклад в интеграл только при k-{-k1 + k2 = 0. Это верно независимо
от гауссовости процесса х (t) или полиномиального характера функ-
функций а^ и аB) и определяется только свойством стационарности
третьего порядка процесса у (t). В общем случае, однако, нет основа-
оснований считать, что E{zy (dk) zy (dkx) zy (dk2)} будет хорошей функцией.
В нашем примере
E{zy (dk) zy (dk,) zy (dk2)} = p (ku k2) dk, dk2,
k2 = 0, (8.2)
где функция Р, называемая биспектром, выражается через fy и а&К
Таким образом, можно надеяться, что, зная fy и р, мы сможем выяс-
выяснить характер функции аB) (см. подробнее цитированную работу
Хассельмана и др.)-
Используя возможность перестановки аргументов в (8.2), а также
вещественность у (t), имеем
Р (ки к2) = Р (к2, к,) = р (ки -к, - к2) = р (-к,, -к2)
для всех Ji1? k2. Таким образом, в нашем случае
{у (s) y(s + h) y(s +12)} = hy (th t2) = j j e« (tixi+tri*) p (Xb X2) d?., dl2.
oo
(8.3)
Мы, конечно, не доказали, что подобное представление суще-
существует в общем случае или хотя бы что можно написать
hy (tu t2) = j j el (Ы1+Ы2) В (dXu dlz), (8.4)
—oo
так как мы не установили, что правая часть соотношения (8.2)
является хорошей функцией от (kt, k2), к примеру функцией ограни-
ограниченной вариации. В работе Бриллингера [1965], где читатель может
найти также определение спектров высших порядков (которые назы-
называются там полиспектрами), рассматриваются условия, при которых
представление (8.4) существует.

106 Гл. II. Спектральная теория векторных процессов
Во многих отношениях предпочтительно избавиться от асимме-
асимметрии, связанной с исключением одной из переменных k, kiy к2.
Л1ы можем проиллюстрировать это рассмотрением общего случая
для векторного процесса. По-видимому, вместо моментов высших
порядков удобнее рассматривать соответствующие семиинварианты
(моменты и семиинварианты третьего порядка совпадают). Напом-
Напомним обозначение, введенное в § 5 гл. I:
ffi(l) iB) . . . j(m) (t\, . . ., tm), (8.5)
для семиинварианта величин xja) (ti), xji2) (t2), • • ., ocjm) (tm), где
некоторые из индексов / (к) могут совпадать. Далее в этой книге
нам потребуются только четвертые семиинварианты (см. гл. I,
соотношение E.1)), естественно возникающие в связи с рассмотре-
рассмотрением выборочных свойств вторых моментов. В этом случае мы заме-
заменим (8.5) на менее громоздкое обозначение Кцк1 (s, t, и, v), понимая
под этим четвертый семиинвариант величин xt (s), Xj (t), xk (и),
xt (и). Мы можем теперь написать
4
i, t2, t3, U) = j f j j exp i ( 2 tjkj) Bim (dXu dX2, dl3, dX4), (8.6)
где В описывает поведение четвертого семиинварианта величин
zt (dJii), Zj (dk2), zk (dJi3), zt (dJi4). Вновь возникает вопрос о суще-
существовании подобного представления. Конечно, оно имеет место, если
функция кик1 (о, 5, t, и) абсолютно интегрируема как функция трех
аргументов s, t, и. Тогда
Btjki (dhu dX2, dX3, dXb) =
= б (ki + X2 4- ^3 4- ^4) $ijki (^i, ^2^ ^з> ^4) dkt dX2 dX3 cu4.
Так как Р равна нулю вне плоскости 2 ^j — 0? то можно исклю-
исключить одну из четырех переменных. Таким образом, мы можем поло-
положить
P*'jffcz(^b ^2^ ^з? ^4) = zPijfft (^ь ^2^ ^з)^ ^^- = 0.
То же самое мы делали в случае третьего порядка, когда определяли
Р (ki, ко). Эту функцию следовало бы обозначить 4р (Jib ^2)^ гДе левый
индекс относится к исключенной переменной. (Такие обозначения
были введены Бриллингером и Розенблаттом [1967а], которые
подробно рассмотрели спектры семиинвариантов высших порядков.)
Однако в векторном случае, по-видимому, проще использовать пол-
полный символизм соотношений (8.5) и (8.6).
Мы не будем более останавливаться на этих вопросах, ибо до
настоящего времени применения спектров высших порядков при
анализе данных крайне редки и, по-видимому, не идут дальше исполь-
использования биспектров. Как говорит Бриллингер, опыт классических
разделов статистики подсказывает, что подобные методы будут иметь
ограниченное применение и будут заменяться скорее рассмотрением
частных моделей в конкретных ситуациях.

9. Спектральная теория для обобщенных случайных процессов 107
¦9. СПЕКТРАЛЬНАЯ ТЕОРИЯ ДЛЯ ОБОБЩЕННЫХ СЛУЧАЙНЫХ
ПРОЦЕССОВ 1)
В § 6 гл. I мы ввели понятие обобщенного случайного процесса (ОСП).
Напомним определение преобразования Фурье от обобщенной
функции:
где ф — (обычное) преобразование Фурье от ф (см. математическое
приложение). Рассмотрим теперь стационарный ОСП Ф. Мы зафикси-
зафиксируем Ф и не будем включать его в обозначения. Обозначим ковариа-
ковариационный функционал у (ф, г|)).
Теорема Г".
оо
Т(Ф, Ч>)= J 4>
где F (X) определяет положительную меру степенного роста, т. е.
такую, что
оо
f {l+K2)-pF(dk)<co (9.1)
— оо
для некоторого р ^ 0.
Эта теорема, доказательство которой мы опускаем (см. Гельфанд
и Виленкин [1961]), является полным аналогом теоремы 1. Если
Ф на самом деле есть обычный стационарный процесс, реализации
которого обозначаются, как обычно, х (t), то
оо
Ф (ф) = f ф (t) х (t) dt.
— оо
Имеем
— оо
оо оо
— оо —оо
г) Эта тема является специальной и будет использоваться лишь в отдельных
параграфах книги.

108 Гл. II. Спектральная теория векторных процессов
В этом случае F удовлетворяет условию (9.1) с р = 0. Если мы про-
продифференцируем х (t), то, как показано в § 6 гл. I, мы получим для
Ф' ковариационную функцию у (q/, г|/), где у отвечает исходному
процессу Ф. Имеем
Таким образом, дифференциал новой спектральной функции равен
X2F (dX); он не обязательно определяет конечную меру на веществен-
вещественной прямой. Тем не менее условие (9.1) выполняется, а это все, что
требуется для теоремы V".
Теорема 2 также допускает обобщение.
Теорема 2'". Пусть Ф есть ОСП; тогда
где z (X) — процесс с ортогональными приращениями, такой, что
E{\z(dX) |2} = F(dX),
причем равенство следует понимать в том смысле, что
оо
ф(ф)= j ф
Доказательство этой теоремы также можно найти в книге Гель-
фанда и Виленкина [1961].
Отсюда непосредственно вытекает, что спектральная теория
обобщается на рассматриваемые процессы в той же мере, в какой
теорема 2'" является обобщением теоремы 2 за счет замены условия
конечности меры F на более слабое условие (9.1). В частности, теперь
можно придать смысл выходному сигналу любого фильтра, состоя-
состоящего из дифференциальных операторов.
Мы закончим этот параграф обсуждением процессов со стацио-
стационарными приращениями ^-го порядка. Очевидно, что к ним можно
подойти с точки зрения рассматриваемого аппарата, поскольку такой
процесс можно представлять себе как результат последовательного
интегрирования ОСП. Поэтому мы можем также определить ОСП
со стационарными приращениями #-го порядка как процесс Ф,
такой, что АдФ для любого h является стационарным ОСП, где
ДдФ (ф) = Ф (ф (t+h) — ф @), а Д?Ф = ДЛ{Д?-1Ф}. Можно пока-
показать, что это равносильно тому, что ф(?) — стационарный ОСП.
В книге Гельфанда и Виленкина [1961], стр. 331, доказано, что нова-

9. Спектральная теория для обобщенных случайных процессов 109
риационный функционал такого ОСП имеет вид
Y (ф« "Ф) = f { Ф М — <* М 2 Ч0) (°) ~Т } х
g-i
D0 + 2 Р^ (Ф) + 2 СМ«А- (9-2)
Это требует некоторых пояснений! Прежде всего через Ro мы обозна-
обозначаем вещественную прямую без начала координат, тогда как а (к) —
это целая аналитическая функция из пространства Z (см. математи-
математическое приложение, § 4), такая, что X = 0 является нулем функции
а (к) — 1 кратности q — 1. Имеем
/ = о, ..., ?,
и a2q ^ 0. Далее, L^ — это некоторые линейные функционалы на К.
-функция F (к) задает положительную меру степенного роста, такую,
что
j X\2qF(dX)<oo. (9.3)
Л<1
Чтобы понять происхождение последнего члена в (9.2), можно обра-
обратиться к формуле F.3) и положить cJk = E (xjxk). В случае F.3)
функционал Lj (ф) равен
Е{7;.ф(Ф)}.
Функция а (к) вводится для того, чтобы подинтегральные множите-
множители стремились к нулю (надлежащим образом) при 1->оои, таким
образом, принадлежали пространству Z (на котором положительные
меры степенного роста определяют линейные функционалы) Член
a2q$qv<q появляется из-за того, что мы ввели множитель X~2q в F(dk),
так чтобы выполнялось (9.3) (см. § 6) после устранения скачка
функции X2qF (dk) в начале координат. Этот скачок равен a2q,
и поскольку
q-\
lim Ъг* {ф (к) - 2 ?j) @)~}= фй> @),
тогда как
lim A l (а (А) — 1) V ф^мО)—г- = const ф @)

110 Гл. II. Спектральная теория векторных процессов
то, относя вклад от этого последнего выражения в последнее слагае-
слагаемое (9.2) (т. е. переопределяя некоторые из cjh), мы получаем выраже-
выражение (9.2).
Очевидно, что имеет место соответствующее представление для Ф:
0 0
где Е{| ? {d\)\2} = F (d%), которое! также следует понимать в смысле-
теоремы 2"', т. е.
Ф (Ф) = j { ф (Я.) - а (К) 2 Ф<Л @) Ц-} ? (dX) + 2 W-
До 0 0
Таким образом, обобщенные процессы вида (9.4) образуют довольна
общий класс и могут рассматриваться как результат последователь-
последовательного интегрирования ОСП, который в свою очередь получается после-
последовательным дифференцированием исходного (обычного) случайного
процесса. Эта процедура тесно связана с той, которая приводит
к уравнению C.9) в гл. I.
10. СПЕКТРАЛЬНЫЕ ТЕОРИИ ДЛЯ ОДНОРОДНЫХ СЛУЧАЙНЫХ ПОЛЕЙ *)
До сих пор мы рассматривали векторные случайные процессы х (tO
для которых t пробегает вещественную прямую или некоторое ее
подмножество. Как отмечалось в начале гл. I, в некоторых приложе-
приложениях t может быть на самом деле пространственной переменной,
например расстоянием вниз по течению от некоторого фиксирован-
фиксированного пункта на реке, а х (t) может иметь три компоненты, соответ-
соответствующие «скорости» течения. Аналогично, х (t) может быть измере-
измерением, производящимся вдоль некоторой линии на поверхности, на дне
океана и т. д. В подобных случаях нас могут интересовать и времен-
временные изменения, так что мы будем наблюдать реализацию случайного
процесса х (у, t), где v и t независимо пробегают прямую, т. е. х будет
функцией на плоскости. К этому приводит также случай, когда
каждой точке v какой-либо плоской поверхности (например, поверх-
поверхности океана) отвечает некоторая наблюдаемая величина. Мы исполь-
используем v для обозначения точки на плоскости, так что в этом случае
для задания v потребуются две координаты. И вновь может иметь
место зависимость от времени, так что можно было бы рассмотреть
х (у, t). Теперь аргумент процесса х (•) пробегает трехмерное евкли-
евклидово пространство. Очевидно, мы должны рассмотреть случайный
процесс х (у), определенный на тг-мерном евклидовом пространстве
Rn. Если требуется подчеркнуть особую роль переменной t, то мы
выделяем ее из остальных аргументов процесса х (•), однако начнем
-1) Этот параграф является специальным и может быть пропущен.

10. Спектральные теории для однородных случайных полей 111
с рассмотрения случая, когда это не делается. Предположим, что
величины
Е (х (v,) х' (v2)) = Г {vu и2)
конечны, и ограничимся аналогом стационарного процесса, для
которого
Г (у4 + v, v2 + v) = Г (у1? у2),
где Ui + v, разумеется, обозначает точку, получаемую из vt сдвигом
на и, или, что эквивалентно, покоординатную сумму векторов v1
и v. Как и раньше, положим
Г (ии v2) = Г @, v2 — Vi)=T (v2 - v,).
В этом случае мы будем говорить, что х (и) — однородное случайное
поле. Мы обозначаем символом и как точку v, так и вектор с компо-
компонентами, равными координатам точки v. To же самое относится
к точке и вектору 6, который мы сейчас введем. Предположим, что
Г (и) непрерывна. Тогда поле х (v) непрерывно в среднеквадратичном.
Будем говорить, что z F), 6 6 Rn,— поле с ортогональными при-
приращениями, если для любых ограниченных измеримых множеств
Е {^
Si S2
Мы опускаем доказательство следующей теоремы, которая является
простым обобщением теорем 1 и 2 этой главы.
Теорема 13. Если х (и) — однородное случайное поле на R71
с ковариационной функцией Г (и), то
A0.1)
где 6 — вектор п-мерного евклидова пространства, (и, 6) — скаляр-
скалярное произведение v и 6, a F — матричнозначная функция, определен-
определенная на Rn, элементами которой являются функции ограниченной
вариации и для которой все матрицы
F(dQ)
s
эрмитовы и неотрицательно определенные. Соответственно имеем
A0.2)
Rn
где z F) — функция с «ортогональными приращениями», такая, что
E{z(dQ)z(dQ)*} = F (dQ).

112 Гл. II. Спектральная теория векторных процессов
Конечно, соотношение A0.2) можно представить в вещественной
форме, и мы сделаем это для случая п = 2, когда координатами
являются и и t. Пусть, кроме того, х — скалярный процесс; тогда
имеем
оо
х(и, t)= \ \ {cos(kaJrXt)h)(dk, dX)Jr$\n(kuJrXt)r[(dk,dX)}.
Мы обозначили через к, X координаты вектора 6. Ненулевые ковариа-
ции имеют вид
4F(d0), ХфО, кфО,
2F(dQ), ХфО, к = 0 или Х~0
6-0.
Обычно X называют частотой, а к — волновым числом. Характер
«элементарной волны»
{cos (ku + Xt) H (d6)-f sin (ku + kt) r\ (dQ)}
очевиден.
В рассмотренной выше ситуации (когда и — двумерный вектор
с пространственной и временной координатой) естественно считать
Г функцией от (и2 — г^). Если, однако, v пробегает плоскую поверх-
поверхность, то это предположение представляется излишне общим, так
как можно ожидать, что Г будет зависеть только от евклидова рас-
расстояния | и2 — ь\ | между двумя точками или по крайней мере что
это будет очень близко к истине. Мы называем тогда х (v) однородным
и изотропным. Рассмотрим сначала двумерный случай. Имеем
{и, 6) = rX cos (г|э — ф), где (г, ср) и (Я, if)) — полярные координаты
точек v и 6. Согласно определению бесселевых функций Jt (Уиттекер
и Ватсон [1946], стр. 188), имеем
— оо
откуда
оо
х (v) = 2 е~"ф ( Ji (rX) e» (*-"/2> z (dQ),
— ос
что можно записать в виде
оо оо
•МгЛК^), (Ю.З)
где ?W (dX) — вклад, соответствующий интегралу от exp{?Z (if)—
— я/2)} z (dQ) по кольцу А, ограниченному окружностями радиусов

10. Спектральные теории для однородных случайных полей 113
% и X + dX. Очевидно, что
Е {?<*> (dX,) ?<"> (dX2)} = О, Х,фХ2,
и, кроме того,
Е {C(Z) (dX) C(m) (dX)} = j ви
А
Однако функция
у (v) = j e^ с 0) F (d8) =
зависит только от г, следовательно,
/z (rX) eil (*-я/2) F (d9) = 0, Z =7^= О,
откуда вытекает, что F зависит только от X. Таким образом, полу-
получаем
Е {?@ (dX) C(m) {dX)} = 6?H (dX),
где
= J0(rX)H(dX). A0.4)
Перепишем формулу A0.4) для ковариационной функции и фор-
формулы для ковариаций величин ?(z> в виде, отвечающем случаю, когда
х (v) для каждого v является вектором с р компонентами, а именно
Г(г)= ^J0(rX)H(dX), A0.4)'
о
Е 0l) (dX) C(m) (dp)*} - бГб^ Я (dX). A0.5)
Теперь мы можем сформулировать следующую теорему, доказатель-
доказательство которой было намечено выше для скалярного случая. (Мы опу-
опускаем подробности несложного обобщения на векторный случай.)
Теорема 13'. Если х (и) — векторное однородное изотропное
случайное поле на плоскости, то имеет место представление A0.3),
где ?<*) (X) — векторные процессы с ортогональными приращениями
и ковариациями, удовлетворяющими A0.5). В этом соотношении
Н (X) — вещественная симметричная матрица с неотрицательно

114 Гл. II. Спектральная теория векторных процессов
определенными приращениями, однозначно (с точностью до адди-
аддитивной постоянной матрицы) определяемая требованием непрерыв-
непрерывности справа. Ковариационная функция Г (г) связана с Н (X) соот-
соотношением A0.4)'. Соотношение A0.3) можно записать в эквивалент-
эквивалентной вещественной форме
{cos Zcpgr (dX) + sin Zcpr$} (dX)}f, A0.3)'
о о
еде отличны от нуля только ковариации вида
Е {if (dX) $> (db)} - Е {г,?> (dX) T|Jf> (db)} - 2ff ,* (dbO
Следует отметить, что здесь не возникает «квадратурного спек-
спектра». Это обусловлено тем, что Е (х (v) х (w)f) = Е (х (w) x (v)r),
так как ковариационная функция зависит только от расстояния.
Если это предположение не подтверждается на опыте, то мы должны
вернуться к представлению A0.2).
Можно построить много примеров аналогичной структуры. Так,
можно рассмотреть случай, когда наблюдения производятся в точ-
точках и, t, где и ? i?2, a t — временная переменная. (Таким образом,
и ? R3, но мы разделяем пространственные и временные аргументы.)
Тогда мы приходим к предположению
Е (х (и, s) х (w, t)) = Г (г, t — s),
где г = | и — w |. Вводя полярные координаты (г, ф) вектора \и9
мы ^(получаем представление.
2л оо со
х*й(и, t) = \ \ \ exp i {rX (ф — я))) — ^}zj(d[i, dX, chf»), A0.3)"
10 0' -оо
где
Это выражение представляет х (и, t) как линейную суперпозицию
волновых компонент с частотой |ы и волновым числом X, распро-
распространяющихся в направлениях гр, причем для данных \i и X все
направления дают одинаковый вклад в дисперсию, а амплитуда
и фаза компонент определяются векторным процессом z с ортого-
ортогональными приращениями. Ковариационная функция удовлетворяет
соотношению
Г (г, t) = J J *-«¦»/<, (гА,) FKdix, dX). A0.4)'
—оо 0

10. Спектральные теории для однородных случайных полей 115
Если вместо R2 рассматривается Л3, то получаются аналогичные
формулы с заменой /z (rX) ехр (— Ну) на Y? F, ф)/ц-1/2 (г?0, где
^-ФРГ(cosе)
— сферические гармоники, a Pf — нормированные присоединен-
присоединенные функции Лежандра. Очевидно, что эти примеры являются
частными случаями некой общей теории. Такая теория необходима,
во-первых, потому, что можно привести много других примеров
и рассмотрение их с единой точки зрения было бы экономным, а, во-
вторых, потому, что обилие специальных функций, возникающих
в частных примерах, без общей теории может сбить с толку. Было бы
невозможно полностью изложить общую теорию в том ограниченном
объеме, которым мы располагаем. Мы рекомендуем читателю книгу
Хеннана [1965а] и в особенности работу Яглома [1952], где можно
найти более полное изложение.
Чтобы попытаться понять общую ситуацию, мы начнем с частного
случая сферы S2 в трехмерном пространстве. Итак, v — точка S2
и х (v) для любой v — случайная величина. Кроме того, ограничимся
сначала скалярным случаем; тогда у (у, w) = Е (х (v) x (w)), у, w 6
6 S2,— непрерывная функция от и и w. Введем теперь группу 0+ C)
всех вещественных ортогональных C X 3)-матриц с определите-
определителем 1, т. е. группу вращений. Мы рассматриваем 0+ C) как группу
вращений вокруг центра S2 и обозначаем через gv точку, в которую
переходит и ? S2 под действием g ? 0+ C). Чтобы избежать путани-
путаницы, в этом параграфе мы обозначаем единичный оператор в 0+ C)
через е.
Наше существенное предположение состоит в том, что
У (gv, gw) = у (у, w), v,weS2, g 6 0+ C).
В этом случае у, очевидно, зависит только от сферического рас-,
стояния между v и w. Как и раньше, мы обозначаем через у (и) функт
цию у (у0, и), где v0 — например, северный полюс. Она однозначно^
определяет функцию у (у, w) в целом, так как у (v, w) = у (v0, gw),
gv = uQ.
Полагая у (g) = у (и), где gu0 = v, мы можем рассматривать
у (и) как функцию на группе 0+ C). Заметим, что если к принадлежит
0+ B)—подгруппе 0+ C), оставляющей на месте точку и0 (т. е. группе
вращений в горизонтальной плоскости), то у (ки) = у (и), поскольку
у (у0, и) = у (kv0, ки) = у (у0, ки); однако если gv0 = у, то также
gku0 = v (ибо kv0 = и0). Следовательно, у (kgkr) = у (g), к, к' ?
? 0_j_ B). Подобная функция у (g) называется биинвариантной (отно-
(относительно 0+ B)). Наша у (g) является специфической биинвариант-
биинвариантной функцией, поскольку она неотрицательно определенна, т. е. для
любых vu i = l, ...,#, матрица у (ut, uj), i, j = 1, . . ., N, не-
неотрицательно определенна. Мы увидим, что для неотрицательно

116 Гл. II. Спектральная теория векторных процессов
определенных биинвариантных функций имеет место некоторая моди-
модификация теоремы 1. (Конечно, для стационарных случайных процес-
процессов биинвариантность довольно тривиальна, так как роль 0+ C)
играет тогда аддитивная группа вещественных чисел, а 0+ B) —
подгруппа, оставляющая на месте точку t0, т. е. тривиальная под-
подгруппа, состоящая из единственного элемента 0.) Эта теорема, в ее
общей форме, называется обычно теоремой Бохнера, поскольку
Бохнер впервые доказал ее в частном случае теоремы 1. Сейчас
мы хотим подойти к этой теореме с другой точки зрения, которая
хорошо раскрывает ее смысл.
Введем гильбертово пространство <Ш, порождаемое случайными
величинами х (и), со скалярным произведением
(х (и), х (w)) = у (и, w)
точно так, как в приложении к гл. I. Рассмотрим операторы в $В,
определенные соотношением
U (g) х (и) = х (gu).
Так как
(U (g) S oljx (vj), U (g)
= S2«
to U (g) оставляет неизменным скалярное произведение любых
двух линейных комбинаций величин х (и). Отсюда сразу следует
(поскольку U (g) имеет на множестве таких линейных комбинаций
норму, равную единице), что U (g) можно продолжить на все про-
пространство $?, полагая U (g) х = lim U (g) xn для хп ->¦ х, причем
п
скалярное произведение останется инвариантным относительно U (g),
так что U (g) будет унитарным оператором 1). Более того, соответ-
соответствие
является «представлением» группы 0+ C) унитарными операторами
в SB в том смысле, что оно является гомоморфизмом: е -> /, g^gz1 ->¦
-^ U (gi) U (g-z) и, кроме того, непрерывно. Последнее означает,
что если gi стремится к g (т. е. сближаются оси и углы вращений g4,
g), то || U (gi) — U (g)\\ стремится к нулю. (Это следует из непрерыв-
непрерывности у (*>» и>H Вводя ортонормированный базис ф7-, / = 1, 2, . . .,
в SB, можно представить U (g) как матрицу uit k(g), где
оо
= 3»*.;(г)ф*. (Ю.6)
1
х) Мы вновь отсылаем читателя к математическому приложению, где можно
найти обзор понятий, используемых в этом параграфе.

10. Спектральные теории для однородных случайных полей 117
Фундаментальный факт, который мы сейчас сформулируем (дока-
(доказательство см., например, в книге Наймарка [1958]), состоит в том,
что при определенном выборе ф; матрицы [U (g)] приводятся к осо-
особенно простой форме. Именно, Si распадается на подпространства *)
&6<М, X = 0, 1, 2, . . ., такие, что U (g) $(&> а $?(Ю, g е 0+ C),
т. е. d&M — инвариантные подпространства, причем каждое из них
неприводимо, т. е. не содержит собственного инвариантного под-
подпространства. Таким образом, U (g) можно рассматривать как опе-
оператор вЙ(^и как таковой мы его обозначим CW (g). Итак, U^ (g)
является неприводимым унитарным представлением 0+ C). Кроме
того, имеют место следующие два важных свойства. Во-первых,
каждое пространство $6<М конечномерно; фактически St^ имеет
размерность 2А,+1. Во-вторых, каждое из них появляется не более
одного раза. Описывая это свойство, говорят, что представление
U (g) «однократно». Мы обсудим это свойство, а также причины,
его обусловливающие, в следующем параграфе. Конечномерность
и простая структура разложения U (g) являются частными свойства-
свойствами и связаны исключительно с тем, что сфера S2, или, равносильно,
0+ C) являются компактными топологическими пространствами.
Теперь легко понять матричную форму [U (g)]. Выберем наш орто-
нормированный базис ср7- так, чтобы ср4 порождал Ж^\ Ф-2> Фз> ф4
порождали $?& и т. д. Позднее мы выберем ср7- в каждом $?№ так,
чтобы привести [С/М (g)] к простейшему виду, но в любом случае
[U (g)] становится бесконечной матрицей, состоящей из бесконечной
последовательности блоков на диагонали, причем Х-и блок, X =
= 0, 1, 2, . . ., имеет BХ-{-\) строк и столбцов. Мы можем записать
это в виде
2Л 2 [и {g)\ =
Любое подпространство $t&\ как уже говорилось, неприводимо
относительно 0+ C), однако оно не будет неприводимым относи-
относительно меньшей группы 0+ B). Для каждого SS^ существует только
одно одномерное подпространство, в котором 0+ B) действует три-
тривиально как единичный оператор. Условимся брать вектор, порож-
порождающий это одномерное подпространство, в качестве (Х-\--1)-го
вектора из BХ-\-1) ортонормированных векторов, образующих базис
в $?<М. Таким образом, [?W (k)], к 6 0+ B), имеет нули в средней
строке и среднем столбце, за исключением единицы на главной диа-
диагонали. Это, однако, верно только для к ? 0+ B). Другие элементы
в средней строке определятся, как только в ${<М будут выбраны
остальные ортонормированные базисные векторы. Эти элементы
называются сферическими функциями 2). Всегда можно сделать так,
1) Точнее говоря, каждое из этих &6®> появляется в прямом разложении
не более одного раза.
2) Элемент на пересечении средней строки и среднего столбца называется
зональной сферической функцией.

118 Г л, II. Спектральная теория векторных процессов
чтобы элементы в этом среднем столбце имели вид
1/г«(е,Ф), (Ю.7)
где 0 — широта (изменяющаяся от нуля для северного полюса до л
для южного), а ф — долгота точки, в которую вращение g переводит
северный полюс. Тогда х (v0) должно иметь вид
(где единичный вектор ziOt (k) лежит в одномерном подпространстве
d%W, инвариантном относительно О+ B)), так как U (к) х (и0) =
= х (v0). Поэтому если gv0 = v, то из A0.6) непосредственно получаем
x(v) = U (g) х Ы = S « W U(X) (g) z'0' (X) = § 2 Yl @, Ф) Vю [Ц,
S<»> (Я,) = a (X) ( 2^j ) Ш z<"> (Я,), A0.8)
где zcn) (X) — ортонормированные векторы (п = —^, —A
. . ., X) в пространстве оЖ4^, выбранные так, чтобы элементы в сред-
среднем столбце матрицы Е/М (^) имели вид A0.7). Положим
векторы С(П)(^)» конечно, ортогональны. Кроме того,
оо
E(*(i;)s(i;o)) = 2 П(в,
1 г, n ,
= 2^2 ^(cos
где Рх (cos 0) — (обычный) нормированный многочлен Лежандра
порядка X. С точностью до постоянного множителя он равен зональ-
зональной сферической функции.
Векторный случай ненамного более сложен и может быть рас-
рассмотрен с помощью приема, использованного в доказательствах
теорем 1 и 2. Таким образом, мы в общих чертах доказали следую-
следующую теорему:
Теорема 13". Если х (v) — векторное однородное случайное
поле на сфере, то х (и) удовлетворяет соотношению A0.8), где век-
векторы ?(П) (X) таковы, что
т, п = —А., —X + 1, . . ., X; X, ц = 0, 1, . . .,

10. Спектральные теории для однородных случайных полей 119
а Н (X) — неотрицательная симметричная матрица, такая, что
я,=о
где г — сферическое расстояние между точками vx и v2.
Спектральное представление A0.8) сложнее того, которое дается
теоремой 13, так как каждому значению X отвечает BХ + 1) членов
в разложении. С другой стороны, оно проще, так как сумма дискрет-
дискретна. Первое обстоятельство обусловлено некоммутативностью группы
0+ C); второе, как уже говорилось,— тем, что группа компактна.
Аналогичным образом можно построить и спектральную теорию
для стационарных процессов на вещественной прямой. Для этого
вновь строим $fi. Снова мы имеем группу, а именно аддитивную груп-
группу вещественных чисел, так что
U (s) х (t) = х (t + s)
и в согласии с обычными требованиями имеем U (s) U (t) = U (s-\-t).
Это опять приводит к унитарному представлению в $?. Рассмотрим
неприводимые унитарные представления нашей группы, которые
имеют теперь простейший вид, а именно SS^ одномерно, a [U^ (s)]
имеет вид exp (iXs), где X ? (—оо, оо). Однако описание разложения
произвольного унитарного представления на неприводимые становится
более сложным, поскольку группа является лишь локально ком-
компактной. Можно поступить следующим образом. Мы можем пред-
представить ей?, изоморфно по отношению к действию группы, как семей-
семейство L2 (\i) функций на вещественной прямой, X ? (— оо, оо), квадра-
квадратично интегрируемых по мере \i. Оператор U (t) действует в L2 (\i)
по формуле
У (*) € L2 (p) -+U(s)y (X) = ЦЫ (s) у (X) = е-**у (X). A0.9)
Довольно очевидно, что существенным является лишь носитель
меры \i, т. е. [I можно заменить на эквивалентную меру (л1в Это при-
приведет лишь к замене у (X) на у (X) (dyild^), а так как {d\x>ld\x>x) не равно
нулю п. в. (\л), то не будет никаких существенных изменений. Выбе-
Выберем [i так, чтобы функция х0 (X), представляющая х @), равнялась
единице п. в. относительно \i. Это можно сделать, так как х0 (X) для
данной исходной меры (^ц должна быть ненулевой п. в. относительно
\iu если бы это было не так, то все представители ехр (—iXs) х0 (X)
обращались бы в нуль на одном и том же множестве и отображение
из $? в L2 ((uti) приводило бы к неизоморфному преобразованию
исходного представления U (s) в новое представление A0.9). Таким
образом, [г (dX) = х0 (X) ^ (dX) является подходящей новой мерой,
и х @) тогда отображается в функцию, тождественно равную единице.
При этом х (t) = U (t) х @) должно переходить в функцию xt (X) =
= ехр (—UX) х0 (X) = ехр (—UX). Если мы заменим р соответствую-

120 Гл. II. Спектральная теория векторных процессов
щей функцией распределения, то указанный изоморфизм между <Ж
и L2 (F) полностью определится соответствием
x(t) ++ e-il\ A0.10)
которое используется в п. 1 приложения к этой главе для доказа-
доказательства теоремы 2.
Этот формализм часто заменяется другим, внешне более похожим
на использованный в случае S2. Обозначим через Е (9) оператор
в L2 (F), проектирующий на подпространство L2 (F), состоящее из
функций, равных нулю при X > 9. Легко видеть, что Е (9) — на
самом деле ортогональный проектор. Семейство проекторов Е @)
обладает свойствами
(i) Я(-оо) = 0, Е(оо) = /,
(ii) Е (X) Е (9) = Е (9), X > 0,
(Hi)
640
которые характеризуют то, что называется спектральной функцией.
Таким образом, мы приходим к соотношению
U
(s)= J e-^E (dl), A0.11)
так что
оо оо
U(s)x@)= \ e-a°E(dk)x@)= \ e-
где z (dX) = E (dX) x @). Это просто другой способ записи соотно-
соотношения A0.9), более предпочтительный лишь постольку, поскольку
он способствует интуитивному пониманию благодаря аналогии меж-
между соотношением A0.11) и спектральным разложением унитарного
оператора в конечномерном векторном пространстве.
В случае когда и пробегает i?2, а группой симметрии является
группа евклидовых движений /0 (Л2), трудности проявляются более
полно, так как теперь группа и некомпактна (локально компактна)
и некоммутативна. Преобразования группы /0 (R2) имеют вид
v-+kv+ x9 A0.12)
где к — элемент О+ B), а х — разумеется, вектор с двумя компо-
компонентами. Эта группа, очевидно, некоммутативна и некомпактна
(так как содержит подгруппу и ->¦ и + х, топологически эквивалент-
г) Правильная формулировка этого свойства: Е (X + 6) сильно стремится
к Е (X) в L2 (F) при 6 10. Легко видеть, что если отрезок [X, X + 6] имеет поло-
положительную F-меру, то Е (X + 6) — Е (X) — ненулевой проектор и, значит,
имеет единичную норму.— Прим. пер ев.

10. Спектральные теории для однородных случайных полей 121
ную R2). Вновь строим 3? и снова имеем унитарное представление
группы Io (R2), определяемое соотношением
х (v) -> U (g) x(v)=x (gv), gel0 (Я2),
где gu — точка, в которую и переходит под действием g. Вновь рас-
рассмотрим разложение U (g) на неприводимые компоненты. В этом
случае, однако, неприводимые унитарные представления #W (g)
либо бесконечномерны, либо переводят элемент группы вида A0.12)
в неприводимое унитарное представление U (к) подгруппы 0+ B).
Последние не появятся в наших дальнейших рассуждениях, так как
они не являются представлениями «класса один», т. е. не имеют
того единственного одномерного подпространства, в котором U (к),
к ?0+ B), действует как единичный оператор. Остальные бесконеч-
бесконечномерные унитарные представления нумеруются индексами X ?
6 [0, оо). Элементы «среднего столбца» такого неприводимого пред-
представления при подходящем выборе ортонормированного базиса в $?&У
имеют вид
е-«ф/,(гЬ), A0.13)
где г, ф — полярные координаты точки, в которую переходит начало
координат под действием рассматриваемого элемента группы. Раз-
Разложение рассматриваемого представления можно осуществить с по-
помощью обобщения уже введенной конструкции. Рассмотрим меру \i
на [0, оо) и сопоставим каждому X ? [0, оо) гильбертово простран-
пространство 3Hh). Тогда наше представление U эквивалентно представле-
представлению, которое получается следующим образом. Пространство пред-
представления реализуется в виде семейства функций х (X), где х (X) ?
6 Si^\ таких, что х)
оо
J \\lx(X)\\lii{dX)<oc,
где || х (Х)\\{ обозначает квадрат нормы х (X) как элемента
Скалярное произведение элементов х (X), у (X) равно
где {х (X), у (Х))ь — скалярное произведение в
Тогда наше представление эквивалентно следующему:
и (g) х (X) = и<*> (g) х (х), geh (я% х е [о, оо).
Вновь существенным является лишь носитель меры [г, и опять \i
можно выбрать так, чтобы х (и0) (и0 — начало координат в R2) имело
х) Предполагается, конечно, что || х (к) ||? — измеримая функция, и поэто-
поэтому интеграл имеет смысл.

122 Гл. II. Спектральная теория векторных процессов
простой вид, а именно х0 (X), где х0 (X) для каждого X принадлежит
одномерному подпространству, в котором 0+ B) действует как еди-
единичный оператор. Тогда, если gv0 = v, то
x(v)-+U (g) x0(X) = Ua)(g) x0(X) = S *-«>Jt (rX)хг (X), A0.14)
где xi (X) пробегает ортонормированный базис в Ш®>, выбранный
так, чтобы соответствующие элементы матрицы оператора U (g)
имели вид A0.13). Здесь г, ф имеют, конечно, прежний смысл. Далее,
Е (x(v)x(v0)) = ^ J0(rX)H(dX),
о
где Н — функция распределения, определяемая мерой [л. Таким
образом, мы получили A0.4)'. Соотношение A0.3) является просто
другой формой A0.14).
Теперь ясна общая схема. Дано топологическое пространство V
и группа G, действующая транзитивно как группа преобразований V
(это означает, что для любых vu v2 6 V существует преобразование
g 6 G, переводящее у4 в у2). Подгруппа К cz G, оставляющая на месте
у0, компактна. Группа G должна быть группой достаточно специаль-
специального вида, допускающей простое конструктивное описание пред-
представлений (например, группой симметрии глобально симметриче-
симметрического пространства F, как во всех рассмотренных примерах; см. Хел-
гасон [1962]). Нужные нам формулы даются теорией представлений
группы G. Важные подробности, касающиеся этих формул, можно
найти в книге Виленкина [1965].
Прежде чем закончить этот параграф, необходимо сделать еще
два замечания. Во-первых, можно рассматривать топологические
произведения пространств V; группой симметрии такого произведе-
произведения будет прямое произведение соответствующих групп. Тогда
множество Л значений индекса X будет произведением соответствую-
соответствующих множеств, а «сферические функции»— произведениями соот-
соответствующих функций. Так, в случае R2 X R с группой симметрии
IQ (i?2) ® R сферическими функциями являются
e-iete-u<pjl (r^)f
где 0, X — координаты в Л, откуда получается соотношение A0.3)"
Во-вторых, все эти результаты непосредственно распространяют-
распространяются на векторный случай с помощью конструкции, которая ничем не
отличается от использованной для доказательства теорем 1 и 2 § 2.
11. ОБЩАЯ ТЕОРИЯ ФИЛЬТРОВ1)
В этом параграфе мы хотим дать довольно общее изложение теории
фильтров, а также некоторое представление об общей концепции
фильтра.
х) Этот параграф является специальным и может быть опущен.

Г
I
11. Общая теория фильтров 123
Материал первого пункта прост, хотя и носит несколько техниче-
технический характер; он касается нелинейных фильтров с памятью и осно-
основывается на книге Винера [1958]. Во втором пункте предпринята
попытка продемонстрировать общность и первостепенную важность
понятия фильтра.
(i) Если мы хотим описать действие нелинейного фильтра, хотя
бы в терминах спектра выходного процесса, то мы должны полностью
задать вероятностную структуру фильтруемого процесса. Это застав-
заставляет нас принять предположение, что исходный процесс х (t) являет-
является стационарным в узком смысле векторным процессом с р компо-
компонентами. Мы рассматриваем вероятностное пространство (Q, А, Р)
всех «траекторий» процесса х (t), так что х (t) = x (t, со) является
-семейством случайных величин на (Q, Jk, P). Рассмотрим теперь
L2 (й, Jk, P) — пространство функций на Q, квадратично интегри-
интегрируемых по мере Р. Для краткости будем обозначать его L2. Про-
Пространство L2 порождается функциями % (со):
1, <о 6 {<o|(*J <*>(**. <*>)> * = 1. ...,лNД}, ... .ч
A1.1)
U в противном случае,
тде (xj(k) (*ь> со), к = 1, . . ., п) обозначает точку в Rn с такими
координатами, а В — борелевское множество в Rn. (Таким образом,
X — индикатор цилиндрического множества в Q, базой которого
является конечномерное борелевское множество.) Если х (t) — гаус-
<совский процесс, так что каждая xj (t, со) принадлежит L2, то L2
порождается многочленами от Xj (t, со), поскольку индикатор любого
^орелевского множества В в Rn может быть аппроксимирован в сред-
среднеквадратичном многочленами.
Рассмотрение нелинейных фильтров мы начнем с предположения,
что х (t) — скалярный гауссовский процесс, и определим фильтр
как функцию
y{t)=f{{x{t)}), E{y{tf)<oo, A1.2)
которая сопоставляет элементу х (t) элемент у (t) ? L2. При этом
подразумевается, что у (t + s) = / \{х (t + s)}). Более подробно это
означает следующее. В L2 определен оператор U (s) по формуле
U (s) х (t) = х (t + s)- Этот оператор продолжается на все простран-
пространство L2 сначала по формуле
U(s)%a (A, ...,jk)x {h)Vix (t2f2.. .х (tk)pk =
= 2fl(;i h)x{h + s)Vix(t2 + sf2 ...x(tk f
^ затем по непрерывности; именно, если хп — последовательность
многочленов, сходящаяся в среднеквадратичном к х, то U (s) x =
= lim U (s) xn (этот предел всегда существует) х). Тогда, в силу
х) Обзор сведений, необходимых здесь и далее, см. в математическом при-
приложении.

124 Гл. II. Спектральная теория векторных процессов
стационарности, U (s) для любого s является унитарным операто-
оператором в L2. Фактически U (s) есть унитарное представление группы
сдвигов вещественной прямой (см. § 10). Пусть А — линейный опе-
оператор в L2 с «хорошими» свойствами. Под этим понимается следую-
следующее:
(a) Область определения 3) (А) оператора А плотна в L2. Если
А определен на всех многочленах (что действительно нам нужно),
то это выполняется.
(b) Оператор А замкнут. Это условие также необходимо намг
так как если хп — последовательность элементов, сходящаяся к х,
причем Ахп сходится к у, то действительно нужно будет, чтобы
х ? 3) (А) и Ах = у. Мы не можем потребовать большего — чтобы
А был ограничен, ибо дифференциальные операторы неограничены.
Теперь мы можем определить фильтр как такой оператор Af
удовлетворяющий, кроме того, условию]
AU (s)=> U (s) A, s е (— оо, оо),
которое^ означает, что из х ? 3 (А) следует U (s) x ? 3) (А) в
AU(s)x = U (s) Ах. Допустим, что х @) 6 3 (А), и положим
у (t) = Ax{t) = AU (t) x @) = U (t) Ax @).
Это и есть строгое формальное определение, отвечающее соотноше-
соотношению A1.2).
Теперь мы попытаемся несколько более подробно описать дей-
действие А на х (t), по крайней мере для достаточно простых опера-
операторов А. Напомним, что если F (X) абсолютно непрерывна, то, соглас-
согласно примеру (vi) из § 5,
*(*)={ ott(t-s)[t(ds)t
— оо
где ? (t) удовлетворяет соотношениям
Более того, J- (t) — гауссовский процесс, ибо, как показано в при-
приложении к этой главе, J- (t) есть среднеквадратичный предел ко-
конечных линейных комбинаций гауссовских величин х (t). (Таким
образом, J- (t) — стандартный процесс броуновского движения на
(—оо, оо).) Тогда у (t) можно аппроксимировать в среднеквадра-
среднеквадратичном выражениями вида
e@)+ j ai{t — 8)t(d8)+^ai(t—81,t — 8i)t(d8i)t(ds2) + ... .A1.3)
— оо —оо
В самом деле, это равносильно тому, что у (t) можно аппроксими-
аппроксимировать последовательностью полиномиальных функций от случай-

11. Общая теория фильтров 125
ных величин х (t):
a(tj-s)l(ds) +
... . A1.4)
Следует, однако, заметить, что в соотношении A1.3) не только
а2 (и, v) должна быть квадратично интегрируема на плоскости,
но и а2 (и, и) должна быть интегрируема, и т. д.
Чтобы получить однозначное разложение, поступим следующим
образом. А именно, обозначим через Fv линейное подпространство
в L2 (Q, А\Р), порождаемое всеми величинами вида
A1.5)
Конечно, VQ — пространство постоянных. В A1.5), помимо квадра-
квадратичной интегрируемости функции a (su . . ., sv) на v-мерном про-
пространстве (относительно лебеговой меры), требуется конечность всех
интегралов типа
С
... j a(su su tu 52, 52, .. .,*2.. -)а(щ, tu щ, u2, u2, . ..,t2...) X
X ds4 ds2 ... dti dt2 ... di^ da2 ....
Последнее означает, что аргументы sb . . ., sv, ub . . ., uv разбиты
произвольным образом на v пар, причем пары, попадающие в первый
множитель а (•), обозначаются Sj, во второй uj, а те, которые имеют
по одному представителю в каждом подмножестве аргументов, tj.
Тот факт, что все такие выражения должны быть конечными, выте-
вытекает из следующего свойства гауссовских величин с нулевым сред-
средним: математическое ожидание произведения нечетного числа таких
величин равно нулю, а для четного числа оно равно сумме всевозмож-
всевозможных произведений математических ожиданий попарных произведе-
произведений. Заметим также, что, не ограничивая общности, можно считать,
что в выражениях A1.5) ядро а (•) является симметрической функ-
функцией аргументов, так как A1.5), очевидно, не меняется при пере-
перестановке индексов. Пусть <$?v — проекция Fv на
Таким образом, $?ч — часть Fv, ортогональная к V], / < v. Тогда

126 Гл. II. Спектральная теория векторных процессов
Следовательно, можно написать
% %gv(t), (H.6>
где Gv (у (t)) — проекция у (t) на 3?v. Компоненты Gv (у (t)) являют-
являются при разных v ортогональными случайными процессами, т. е.
E{Gv(y(s))GVi(y(t))} = 0,
(Удобно считать, что коэффициентные функции в A1.4) могут быть
комплексными, отсюда знак комплексного сопряжения.) Таким
образом, вычисление спектра у (t) сведено к вычислению спектров
каждого из Gv (у (t)). К сожалению, последняя задача чрезвычайно
сложна даже в простых случаях. Чтобы понять характер проблемы,
рассмотрим формулу A1.3) в случае, когда разложение содержит
только третий член. Пространство $?Q = Vo состоит из постоянных.
Если х (t) имеет нулевое среднее (что можно предположить без
ограничения общности), то V0±Vi и S€\ — F4. "Теперь мы должны
ортогонализовать величину
оо
и
a2(t-su t-s2)l(dsi)l(ds2) A1.7)
по отношению к Vo и F4. Так как ее математическое ожидание равно
оо
\ a2(t— 5, t — s)ds,
— оо
то мы добьемся ортогональности к Fo, если вычтем из A1.7) послед-
последнее выражение. Более того, получившаяся величина будет ортого-
ортогональна и к Ж и ибо математическое ожидание произведения A1.7)
на произвольный элемент S?\ сводится к математическим ожиданиям
от нечетного числа, а именно трех, сомножителей. Таким образом,
остается найти спектр A1.7) после центрирования. Нетрудно вычис-
вычислить ковариации, которые равны
оо
2l j a2(t — su t — s2)a2(su s2)dSids2. A1.8)
— оо
Так как а2 квадратично интегрируема на плоскости, то
оо
а2 (и, v) = Л. j j el <«<>i+»ea) ?2 @Ь e2) dQi d62
— oo
в смысле среднеквадратичной сходимости, где
оо
а2 @Ь 02) =-^ J j e-« ("в,+*е2)а2 (U) V) du dy>

11. Общая теория фильтров 127
Согласно формуле Планшереля, выражение A1.8) равно
оо оо
2 J J к (вь е2) «2 (- еь - е2) «-« ^+**> d%, de2 = \ е-1К
— оо —оо
где
что совпадает с 2 \ |а2@, А,— 0)|2d0, если а2 вещественна.
В общем случае проекция произвольного v-ro члена в A1.2)
на <$?v имеет вид
оо
gv(t)= j ... j av(t — su t — s2, ..., t — s^KdSi) ...l(dsv) + bv.u
A1.9)
где ftv_i — комбинация аналогичных членов, содержащих не более
чем (v — 1) аргументов sy, но тогда A1.9), очевидно, ортогонально
к ftv-i> так что ковариации процесса A1.9) имеют вид
Е{
Теперь мы должны попарно приравнять аргументы Sj из обоих
множителей и сложить результаты всевозможных таких попарных
разбиений. Если мы приравниваем два аргумента Sj из первого
множителя, то после взятия математического ожидания произведе-
произведения пары ? (dSj) для этих Sj от первого сомножителя останется выра-
выражение более низкого порядка, и когда мы возьмем математическое
ожидание по всем остальным парам, оно обратится в нуль. Таким
образом, останется лишь
iff
v!i ... \ av (t — Si, . ¦ , t — $v) <zv (s—Si, . . ., s — sv) ds\ . . . dsv,
J J
ибо существует v! разных способов попарного отождествления пере-
переменных из этих двух сомножителей. Таким образом, вводя обо-
обозначение
..., 0V) = \ \ e~iu'Qav(uu *.., щ)
(ZJl) v
где и и 0 — векторы из v компонент, имеем следующее выражение
для спектральной плотности gv (t):
v! f
J so)
! f ... (|av@b .... 0Г)|2А ...d0v, A1.10)
J so) J

128 Гл. II. Спектральная теория векторных процессов
где интегрирование ведется по плоскости S (А,), на которой ^] Qv ~ X
(мы считаем, что av вещественны).
Формально мы свели нахождение спектра к отысканию разложе-
разложения A1.6) и вычислению выражений типа A1.10). При определении
gv (t) могут быть полезны следующие соображения.
Введем произвольное семейство функций ф7- (t), / = 0, 1, . . .,
ортонормированных относительно меры Лебега на вещественной
прямой и порождающих L2 x). Положим
тогда величины Uj (t), j' = О, 1, . . ., порождают $8и независимы
и гауссовы с нулевым средним и единичной дисперсией. Положим,
далее,
G\ t) = И Нт (щ (*)), 7i < /2 < .. . < /г, 2 mk = v,
fei «ft k
где Ни — многочлен Эрмита и-то порядка. Здесь символы пг,
обозначают упорядоченные наборы {mk}, {]\}- Тогда
{0, ]фк или
ибо многочлены Эрмита от разных Uj (t), очевидно, независимы
и A1.11) распадается на множители вида
E{Hm.(uj(t))Hn.(u}(t))}.
Если [х ф. v, то т% ф пг и утверждение очевидно. В случае [х = v
и у ф к утверждение также верно, ибо какое-то из этих математиче-
математических ожиданий равно нулю; нетрудно убедиться, что то же самое
происходит и в случае [л = v, j = /с, т фп. Кроме того, в силу
рассуждений, подобных приведенным вслед за формулой A1.9),
, A1.12)
однако при [х = v, s фг ситуация оказывается более сложной, чем
для A1.11). В любом случае Я^> (/', f) лежат в 38v и при любом
фиксированном t порождают S8V9 Таким образом,
gv(t)= S «(V)(m, j)H™0". *).
j
m, j
x) Выбор подходящего семейства может определяться характером функцио-
функциональной зависимости процесса у (t) от х (t).

11. Общая теория фильтров 129
где суммирование происходит по всем т, /, таким, что ]\ < /2 < . . .
и 2 wft = v> a коэффициенты
не зависят от t в силу стационарности. Теперь нам нужно найти
Рассуждая так же, как при выводе соотношения A1.10), получаем,
что это равно
= 2Шф/ *ф* (*-*)},
где сумма берется по всевозможным способам попарного объедине-
объединения множителей из первого произведения с множителями из второго
произведения, а произведение — по всем парам (/, к) для данного
способа попарного объединения. Очевидно, что в общем случае
ситуация очень сложна.
Если в задаче участвует лишь небольшое количество функций ф;-,
то вычисления могут быть осуществимыми, однако в этом случае
прямой подход, без использования ф;, может оказаться столь же
или даже более простым.
Эти идеи в принципе непосредственно обобщаются на векторный
случай и на случай дискретного времени. Мы не будем здесь обсуж-
обсуждать эти вопросы более подробно.
(ii) Определение фильтра, данное в пункте (i), распространяется
на общий случай, когда х (t) — векторный стационарный в узком
смысле, но не гауссовский процесс. В этом случае L2 определяется,
как прежде, a U (s) в L2 определяется указанием U (s) % (со), где
% (со) определено соотношением A1.1), a U(s)%((o) обозначает
индикатор цилиндрического множества {со | (#/(&) (tk + s, со), к =
= 1, . . ., п) ? В}. Вновь U (s) является унитарным представлением
группы сдвигов вещественной прямой; мы снова предположим, что
А — замкнутый линейный оператор с областью определения 3) (Л),
плотной в Z/2, и определим фильтр как оператор А, такой, что
AU (s) з U (s) A, s ? (— оо, оо). Если xj ^Ьъ / = 1, ...,/?, то
мы положим х)
Уз (t) = U (t) Axj = AU (t) xj, /-1, . . ., p;
векторный процесс у (t) является стационарным в узком смысле
и имеет конечную дисперсию. Мы можем наглядно представлять
Очевидно, надо предположить, что Xj ? 3) (А).— Прим. персе.

130 Гл. II. Спектральная теория векторных процессов
себе, что А соответствует некоторому измерительному прибору,
a Xj — основным характеристикам исследуемой системы, которые
определяют ее состояние в момент t = 0, а также измерения */7- @),
производящиеся в момент t = 0 *). С этой точки зрения «фильтр»
и «стационарный в узком смысле процесс» являются почти эквива-
эквивалентными понятиями. Очевидно, что определение фильтра перено-
переносится на общий случай однородного в узком смысле случайного поля
с конечной дисперсией (см. § 10), но мы не будем обсуждать это
более подробно.
Пространство L2 содержит Ж как замкнутое линейное подпро-
подпространство, если величины Xj (t) имеют конечные дисперсии. (Здесь
3? — пространство, порождаемое линейными комбинациями вели-
величин Xj (tk).) Если Si инвариантно относительно А, то А можно назвать
линейным фильтром. В этом случае мы можем рассматривать А как
оператор в Si. (Он также будет замкнутым с плотной областью опре-
определения в Si 2).) Если теперь мы будем рассматривать А как оператор
в $?', то мы можем считать лишь, что х (t) — стационарный процесс
второго порядка. Предположим сначала, что х (t) — скалярный
процесс и что х @) ? 3) (А) (следовательно, х (t) = U (t) x @) ?
? 3) (А)). Тогда, как и в предыдущем параграфе, можно установить
соответствие
*(*)*¦>*-** A1.13)
(см. A0.10)), где ехр (—UX) — элементы пространства L2 (F), aF —
спектральная функция процесса х (t). Тогда U (s) действует в L2 (F)
по формуле U (s) х = ехр (—isX) х, х ? L2 (F). При этом у @) =
= Ах @) переводится отображением A1.13) в функцию h (X) из
Ах @) = у @) — h (X);
но тогда
Ах (t) =y(t) = U (t) Ax @) «-> е-*ъ h (X).
Таким образом, действие фильтра А полностью описывается частот-
частотной характеристикой h (X).
В векторном случае можно поступить следующим образом.
Пусть / (X) — матрица производных Радона — Никодима от F (X)
относительно т (X) = Тг F (X). Пусть Ш (Х) для каждого X обозначает
векторное пространство с базисом е$ (X); j = 1, . . ., р, и скалярным
произведением, определяемым / (X), так что
(ej(X), ek(X)h=fjk(X),
!) Обсуждение сходных концепций см. в книге Макки [1968], стр. 159.
2) Можно показать, что замкнутость следует из прочих свойств А. Рассуж-
Рассуждения можно обобщить на случай х (t) $ 3) (А) (см. Хеннан [1967а]).

11. Общая теория фильтров 131
Тогда L2 (т) есть пространство всех измеримых функций от X, и (X),
v (X), значения которых лежат в Ж{>к\ со скалярным произведением
оо
(и, v)= \ (u(X), v{X))xm{dX).
— оо
Теперь можно установить изоморфизм между $? и L2 (m) по формуле
Справа ej(X) — элементы L2(m). Более того, U (t) представляется
в L2(m) по формуле
Тогда
ибо Axj @) принадлежит Si для любого / и, следовательно, переходит
в функцию Uj (X), которая представляется в указанном виде, так как
€k (X) образуют базис. Таким образом,
у, (*) = U @ Ах, @) — S hhj (к) в-«Ч (Я),
ft
т. е. действие фильтра полностью описывается матричной частотной
характеристикой h (X).
Обратно, если А — линейный фильтр в смысле примера (iv) § 4,
то 3) {А) действительно плотна в <Ж (поскольку х (t) ? 3) (А)).
Замкнутость оператора А можно доказать следующим образом.
Пусть т (X) = Тг F (X) и / (X) — матрица производных Радона —
Никодима от F (X) по мере т (X). Пусть Е (X) — эрмитов идемпотеыт,
который проектирует на область значений матрицы / (X). Мы можем
считать, что h (X) Е (X) = h (X), ибо замена h (X) на h (X) Е (X) не
приводит к изменению фильтра (согласно теореме 9). Пусть h{1) (X) —
матрица, удовлетворяющая соотношению h (X) f (X) = / (X) h{1) (X)*.
Тогда h^(X) f (X) h^ (X)* = / (X) h (X)* f (X)-1 h (X) f (X). Условим-
Условимся временно для краткости опускать аргумент X. Последняя матрич-
матричная функция интегрируема, ибо
< р {Тг (/ЛГ1/2)}2 = Р {Tr (fi/2h)}2 = РТт (h*fh).
Поэтому h'vX задает фильтр| т, е.

132 Гл. II. СпектНралъная теория векторных процессов
определено корректно для всех / и t; но тогда, если А отвечает
h(K), то
Е (Ах, (*), xh («)) =
), Atxh(t)).
Так как xj (t) плотны в $8, то Л4 = Л* (Л* — оператор, сопряженный
к Л) на общей области определения, и эта область определения плот-
плотна в $?. Итак, область определения Л* плотна в $?, следовательно,
А допускает замыкание (см. Рисе и Надь [1956], стр. 330). Таким
образом, мы можем взять в качестве А замкнутый оператор.
Итак, мы доказали следующую теорему:
Теорема 14. Если А — замкнутый линейный оператор в SS
с плотной областью определения 3) (Л), такой, что AU (t)-з U (t) A
и х @) 6 3D (Л), то действие А описывается матричной частотной
характеристикой по формуле
оо
y,(t) = Ax,(t)= \ e-^^hjk(X)dzk(X), A1.14)
-« ft
где hjk(K) образуют матрицу h(X), такую, что
оо
j h{X)F(dX)h(X)*<oo. A1.15)
— ОО
Обратно, если А удовлетворяет соотношениям A1.14) и A1.15), то
А определяет в SB оператор, обладающий указанными выше свой-
свойствами.
Эта теорема также обобщается на однородные случайные поля
в классе пространств г), охватывающем все случаи, рассмотренные
в § 10. Интересный вопрос: почему для таких пространств линейный
фильтр описывается частотной характеристикой. Причину этого
явления можно проиллюстрировать на скалярном случае. Это
обусловлено тем, что U (g) —«однократное» представление (см. § 10,
где это понятие определяется для S2). В общем случае однократность
означает, что все ограниченные линейные операторы, коммутирую-
коммутирующие со всеми U {g), коммутируют между собой. В свою очередь
однократность U (g) обусловливается определенным геометрическим
свойством рассматриваемых пространств". Для S2 оно состоит в том,
г) Этот класс содержит все глобально симметрические пространства. Опре-
Определение см. в книге Хелгасона [1962]. Обсуждение понятия фильтра в общем
случае см. в работах Хеннана [1965а], [1967], [1969].

Упражнения 133
что для любых у4, v2 найдется g, такое, что gu^ = v2, gv2 = vt. Чтобы
подобное свойство выполнялось, к примеру, в R, к группе симме-
симметрии следует присоединить отражение относительно начала коорди-
координат, однако необходимость такого присоединения не сказывается
на конечном результате. Эти пространства, а также их обобщения
(глобально симметрические пространства) особенно хорошо при-
приспособлены для методов Фурье и теорий, рассматриваемых в этой
книге. Обсуждение этих вопросов читатель может найти в книге
Хеннава [19651.
УПРАЖНЕНИЯ
1. Пусть и (t) и v (t) — скалярные случайные процессы с нулевыми сред-
средними и ковариациями
Е (и (s) u(s + t)) = E (v (s) v (s + «)).= oV'l, | p |< 1,
E (u (s) v (t)) » 0.
Показать, что процесс
x (t) = и (t) cos Qt + v (t) sin Qt
является стационарным, и найти его спектральную плотность.
2. Пусть (скалярный) процесс х (t) наблюдается только в моменты t =
= 0, 1, 2, . . ., а затем преобразуется в
n-i
у(Л)==4 *(* + m^, Л = 0, ±1, ±2, ....
j=o
Определить характер спектра у (к). (В качестве мотивировки отметим, что подоб-
подобное преобразование можно использовать для оценки периодической компоненты
с периодом т.)
3. Введем обозначение
fc-l
[к]х(п)= ^ x(n + j).
j=o
Найти частотные характеристики следующих фильтров:
(а) *(л)-**(л)~
(b) х(п)
(c) х(п)-+ х(п) — C50)-1 [5]2 [7] {2х(п— 7)+х(п — 6) + х (п — 8) — х (п — 4) —
-*(л-10)}.
Пусть стационарные процессы х (п), у (п) преобразуются каким-либо из ука-
указанных выше трех фильтров (не обязательно одним и тем же). Определить, как
изменяется при этом коэффициент когерентности и фаза для каждой из девяти
возможных попарных комбинаций. Нарисовать график коэффициента усиления
фильтра (с).
4. Пусть х (п) = cos (гс? + ф), где ф — случайная величина, равномерно
распределенная на @, 2jt], a g не зависит от ф и имеет функцию распределения
F (х) (симметричную относительно начала координат). Показать, что х (п) —
стационарный процесс, и найти его спектр.

134 Гл. II. Спектральная теория векторных процессов
5. Доказать, что если собственные значения матрицы А имеют положитель-
положительные вещественные части, то
оо
[ ~Ш dt = {(А + JM)-1 + (А —
(Для этого можно привести матрицу А к каноническому виду преобразованием
подобия РАР-1 — 2 (kjEj + Nj), где общий член прямой суммы содержит
0
идемпотентную матрицу Ej и нильпотентную матрицу Nj, такую, что EjNj =
= Nj = NjEjy причем TVy — матрица максимального ранга, удовлетворяющая
этому условию. Каждый из членов прямой суммы можно рассмотреть отдельно,
и конечный результат получается обращением преобразования подобия.)
6. Пусть а (п) — последовательность неотрицательных чисел. Показать, что
llm^HL^o A)
только тогда, когда
iV
Показать также, что если lim a (N)/ ^] а («) > 0, то а (п) > const -б™ для
1
некоторого &> 1.
Решение. Допустим, что lim a(n)/bn = ooi Ь>1. Положим f(n) =
П-юо
=sup {a(f)/bJ}. Тогда lim / (л) = оо и / (л) монотонна, причем а (л) <ЬП/(л),
lima (n)/{bnf (м)} = 1. Отсюда
(n)
Zj bnf(n)' bNf(N)
Пусть lim a (N)/ ^ « (^) > 0. Тогда найдется б, 0<б<1, такое, что
i
п
а(м)> б 2 fl(/)i n>no-
i
п
Мы можем считать, что мо = 1. Положим теперь &A)=аA), &(д) = б2^(/)-
1
n-i п-1
Тогда Ь(л)<а(п), ибо (по индукции) а (л)>A-б)-1 2 « (у) > A —б)~1 ]>] Ь (/) =
1 1
= Ь (п). Имеем
Ъ (n) — b(n — l)=6b{ л), м > 3,

Приложение 135
откуда
Ь(л) = A-
так что
что и требовалось доказать.
7. Пусть Tq — блочная матрица из qp строк и столбцов, в которой (т, п)-ш
блок из р строк и столбцов образует матрица Г (п — т). (Таким образом, эле-
элемент уи (п — т) попадает в строку (т — 1) р + г, столбец (п — 1) р + /.)
Показать, что необходимым и достаточным условием представимости Г (п)
в виде
где F (к) такое же, как в теореме 1", является неотрицательная определенность
матрицы Tq при всех q.
8. Пусть
оо
(? f a(s)x(t — s)
где х (t) — гауссов процесс, имеющий спектральную плотность / (X), а функция
квадратично интегрируема относительно / (X). Пусть ф равномерно распределена
на [— У2^i 11^\ и не зависит от х (t). Найдите выражение для спектра у (t).
9. Пусть х ж у — гауссовские величины с нулевыми средними, единичными
дисперсиями и коэффициентом корреляции р. Показать, что
(Пусть т ^ п. Положим z = х — ру\ тогда у и z независимы. Имеем Нт (х) =
= Нш (z + ру). Разлагая эту функцию по степеням у, замечаем, что в матема-
математическое ожидание дает вклад только член с уп, причем только при т = п.
Отсюда следует утверждение.)
ПРИЛОЖЕНИЕ
1. Доказательство теоремы 2
Начнем с того, что вновь рассмотрим процесс ха (t) = a*x (t) с ковариацион-
ковариационной функцией
оо
ya(t)= j We (<Ю). A)
— оо
Случайные величины ха (t) суть измеримые функции на вероятностном простран-
пространстве (й, ^, Р) всех реализаций нашего процесса. Более того, они квадратично

136 Гл. /I. Спектральная теория векторных процессов
интегрируемы относительно меры Р (т. е. имеют конечные средние квадраты)
и поэтому принадлежат L2 = L2 (Q, «^?, Р)- Подпространство в L2i порождае-
порождаемое величинами ха (г), t ? R, мы обозначим <0#а. В Ш^ скалярное произведение
определяется, конечно, формулой
(*aW. *a(t)) = E(xa(s)xa(t)).
Рассмотрим также гильбертово пространствох) L2 (Fa) всех комплекснознач-
ных функций, квадратично интегрируемых относительно Fa, со скалярным
произведением
— 00
Отобразим теперь &6а в ?2 (Лх) по формуле
xa(t)^e~m. B)
Согласно A), это соответствие сохраняет скалярное произведение. Среди обра-
образов элементов &€а имеются функции вида
Чтобы доказать это, рассмотрим функцию /а, 8F)» периодическую с периодом
2а и определенную при е>0, а>|А,|, где 8 достаточно мало, следующими
соотношениями:
— а — 8 <6 <;-— а,
А/ + 8 <^6 <J а — 8,
Тогда
Iim Iim
а-»-оо е->0
так что достаточно доказать, что функция /а>8 F) является образом элемента
из Gffia. Но эта функция непрерывна и периодична, поэтому чезаровские средние
ее ряда Фурье сходятся к ней равномерно, а значит, и в среднеквадратичном
относительно Fa. Таким образом, мы доказали, что требовалось, ибо эти чеза-
чезаровские средние действительно принадлежат образу пространства &€а. Отсюда
следует, что B) отображает &€^ на L2 (Fa).
Обозначим теперь через za (к) элемент пространства &€а, отвечающий е^ @).
Так как
и отображение B) сохраняет скалярное произведение, то мы видим, что za (к)
имеет ортогональные приращения. Очевидно, в силу аналогичных соображений,
что средний квадрат za (dk) равен Fa (dk).
2) Обсуждение гильбертовых пространств и других математических средств,
необходимых в этом пункте, см. в математическом приложении.

Приложение 137
Рассмотрим теперь
где точки %j, Хо = —A, XN = А образуют разбиение интервала [—А, А] на
N + 1 подинтервалов, причем iV настолько велико, что
а А настолько велико, что
Заметим, что функция ?a,jv@) равна нулю при 6$ ( — Л, Л]. Имеем
j
|9[>A
1 ^
Таким образом, функция exp( — i*6) может быть сколь угодно хорошо аппрок-
аппроксимирована в среднеквадратичном с весом Fa функциями е^мф). Соответст-
Соответственно xa(t) можно аппроксимировать в смысле нормы пространства dft?a ли-
линейными комбинациями
и мы доказали, что
где правая часть понимается как среднеквадратичный предел интегральных
сумм Римана — Стилтьеса.
Варьируя а, так же, как при доказательстве теоремы 1, мы получаем утвер-
утверждение теоремы 2, за исключением единственности z (dX), которая будет уста-
установлена при доказательстве теоремы 3, к чему мы сейчас и переходим.
2. Доказательство теоремы 3
Имеем
оо
<p(X)F(dX),
где ф (X) равна единице в интервале [Xi, X2] и нулю вне этого интервала-
Преобразование Фурье этой функции равно
ф(?)= = \ ф (X) е~^ dX.
— it J
—00
Более того,
т
1 с
т~>о° -г

138 Гл. II. Спектральная теория векторных процессов
так как если мы введем под интеграл множитель A — | t |/Г), то получим чеза-
ровское среднее ряда Фурье функции ф (X), которое сходится к ф (X) равномерно
в любом интервале непрерывности, тогда как легко проверяется, что
-Т
В силу аналогичных соображений сходимость к ф (X) является ограниченной.
Таким образом, обозначая через фт (X) выражение, стоящее под знаком предела
в левой части C), и учитывая, что Л,ь Х2 — точки непрерывности F (X), имеем
Т-»-оо
— оо
-Т
что и требуется. Аналогично,
и ф7' (X), очевидно, сходится к ф (X) в среднеквадратичном с весом Тг {F (dk)}.
Поэтому правая часть равна
оо Т . . оо
(pT(X)z(d%) = \.i.m.^- \ — I \ e~%u z(dX)\ dt =
Т_юо Zn J it I J J
2'
что и требовалось доказать. (Обоснование перемены порядка интегрирования
см. ниже в доказательстве теоремы 4.)
Отсюда видно, что z (Х2) — z (Xj) определяется однозначно с вероятностью
1 для любых точек непрерывности Хи Х2. Поэтому z (X) определяется одно-
однозначно для любого X требованием непрерывности справа в среднеквадратич-
среднеквадратичном.
3. Доказательство теоремы 3"
Доказательство почти такое же, как для теоремы 3. Мы, как и раньше,
«вводим ф (К), но теперь для | ?ц |, | Х2 | < я. Преобразование ф (t) нужно рас-
рассматривать теперь только при целых значениях t. Таким образом, C) заме-
заменяется на
N
lim -I- Y ф (п) eiXn =Ф (X), X ф Хи Х2. C)'
-N

Приложение 139
Так же как при доказательстве теоремы 3, получаем
Я N
iV-*oo J
-jt -iV
1 Д ?
2я ^J J
— in
-N -Л
N
= lim —У
v ' —in
-N
что и утверждается в теореме. Доказательство второй части теоремы является
повторением соответствующей части доказательства теоремы 3.
4. Доказательство теоремы 9
Мы следуем Розанову [1963]. Пусть
y(t)= \ e~itl h (I) z (dl), x(t)= \ e~mz(dX)s D)
— oo ~oo
причем
oo
f h(k)F(dX)h{k)*<co.
— oo
Тогда yj (t) корректно определены как элементы гильбертова пространства &6*
которое является подпространством в L2 (Й, «^, Р), натянутым на xj (t). Более
того, у (t) — стационарный процесс со спектральной функцией
а матричная взаимная спектральная функция процессов yj (t) и xh (t) равна
E)
Все эти утверждения можно доказать, рассматривая последовательности инте-
интегральных сумм Римана — Стилтьеса yN (t), xN (t), аппроксимирующих у (t)
и х (t), и используя то обстоятельство, что Е (yN (t) yN (i)'), E (yN (t) xN (t) )
сходятся к Е (у (t) у (t)') и Е (у (t) x (*)'), если yN (t) и xN (t) сходятся в средне-
среднеквадратичном к у (t), x (t). Подробную проверку мы предоставляем читателю.
Таким образом, остается доказать лишь необходимость условия теоремы 9.
Допустим, что w (t) — стационарный процесс, такой, что Fw (К) = Fy (к),
Fxw (К) = Fxy (к). Надо доказать, что w (t) совпадает с у (t). Пусть ёв' — гиль-
гильбертово пространство, порождаемое всеми Wj (t) и xk (t) (как подпространство
в L2 (Q', ^f', Р'), где вероятностное пространство (?У, Jh', Р') отвечает век-
векторному процессу, составленному из компонент Wj (t), xk (t)). Тогда (^ — зам-
замкнутое подпространство в &в'. Рассмотрим теперь отображение Т из &€ в &в',

140 Гл. II. Спектральная теория векторных процессов
определяемое формулами
Tyj (t) = wj @, F)
Txh (t) = xk (t).
Тогда Т можно продолжить до линейного оператора, определенного всюду на
&{! и изометрического в том смысле, что (Ти, Tv) = (м, v) для всех м, у^ &6y
где скалярное произведение берется в &в'\ но, как показывает вторая группа
соотношений F), Т — единичный оператор. Таким образом, Tyj (t) = */у- (г),
ш7- @ = */у- (t), и теорема 9 доказана.
Из этой теоремы следует справедливость соотношений типа формулы D)
в пунктах 4(i), 4(ii), 4(iii); например, в случае 4(ii) имеем
и, как мы уже знаем (теорема 7), Fy (dX) = h (X) F (дХ) h (к)*. Поэтому необхо-
необходимо проверить только соотношение E). Однако оно следует из теоремы 2 гл. I»
утверждающей, что
оо
= \ (iX) eHt~s)K F (dX)
J
— oo
(законность дифференцирования под знаком интеграла обосновывается так же,
как при доказательстве теоремы 7). Таким образом,
оо
Е (х (,) у (О')= J eH^F(d%)h(X)*
— ОО
и соотношение E) доказано.
5. Доказательство соотношений E.4) и E.10)
Сначала будет доказана
Теорема 15. Пусть х (t) — стационарный векторный процесс с абсо^
лютно непрерывным спектром и матричной спектральной плотностью f (X).
Пусть f (X) = ф (X) ф (X)*, где ф (X) есть (р X д)-матрица измеримых функций.
Тогда
оо оо
= [ A(s)eisXds, С Tr {A (s) A (s)*}ds<<x>
G)
х (t) = j 4 (*-«) Е (Л), Е (| (Л) | (ds)*) = /g Л, (8)
— ОО
еде ? (s) — векторный процесс с ортогональными приращениями.

Приложение 141
Доказательство. Покажем, что ф можно представить в виде ф (к) =
= р (к) к (к), где (i) р (к) = (ф (к) ф (X)*I/2 = / (A,)i/2 — однозначно определен-
щый эрмитов неотрицательный корень х) из / (к), (ii) к (к)* изометрично отобра-
отображает область значений р (к) (т. е. область значений / (к)) на область значений
ф (к)* и к (к) к (к)* = /р.
С этой целью определим к (к)* на любом (комплексном) векторе у из обла-
области значений / (к) по формуле к (к)*у = z, если р (к) х = у и ф (к)*х = z.
Тогда у*к (к) к (к)*у = х*у (к) ф (к)*х = х*р (кJ х = у*у и к (к)* является
жзометрическим на области значений / (к). Если размерность области значений
/ (к) меньше р, то мы можем доопределить к (к)* на ортогональном дополнении
произвольным образом, но так, чтобы выполнялось равенство к (к) к (к)* = 1р.
Так, если размерность области значений / (к) равна р0 и q > р0» т0 мы выбираем
q _ р0 ортонормированных векторов uj, ортогональных к области значений
/ (к), и q — ро ортонормированных векторов vj, ортогональных к области зна-
значений ф (к)*, и полагаем к (k)*uj = vj.
Пусть теперь р (к)'1 — обобщенная обратная матрица х); тогда р (к) р (Х)-1=
^= Е (к) является проектором на область значений / (к). Все матричные функции
.к (к), р (к), Е (к), р (к)-1 измеримы (к (к) можно выбрать измеримой). Интеграл
оо
[ e~ia(p(k)k(k)*p(k)-iz(dk)
— оо
равен х (t) почти наверное. Это непосредственно следует из теоремы 9, так как
Е (к) f (к) = / (к) Е (к) = / (к). Положим
Эти интегралы корректно определяются по компонентам с помощью точно такой
~же конструкции, которая использовалась в п. 1 приложения к гл. I. Векторный
процесс ?i (к) имеет ортогональные приращения, причем
Е (li (dk) fi (dk)*} = E (к) dk, 1 {k) = k(k)* E {к) к (к).
Здесь Е (к) также эрмитова идемпотентная матрица. Мы хотим построить век-
векторный процесс с ортогональными приращениями, для которого
Е {Z(dk)%(dk)*} = Iqdk. (9)
Для этого введем векторный процесс |2 (к) с ортогональными приращениями,
такой, что
'% dk, E {f2 (<ft)Ti№)*} =0.
Может случиться так, что подобный процесс нельзя построить на (Q, f7f, P).
Однако всегда можно найти вероятностное пространство (Q2> <Жч, ^г), на кото-
котором определен процесс 5г (^)» удовлетворяющий первому из этих соотношений.
Образуем произведение пространств 2) Q X ^ с мерой Р X Рч на ст-алгебре
г) См. математическое приложение.
2) Определение произведения пространств с мерой см. в книге Биллингслея
11968], стр. 224.

142 Гл. II. Спектральная теория векторных процессов
<& X <^2- Тогда на й X й2 определен векторный процесс с ортогональными»
приращениями ? (к) = ?4 (k) -J- ?г (^)> удовлетворяющий (9). Мы увидим, что
введение Q2 не играет существенной роли и использовано лишь для упрощения,
формулировки теоремы. Мы можем теперь записать
x(t)
Справедливость этого равенства также следует из теоремы 9. Положим
-
Это выражение корректно определяется для каждой компоненты с помощьк>
процедуры п. 1 приложения к гл. I, ибо подинтегральная функция, которую мы
обозначим a|)Sji (к), квадратично интегрируема по мере Лебега (при к = О мы.
считаем ее равной (t — s)). Кроме того,
Однако
где ег F) определено в первом пункте приложения к этой главе (теперь роль А*
играет t). По теореме Планшереля (см. математическое приложение) выражение^
(И) равно
что равно нулю, если интервалы (s, t] и (ы, у] не пересекаются, и /р (^ — s)r
если (s, f] = (w, у]; ? (г) — векторный процесс с ортогональными приращениями,
удовлетворяющий второму из соотношений (8).
Функции Xs,t (Q) = et (Q) ~ es (Q) ПРИ любых 5, * квадратично интегрируе-
интегрируемы (по мере Лебега) и плотны в пространстве функций, квадратично интегрируе-
интегрируемых по Лебегу (в смысле среднеквадратичной сходимости). Поэтому, в силу тео-
теоремы Планшереля, такими же свойствами обладают i|?S)f (к) как функции от Я.
Следовательно, правую часть A0) можно аппроксимировать выражением
*w (t)= 2 A
для которого сумма
может быть сделана сколь угодно близкой к ф(А,). В самом деле, элементы матрич-
матричной функции ф(А,) квадратично интегрируемы, ибо Тг (ф (к) ф (Я)*) = Тг / (^) —

Приложение 143
интегрируемая функция. Среднеквадратичная ошибка аппроксимации равна
E{(xN(t)-x(t))'(xN(t)-x(t))} =
л^>р </*¦)- ф ю }* ^
и может быть сделана сколь угодно малой; но, согласно определению g (s)r
A2) равно
оо
2 Ai J
Так как элементы матрицы ф(А,) квадратично интегрируемы, то ее можно записать
в виде G), где
поэтому, в силу теоремы Планшереля и поскольку A3) аппроксимирует ф (к)у
функции
аппроксимируют A (t — s). Таким образом, рассуждая так же, как при доказа-
доказательстве A2), получаем, что A4) сходится в среднеквадратичном к
— ОО
и теорема доказана.
Если мы положим ф (к) = / (кI/2, где в правой части стоит эрмитов неотри-
неотрицательный корень из / (к), то получим E.10). Соотношение E.4) получается
из теоремы 15' точно так же, как E.10) — из теоремы 15. Доказательство теоре-
теоремы 15' мы опускаем, поскольку она доказывается в основном так же, как тео-
теорема 15, только проще.
Теорема 15'. Пусть х (п) — векторный стационарный процесс с дискрет-
дискретным временем, абсолютно непрерывным спектром и матричной спектральной
плотностью f (k) = ф (к) ф (к)*, где ф (к) — как в теореме 15. Тогда
Ф (*,) = У. А (/) ei}x, у. Тг (А (/) А (/)*) <оо, G)'
*(n)=S A(i)s(n-j), Е (в (ж) е («)') = в*/,. (8)'
— ОО
6. Доказательство теоремы 12
Пусть фр (х, у) — нормальная плотность, отвечающая величинам х и z/*
Выражение
{g (x) h (у)} = j g(x)h (у) фр {х, у) dx dy

144 Гл. 11. Спектральная теория векторных процессов
можно записать в форме
8Xh((pp(x, у)), A)
где g х h — обобщенная функция (двух переменных), определяемая функциями
g и /г, над пространством S всех бесконечно дифференцируемых функций от двух
переменных, убывающих вместе со всеми своими производными быстрее любой
степени "|/(х2 -f у2)-1 при "]/' х2 -\- у*-+оо. Таким образом х), g X h ? S'. Функ-
Функция фр (я, у) действительно принадлежит S. В общем случае мы понимаем выра-
выражение Е (g (x) h (у)) именно как A), ибо нельзя говорить о значении обобщенной
функции в какой-либо точке. По определению
g х h (фр) = Dл2)-1 g X А(фр),
где «крышечка» обозначает преобразование Фурье, Таким образом, используя
символы 6j, 62 для переменных, от которых зависит фр, имеем
?й е X h (Фр) = Dя2)-1 ^ | X h (Фр) = Dя«) g X А F*Э^ (-1)" Фр).
Дифференцирование под знаком интеграла законно, если при б—э-0 функции
сходятся к Фр"*^ в топологии S, т. е.
Нетрудно проверить, что для фр это выполняется.
Если теперь / ? S, то х)
(_ iJft BяJ te№) х Л<Л>) (/) =^ XЪ (
откуда
^ * X Л (Фр) = Dя«Г1 i X А (вЭД (-1)»
что и требовалось доказать.
См. математическое приложение.

Глава HI
Прогнозирование и фильтрация
случайных процессов
1. ВВЕДЕНИЕ
В этой главе мы дадим обзор теории Винера — Колмогорова прогно-
прогнозирования случайных процессов. Вслед за этим будет рассмотрена
более простая теория интерполяции. Затем мы обсудим выделение
сигнала, включая классическую теорию и более поздние исследова-
исследования, связываемые с именем Калмана, которые исходят из структурно
более простой модели (векторной авторегрессии), зато допускают
зависимость коэффициентов авторегрессии от времени. Эти методы
нашли широкое применение. Мы закончим главу обсуждением неко-
некоторых более специальных теорий сглаживания.
Математически наиболее трудная часть настоящей главы содер-
содержится в общей теории прогнозирования. Физическая значимость
подобной общности сомнительна, ибо на практике спектральная
плотность / (к) бывает относительно простой функцией, например
многочленом от exp iX и ехр (—гХ), а для таких функций (в случае
дискретного времени) основные результаты уже были получены
в пункте (ш) § 5 гл. П. Тем не менее есть много причин, в силу кото-
которых здесь излагается общая теория. Прежде всего она позволяет
глубже понять структуру стационарных процессов. Она обладает
также неоспоримой математической привлекательностью, и, наконец,
ее общность позволяет легко получать впоследствии частные резуль-
результаты, поскольку отпадает необходимость проверки каких-либо усло-
условий регулярности, которая должна была бы иметь место в менее
общей теории. Вместе с тем теория прогнозирования и выделения
сигнала имеет обширные применения, и чтобы сделать ее доступной
для читателя, который пожелал бы пропустить более трудные места,
мы начинаем в следующем параграфе с теории прогнозирования для
процессов с рациональным спектром. Параграфы 3, 4 и 5, в которых
рассматривается случай произвольной спектральной плотности»
могут быть затем пропущены.
2. ПРОГНОЗИРОВАНИЕ ВЕКТОРНЫХ ПРОЦЕССОВ С ДИСКРЕТНЫМ
ВРЕМЕНЕМ В СЛУЧАЕ РАЦИОНАЛЬНЫХ СПЕКТРОВ
Рассмотрим векторный стационарный процесс х (п) с дискретным
временем. Мы ищем такую линейную функцию х<у) (п) от х (п — /),
7'^ v, которая наилучшим образом аппроксимирует х (п) в средне-

146" Гл. III. Прогнозирование и фильтрация случайных процессов
квадратичном смысле, т. е,
11 х (п) — >)(п) ||2 - Е {(х (п) — i<v) (п))' (х (п) — >)(п))}
принимает минимальное значение. Когда мы говорим, что х^ (п) —
линейная функция от х (п — /), мы имеем в виду, что х^ (п) есть
выражение вида
N
^N(n) = ^]ANjx(n-j), iV>v, B.1)
V
либо среднеквадратичный предел последовательности таких выраже-
выражений, так*что jlim \\х^(п) — xN(n)\\=:0. Имеем
lim\\x(n)-xN(n)\\^\\x(n)-x^(n)\\+lim\\xN(n)-x^(n)\\ =
= \\x(n)-xW(n)\\. B.2)
Поскольку предел в левой части не может быть меньше этого мини-
минимального значения, крайние члены соотношения равны между собой.
Отсюда видно, что одна и та же последовательность наборов матриц
ANtj, j = v, . . ., N, будет давать минимизирующую последова-
последовательность для любого п; это уже нашло отражение в наших обозначе-
обозначениях. Положим
и пусть fe(v) —функция, такая, что1)
я
lim Tr ( \ (hN - hiv)) F (dX) (hN - hiv))* } = 0.
Тогда мы должны иметь
— Я
Я
так как х^ (п) удовлетворяет соотношению lim || х^ (п) —- xN (п) \\ = 0.
Мы часто будем опускать индекс v при х^\ Wv) и будем для
краткости пользоваться обозначениями х (п), xN (n), АЛ-, /г, так как
v пока фиксировано. Из сказанного ясно, что можно считать п = 0,
так как функции hN, h не зависят от п.
г) Теперь удобнее записывать частотные характеристики h, hN как функции
от exp i'k, а не от X, как в гл. II. Мы будем опускать аргумент exp iX в тех слу-
случаях, когда это не может привести к недоразумениям.

2. Прогнозирование векторных процессов с дискретным временем 147
Ограничимся теперь случаем, когда F (dX) = f (X) dX и / (X) —
рациональная функция от ехр (±&), причем det / (X) ф 0. Тогда
где Фо (z) — рациональная функция от z, голоморфная в области,
содержащей единичный круг, с определителем, отличным от нуля
внутри единичного круга. В самом деле,
-q
где второй множитель является наименьшим общим кратным знаме-
знаменателей всех элементов матрицы / (X). Применяя теоремы 10 и 10'
гл. II, получаем требуемое представление для / (X). Полагая G =
= ф0 @) Фо @)* (где Фо @) = Фо (z) при z = 0), получаем пред-
представление
-L(b(e)G<l>W, B.3)
где свободный член разложения Ф (z) в степенной ряд равен теперь
единичной матрице. Как мы дальше увидим, G совпадает с матрицей
ошибок прогноза х (п) на один шаг. Матрица Ф (z) может быть опре-
определена как голоморфная в замкнутом единичном круге и удовлетво-
удовлетворяющая соотношениям BЯ) ФСФ* = /, Ф @) = /р, ибо, как нам
известно из теоремы 10' гл. II, любая другая матрица В (z), удовле-
удовлетворяющая этим условиям, имеет вид В (z) = Ф (z) U (z), где U (z)
унитарна на единичной окружности и голоморфна внутри нее.
Если Ф @) = В @) = /р, то U @) — единичная матрица, и отсюда,
как и в п. (ii) § 5 гл. II, следует, что U (z) должна равняться единич-
единичной матрице при всех z *). Мы упомянули здесь об этой характери-
зации потому, что она определяет нужную факторизацию и в тех
случаях, когда / (X) — не рациональная функция.
Введем следующие обозначения. Если В (z) — матрица из функ-
функций, которые разлагаются в ряд Лорана в некотором кольце, то
[В (z)]+ обозначает ту часть разложения, которая содержит только
неотрицательные степени z. Аналогично, [В (z)]_ состоит только из
отрицательных степеней, так что В (z) = [В (z)]+ + [В (z)]_ в обла-
области, где справедливо лорановское разложение. Докажем теперь
теорему 1.
Теорема 1. Пусть f (X) рациональна и det / (X) =?0 п. в.
Тогда существует единственная факторизация B.3), где Ф (z) голо-
голоморфна в единичном круге и Ф @) = 1Р. При этом det^ (z)} не
х) Так как U* (ехр iX) = U (охр ik)-1 является граничным значением
функции, голоморфной внутри единичного круга и вне единичного круга, то оно
должно равняться постоянной унитарной матрице, а так как U @) = /р, то
оно равно единичной матрице.

148 Гл. III. Прогнозирование и фильтрация случайных процессов
обращается в нуль внутри единичного круга. Частотная характе-
характеристика h фильтра, дающего наилучший линейный прогноз х^ {п)
на v шагов, равна
h{v) (е*) = е*ь [е-**Ф (**)]+ Ф {е*)9 B.4)
а ковариационная матрица ошибок прогноза равна
Е {{х (л) - >> (п)) {х (п) - >) (п))'} =
Ч771О тгри v = l совпадает с G.
= "ST \ [е~Шф (eix)l- G [e-ivK® (e»)j!«ft, B.5)
Доказательство. Так как v фиксировано, то мы опускаем
индекс v. Мы хотим минимизировать
я
Tr j {/ - h (ea)} f (k) {I—h (e*)}* dk =
= Tr -^ ( (Ф (еа) /С — /i (ett) Ф (в») УЩ X
— Я
X {Ф (в**) KG—Л (eix) Ф (в»
Я
= Tr [-ij- J {а (в*) + Ь (ett)} {а (е<*) + Ь (в*)}* dk] ,
Ь (еа) = {[е-^ф (е^)]+ — e'^h (е**) Ф (е
Матрица а может быть представлена как матрица многочленов только
от отрицательных степеней exp iX. Заменяя Ъ на аппроксимирующую
матрицу bN, где bN содержит hN вместо h, мы видим, что Ьх можно
разложить в абсолютно сходящийся ряд по неотрицательным сте-
степеням exp iX, так как это верно для ехр (—ivX) hx и для Ф. Поэтому
интеграл от abN равен нулю. Так как
а(Ь'-ЬЭДй||< j||a||||b*-b&||d^<:
<{ j \\a\\*dk
то интеграл от ab* также равен нулю. Таким образом, мы должны
минимизировать

2. Прогнозирование векторных процессов с дискретным временем 149
Однако аа* не зависит от hy поэтому нужно минимизировать
Tr \ bb* dX. Но это выражение обращается в нуль для функции h,
которая дается соотношением B.4), так как в этом случае матрица
ошибок прогноза равна BЯ) \ аа* dX, что совпадает с B.5). Функ-
ция z~vh (z), где h дается соотношением B.4), голоморфна внутри
единичного круга, так как определитель Ф (z) отличен там от нуля,
и, очевидно, квадратично интегрируема с весом / (X) на единичной
окружности. Таким образом, существует последовательность hN
описанного выше типа, такая, что || х (п) — xN (n)\\ стремится
к нулю, где х (и) получается из Л, a xN (n) —-из hN. Теорема дока-
доказана.
Для большей ясности мы укажем, как может быть построена
последовательность hN, обладающая требуемыми свойствами. Прежде
чем к этому перейти, заметим, что прогнозы х&) (п) будут получаться
рекуррентно, начиная с некоторого исходного, причем на практике
по понятным причинам этот исходный прогноз будет выбираться
скорее из каких-то приближенных соображений, нежели на основе
х{1) (п). Поэтому метод синтеза, о котором пойдет речь, возможно,
и не имеет большого практического значения. В примерах в конце
этого параграфа мы покажем, как выполняются рекуррентные
вычисления. Обратимся теперь к синтезу h. Нам надо показать, что
z~vh (z) мЪжно считать ^-преобразованием г) фильтра, воздействую-
воздействующего только на настоящее и прошлое процесса. Очевидно, z~vh (z)
можно представить как произведение двух сомножителей, один из
которых является матричным многочленом от z, а другой — обрат-
обратным к многочлену р (z) от z, который может иметь корни на единич-
единичной окружности, но не внутри нее. Первый множитель непосред-
непосредственно определяет фильтр требуемого типа. Действие этого фильтра
приводит к новой спектральной плотности, относительно которой
р (ехр IX)'1 квадратично интегрируема. Разложим р (z)'1 на эле-
элементарные множители. Рассмотрения требуют лишь множители,
отвечающие корням на единичной окружности, так как любой
множитель вида (ехр iX — Zq)", \ z0 | > 1, имеет разложение
сходящееся экспоненциально, а значит, и в среднеквадратичном
относительно любой рациональной плотности, и поэтому определяет
фильтр требуемого типа. Таким образом, остается задача синтеза
*) Мы называем ^-преобразованием фильтра частотную характеристику
фильтра, рассматриваемую как функция от z в области, где эта функция опре-
определена.

150 Гл. III. Прогнозирование и фильтрация случайных процессов
фильтра с частотной характеристикой
Л
Г 1
Для простоты положим 0 = 0, q = 1 и рассмотрим соотношение
Так как функция A — eiNX)/{N A — eix)} ограничена по абсолют-
абсолютной величине единицей, а A — е^)'11Р квадратично интегрируема
относительно новой спектральной плотности, то B.6), очевидно,
сходится в среднеквадратичном к нулю, и
образует аппроксимирующую последовательность, которая осуще-
осуществляет синтез искомого фильтра. Если 0=^0, #>1, то [1 —
— exp i (А, — Q)]~q можно аппроксимировать функциями
N
{2 (*-*
которые также имеют требуемый вид.
Если / (к) не удовлетворяет условию det{/ (X)} ф 0, то мы всегда
можем найти полиномиальную матрицу Р (z) с единичным определи-
определителем, такую, что матрица
Р (№) f (К) Р (е*)*
имеет нули всюду вне первых г строк и столбцов, а определитель
матрицы из первых г строк и столбцов не равен нулю п. в. (см.
конец пункта (Ш) § 5 гл. II). Это означает, что мы можем перейти
от х (п) к новому г-мерному процессу у (п) путем обратимого авто-
авторегрессионного преобразования (обратимого в том смысле, что х (п)
можно выразить в виде конечной линейной комбинации у (п — /),
7^0). Таким образом, проблема прогнозирования для х (п) сводится
к разрешенной выше проблеме прогнозирования для у (п).
Теорема 2.15' г) показывает, что х (п) можно представить в виде
{27)
См. п. 5 приложения к гл. II.

2. Лрогнозирование векторных процессов с дискретным временем 151
где
е(п)= \
-я 0
Так как в случае v = 1
zx(dk)=
то
х{п)=
Таким образом, 8 (п) — ошибка прогноза на один шаг.
Разложение B.7) является частным случаем разложения Вольда,
которое мы установим в § 3. Прежде чем закончить обсуждение, рас-
рассмотрим некоторые примеры. Они в основном относятся к случаю
р = 1, так что / (А,), Ыу) (X) и т. д.— скалярные функции. В этом
случае мы вместо G будем писать а2, так что а2 — ошибка прогноза
на один шаг, которая равна дисперсии 8 (п). Мы также будем писать
а (У) вместо А (/) в разложении B.7).
(i) Если / (X) рациональна, то мы можем записать B.3) в виде
где У, а (у) zJ не имеет корней в единичном круге, 2 Р (Л ^ не имеет
корней в замкнутом единичном круге, а (У), Ъ (У) вещественны и а @) =
= Ь @) = 1. Тогда, очевидно, с = а2 и
2
о
(П) Если в примере (i) s = 0, то

152 Гл. III. Прогнозирование и фильтрация случайных процессов
Одношаговый прогноз равен
?">(")= -SP G) * (и-7),
1
что очевидно и из других соображений. Так как
о
то мы замечаем, что
Поэтому имеет место соотношение
о
которое позволяет пересчитывать прогноз х (п) по мере поступления
новых данных. Имеем также
я
ify) (п) = — 2 р (У) x(v-» (п — у), ?<v> (л) = о: (л), v > 0.
1
Это соотношение позволяет вычислить х№ (п) на основе прогнозов,
относящихся к предыдущим моментам времени. В самом деле,
о
порождается фильтром с ^-преобразованием
q q oo
Т 0 v-j Т
и коэффициент при zw у первого множителя
min (q, u) я q
О -я О
равен нулю при любом iz;>v>l.
(Ш) Пусть х(п) = &(п) + е(п—1), Е (е(т)е(тг)) = 6^a2. Тогда

2. Прогнозирование векторных процессов с дискретным временем 153
Функция hA) (z) имеет полюс на единичной окружности и не может
оо
быть записана в простой «замкнутой» форме 2 Р (/) zJ-
Как было показано после доказательства теоремы 1, соотношение
определяет последовательность одношаговых прогнозов, сходящую-
сходящуюся в надлежащем смысле к hA) (z). Это можно доказать также, рас-
рассматривая вектор коэффициентов регрессии х (п) на х (п — 1), ...
. . ., х (п — N), который равен
'2
1
0
0
1
2
1
0
0
1
2
0
0
0
1
0
... 0
... 0
...0
...2
1 l
0
0
V о
Легко проверить, что на у'-м месте первого столбца обратной матрицы
находится элемент
Задача описания случаев, когда h (z) представляется простым
оо
аналитическим выражением вида 2 Р 0) z° (т- е* когда х (п) порож-
1
дается бесконечной авторегрессией), трудна по существу, так как
мы имеем дело с разложением h{1) на единичной окружности в средне-
среднеквадратичном с весом / (X), относительно которого функции exp ink
не ортогональны.
Указанная выше функция h{1) (z) дает пример частотной характе-
оо
ристики фильтра, не представимого в виде У, a (j) x (n — /).
(X)
(iv) Вернемся к примеру (i). Рассмотрим теперь соотношение
S
0
s
0
P
a
(/) *i
(/) *j
2(
0
0
x (/) zi

154
Гл. III. Прогнозирование и фильтрация случайных процессов
Однако
так что
поэтому получаем соотношение
(Л) 2 Р G) ^"Л (« — /) + S a G) {^ (« — /) — ia> (^ — /)},
1 v
которое позволяет рекуррентно находить х^Цп). Вводя коэффициенты
а (;'), определенные выше в пункте (i), имеем также
= a
/г) + a (v) {x (n — v) — iA) (w — v)}.
откуда
Это соотношение позволяет пересчитывать оценку x(v+1) (/г) при
поступлении следующего наблюдения х (п — v).
Первое из этих рекуррентных соотношений справедливо и в том
случае, когда 2 Р (/) z* имеет корни на единичной окружности.
Определяемый им наилучший прогноз дает точное представление
для детерминированной компоненты (см. теорему И ниже).
(v) Для иллюстрации векторного случая рассмотрим обобщение
примера (iv). Пусть
В
А (в**) GA
В*
А@) = В @) -

3. Общая теория для одномерных процессов с дискретным временем 155
Тогда для прогнозирования на v шагов нам нужна функция
Почти точно так же, как в случае р=1, рассмотренном выше
в пункте (iv), получаем, что второй член равен
откуда
Я s
>) = _ 2 B(i)x«-i) („_/)+ 2 Л (/
1 V
А
Формула, позволяющая пересчитывать х^ (п), тоже получается так же,
как в (iv):
х№ (п) = i(v+D (тг) + С (v) {.г (тг — v) — хA> (тг — v)},
где
3. ОБЩАЯ ТЕОРИЯ ДЛЯ СТАЦИОНАРНЫХ ОДНОМЕРНЫХ ПРОЦЕССОВ
С ДИСКРЕТНЫМ ВРЕМЕНЕМ
Обозначим через Лп гильбертово пространство, порождаемое
величинами х (т), т ^ п. Таким образом, Лп содержит все конеч-
конечные линейные комбинации 2 ajx (nj)i nj ^ n-> a также их средне-
среднеквадратичные пределы. Очевидно, o/llm cz оЖп при т ^ п. Положим
оо
оМ_оо=[\оМп. Пространство SS будет обозначаться оМ**. Одна
—оо
из основных задач прогнозирования заключается в аппроксимации
х (п) элементом подпространства оМп^. Такую аппроксимацию дает
ортогональная проекция х (п) на Мп-\- Обозначим эту проекцию
х (п). Положим 8 (п) = х (п) — х (п), так что 8 (п) _[_ Q^n-i. Оче-
Очевидно, полученный таким способом элемент х {п) минимизирует
среднеквадратичную ошибку. Обозначим через а2 эту минимальную
ошибку, Е (е (пJ) = а2. Наше обозначение подразумевает, что а2 не
зависит от щ это очевидно в силу стационарности.
Если а2 = 0, то процесс х (п) называется чисто детерминиро-
детерминированным. Использование этого термина является условным, так как

156 Гл. III. Прогнозирование и фильтрация случайных процессов
мы ограничиваемся линейным прогнозированием. (Мы поясним это
в примере (и) настоящего параграфа.)
Начнем с доказательства важной теоремы, принадлежащей Воль-
ду [1938].
Теорема 2 (разложение Волъда).
оо
х (п) = 2 а (/) 8 (п — 1) + v (п) =--u(n) + v (га),
о
где
(i) Е{8И8(/1)} = «>2,
(ii) Е {е (т) и (п)} = О,
(Ш) и (п) —чисто детерминированный процесс.
Доказательство. Величины е (?г) — те самые, которые
были определены выше. Так как при т < п мы имеем г (п) J_ c# m cz
cz G^n_! и e (m) 6 ^m» T0 8 (n) -L e (тга), in <. п, откуда следует (i).
Спроектируем х (п) на подпространство, порождаемое величинами
8 (т), т ^. п. Эта проекция равна
где
а(]) = о-*Е(х(п)г(п-])),
так как 8 (т) ортогональны. Отметим, что а @) = 1. Положим
и (п) = х (п) — м (?г). Очевидно, г; (?г) _L е (лгг), /гг ^ п. Однако
v (п) ? с/Жп и 8 (т) _]_ оМП9 т> п, так что (ii) доказано. Пусть Тп
порождается величинами и (т), т ^ п. Тогда и (п) ? оМп = c#n_i 0
© [е (^г)], где [е (^г)] обозначает одномерное подпространство в $?9
порождаемое величиной 8 (^г). Таким образом, и (п) ? оМп_^. Однако
проекция v (п) на f n_i равна проекции и (п) на o#n_i, так как послед-
последнее подпространство есть ортогональная сумма 5^n_i и пространства,
порождаемого 8 (т), т ^ п — 1. Поэтому величина v (n) принадле-
принадлежит подпространству, на которое она проектируется, и ошибка
прогноза для нее равна нулю. Тем самым доказано (ш).
Конечно, если а2 = 0, то компонента и (п) в разложении Вольда
отсутствует. Тогда, поскольку v (п) ? oMn-j для всех /, то и (п) 6
6 ок _оо. С другой стороны, из и (п) ? оМ _оо следует, что и (п) безоши-
безошибочно предсказуем, так что эти два утверждения равносильны. Если
<з//_оо состоит из нуля, то х (п), очевидно, чисто недетерминированный
процесс, в том смысле, что он не содержит детерминированной ком-
компоненты. Ортогональное дополнение oMn.v в Лп порождается вели-
величинами 8 (?г), 8 (п — 1), . . ., 8 (п — v + 1), а ошибка прогноза

3. Общая теория для одномерных процессов с дискретным временем 157
х (п) по значениям х (п — /)t / ^ v, равна
"S « 0") 8 (Я-/)
О
со среднеквадратичной ошибкой
о
Позже мы используем это соотношение.
Докажем теперь основную теорему.
Теорема 3.
я
= ехр[~-^- {log{2л/(Я)}ей].
Если log / (X) неинтегрируем, то интеграл может расходиться
лишь к —оо, так как log / (X) ^/(Я). В этом случае мы считаем,
что правая часть формулы равна нулю, и утверждение остается
в силе. Этот замечательный результат доказан Сегё в случае абсо-
абсолютной непрерывности и распространен на общий случай Колмогоро-
Колмогоровым. Мы в основном следуем подходу Хелсона и Лауденслагера
[1958], ясное изложение которого имеется в работах Гофмана [1962]
и Хелсона [1964].
Доказательство. Мы должны минимизировать
C.1)
-Я
где hN — многочлен, такой, что hN @) =0. Но такие многочлены
плотны в смысле равномерной сходимости в пространстве Ао функ-
функций h, непрерывных на границе круга, голоморфных внутри него
и имеющих нулевое среднее значение, т. е. удовлетворяющих
условию
-*Я
В самом деле, всякая такая функция h на единичной окружности
есть равномерный предел чезаровских средних своего ряда Фурье 1),
а всякое чезаровское среднее задает многочлен требуемого типа,
который, очевидно, равномерно сходится к /г в круге (по принципу
максимума модуля). Поэтому мы можем рассматривать вместо C.1)
аналогичное выражение, где hN пробегает Ао', так как hN сходится
к h равномерно, то hN сходится к h и в среднеквадратичном (с весом
г) Сводку необходимых теорем можно найти в § 3 математического при-
приложения.

158 Гл. III. Прогнозирование и фильтрация случайных процессов
F (dX)). Таким образом, мы должны рассмотреть х)
inf \ \l-h\*F(dX). C.2)
h?Ao *
(Мы будем часто опускать аргументы подинтегральных функций
и пределы интегрирования в тех случаях, когда это не может приве-
привести к недоразумению.) Если g ? AQ и h ? Ао, то gh ? Ао. Функции
из А о можно рассматривать как функции на окружности или в круге,
поскольку одно полностью определяет другое.
Рассмотрим сначала случай абсолютной непрерывности и пока-
покажем, что
inf ( exp {Re h}fdX = exp Г J- ( log Bл/) dx] . C.3)
h?A0 J L ln J J
Далее мы неоднократно используем неравенство между средним
арифметическим и средним геометрическим; отметим, что это нера-
неравенство имеет место для средних значений любой функции, интегри-
интегрируемой относительно любой вероятностной меры (см. Хьюитт и Стром-
берг [1965], стр. 202). Применяя это неравенство к функции
2л/ exp Re h, получаем
exp Г-тг— I log 2л/ dX~\ < inf I / exp Re h dX,
где левая часть равна среднему геометрическому от этой функции,
так как среднее значение h равно нулю. Далее мы докажем лемму 1,
которая утверждает, что правая часть не изменится, если нижняя
грань берется по всем вещественным интегрируемым h с нулевым
средним значением. Если log / интегрируем, то для функции
log Bл/) dX — log 2л/
имеем
так что нижняя рань достигается, и C.3) доказано. Если log/
неинтегрируем, то рассмотрим log Bл/ + е), е > 0, что дает
inf ( exp {Re К) (f + е) dX = exp Г JL [ log Bя/ + e) dl ~] ,
и устремляя е к нулю, получаем C.3) в общем случае.
Если g 6 А0, то и h = A — exp g) 6 А 0, так как Ао замкнуто
относительно элементарных алгебраических операций и равномерной
сходимости. (В этом и состоит преимущество Л о-) Кроме того,
exp{2Reg}Hl-/H2.
!) Мы опускаем пределы интегрирования в этом параграфе и в § 5, 6, так
как они всюду равны —п и я.

3. Общая теория для одномерных процессов с дискретным временем 159
Поэтому
еХр Г JL f bg Bя/) dk] > inf ( 11 - h I2 / dk,
так как нижняя грань теперь берется по множеству функций вида
| 1 — h |2, h ? ^4 0, которое может оказаться шире множества функций
exp Re g, g ? Ао. Если вместо 2я/ подставить | 1 — h |2, то полу-
получаем
ехрГ-i- f log\l-h\4k]> inf -i- [ |l-fc-
(последнее неравенство вытекает из того, что h — g + hg ? Ао)
Поэтому функция log | 1 — h |2 интегрируема, и можно положить
| 1 — h |2 = к ехр р, где /? — вещественная интегрируемая функция
с нулевым средним, а к ^ 1. Так как р можно считать веществен-
вещественной частью некоторой g ? Ао, то получаем обратное неравенство
= к ^fevdX> inf J/e***dA, = exp [-^- j log 2я/ dk] ,
и теорема доказана в абсолютно непрерывном случае. Перейдем
теперь к общему случаю.
Если C.2) равно нулю, то, очевидно, равно нулю и соответствую-
соответствующее выражение, где F (dk) заменено на / (к) dk (/ — производная
абсолютно непрерывной компоненты F), и ехр [Bя)-1 \ log 2я/ dk] —
= 0, так что теорема верна. Поэтому можно считать, что нижняя
грань C.2) положительна. Пусть h0 ? L2 (F) — проекция функции,
тождественно равной единице, на замыкание S множества Аов L2 (F).
Тогда 1 — h0 ортогональна к S и, значит, ко всем элементам Ао.
Пусть hn 6 А о и hn сходится к h0 в L2 (F). Тогда функции A — hn) x
X ехр imk, т > 0, принадлежат Ао и сходятся в L2 (F) к A — h0) X
X ехр imk. Имеем
012 eiw^F (dA,) = lim j (T~=^) A - hn) e^F (dk) =0, m > 0,
поскольку A — /г0) _L ^o и A — /г77) exp imk^AQ. Так как |1—h012
вещественна, то
f | 1-/го|2^тЯ^(^)-О, /w = dzlf ±2,...,
и | 1 — hQ |2 F (dk) должна быть пропорциональна мере Лебега.
Тогда h0 квадратично интегрируема относительно /, является средне-
среднеквадратичным пределом (с весом /) последовательности элементов Ао и
(l—ho)hfdk= \ (l-ho)hF(dk) = O, heA0
(поскольку A — h0) обращается в нуль на носителе скачкообразной
и сингулярной компонент F). Поэтому h0 является минимизирующей

160 Гл. III. Прогнозирование и фильтрация случайных процессов
функцией в случае, когда F (dX) заменяется на / (X) dX, и мы пока-
показали, что только / дает вклад в а2. Это доказывает теорему, за исклю-
исключением использованной выше леммы. Прежде чем к ней перейти,
докажем теорему 4.
Теорема 4. Если х (п) не является чисто детерминированным
(т. е. о2 > 0) и F = F{1) + F{2) + FC) — лебеговское разложение F,
где FA) имеет производную /, то f — спектральная плотность и (п)
(в теореме 2), a FB) + FC) — спектральная функция v {n). Отсюда
следует, что
[Эта теорема утверждает, что F{2) + FC) — спектральная функция
v (п) лишь в том случае, когда log/ интегрируем.]
Доказательство. В конце доказательства теоремы 3 мы
получили, что
п. в.
и что | 1 — h0 |2 обращается в нуль на носителе FB) + FC). Тогда,
согласно теореме 2,
= J в-**Ф (X)
где ф (X) = A — /го) — частотная характеристика фильтра, пре-
преобразующего х (п) в 8 (и). Таким образом, ф (X) =?0 п. в. (dX), но
равна нулю почти всюду относительно спектральной функции про-
процесса и (п) и равна {2 а* {]) exp ijX}'1 п. в. (относительно меры
Лебега). Поэтому v (n) имеет сингулярную спектральную функцию,
и, поскольку разложение Лебега единственно, теорема доказана.
Прежде чем перейти к последней фундаментальной теореме этого
параграфа, докажем использованную выше лемму.
Лемма 1. Величина
inf
h?Ao
не изменяется, если нижняя грань берется по всем интегрируемым
функциям с нулевым средним значением.
Доказательство (Хелсон и Лауденслагер [1958]). Будем
предполагать, что log / интегрируем, так как в противном случае
можно рассмотреть / + 8, 8 > 0, как в доказательстве теоремы 3.

3. Общая теория для одномерных процессов с дискретным временем 161
Положим g (X) = / (X) [ехр{Bя)~1 \ log / dX}]'1, так что log g имеет
нулевое среднее значение. Пусть далее log g = и — у, где и —
неотрицательная часть log g, ay — отрицательная часть, т. е. и =
= log g, если ^ 1, и м = 0 и остальных случаях. Нетрудно по-
построить возрастающие последовательности ограниченных неотри-
неотрицательных функций ип, уп, сходящиеся п. п. к и и и соответственно.
Тогда
lim \ undX = \ udX, lim \ vndX = \ и dX
п J •> n v •/
Для любого ^г найдется такое т, что
\ undX^C \ vmdX.
Умножим теперь ит на постоянную cn ^ 1, так чтобы это неравен-
неравенство перешло в равенство, и обозначим получившуюся функцию vn.
При п -> оо Л1Ы имеем си -*¦ 1, так как \ и dX = \ vdX. Далее, 0 ^
^ ип ^ и, 0 ^ ип ^ у, \ м„ rfX = \ уп с?Х, ап монотонно возрастает
и стремится к и, a vn сходится в каждой точке к у. Если X таково, что
g (X) ^ 1, то и (X) = 0 и, значит, мЛ (X) = 0, откуда, учитывая, что
ехр (уп — у) ^ 1, имеем ехр{и — ип — у + vn) ^ 1. Если же
X таково, что g (X) ^ 1, то у = 0, значит, ип = 0 и ехр (г/ — мп) =
= ехр (log g — ип) ^ g. Таким образом, 0^ ехр {и — ип — г; + уд}-<
^ max (I, g). Поэтому, в силу мажорированной сходимости,
1 (* If
lim -^- \ ехр(у?г — ип) gdk = lim-^ \ exp{u—un — v + vn}dh = l.
Таким образом, умножая это соотношение на ехр Bл) \ \ogfdX ,
имеем
inf ( fe*dX<exp [-^- j log/dA,] , C.4)
где нижняя грань берется по всем ограниченным измеримым
функциям г[) с нулевым средним значением (какими являются
vn — un). Поскольку уже было доказано, что здесь имеет место
равенство даже в том случае, когда нижняя грань берется по
всем интегрируемым гр с нулевым средним значением, то это
верно и для рассматриваемого класса функций. Но любая ограни-
ограниченная измеримая функция я|э с нулевым средним значением есть
предел ограниченной п. в. сходящейся последовательности чезаров-

162 Гл. III. Прогнозирование и фильтрация случайных процессов
ских средних своего ряда Фурье х), поэтому, в силу ограниченной
сходимости, нижняя грань в левой части соотношения C.4) не
меняется, если гр пробегает вещественные тригонометрические много-
многочлены с нулевым средним значением, а значит, и в том случае, когда
нижняя грань берется по функциям Re h. h ? Ао, что и требовалось
доказать.
Теперь мы установим важную характеризацию функций g (z),
для которых f (X) = \ g (X) |2 является спектральной плотностью
чисто недетерминированного процесса.
Теорема 5. Пусть функция log / (X), где f (X) — спектраль-
спектральная плотность, интегрируема. Если
f(K)=\g (e*) |2,
то g (z) однозначно представляется в виде
g (z) = е*"В (z) С (z) Q (z),
где
Д(*н*рП[ ~апГ ТЛ **=<> \*\<и
\ап | A — anz
1^
J е * — z
-я
Здесь ji — положительная сингулярная мера, рп — положительные
целые числа. Функция Q (z) однозначно определяется следующими
требованиями: она голоморфна внутри единичного круга и
Функция вида Q (z) называется внешней функцией. Функции
В (z) и С (z) — внутренние, причем первая носит название произве-
произведения Бляшке. Эти функции голоморфны в единичном круге, не
превосходят по модулю единицы и равны по модулю единице почти
всюду на границе круга. Эти свойства можно взять в качестве опре-
определения внутренней функции; мы покажем, что функция, обладаю-
обладающая такими свойствами, имеет вид В (z) С (z) eia.
х) Впрочем, здесь нужен лишь гораздо проще доказываемый факт: суще-
существует подпоследовательность чезаровских средних, ограниченно сходящаяся
п. в. к \\\ См. математическое приложение.

Г. Общая теория для одномерных процессов с дискретным временем 163
При доказательстве мы в основном следуем Гофману [1962].
Имеем
[^ j РТ(А,-в) log/ (8)йв
где Рг (X) — ядро Пуассона (см. математическое приложение). Вновь
применяя неравенство между средним арифметическим и средним
геометрическим (теперь с весовой функцией BЯ) Рг (X — 9)), мы
видим, что
т. е. Q (r exp iX) квадратично интегрируема для любого г, причем
интегралы равномерно ограничены; таким образом, Q (r exp iX) опре-
определяет функцию, квадратично интегрируемую на единичной окруж-
окружности (коэффициенты Фурье которой суть коэффициенты разложе-
разложения Q (z) в степенной ряд). Далее, поскольку сумма Абеля для
функции log / (X) сходится почти всюду1) к log/(X), то
. в.
Теперь мы используем неравенство леммы 2, доказательство
которой дадим ниже, и покажем, что если g (z) — произвольная голо-
голоморфная в единичном круге функция, такая, что / = | g |2, то
Это следует из цепочки соотношений
log | g (re*) j = log | -^ J g (е*) Pr (X - 9),
Таким образом, функция и (z) = g (z)IQ (z) голоморфна в единич-
единичном круге, ограничена по модулю единицей и равна по модулю еди-
единице на границе круга. Поэтому она является внутренней функцией,
и нам остается установить формулу разложения для таких функций.
Если начало координат является /?-кратным нулем функции и (z),
то мы разделим ее на zp, и если полученная функция неположительна
при z = 0, то разделим ее на ехр ш, чтобы это выполнялось. Новую
функцию по-прежнему обозначим и (z). Пусть аП1 л = 1, 2, ...,—
нули этой функции, лежащие внутри единичного круга, причем
*) Здесь также можно обойтись без использования этой теоремы, так как,
в силу интегрируемости log /, сумма Абеля сходится к log / в среднем, а значит'
и по мере, откуда и вытекает нужный нам результат.

164 Гл. III. Прогнозирование и фильтрация случайных процессов
кратность тг-го нуля равна рп. Рассмотрим сначала
Тогда функция и (z)/vn (z) голоморфна в круге и ограничена по модулю
п
единицей. Отсюда 0 < и @) -< | vn @) | = Ц \ ak | к. Поэтому бесконеч-
1
сх>
ное произведение [{| а^ | h сходится (оно не может расходиться к + оо,
так как ]д&|<1). Функция
удовлетворяет условию
откуда
= -±- ( 2 {1 - Re (BnBm)} dX =
Это показывает, что последовательность Вп сходится в среднеквадра-
среднеквадратичном на единичной окружности к функции В, которая должна
равняться по модулю единице п. в., так как можно найти подпосле-
подпоследовательность Вп, сходящуюся почти всюду (Халмош [1950], стр. 94).
Полагая
В(ге*)=-±- J
имеем
| Вп (re*) - В (re*) |< ±- [ РТ (X- в) | Вп (е*) - В (е
т. е. Вп (z) сходится к В (z) равномерно в любом замкнутом круге,
лежащем внутри единичного круга, и по модулю не превосходит
единицы. Таким образом, В (z) является внутренней функцией спе-
специального вида, называемой произведением Бляшке. Положим
теперь к (z) = и (z)/B (z); эта функция голоморфна, не имеет нулей

3. Общая теория для одномерных процессов с дискретным временем 165
внутри единичного круга и положительна в начале координат. Она
равна по модулю единице п. в. на единичной окружности и, следова-
следовательно, ограничена по модулю единицей в единичном круге. Поло-
Положим k (z) = exp{—h (z)}, где функция h (z) = v (z) + iw (z) голо-
голоморфна в нашем круге и v (z) ^ 0 (поскольку \ к (z) | ^ 1). Тогда
C.5)
где \х — положительная мера. В самом деле, сумма Абеля ряда
Фурье гармонической функции v (z) равна
1
причем
с*
vr {X) dX =
Поэтому абсолютно непрерывные меры на [—jt, я] с плотностями
vr (X) имеют равномерно ограниченные вариации. По теореме Хелли.
мы можем найти сходящуюся подпоследовательность, пределом кото-
которой будет положительная мера |я. Более того, если s пробегает эту'
подпоследовательность, то
[ Pr{X — Q)vs{Q)dQ = 4- [ Pr(X — Q)\i(dQ),
поскольку Рг непрерывна; но левая часть сходится к г; (г ехр ?Л),
откуда следует C.5). Функция
голоморфна в единичном круге, и ее вещественная часть равна и (z).
Поэтому с точностью до аддитивной постоянной она равна h (z),
а эта постоянная должна быть кратной 2я, поскольку h @) веще-
вещественно (mod 2ni). Таким образом,
10
(z)= \ е.Й [x(dQ) (mod2ni).
J e —z
h
Так как | к (ехр ik) \ = 1 п. в., то | и (ехр iX) \ = 0 п. в.; однако
\imv(re^) = \im4- f ^- (^ —в) ц (йв) ==-^--^- п. в.
(см. упражнения к этой главе), так что \х сингулярна.
Тем самым теорема доказана, за исключением единственности.
Очевидно, что множители ехр ш, В (z), Q (z) определяются одно-
однозначно, так что С (z) также определяется однозначно. Легко видеть,
что В @) и С @) вещественны, не превосходят единицы и равны ей

166 Гл. III. Прогнозирование и фильтрация случайных процессов
только в случае, если В (z) и С (z) тождественно равны единице.
Таким образом, если g (z) такова, что g @) = а//2я, то g (z) =
= Q (z), и доказательство закончено.
Лемма 2. Если g (z) интегрируема на единичной окружности
и аналитична в круге, то
\^^g(в'в) Pr{X-Q)dQ\. C.6)
Доказательство (Гофман [1962]). Если g ($ А (см. мате-
математическое приложение), то можно найти h ? А, такую, что
например, первому неравенству удовлетворяет чезаровское среднее
гс-го порядка для функции g при достаточно большом п; умножая его
яа константу, которая при достаточно большом п будет близка
к единице, мы можем добиться выполнения и второго условия. Если
h удовлетворяет этим условиям и е достаточно мало, то левая часть
соотношения C.6) аппроксимируется выражением
e>0
(в силу теоремы о мажорированной сходимости). Таким образом,
мы установим результат в общем случае, если докажем его для
h ? А. Функция log (| Л | + е) вещественна, непрерывна и может
быть равномерно аппроксимирована вещественной частью и функ-
функции р = и -\- iv ? А (поскольку чезаровское среднее для непрерыв-
непрерывной вещественной функции вещественно и принадлежит А). Положим
к = ехр (—р) ? А. Тогда \ к \ = ехр (—и) n\hk\ = \h\ ехр (—и),
что не превосходит ехр е, если
и — е < log{| h I + е} < и + г.
Нетрудно показать, что интеграл от функций gt ? А с весом
Bл) Рг {X — 9) мультипликативен, т. е.
¦5Г j gigiPr (А, - в) dQ = -^ \ giPr (к - 0) dQ ¦ ±- j g2Pr (К - 0) <Ю,
откуда

3. Общая теория для одномерных процессов с дискретным временем 167
Таким образом,
Однако
в силу свойства мультипликативности. Последнее выражение по
абсолютной величине равно
так что
log A- J hPr{X
и, поскольку u <CeH-log{ |fe| + e), имеем
±
откуда
log -^-J
-^г J
Так как е произвольно, то отсюда вытекает доказываемое утверж-
утверждение.
Теперь мы в состоянии завершить изучение оптимального про-
прогноза.
Теорема 6. Пусть х (п) — чисто недетерминированный про-
процесс и Ы^ (z) есть z-преобразование фильтра, дающего наилучший
линейный прогноз величины х (п + v), v > 0, по наблюдениям
х (п — у), / ^ 0. Тогда
2 a (j) zi
C.7)
а (Я
причем a(j) могут быть получены из разложения
(")=-ш \e~inXlog / {l) dK -y^t = ехр

168 Гл. III. Прогнозирование и фильтрация случайных процессов
оо
Доказательство. Мы знаем, что функция (а/]/2я) 2 я (/) z7
о'
голоморфна в круге, равна о/\/2л при z = 0 и квадрат ее модуля
на единичной окружности п. в. равен /(Я). Поэтому она совпадает
с Q (z). Далее,
(«Jг = -^ f
Так как Q (z) не имеет корней внутри круга, то h^ (z) голоморфна
в круге и, как легко проверить, удовлетворяет соотношению
V-1
правая часть которого совпадает с выражением для ошибки прогно-
прогноза. Поэтому- fe(v) (z) есть z-преобразовапие оптимального фильтра.
В самом деле, мы уже знаем, что
j
О -л О
откуда, используя, что 2 а (у) exp i/А, ^= 0 п. в., получаем
Таким образом,
Л
\ e-in
-Л V
Рассмотрим теперь несколько примеров теоретического характе-
характера, использующих и иллюстрирующих результаты этого параграфа.
Примеры
(i) В качестве первого приложения мы докажем результат Гре-
ыапдера (см. Гренандер и Розенблатт [1957], стр. 103), раскрываю-
раскрывающий тесную связь между спектром процесса и собспзенными значе-
значениями матрицы TN с элементами у (п — m), m, п = 1, . . ., N.
Рассмотрим случай, когда / (К) ^ Bя)~х М < сю. Пусть Xj, N —
собственные значения Г^- Имеем
N л N N
у(т-п) zmln =
7П, 71=1
М
1

3. Общая теория для одномерных процессов с дискретным временем 169
откуда | Xj, N | ^ М. Пусть а вещественно, | а | < М'1 и g (X) =
= {In)'1^ + 2яа/ (X)}. Тогда 0 < g (X) < я — четная функция
от X. Поэтому ее можно рассматривать как спектральную плотность
чисто недетерминированного скалярного процесса. Обозначим такой
процесс у (п). Определим о% соотношением
оЬ = inf Е (Ы«)-2 РО) У(п-ПУ\,
где нижняя грань берется по всем |3 (у). Эту величину можно выра-
выразить в терминах ковариационной матрицы величин у (у), / = 0, ...
...,7V, как в упражнении 2 гл. I (см. также Крамер [1946], стр. 336).
Эта ковариационная матрица, которую мы обозначим TN, равнаг
конечно, IN + aTN; используя упомянутое упражнение, имеем
где
Заметим, что о^ убывает при возрастании N и сходится к
согласно теореме 3. Таким образом,
п N
4~ ( bg {1 + 2яа/ {%)} dX = lira log o2N = lim iV У, log a% =
= lim iV {log (det GV+1)) - log (det (Г,))}
iV->oo
N
V-12
iV->oo
Положим
N
4
Ряд

170 Гл. III. Прогнозирование и фильтрация случайных процессов
сходится равномерно при | # | < 1 — б, 8>0. Имеем
N N
iV->OO 1,-ruu
N
>jv) = lim i 2(S(-iri^^) =
и так как а < Л/, 2я/ (X) ^ Л/, то мы можем также разложить
log A + 2яа/ (X)) в логарифмический ряд и проинтегрировать его
почленно, откуда
lim 2(-l)p-1^mJv,p=2(-iri^^
w-°° 1 1 -я
Но левая часть равномерно ограничена величиной
v (aM)P v 1 1
2<^2<o°
при а<BМ)~1. Последовательность /лЛГ (а) = 2 (— l)p-1 ¦— ^iv, p
1
равномерно ограничена при | а | << BМ). Кроме того, для любого
вещественного а в интервале (— 1/М, 1/М) функции /^ (а) сходятся к
оо Я
/() 2A)P
Тогда, согласно теореме Витали (см. Титчмарш, Теория функций,
ГИТТЛ, М.— Л., 1951, стр. 194), последовательность сходится
равномерно в круге | z | < BМ) и, следовательно, / (а) является
аналитической. Заметим, что коэффициенты последовательности ана-
аналитических функций, которая сходится к аналитической функции,
сходятся к коэффициентам этой функции. Приравнивая коэффи-
коэффициенты при одинаковых степенях а, получаем следующую теорему:
Теорема 7. Если f (К) равномерно ограничена и kj)N, j =
= 1, . . ., TV,— собственные значения TN, то
N л
"^
Эта теорема показывает, что величины 2я/ (со;- — я), со;- = 2nj/N,
j = 0, 1, . . ., TV — 1, будут давать в среднем хорошую аппрокси-
аппроксимацию для собственных значений Г^ при большом 7V, в чем можно

3. Общая теория для одномерных процессов с дискретным временем 171
убедиться, аппроксимируя интеграл конечными суммами. С другой
стороны, выражение в правой части можно рассматривать как
момент порядка р функции 2я/ (•) от случайной величины X, рас-
распределенной равномерно на интервале (—я, я]. Теорема утверж-
утверждает, что все моменты последовательности серий наблюдений
{kj,Ni 7 = li • • ч N} сходятся к моментам 2я/ (X).
(п) В упражнении 4 гл. II мы видели, что процесс х (п) =
= cos п\ + sin пц, где ? и ц — независимые величины с одинаковым
(симметричным) распределением вероятностей F, стационарен и имеет
спектральную функцию F. Тогда если F несингулярна и log / инте-
интегрируем, то х (п) не может быть безошибочно предсказан с помощью
линейного выражения от прошлых значений. Однако х (тг), очевидно,
безошибочно предсказуем с помощью нелинейного выражения.
(III) В заключение этого параграфа, следуя Робинсону [1962],
обсудим смысл внутренних функций в теореме 4. Прежде всего для
каждого из таких множителей групповая задержка (см. § 4 гл. II)
неотрицательна. В самом деле, для ехр ш и zp это очевидно, а для
других множителей имеем соответственно
eie-\-eix l f 2{1 — cos (в — к)}
п
Таким образом, фильтр с частотной характеристикой Q является
«фильтром минимальной групповой задержки», поскольку группо-
групповая задержка произведения фильтров аддитивна, и минимизируется
(при фиксированном коэффициенте усиления), когда внутренние
множители отсутствуют.
Рассмотрим теперь фильтр с частотной характеристикой
Тогда
§ I Р (/) Г = 2 « ОТ, 2 I Р (/) I2< S а (/Г- C.8)
0 0 0 0
В самом деле, мы можем представить х (п) в виде
Л (*-/), Е(т|(д)т|(т)) = 8;а2.
о
Тогда s#n_i содержится в подпространстве, порождаемом величина-
величинами т] (п — у), у > 1, так что | р @) |2 а2 — средний квадрат откло-

172 Гл. III. Прогнозирование и фильтрация случайных процессов
нения х (п) от его проекции на это подпространство — не превосхо-
превосходит а2 = а (ОJ а2. Утверждение в общем случае получается совер-
совершенно аналогично. Если представить себе, что эти два фильтра
имеют один и тот же вход, то оптимальный фильтр приписывает
максимально возможный вес самым поздним входным сигналам (при
фиксированном коэффициенте усиления). Произвольный односторон-
односторонний фильтр с заданным коэффициентом усиления получается путем
последовательного соединения оптимального фильтра и фильтров,
отвечающих внутренним множителям, которые, как мы видели, при-
приводят к задержке выходных сигналов.
4. ОБЩАЯ ТЕОРИЯ ДЛЯ СТАЦИОНАРНЫХ ОДНОМЕРНЫХ ПРОЦЕССОВ
С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ х)
Мы не будем проводить здесь подробное рассмотрение, но укажем,
каким образом результаты § 3 приводят к соответствующим резуль-
результатам для непрерывного времени. Мы следуем Дубу [1953] и Гоф-
Гофману [1962]. Другой подход излагается в работе Хелсона [1964].
Основным инструментом служит отображение замкнутого единич-
единичного круга на левую полуплоскость (вместе с мнимой осью), задавае-
задаваемое функцией
ш __ z—1 \-\-w
W ~ 2+1 ' % ~ 1—W '
Это отображение переводит границу (z = exp iX) в границу (w — it),
причем т = tg 1/2^, откуда
1 dk 1
Основной результат предыдущего параграфа утверждает, что
функция / (X) является квадратом модуля голоморфной в единичном
круге функции тогда и только тогда, когда ее логарифм интегрируем.
Аналогичная теорема для полуплоскости, принадлежащая Пэли
и Винеру [1934], гласит, что спектральная плотность / (т), — сю <<
< т < оо, представима в виде
I ГУ (q\ P^S rfQ
I 1Л/ l О I t> Ц/О
0
тогда и только тогда, когда
м dT<0O. D.i)
— оо
Доказательство основывается на соответствии между пространства-
пространствами Hj (/ = 1, 2) для единичного круга и для левой полуплоскости 2);
*) Этот параграф можно опустить.
2) См. математическое приложение.

4. Общая теория для одномерных процессов с непрерывным временем 173
в случае полуплоскости они состоят из функций, голоморфных
в полуплоскости и интегрируемых или соответственно квадратично
интегрируемых на ее границе. Мы используем одни и те же символы
Нj в случае круга и полуплоскости, так как аргументы (w или z
и т. п.) позволят определить, о каком из пространств идет речь.
Легко видеть, что g (w) ? Н) тогда и только тогда, когда х)
Если / (т) удовлетворяет условиям теоремы Пэли — Винера, то
логарифм функции ф (X) = / (tg 1/2Х) интегрируем, откуда / (т) =
= I g (if) |2 и g (w) ? #2 (так как g (w), равная h (г^Г') » голо-
голоморфна в полуплоскости и квадратично интегрируема на границе,
ибо / (т) интегрируема).
Теперь положим
= -~=r \
V'Zn _w
Для доказательства достаточности остается показать, что a (s) = О
при s < 0. Можно предположить, что g (w) ? H^ fl #2) так как
в противном случае вместо g можно рассмотреть функции
[1 _{и;/A + и;)}»]^),
которые принадлежат Н^ f| Я2 при «>0и сходятся в среднеквадра-
•тичном к g. При этом предположении найдется функция h ^ Ни
такая, что
х) Здесь, очевидно, необходимо дать точное определение классов Харди
Hj для полуплоскости: это пространства голоморфных в левой полуплоскости
функций, таких, что
J \h(x+ iy) \j dy < const, x < 0.
— oo
Одна из теорем Пэли — Винера утверждает, что h ? Н2 тогда и т^нько тогда,
когда
оо
h (w) = \ ewsa (s) ds, Re w < 0,
0
CX)
где \ | a (s) |2 ds <; oo.— Прим. перев.

174 Гл. III. Прогнозирование и фильтрация случайных процессов
и при s<CO
— оо — оо
1 Г»
=-з —- ^ fe1 (бг
так как
Необходимость доказывается легко: пусть / (т) имеет указанный
вид; тогда / (т) = \ g (ix) |2, где g (w) определенно принадлежит
II2 для полуплоскости; но тогда / (т) переходит в ф (X) = | h |2,
h 6 Иг, так что log ф (X) интегрируем, откуда сразу следует необ-
необходимость.
Далее, если log / (т) удовлетворяет соотношению D.1), то
X (I) —
о
где ^ (s) — как обычно, процесс с ортогональными приращениями,,
такой, что Е (I (dsJ) = ds.
Теперь, следуя Дубу [1953], мы построим процесс у (п) с дискрет-
дискретным параметром, соответствующий процессу х (t) с непрерывным
параметром, так что подпространство J(Q, порождаемое величинами
х (t), t ^ 0, в пространстве Six (порождаемом всеми х (t)) отобра-
отобразится в подпространство JTq, порождаемое величинами у (п), п^.0,
в пространстве Жу (порождаемом всеми у (п)). Пусть спектральная
функция у (п) равна G (X) = F (tg V2^), где F (х) — спектральная
функция процессах (t). Заметим теперь, что &М0 изОхМорфно подпро-
подпространству в L2 (F), порождаемому функциями ехр (—itx), t ^ 0,
a jp\ изоморфно подпространству в L2 (G), порождаемому функциями
ехр (—inX), n ^ 0. Чтобы установить нужное соответствие, рассмо-
рассмотрим отображение L2 (F) на L2 (G), задаваемое формулой
. ¦<->> ехр 1А. D.^)
Имеем
1 —ix , ,
поэтому функция ехр (—ik), а значит, и ехр (—ink) при любом
п ^ 0, соответствует некоторому элементу из о/,'0 (последний инте-
интеграл может быть аппроксимирован в среднеквадратичном с весом
F (dx) линейными комбинациями функций ехр (—itx), t ^ 0, и поэто-

4. Общая теория для одномерных процессов с непрерывным временем 175
му принадлежит о#0). Итак, образ jV*q содержится в оМ0. Обратно,
функция
exp wt = ex]){t (z — l)/(z -\- 1)}
голоморфна при | z | > 1 и не превосходит по модулю единицы при
t <C 0. Она разлагается в ряд по неположительным степеням z.
На единичной окружности эта функция
exp it (tgV2A,) = exp itx, t < 0,
п. в. равна предельному значению ограниченной функции exp wt,
t < 0. Таким образом, функция exp itx, t < 0, может быть аппрокси-
аппроксимирована ограниченно, а значит, и в среднеквадратичном (по мере
F (dx)) образами функций из , / , следовательно, образ j\T§ содержит-
содержится в q,1IQ. Итак, эти два подпространства отображаются одно в другое
при соответствии D.2). Поскольку процесс х (t) чисто детерминирован
(по определению) тогда и только тогда, когда ?#0 = с#_оо, и о//_оо
соответствует JT _<*> (в силу рассуждений, аналогичных приведенным
выше) х), то имеет место 2)
Теорема 3'. Процесс х (t) чисто недетерминирован в том
и только в том случае, когда F (т) абсолютно непрерывна и имеет
место D.1).
(Мы называем х (t) чисто недетерминированным, если <>//_«> —
нулевое подпространство.)
Далее проще всего установить аналог теоремы 5. Мы опускаем
доказательство, так как оно является очевидным видоизменением
доказательства теоремы 5.
Теорема 5\ Пусть х (t) — недетерминированный процесс со
спектральной плотностью
ja(S)^cfef = |ir(")|2. D.3)
о
Тогда для w = o-\-ix имеем
g(w) = eiaB(w)C(w)Q(w),
оо
Q{w) = exp [^ ] log / (т) —^ JTWj , D.4)
1) См. упражнения к этой главе.
2) Номера теорем в этом параграфе соответствуют номерам аналогичных
теорем предыдущего параграфа.

476 Гл. III. Прогнозирование и фильтрация случайных процессов
где рп — нули функции g (w) в левой полуплоскости, р — неположи-
неположительное число, a v — сингулярная мера.
Замечание. Множитель ехр (—pw) появляется из-за (воз-
(возможного) скачка \i (dX) в точках ±я. Как и прежде, функция Q
определяется однозначно, если потребовать, чтобы она была голо-
голоморфна в левой полуплоскости и удовлетворяла соотношению
оо
<?( — 1) = ехр-^- [ log/(x)
— оо
Мы можем также положить
Q(w)= \ a(s)eswds
для w, лежащих в левой полуплоскости, причем на границе интеграл
сходится в среднеквадратичном.
Рассмотрим теперь задачу нахождения минимума выражения
оо
f |е-«т_ h(iT)\2F(d%),
где функции h (w) должны быть голоморфными в левой полуплоско-
полуплоскости. Это есть среднеквадратичная ошибка прогноза х (t) по о#0>
записанная в спектральной форме. Если F абсолютно непрерывна
и отвечает недетерминированному процессу, то это выражение
можно переписать в виде
выполнив преобразования, аналогичные использованным в § 1, мы
получим, что минимум достигается при
h[(ir) = [e-^Q(iT)UQ(ix)-\
где
[e-iixQ(ix)]+= [ eisxe'itxa(s)ds= \ eisxa(s + t) ds.
t о
Ошибка прогноза при этом равна
где
t
[e~itxQ (it)]. = f eW*-»a (s) ds,

4. Общая теория для одномерных процессов с непрерывным временам ill
т. е.
\ а2{и) da.
о
Доказательство того, что сингулярная часть F не дает вклада в ошиб-
ошибку прогноза, почти не отличается от соответствующего доказатель-
доказательства для дискретного времени, данного в § 3, и мы его опускаем.
Теперь мы докажем теорему 2', после чего сформулируем теорему 4'
и закончим параграф теоремой 6'.
Теорема 2'.
t
x(t) = u(t)+v(t) = J a(t~s)t(ds)+v(t), D.5)
— oo
где
(i) ? (s) — процесс с ортогональными приращениями, такой, что
Е (I (&J) = ds;
(И) Е (и (s) v (*)) = 0;
(iii) v (t) — чисто детерминированный, и (t) — чисто недетерми-
недетерминированный процессы.
Разложим Si в сумму о/И_оо © о/К, где з/К— ортогональное допол-
дополнение &#_оо в S?. Обозначим через u(t) проекцию х (t) на о/М, а через
v (t) — его проекцию на о#_ос. Оператор сдвига U (т), U (т) х (t) =
= х (t + т), коммутирует с проектором на с#_ос, так как, очевидно,
U (т) сУ/_оо = g///_oc; следовательно, он коммутирует и с проектором
на a/It, а значит, и (t) и v (t) стационарны. Кроме того, величины и (t)
порождают оХ, a v(t) порождают о/К_«>, и (ii), очевидно, выполняется.
Пусть f\ — пространство, порождаемое величинами v (t), t ^ t0.
Тогда T'qCZ pJtt0, и поэтому TQ = <М-*>, ибо оМ-°о cz oMto, To cz
с: g///_oo и а#е0 = Уо + ^о» гДе °^о порождается величинами и (t),
t^ t0. Таким образом, v (t) — детерминированный процесс. С дру-
другой стороны, обозначая бесконечно далекое прошлое процесса и (t)
через ^-оо, имеем °ll_oo cz о/М^оо и °IL-oo cz о/К, так что ^?/_сх) есть
нулевое подпространство и и (t) — чисто недетерминированный про-
процесс. Поэтому и (t) имеет абсолютно непрерывный спектр и спек-
спектральную плотность, удовлетворяющую соотношению D.1); пред-
представление D.5) вытекает из теоремы 15 приложения к гл. II.
Ошибка прогноза, очевидно, равна
H-s t
\ a2(s — u)du= \ а2 (и) du,
0
откуда видно, что a (s) действительно совпадает с преобразованием
Фурье функции Q (it).
Так же как в § 3, имеет место

5. Прогнозирование векторных процессов 179
5. ПРОГНОЗИРОВАНИЕ ВЕКТОРНЫХ ПРОЦЕССОВ
С ДИСКРЕТНЫМ ВРЕМЕНЕМ 1)
Многомерный случай общей теории прогнозирования значительно
более сложен, чем одномерный, в силу того обстоятельства, что
/ {%) может быть вырожденной, но ненулевой матрицей. Тем не
менее, благодаря работам Винера и Мазани [1957], [1958], Хелсона
и Лауденслагера [1958] и Розанова [1963], существенная часть теории
была распространена на векторный случай. Мы ограничимся дискрет-
дискретным временем. Относительно случая непрерывного времени см.
Робертсон [1968].
Введем гильбертово пространство Ж, порождаемое величинами
Xj (п)у 7 = 19 • • .» р\ п = 0, ±1, . . ., и обозначим через Лп замкну-
замкнутое подпространство, порождаемое Xj (m), j = 1, . . ., р; т ^ п.
Мы получим наилучший v-шаговый линейный прогноз для х (п + v),
если спроектируем компоненты этого вектора на о/Кп. Ошибку про-
прогноза для v = 1 обозначим 8 (п + 1). Тогда, как и прежде,
Е{г(т) e(/i)'} = 8SiG. E.1)
Полагая
A (/) = Е{х (п) е (п - ]')'} G~\ j > 0 E.2)
(где G — обобщенная обратная матрица для G), имеем
A (j) G = Е{х (п) г (п-j)'},
ибо вектор е (п — /) с вероятностью 1 ортогонален нулевому под-
подпространству матрицы G. Следовательно, А (/) е (п — /) есть проек-
проекция х (п) на пространство, порождаемое е (п — у), так как
Е 1{х (п) - А (у) е (п - ])} г (п - j)'] = 0.
Таким образом, мы можем построить процесс
и (п) = 2 A (j) г (п - у), S А (/) GA (j)* < оо. E.3)
о о
Последнее соотношение вытекает из неравенства Бесселя. Полагая
v (п) = х (п) — и (п), имеем следующую теорему:
Теорема 2" (разложение Вольда). Если х (п) — стационар-
стационарный векторный процесс с р компонентами, то х (п) = и (п) + v (n),
где и (п) определяется соотношениями E.1), E.2) и E.3), и (п) —
детерминированный процесс и Е (v (п) е (т)') = 0.
Доказательство в основном такое же, как в скалярном случае.
Если присутствует только компонента и (п), то мы говорим, что
процесс х (п) чисто недетерминированный.
х) Этот параграф может быть опущен.

180 Гл. Ill. Прогнозирование и фильтрация случайных процессов
При изложении частотного анализа теории прогнозирования мы
следуем сначала Хелсону и Лауденслагеру [1958]. Величина, которая
должна быть минимизирована в случае одношагового прогноза,
равна
я
J (l-
Tr
ибо это есть сумма квадратов ошибок прогноза компонент х @)
по величинам xj (т), / = 1, . . ., р; т = —1, . . ., —N. Миними-
Минимизация, конечно, производится по всевозможным последовательностям
AN (j). Мы рассмотрим формально более общую проблему оценки
выражения
inf р Tr j {A @) - hN (e*)} F (dX) {A @) - hN (**)}•, E.4)
где hN = 2 AN (j) exp ij\ a A @) пробегает всевозможные матрицы
с единичным определителем.
Напомним, что если В — эрмитова неотрицательная матрица,
то существует единственная эрмитова матрица Я, такая, что В =
= exp H (это выражение определяется посредством экспоненциаль-
экспоненциального ряда). Введем обозначение H = \ogB.
Теорема 3". Нижняя грань E.4) равна
я
ехр [-2^- j Tr (log 2я/ (X)} dk] . E.5)
Вновь, если Tr (log / (А,)) неинтегрируем, то E.4) и E.5) следует
считать равными нулю. Если А @), как прежде, фиксирована, то
мы можем взять нижнюю грань по множеству Ао матричнозначных
функций, голоморфных внутри единичного круга, непрерывных на
его границе и имеющих нулевое среднее значение. Тогда почти в точ-
точности так же, как в скалярном случае, можно показать, что если
h — проекция А @) 6 L2 (F) (см. математическое приложение) на
замыкание Ао в L2 (F), то сингулярная компонента F не дает вклада
в нижнюю грань и
(Л @) - h) f (К) (А @) - h)* = С п. в.,
где h и С, конечно, зависят от А @). Поэтому далее мы будем рас-
рассматривать абсолютно непрерывный случай. Докажем соотношение
exp [-JL- j Tr (log 2я/) dl] = inf -±- j Tr (е*2я/) dX, E.6)

5. Прогнозирование векторных процессов 181
где гр пробегает эрмитовы полиномиальные матрицы, такие, что
[ = O. Имеем
[
ехр [-^т- \ Тг(log2л/) йЯ] -exp [-^- f logdetBл/)dk\
где было использовано соотношение Tr log В = log det В и нера-
неравенство между геометрическим и гармоническим средними (один раз
для сумм с собственными значениями матрицы 2л/ и второй раз для
интегралов). Полагая г) W = (ехр 1/2'ф) 2л/ (ехр V2i|)), получаем
а поскольку
Тг log W = log {det (ехр яр) det Bл/)},
находим (используя, что Trip имеет нулевое среднее)
ехр [-±. j Tr log 2nfdk] <-^- { Тг (е*2я/) dl. E.7)
Теперь, как и прежде, можно доказать, что нижняя грань правой
части не изменится, если г|э будет пробегать все матрицы с интегри-
интегрируемым следом (эрмитовы и такие, что Trip имеет нулевое среднее).
В самом деле, если мы определим положительную часть эрмитовой
матрицы как матрицу, собственные значения которой равны поло-
положительным частям собственных значений исходной матрицы, а соб-
собственные векторы — те же самые, то доказательство леммы 1 § 3
почти не изменится. Аналогичный прием позволяет затем показать,
что в E.6) имеет место равенство, так как если Тг log 2л/ интегри-
интегрируем 2), то функция
( J Tilog2nfdX) /-log2л/
является допустимой, и для нее в соотношении E.7) достигается
равенство.
Теперь нам придется рассуждать иначе, нежели при доказатель-
доказательстве аналогичной теоремы в § 3, так как из А = ехр В не следует,
что А А* = ехр (В + В*) (это верно лишь в случае, если А комму-
коммутирует с А*). Для этой цели докажем следующую лемму:
х) Мы определяем матрицу W так, чтобы она была эрмитовой.
2) В противном случае мы действуем так же, как при доказательстве теоре-
теоремы 3 § 3.

182 Гл. III. Прогнозирование и фильтрация случайных процессов
Лемма 3. Если нижняя грань E.4) положительна, то / (A,)
факторизуется по формуле
где Ф голоморфна в единичном круге, причем
Доказательство. Пусть h — элемент замыкания Ао
в L2 (F), минимизирующий
Тогда (/ + К) / (/ + h)* = С, где С невырожденна, так как в против-
противном случае можно было бы найти матрицу А @) с det {А @)} = 1,
такую, что величина
Тг (А @) С А @)*) = j Tr (А @) + А @) h) / {А @) + Л @) Л)* dX
сколь угодно мала. (В качестве первой строки матрицы А @) возьмем
а*, такую, что а*Са = 0. Выберем остальные строки так, чтобы они
со строкой а* образовывали линейно независимую систему. Умножая
их на подходящую постоянную, мы можем сделать след сколь угодно
малым, тогда как строку а* можно, не изменяя следа, умножить на
другую ненулевую постоянную, чтобы определитель А @) равнялся
единице.) Полагая А = С—1!* (берется положительный корень),
имеем {А + Ah) f(A + Ah)* = /, так что / = (А + Ah)'1 (A+Ah)*-1.
Так как элементы матрицы (A-j-Ah)'1, очевидно, квадратично инте-
интегрируемы по мере dk и
Ah)* eM dX =
то лемма доказана.
Пусть г|) — такое же, как в соотношении E.6). Тогда собственные
значения матрицы ехр (— г|)) строго больше нуля, и мы получим
положительную нижнюю грань в соотношении E.4), если в качестве /
возьмем ехр (— г|)); следовательно, ехр (—г|)) = ВВ*, где
оо
В = 2В(л)^, det В @)ф0.
Покажем теперь, что det В @) = 1. Так как В В* = Тг (ехр (—г|))),
то элементы матрицы В равномерно ограничены, а значит, интегри-

5. Прогнозирование векторных процессов 183
руемы, и поскольку
оо
det В = det В @) + 2 с {п) ein\
1
то из неравенства для среднего геометрического и среднего арифме-
арифметического получаем
~ \ log | det В |2 dX < log | det В @) |2.
По построению В в лемме имеем ехр г|) =D*D, где D~x = A-\~Ah;
аналогично, для D имеем
-^ jlog|det?|2dA<log|det.4|2.
Так как В @) А = /, то, складывая эти неравенства, получаем, что
они должны обращаться в равенства. По предположению,
0 = JL f log (det e*) d% = log | det A \\
и определитель А положителен, ибо А — эрмитова положительная
матрица; следовательно, этот определитель, как и определитель
матрицы В @), должен равняться единице. Таким образом, мы
показали, что если я|) такая, как в соотношении E.6), то
-±f j Tr (еПл!) dX = -^L- j Tr (D2nfD*) dX, E.8)
где D = A -{-H, определитель А равен единице и
2(y)
1
Так как нижняя грань выражений в левой части E.8) равна, как
мы доказали, exp Bnp)~1 \ Tr (log 2я/) dA,, то, взяв нижнюю грань
правой части по, очевидно, более широкому классу, мы получим
inf—L- |Тг{Л@) + А}2л/{Л@) + /г}*ЙХ<ехр^- jfrr(log 2я/) <#и
Так же как в одномерном случае, противоположное неравенство
можно получить из соотношения E.8), и теорема 3" доказана.
Эту теорему можно сформулировать в следующей эквивалентной
форме:
Теорема 3".
эх
det (G) = exp -L- j log {det 2л/ (A,)} dX.
-я
Доказательство мы оставляем читателю в качестве упражнения.
Если det G > 0, то мы говорим, что х (п) — процесс максималъ-

184 Гл. Ill. Прогнозирование и фильтрация случайных процессов
ного ранга. Конечно, может быть и так, что det G — О, но процесс
чисто недетерминированный, так как G может оказаться ненулевой
матрицей.
Теорема 4". Если х (п) — процесс максимального ранга, то
U (Я) = / (Я), Fv (К) = FB) (X) + FC) (X).
Достаточно показать, что Fv (k) сингулярна; тогда утверждение
будет следовать из единственности разложения Лебега. Этот резуль-
результат принадлежит Винеру и Мазани [1957].
Докажем сначала, что если А и В — эрмитовы неотрицательные
матрицы, то det (А +5)/Тг (А -\-В) > det А/Тт А. Очевидно,
мы можем предположить, что А диагональна, и тогда ясно, что
det (A -\-В)^ det -4 + 2 ^. jA*1* (гДе ^^ — соответствующее
алгебраическое дополнение). Так как Тг A ^ajtj,ToTrA det (A -\-B) ^
> Tr A det A + Тг В det A = det А Тг (А + В), что и требовалось
доказать. Таким образом,
det/. det/ц
"" Tr/U
откуда
det/>det/u |1 +-
Следовател ьно,
/u\l
j log (det 2nf) dX^>2n log (det G) + f log 1 1 +
Таким образом, второе слагаемое равно нулю, а так как Тг fu п. в.
конечен, то Тг (— Fv (k) ) равен нулю п. в., откуда, учитывая эрми-
эрмитову неотрицательность (d/dX)Fv (X), получаем результат.
Утверждение теоремы 4" может не выполняться, если х (п) не
является процессом максимального ранга (см. Мазани [1959а]).
До сих пор не удалось полностью обобщить теорему 5, так как
отсутствует исчерпывающее описание «внешних» функций. Другими
словами, для функции Q (z) = (^А (/') z*) G1^ не найдено простого
конечного выражения в терминах /, даже при условии Q (ОJ = G.
Основная работа в этом направлении проделана Мазани [1959b],
[1960], который использовал математические результаты Потапова
[1955]. См. также Хелсон [1964]. Однако в случае процессов макси-
максимального ранга имеет место полный аналог теоремы 1, который мы
назовем теоремой 1", хотя у нас не было теоремы 1'.
Теорема 1"'. Если х (п) — чисто недетерминированный про-
иесс максимального ранга, то имеет место теорема 1 во всей ее общно-

6. Проблемы интерполяции 185
emu, причем функция
ф (е&) = ^ А (/)
о
однозначно определяется следующими условиями: Ф (z) голоморфна
в единичном круге, / (А,) = Bл) ФСФ* и Ф @) = /р.
Эта теорема доказывается почти точно так же, как теорема 1;
исключение составляет единственность, которую мы сейчас устано-
установим. Рассмотрим det Ф (z). Очевидно, что эта функция отлична от
нуля почти всюду на окружности, так как этим свойством обладает
det / (А,). Положим R (z) = Ф (z) W (z) G1'*, где W (z) — другая
функция, удовлетворяющая тем же условиям, что и Ф (z). Тогда
на окружности RR* = 2яФ~1/Ф*~1 = 6?, так что по формуле поляр-
полярного разложения для матриц R = G^S, где S унитарна. Далее,
рассматривая
можно доказать, что GX^S голоморфна внутри круга. В самом деле,
| G (z) | ^ | det (Ф (z)) | точно так же, как при доказательстве
теоремы 5; но G @) = det Ф @) = 1, и, поскольку G (z) не имеет
нулей в круге, функция det (Ф (z))/G (z) голоморфна в круге и по
модулю меньше или равна единице. По принципу максимума модуля
эта функция тождественно равна единице, и det Ф (z) голоморфен
и не имеет нулей в круге. Следовательно, R (z), а значит, и S (z),
голоморфны в круге. Но S @) = /р, и доказательство завершается
теперь так же, как для теоремы 3; именно, S* = S'1, значит,
S (ехр й) голоморфна как внутри, так и вне круга, и, следова-
следовательно, есть постоянная матрица, которая должна равняться 1Р.
Таким образом, R (z) = G1^, т. е. Ф (z) = W (z), и единственность
доказана.
Остается проблема фактического построения коэффициентов А (у),
т. е. функции Ф (z), которая в скалярном случае принципиально
решается теоремой 5. Однако, как объяснялось во введении, построе-
построение алгоритма для определения А (/) не имеет большого практиче-
практического значения, и мы не будем далее обсуждать этот вопрос.
6. ПРОБЛЕМЫ ИНТЕРПОЛЯЦИИ
Проблемы интерполяции более просты, чем проблемы прогнозиро-
прогнозирования, так как на интерполирующие фильтры налагается меньше
ограничений. Мы рассмотрим сначала интерполяцию пропущенного
значения для случайного процесса с дискретным временем, а затем
интерполяцию между выборочными точками для процесса с непрерыв-
непрерывным временем. Другие результаты по интерполяции читатель может
найти в работах Гренандера и Розенблатта [1957], Розанова [1963]
и Бонне [1965], использованных в нашем изложении.

186 Гл. III. Прогнозирование и фильтрация случайных процессов
Мы ищем теперь такую линейную комбинацию х (п) величин
х (п — /), ; Ф О, которая минимизирует ошибку интерполяции
|| х (п) —х (п) ||2. Так же как в § 2, введем частотные характери-
характеристики
N
hN 1еЩ = У 'Aw (/) eij\ F.1)
где штрих означает отсутствие слагаемого при j = 0. Мы ищем
функцию х) h, такую, что
п
lim Tr Г f (hjrhN)F(dX)(h-hN)*] =0,
— Я
причем
я
ТгГ
-я
минимален. Тогда
(п) [ ()
-я
Положим
2 - Е {(х (л) - х (п)) (х (п) - х (п))'}.
Очевидно, мы можем, не ограничивая общности, считать, что п = 0.
Если F (X) не является абсолютно непрерывной, то, как мы знаем
из § 5, сингулярная часть F отвечает безошибочно предсказуемому
процессу, который, следовательно, может быть и безошибочно интер-
интерполирован. Это приводит нас к рассмотрению абсолютно непрерыв-
непрерывного случая. Предположим, что не существует ненулевого вектора а,
такого, что а'х (п) = 0 почти наверное. Очевидно, что это пред-
предположение не ограничивает общности, ибо в противном случае
можно было бы понизить размерность х (п).
Теорема 8. Пусть х (п) удовлетворяет сформулированному
выше условию и имеет абсолютно непрерывный спектр, и пусть
/(А,) — обобщенная обратная к матрице f (X). Необходимым
и достаточным условием невырожденности 2 является интегрируе-
интегрируемость f (X). Если это условие выполнено, то частотная характери-
характеристика оптимального интерполирующего фильтра равна
. F-2)
Мы по-прежнему будем часто опускать аргумент функции h.

6. Проблемы интерполяции 187
причем
Доказательство. Очевидно, что для любой пары ком-
комплексных векторов а, Р должно выполняться равенство
Е {а* {х @) - х @)} х (и)' р} = 0, л ^= 0,
т. е.
а* С GР - Л) / (X) е™ dl$ - 0, п ф 0. F.3)
Отсюда следует, что
(/, -h)f = C,
где С — постоянная матрица. Таким образом,
Это решение не единственно, однако любое другое решение отли-
отличается от него на матрицу, которая при умножении справа на /
дает нуль и, следовательно, приводит к той же 2. Далее, из F.3)
вытекает также, что
\(Ip-h)fh*dk = O,
-Я
так как h есть среднеквадратичный предел выражений вида F.1).
Таким образом,
2 =
откуда следует, что С = С* = С. Предположим сначала, что /"
интегрируема; тогда
'; F/0
-я
решением этого уравнения является

188 Гл. III. Прогнозирование и фильтрация случайных процессов
Вновь любое другое решение F.4) приводит к той же] самой 2;
в самом деле, положим
-я
тогда мы должны рассмотреть решения уравнения X = ХАХ. Если
X = С-{-D, где С дается соотношением F.5), то, полагая Е =
= А А'1 = А~гА, мы можем считать, что ED = DE = EDE = D,
так как ЕХЕ, очевидно, приводит к той же 2, что и X. Тогда имеем
С + D = (C + D) A (C + D) = CAC+CAD+DAC + DAD,
т. е.
D = ED + DE + DAD,
откуда
—D = DAD = (-D) А (—Я),
и X = С — Z?!, где />! — также решение уравнения X = ХЛХ,
но теперь Х4Х = САС, что и требовалось доказать.
Таким образом, мы можем взять С в виде F.5), и теорема, за
исключением утверждения о невырожденности 2, будет доказана.
Если /(X) интегрируема, то 2 действительно невырожденна, ибо
в противном случае найдется вектор а, такой, что'
j а'/(А,) а ей, = 0, а'а=1.
Выбирая ортогональную матрицу Р, первая строка которой совпа-
совпадает с а, получаем, что Pf (X) Р' для всех X имеет нулевые элементы
в первой строке и первом столбце, откуда следует, что а'х (п) = О
почти наверное. С другой стороны, если 2 невырожденна, то, учиты-
учитывая соотношение \ AР — /г)/ AР — h) dX = \ Dя)~2 2/~12 dX, мы
видим, что 2/~12 интегрируема, значит, и f~x должна быть интегри-
интегрируемой. Доказательство завершено.
Пусть х (п) — скалярный процесс; тогда если / (к)'1 не интегри-
интегрируема, то ошибка интерполяции равна нулю, и обратно (это можно
доказать, рассматривая f(X)-\-e, г > 0, и устремляя 8 к нулю).
В скалярном случае 2 равна среднему гармоническому функции
2л/ (X); ее можно рассматривать как среднее гармоническое и в общем
случае. Таким образом, имеет место любопытная сводка результатов
об оценивании х @). В случае когда мы не имеем никакой информации
о прошлом и будущем, мы полагаем х @) = 0 и получаем матрицу
ошибок Г @).
Используемая информация Матрица ошибок
Отсутствие информации Среднее арифметическое 2л/
Прошлое Среднее геометрическое 2л/
Прошлое и будущее Среднее гармоническое 2л/

6. Проблемы интерполяции
189
Рассмотрим теперь задачу интерполирования значения х (t)
одномерного процесса с непрерывным временем по наблюдениям
х (п), п = О, ч= 1, ... . Вновь, не ограничивая общности, можно
рассматривать только абсолютно непрерывный случай. Таким обра-
образом, мы должны минимизировать величину
где ht принадлежит части пространства L2(f dk), порождаемой функ-
функциями exp ink, тг—О, ±1, ... .
Следовательно, мы должны иметь
f {e-^ — ht}e-^idk = Q, n = 0, ±1, ... ,
— оо
и, поскольку ht(k) = ht(k-\-2kn),
Jl ОО ОО
С
-Я -оо
Отсюда
У,
что по модулю не превосходит единицы. Ошибка интерполяции равна
I оо 2
f(k)dk.
Если эта ошибка равна нулю, то /^ (X) exp UX должна равняться
единице п. в. относительно fdX. Но если к возрастает на 2/я, то
ht (к) exp itk просто домножается на exp (i2jnt), так что / должна
равняться нулю вне интервала [—я, я]. Обратно, если это выпол-
выполняется, то ошибка интерполяции, очевидно, равна нулю, так что
это является довольно очевидным необходимым и достаточным усло-
условием того, что любая величина х (t) может быть точно восстановлена
только по наблюдениям х (п). Если наблюдения производятся в точ-
точках An, A >> 0, то, переходя к процессу у (t) = x (At) со спектраль-
спектральной плотностью fy (к) — А/* (^/Л)> мы получаем так называемую
теорему отсчетов:
Теорема 9. Пусть х (t) имеет абсолютно непрерывный спектр
и спектральную плотность /. Для того чтобы любое значение х (t)

190 Гл. III, Прогнозирование и фильтрация случайных процессов
могло быть точно найдено с помощью линейной интерполяции, осно-
основанной на величинах х (А/г), п = 0, + 1, . . ., необходимо и достаточ-
достаточно, чтобы / обращалась в нуль вне интервала I—я/Д, я/А].
В случае когда ошибка интерполяции равна нулю, легко выпи-
выписать интерполяционную формулу:
Тогда, если
то
-я
и мы получаем формулу Шеннона1)
7. ФИЛЬТРАЦИЯ И ВЬЩЕЛЕНИЕ СИГНАЛА
Рассмотрим теперь случай, когда мы наблюдаем сигнал s (n) с добав-
добавкой шума х (п) и хотим выделить s (п) из у (п) = s (n)-{-x (п),
используя наблюдения до момента д+fi, где [i может быть теперь
положительным. Дальнейшее изложение является более общим, чем
это необходимо, в том смысле, что подобная математическая общ-
общность несущественна с практической точки зрения, однако на этом
этапе общие рассуждения нисколько не сложнее частных. С другой
стороны, как уже говорилось во введении, в последнее время важную
роль стали играть специальные нестационарные модели. Тем не
менее результаты этого параграфа представляются весьма ценными
и могут быть использованы для разработки методов, применимых
не только для строго очерченного класса моделей, послужившего
для них отправной точкой/",1
l\(i) Скалярный случай, дискретное время. Рассматривается модель
у (п) = s (п) + х (л), [JE (s (n) х (т)) = 0,
где s (п) их (п) стационарны. Наблюдается только у (п). Мы ищем
оценку2) s (п) сигнала s (п) по наблюдениям до момента n-{-\i,
г) Ранее Шеннона это соотношение было предложено В. А. Котельниковым
в 1933 г. — Прим. перев.
2) Мы пока опускаем в обозначениях индекс fx.

7. Фильтрация и выделение сигнала 191
минимизирующую E{(s(n) —s (п)J}. Так же как в предыдущем
параграфе, имеем
я я
s (п) = ( е- ln'-h (e»-) zy (d%), j hFy (dk) h* dl < oo,
-Я -Jt
и нужно найти h. Мы можем рассматривать лишь тот случай, когда
у (п) чисто недетерминирован, ибо детерминированная компонента
в принципе может быть предсказана безошибочно, и для нее проблема
выделения сигнала сводится к более простому случаю \х = оо,
который мы рассмотрим позднее.
Теорема 10. Если у (п) чисто недетерминирован, то частот-
частотная характеристика h^ оптимального фильтра s№ (/г) для выделе-
выделения сигнала s (п) из у (п) = s (п) + х (п) по наблюдениям у (т),
т^п-±-\1, равна
в*)-* [-f^t^L] , G.1)
где
*) G.2)
и g (z) голоморфна и не имеет нулей в единичном круге. Среднеквадра-
Среднеквадратичная ошибка равна
f /.sW/хЩ ,, | f 1 Г e^fs
-л -л
Если [х — оо, то независимо от того, является у (п) чисто недетерми-
недетерминированным или нет,
П dFy(X) '
а среднеквадратичная ошибка равна
Доказательство. Мы опускаем индекс [х, так как он
в течение доказательства остается неизменным. Среднеквадратичная
ошибка равна
Я Jt
Е [ { J e~M'Zs №) - \ e~in% (e^) zy (dl) }2] =
-Jt
Jt
\h\*fy-2Rehfs)dX.

192
Гл. Ill. Прогнозирование и фильтрация случайных процессов
В силу теорем 5 и 3 § 3, факторизация G.2) действительно суще-
существует. Используя ее в последнем выражении и выполняя преобразо-
преобразования, получаем
IX. G.3)
Так как fjfy < 1, то функция fllfy интегрируема. Поэтому fjg
квадратично интегрируема. Заметим теперь, что ехр i\iXh является
среднеквадратичным пределом (относительно fy (А,)) выражений
N
так как мы можем использовать только наблюдения до момента
п-\-\х. Поскольку g также является среднеквадратичным пределом
подобных выражений, для минимизации G.3) мы должны минимизи-
минимизировать г)
(% X О Л I 1 О
d>,
G.4)
и лучшее, что мы можем выбрать, это
Тогда
+
ОО.
Кроме того, так же как при доказательства теоремы 67
J
— я
где 8 (п) — обновляющая последовательность для чисто недетерми-
недетерминированного процесса у (п). Так как правая часть соотношения G.4)
может быть записана в форме
2РУ
О О
то G.1) опредэляот фильтр требуемого вида
г) Используемый здесь (и в теореме 1) метод рэшония является разновидно-
разновидностью метода Винера — Хопфа.

7. Фильтрация и выделение сигнала 193
который оптимален, поскольку минимизирует среднеквадратичную
ошибку. Формула для среднеквадратичной ошибки немедленно полу-
получается из G.3), ибо
, _ /! _ fsfy-Ps _ f8fx
JS -j— — 7 7 •
Jy Jy ly
В случае [х = oo и произвольной Fy мы должны минимизировать
выражение
{Fs (dX) +1 й<~> |2 Fy (dX) - 2Re h^Fs (dX)} =
которое, очевидно, минимально при
Эта функция, разумеется, квадратично интегрируема относительно
Fy, Среднеквадратичная ошибка равна
и доказательство завершено.
Величина R = dFJdFх, в тех случаях когда она определена,
называется отношением сигнал-шум. Грубо говоря, оптимальный
фильтр при |л = оо может быть представлен в виде RI(i-{-R), так
что оптимальный фильтр имеет простую интерпретацию в терминах
этого отношения.
Даже если мы можем считать /s, fy известными и можем построить
каноническую факторизацию для /у, приведение G.3) к форме,
допускающей численный расчет выделения сигнала (например, раз-
разложение в ряд Фурье, сходящийся в среднеквадратичном, если такое
разложение существует, как будет в случае fy ^ а > 0), может
оказаться очень сложным. В силу подобных причин, полученные
формулы, за исключением простых случаев, используются редко.
Как уже отмечалось выше, эти рассмотрения полезны отчасти тем,
что дают привлекательное своей законченностью математическое
решение проблемы, а в основном — тем, что оптимальное решение
доставляет стандарт, с которым можно сравнивать менее системати-
систематические (но практически более полезные) процедуры. Кроме того,
изучение этого решения приводит к более ясному пониманию про-
проблемы.
Рассмотрим пример

194 Гл. III. Прогнозирование и фильтрация случайных процессов
Тогда
2л
Чтобы факторизовать числитель, рассмотрим
(Ух @) A + Р2) + ст|> - р7, @) z - рт* @) z =
Корни этого выражения равны
причем корень, меньший по модулю единицы, соответствует знаку
минус. Обозначим его р. Тогда
2я A_р^)A_р,-^)
Следовательно,
— pei*.) L A_ре-^) 2лA-р«а) A —р«-Л) J+
Первая формула вытекает из соотношения
1 — ре'
и из равенства
так что
Р7х@)

7. Фильтрация и выделение сигнала 195
С другой стороны,
% {A __ pe-iX) A _ р*И,)|-1]+ =
и, преобразуя это выражение, мы получаем вторую формулу. Обсу-
Обсудим полученный результат в случае \л = 0. Так как Р+Р =
= (Р+Р) (! + 9), 9>0, то всегда | р |< | р |. Если 0-> 0,
то, очевидно, Р -> р, а если 0 -> оо, то Р -> 0. Следовательно, «шири-
«ширина полосы» х) фильтра, которая зависит только от параметра р
и уменьшается при его возрастании, при данном р зависит только
от 0. При 0 -> 0 шум становится преобладающим, за исключением
очень узкого диапазона вблизи нулевой частоты, где мощность
сигнала велика. Таким образом, р берется настолько большой,
насколько это возможно, и ширина полосы становится узкой. При
0 -> оо полоса становится шире. Вычисления, при заданных значе-
значениях o>g, p и ух @), несложны. Обозначим теперь через s^) (п) значе-
значение сигнала s (п), оцененное по наблюдениям до момента п -f [x.
Тогда (после простых преобразований, которые мы оставляем в каче-
качестве упражнения)
(-|)#(rc-f 1),
[х>0.
В частности, если мы вычислим начальное значение si0) (n0), то
s@> (ио + /)» / ^ 1» получаются рекуррентно и могут быть исполь-
использованы для пересчета s^) (лг0 —1~ /)» [х ^ 0, с помощью третьего
равенства.
(ii) Обратимся теперь к векторному случаю. Если \х < оо, то
мы снова предположим, что у (п) имеет абсолютно непрерывный
спектр и является чисто недетерминированным, однако при \х = оо
это предположение не потребуется. Для случая \х = оо введем матри-
матрицы fsi fy производных Fs, Fy по мере т (К) = Тг (Fy (X)). Так,
например,
f Fy (dk) - [ fy (X) т (d%)
-1) Понятие «ширины полосы» определяется нестрого (см. гл. V). Здесь
имеется в виду ширина диапазона, в котором коэффициент усиления фильтра
аметно отличен от нуля.

196 Гл. III. Прогнозирование и фильтрация случайных процессов
для всех измеримых по Лебегу множеств S. Будем обозначать через
fy1 обобщенную обратную к fy.
Имеет место следующая теорема, доказательство которой мы
опускаем, поскольку оно совершенно аналогично доказательству
теоремы 10.
Теорема 10'. Пусть у (п) = s (п) + х (п) — чисто недетер-
недетерминированный векторный процесс максимального ранга. Тогда частот-
частотная характеристика оптимального фильтра для выделения s (n) по
наблюдениям у (т), m^n-{-\i, равна
h» = е-{^ [eWfaC* (е^)-% С (е^)~\
где С = ФСх/2, а Ф, G указаны в теореме 1". Ковариационная матрица
ошибок равна
Utvix + [e^fsC*-1]. [e^/sC*]!} dX.
-Л
В случае \i = 00 без каких-либо ограничений на спектр у (п) имеем
K = fsfy\
а ковариационная матрица ошибок равна
(ш) Рассмотрим теперь пример, основанный на нестационарной
модели, которая, впрочем, весьма близка к стационарности. (См. § 3
гл. I и п. (ш) § 6 гл. II. Рассмотрения этого последнего параграфа
несомненно можно было бы обобщить таким образом, чтобы они
охватывали и результаты настоящего примера. Однако здесь мы
избрали более привычный способ изложения.) Мы рассмотрим ска-
скалярный случай и построим модель ежемесячных изменений неко-
некоторого сезонного экономического показателя х). Итак, выберем s (n)
в виде
б 6 2п'
s (п) = 2 (aJ fa) cos XJn + Pj (^) sin kjn} = 2 sj (n), Xj = -^ ,
где <%j (n) и Pj (n) полностью не связаны друг с другом и с х (п), т. е.
Е (х (п) s (п + т)) = Е (а, (п) pfe (п + т)) = 0.
х) На практике может потребоваться предварительная фильтрация данных
для устранения доминирующей низкочастотной компоненты, например, с помо-
помощью вычитания центрированного двенадцатимесячного скользящего среднего.
Это изменит s (n), но эффект обычно будет незначительным.

7. Фильтрация и выделение сигнала 197
Подходящей моделью для а7- (п), Р7- (п) является следующая *):
а/ (^) = Р7а7 (и — 1) + ?/ W, Р, (л) = pjPj (л — 1) + Ъ (и),
где
Е (8,- (т) ek (л)) = Е (т), (ти) T]fe (и)) = 6*6* а-; Е (е, (ти) r\k (и))=0.
Тогда, полагая ^ (л) = V2{aj- (л) — ф;- (л)}, у = 1, . . ., 5, ?6(л) =
= а6 (/г), мы можем записать
*(n) = S4,(n)ein4
-5
где штрих означает, что член с нулевым запаздыванием отсутствует.
Для того чтобы модель была реалистичной, р7* должны быть очень
близки к единице. В самом деле,
Е {s(m)s(m + n)} = 2' {p?aj (I -p?)} е"'""*'.
так что при /г==0 (mod 12) автокорреляция равна
Если все pj равны 0,95. то для п = 60 эта величина приблизительно
равна е~3, т. е. через 5 лет сезонный показатель может полностью
измениться. Это было бы, по-видимому, чересчур радикальным.
Поэтому мы примем, что р7- == 1. Тогда ^ (п) = t,j (п — 1) + ?./ (л),
где ^ = У2 (8j —^j) exP inh<j. Мы можем представить 5 (п) в виде
-5 -5 * 6
где Zj отвечает (комплексному) стационарному процессу ^ (п).
Перепишем это в виде
— о
-1) Более общей моделью является (Xj (n) = p7a7- (/г — 1) + ^уРу (^ — 1) +
+ еу- (/г), р7- (/г) = —TjOij (п — 1) р7"Р7- (п — 1) + Л;• (п)- Этот случай охватывает-
охватывается рассматриваемой ниже общей моделью (если pj + Ti ^ 1)» однако с точки
зрения моделирования сезонных изменений он является неподходящим, так
как при Xj ф 0 спектр Sj (n) не концентрируется в точках ±Ху-.

198 Гл. Ill. Прогнозирование и фильтрация случайных процессов
где мы положили Xj = ex]) iXj. Это выражение удобно представить
в виде
где
s{n)=\ e-in4p (e^y1 z% (dX) + p(n), G.5)
Р (п) = - 2' { j A -х**) ^ (<&) + It @)} х?.
Оба слагаемых в правой части G.5) имеют бесконечную диспер-
дисперсию и не могут быть разделены подобным образом. Мы увидим,
однако, что эти слагаемые будут фигурировать только в отфильтро-
отфильтрованной форме, когда их дисперсии конечны. Эта модель, очевидно,
допускает обобщение. Пусть, в общем случае, z^ — процесс с орто-
ортогональными приращениями, такой, что Е{| z^ |2} = Д dX. Будем
считать, что ф (z) — многочлен от z с корнями, лежащими вне еди-
единичного круга или па его границе х). Выражение для р (п) будет
иметь вид
pj-i
2 2 c(j,k)x?n\ G.6)
5 fc=l
где pj — кратность корня xj1 функции (p(z). Введем обозначение
и предположим, что log к (X) интегрируем. Положим
к (X) = с (е*) с (е*)
и рассмотрим задачу минимизации E{[s(n) — s(n)]2}, где s (п)
использует наблюдения до момента п-{-\л и
s{n) — s{n)= \ е-{п^{1 — к}ц)-Ч^Х)— \ e-in^hzx(dX) + p(n) — p(n).
Здесь h — частотная характеристика фильтра, которую еще пред-
предстоит определить. Функция z^h (z) должна быть голоморфной в круге;
р (п) есть выход фильтра, когда на вход поступает р (п). Если мы
теперь забудем про член р (п) — р (п) и найдем h из условия мини-
минимальности среднего квадрата остающегося выражения, то, как мы
г) Случай, когда корни лежат внутри круга, также требует рассмотрения,
однако мы не можем здесь на этом останавливаться.

7. Фильтрация и выделение сигнала 199
покажем, р (п) — р (п) автоматически обратится в нуль, т. е. he необ-
необходимостью воспроизводит многочлены вида G.6). Это — желатель-
желательное свойство, ибо оно означает, в данном контексте моделирования
сезонных вариаций, что чисто периодическая сезонная компонента
воспроизводится безошибочно. Наша модель и ее рассмотрение
охватывают более общий случай, чем могло бы показаться, так как
сезонная компонента может представлять собой стохастическую
составляющую плюс чисто периодический «тренд». Итак, мы присту-
приступаем к минимизации выражения
G.7)
при несколько более общих предположениях. Заметим, что форму-
формулируемая ниже теорема 11 дает, в частности, решение задачи о выде-
выделении сигнала из шума для случая, когда сигнал нестационарен,
но имеет структуру, описанную в § 3 гл. I (после теоремы 4). В частно-
частности, при fx = 0 наша теорема дает решение задачи прогнозирования
подобного сигнала.
Теорема 11. Пусть fx и Д — спектральные плотности,
и пусть ф квадратично интегрируема относительно fx на границе
единичного круга и голоморфна внутри него. Пусть функция к =
= Д + Фф/я такова, что log k интегрируем, и пусть к = ее, где
с голоморфна и не имеет нулей в единичном круге. Минимум выраже-
выражения G.7), где h exp щк должна быть голоморфной в единичном круге,
достигается при
где q (z) = 0 при [х ^ 0, а при [х < О q (z) есть многочлен степени
— [х — 1 с коэффициентами qj, удовлетворяющими соотношениям
i
\ 1 с/ 7 (~\ Л
где ф7- — коэффициенты Фурье функции ф. Среднеквадратичная ошиб-
ошибка равна
л
(k~1flfx~\~b()bo)dX, Ьо = [е*^ (/^фс— Qc)]-> G.9)
-л
Если все нули Kj функции ф лежат внутри круга, то G.8) прини-
принимает вид
д<Г-1]+ c~V G.8)'
Фильтр h воспроизводит многочлены р (п) вида G.6).

200 Гл. III. Прогнозирование и фильтрация случайных процессов
Доказательство. Как обычно, мы опускаем индекс
Выражение G.7) можно преобразовать к виду
так что мы должны минимизировать
f |ф-1Дс-1-Лф-1с|2йЛ. G.10)
Функция k~1f^fx интегрируема, так как | k~1f%\ меньше единицы.
В качестве функции Л, для которой выражение G.10) конечно (обо-
(обозначим ее hi), при [х ^ 0 можно взять единицу, что ясно из G.7).
Если же [х < 0, то так поступить нельзя, и мы найдем нужную
функцию h из уравнения
1 -Ms) =q(z)<p(z), G.11)
где q (z) должен быть многочленом от z, а функция z^hi (z) должна
быть голоморфной в круге. Вновь из равенства G.7) вытекает, что
для такой функции h{ выражение G.7) конечно (ибо множитель
| ф |2 из | 1 — hi |2 сократится с функцией | ф |~2, полюсы которой
могли бы привести к расходимости интеграла). Чтобы найти такую hi,
мы должны решить уравнение
2 №5 S Ф^- 1 = -К (z) = -s-n § К jZ\
00 о
где qj, (pj — коэффициенты функций q (z), ф (z). Таким образом,
нужно решить уравнение
i
S ?*-7<Ру = So» Z = 0, .•., — [х— 1,
о
которое, очевидно, имеет единственное решение, поскольку фо^ 0
[ибо [х @) Ф 0]. Если ввести обозначение
ъ = {ф/^ — Ai9"xc}, /г0 = /г — /гь
то мы должны минимизировать
\ [ Ъ —
где fe уже квадратично интегрируема. Заметим, что функция h0
должна быть квадратично интегрируемой относительно | ц)~гс |2 =
= | ф |~2 к и голоморфной в круге. Применяя метод Винера —
Хопфа, получаем
так что

7. Фильтрация и выделение сигнала 201
ибо единственным членом в z&qcy с отрицательной степенью z являет-
является z*\ [х < 0 (если [х ^ 0, то член, содержащий [•]_, обращается
в нуль); {/г — 1} имеет вид аср, где а квадратично интегрируема
относительно к. Таким образом, поскольку фильтр с частотной
характеристикой ф переводит в нуль *) многочлены вида р (п),
разность р (п) — р (п) обращается в нуль; наше исходное утвержде-
утверждение доказано, и G.8) дает нам требуемый оптимальный фильтр.
Если все нули ф, а именно xj1, лежат вне единичного круга,
то G.8) сводится к
h = е~г^ [ф/^]^ сф,
что совпадает с G.8)' и находится в согласии с полученными ранее
результатами, так как | ф |~2 Д — это наша прежняя /s, а ф^
теперь определяет каноническую факторизацию для fy. Соотноше-
Соотношение G.8)' вытекает из того, что теперь мы можем написать
так как е^^ф^ разлагается в ряд Лорана, сходящийся на единич-
единичной окружности. Таким образом, получаем
[ещк (ф-1с_ fxq)~c-1)]+ c'1^ -f [е1^ (ф — q) с]- сф,
ибо ф-1с — /хф^ = (фссф — fx) фс = ф/^ и exp ifiA, (ф — q) =
= h1cp~1, так что второй член равен нулю. Однако в общем случае
выражение G.8)' может не иметь смысла, так как член в квадрат-
квадратных скобках может не быть квадратично интегрируемым на еди-
единичной окружности.
Из G.10) получаем дисперсию ошибки:
Если [х ^ 0, то второй член в [•]_ может быть опущен, а при [х -> оо
мы получаем дисперсию ошибки, равную \ {ftfx/(ft+ \ Ф |2/х)} dk.
Эти рассуждения обобщаются, конечно, и на векторный случай;
подробности читатель может найти в работе Хеннана [1967b].
Чтобы проиллюстрировать полученные результаты, вернемся
к случаю, когда все нули ф, а именно xj1, просты и имеют вид
exp iXj, Xj = 2nj/l2 .Пусть спектральные плотности процессов е7- (п)
и 'Hj (n) равны оI2п. Предположим также, что с (z) голоморфна
и не имеет корней в некотором круге, содержащем внутри единич-
единичный круг. С практической точки зрения эти ограничения на /х
являются несущественными. Тогда выражение G.8) для z, лежащих
на единичной окружности, можно записать в виде G.8)г, так как
х) Чтобы это показать, следует рассмотреть G.6), где ху- — нуль ф (z) крат-
кратности pj.

202 Гл. III. Прогнозирование и фильтрация случайных процессов
^ф (z) с (z) разлагается в ряд Лорана, сходящийся на окружности.
Чтобы оценить функцию h (z) с (z) ф (я), которая квадратично инте-
интегрируема на окружности, рассмотрим
П (I- Й
и возьмем граничное значение этой функции на единичной окруж-
окружности. Таким образом, мы должны оценить
2 thsr
j
При |i<lO это выражение равно
2я
2я
так что
jljl.
При [х > 0 выражение еще более громоздко (хотя в принципе также
несложно). При [х = 1 оно принимает вид
(xjeV1 П A-х^/хл) (l-xfte*) _x
V^L / щ
^ 2л 1 c(xj)c(ea) c(°) c(eiK)
Основная трудность прц использовании этой формулы связана
с вычислением с (z) (в предположении, что Д, ф и }х можно считать
известными). Оно включает факторизацию многочлена высокой сте-
степени, и характер формул прогноза таков, что рекуррентные соот-
соотношения, необходимые для вычислений, очень сложны. Для рас-
рассматриваемого случая (на примере оценки сезонной компоненты)
можно предложить следующую процедуру, дающую приближенное
решение. Временной ряд фильтруется сначала таким образом, что
все компоненты сигнала, за исключением той, которая отвечает
частоте Xj, устраняются или сильно подавляются; можно использо-
использовать, например, предварительную фильтрацию
и
У(Р) -+-^-^ у (п-к)coskkj, by = -^Lf
о
с частотной характеристикой, равной единице при X = ± kj и нулю
при Кк Ф ztkj. Тогда каждую компоненту сигнала можно рассма-
рассматривать отдельно, как будто другие компоненты отсутствуют. Изуче-

8. Фильтр Калмана 203
ние частотной характеристики фильтра для выделения сигнала,
отвечающего частоте Л/, показывает, что если a)lfx (kj) мало (что
будет нормальным), то частотная характеристика оптимального
фильтра сильно сконцентрирована вокруг точек ±А,7-; следовательно,
благодаря тому, что остальные компоненты существенно ослаблены
предварительной фильтрацией, мы можем считать спектральную
плотность шума постоянной. Более подробное описание процедуры
и численные примеры читатель может найти в работе Хеннана и Тер-
рела [1969].
8. ФИЛЬТР КАЛМАНА
Все рассматривавшиеся до сих пор процедуры фильтрации для
выделения сигнала из шума были основаны на методах Фурье
и в соответствии с этим предполагали стационарность или нечто,
весьма к ней близкое. Подобные методы приводят к описанию филь-
фильтра в терминах частотной характеристики, и для того чтобы получить
импульсную переходную функцию, необходим следующий шаг —
разложение Фурье. Если фильтрация выполняется на аналоговом
устройстве, то описание в терминах частотной характеристики
является оправданным, так как можно попытаться синтезировать
фильтр с заданной характеристикой физическими средствами. Однако
в последнее время гораздо большее значение приобрели цифровые
машины, а для них частотная характеристика, конечно, уже не
является удобным средством описания фильтра. Еще два других
фактора обусловливают модификацию модели. Во-первых, понятно,
что на практике спектры имеют не столь общий характер, как это
допускалось до сих пор. В конце концов они либо даются исходной
физической теорией (кроме констант, подлежащих оценке), либо
получаются в результате оценки по прошлым данным. В любом
случае они будут по меньшей мере рациональными. Второй фактор
связан с возможностью нестационарности. Одной из причин неста-
нестационарности может быть тот факт, что для приближения любой
системы к стационарному состоянию требуется определенное время.
Если же сигнал должен выделяться с самого начала функциониро-
функционирования системы, то стационарная модель будет неподходящей. К тому
же система, конечно, может иметь и более существенную нестацио-
иарность. Подобные соображения демонстрируют важность резуль-
результатов Калмана [1960], [1963] и Калмана и Бьюси [1961]. Мы огра-
ограничимся изложением только векторного случая с дискретным вре-
временем, хотя результаты обобщаются и на непрерывное время. Модель
задается уравнениями
х(п) = Ф(п - 1) х(п - 1) + е(/г - 1), ,я,
у(п) = Н(п)х(п) + г\(п) [°' }
Здесь х (п) и е (я) — векторы с р компонентами, а у (п) и г) (я)
имеют q компонент. Случайные векторы е (п), г) (я) удовлетворяют

204 Гл. III. Прогнозирование и фильтрация случайных процессов
соотношениям
Е {в (п) в'(т)} = С? (п),
Е {г\ (п) г)' (т)} = 6Щ (п),
Таким образом, х (п) соответствует нашему прежнему s (п), а ц (я) —
прежнему х(п). Для упрощения ссылок мы используем обозначе-
обозначения Калмана. В работе Калмана г (п — 1) записано как Г (я, п — 1) X
X и (п — 1), где и (п) обладает теми же свойствами, что наш е (я).
Это объясняется тем, что Калман рассматривает такую модель
в связи с задачами управления, где и (п) является управляющим
процессом*), и дополнительная общность, достигаемая введением
матрицы Г, является полезной. Мы в этой книге не рассматриваем
теорию управления, а в задаче выделения сигнала можем, не ограни-
ограничивая общности, включить Г в Q и S. Вектор х — это передаваемый
сигнал, который должен быть измерен, однако наблюдаем мы не х,
а г/, содержащий шум г\. Предположим, что Ф, Н, Q, R и S изве-
известны. Рассматриваемая модель, как видно из дальнейшего, является
более общей, чем может показаться на первый взгляд. Пусть
(п — к) + и (п),
и (и) = 2 Dh (n) и(п —
1
где / (я) — известная детерминированная последовательность,
а е0 (я) имеет такие же свойства, как е (я). Функция / (я) включена
для того, чтобы учесть систематические влияния типа тренда. Пред-
Предположим вновь, что все матрицы, включая матрицы дисперсий
и ковариаций, известны. (Это не всегда выполняется, и мы обсудим
этот момент позднее в настоящем-параграфе.) Заметим, что х0 (п),
очевидно, имеет вид х] (ft) + g(ft), где g (n) удовлетворяет соотно-
соотношению
и некоторым г начальным условиям, а хх (п) удовлетворяет такому
же уравнению, но с е0 (п — 1) вместо / (я). Таким образом, мы
г) Более общим образом, и (п) может быть комбинацией управляющей пере-
переменной, которая является детерминированной функцией времени, и неконтро-
неконтролируемой случайной функции времени.

8. Фильтр Калмана
205
можем построить
s
У\ (р) = У о (п) — 2 но, ft (и) g(n — k)
и ограничиться выделением xi(n). Итак, рассмотрим уравнения
г
х\ (П) = 2 Фк (П) ХХ (п — к) + 80 (П— 1),
1
= 2 #о. ft (л) *i (п —
1
а (дг) —
\ (n).
Мы можем тогда образовать новую систему уравнений
Х1 (п) =
0 (и) = г/i (п) — 2
1
= 2 ^и (л) ж
1
Х {п — к) + 80 (П — 1
Ai (л) г/i (л — А) =
(/г — Л) + т) (л),
где Нк(п) легко г получаются из Dh(n) и HOth(n). Таким образом,
мы пришли к соотношениям
хх (п) = 2
1
в-И
У (п) = 2
1
лг— 1),
Полагая теперь т = max (г, s+?), определим новый «вектор
состояний» (т. е. вектор, описывающий состояние рассматриваемой
системы):
х (n)f = (xt (n)' \ Xi (п — 1)' \ . . . j х{ (п — т)')-
Введем обозначения
i(/l) Ф2(П) ... Фт-iin) Фт(п)~
I 0 ... 0 0
Ф(л—1) =
0
0,
О
: ... : Ят(/г)],

206 Гл. III. Прогнозирование и фильтрация случайных процессов
где некоторые Фк (п), Hh (n) могут равняться нулю (например,
Фт(п), если г = s+t — I). Тогда
х(п) = Ф(л — \)х{п - 1)+&(п - 1),
у (п) = Н (п) х (п) + ц (п),
и мы вернулись к исходной модели Калмана (8.1), хотя и ценой
(возможно, значительного) увеличения размерности х (п). Теперь
матрицы Q (п) и S (п) определенно вырожденны, однако это не
сказывается на применимости метода.
Два основных фактора обусловливают полезность этой модели.
Во-первых,— то, что она допускает зависимость матриц Ф, Н, Q, R
и S от времени. Разумеется, они должны быть известны a priori.
В некоторых приложениях это не является большим затруднением,
особенно в отношении Ф и Н. Например, при оценке параметров
траекторий г) Ф определяется динамикой летательного аппарата,
а Н — характеристиками следящей системы. Очевидно, что неко-
некоторые из участвующих величин потребуют оценки. Например, / (я)
может содержать некоторые неизвестные, a Q (n), S (п) также могуг
быть неизвестны. Как указал мне д-р Дункан, к этим матрицам
в определенной мере применим аналогичный подход, так что для
них может быть построена модель, подобная рассмотренной выше,
в которой они играют роль х (п), а у (п) есть некоторая оценка
(например) матрицы Q (п) (записанной в виде вектора), которая полу-
получается по прошлым данным. Мы, однако, не будем вникать здесь
в эти вопросы и вернемся к модели (8.1).
Задача теперь состоит в том, чтобы получить наилучшую линей-
линейную оценку для х (п) по наблюдениям у @), у A), . . ., у (n-\-[i).
Обозначим эту оценку х^ (п). Рассмотрим только случай [л<^0г
так как другие случаи более сложны (хотя трудности и не прин-
принципиальны). Удобно положить теперь ji = —т и рассматривать
проекцию х{п-\-т) на подпространство, порождаемое величинами
у @), у A), . . ., у (п). Удобно также принять обозначение
х{п-\-т \ п) вместо х{~т) (п-\-т), так как из-за нестационарности
мы не можем с такой легкостью опускать в обозначениях индекс т.
Введем векторное пространство $?ni порождаемое компонентами век-
векторов к] (у), j-^n, г (к), к^Сп — 1, и случайного вектора х @),
с которого начинается последовательность х (п). Пусть теперь Лп —
комплексное векторное пространство, порождаемое компонентами
у @), у A), . . ., у (п). Иногда мы будем, несколько неточно, писать
у (/') 6 ^п^ j^n< понимая под этим, что все компоненты вектора у (/')
лежат в пространстве &f(n. Аналогично, мы пишем е (я) _1_ <Мп-и
подразумевая, что это выполняется для каждой компоненты. Имеем
х) Своими знаниями в этой области я во многом обязан беседам с Д. Б. Дун-
Дунканом.

8. Фильтр Калмана 207
Теорема 12. Пусть х(п-\-т\п), т?г>1,— оценка величины
х(п-\-т), полученная проектированием х(п-\-т) на с#п. Тогда
1\п), тгг> 1,
х(п + 1\п) = у?(п)х(п\п—1)+К(п)у (тг), (8.2)
V (тг) =Ф (л) —Я (л) #(тг), (8.3)
X (л) = {ф (П) 2 (тг) H(n)' + S (тг)} {Я (тг) 2 (тг) H(n)' + R (п)}'1,
а 2 (тг) получается из рекуррентного уравнения
2 (тг + 1) = Ф (тг) 2 (тг) Ф (тг)' + <? (тг) —
- К (тг) {Я (тг) 2 (тг) Я (тг)' + R (тг)} К (тг)*. (8.4)
Прежде чем перейти к доказательству, обсудим этот результат.
Первое соотношение показывает, что для нахождения х(п-\-т\п)
мы должны знать лишь х(п-\~\ \п). Чтобы найти последнее, нужно
знать лишь х (тг | тг—1) и W(n), a W (тг) известна, если известна
К(п), т. е. 2 (тг). Наконец, из (8.4) видно, что 2 (тг) известна, если
известны К (тг — 1) и 2 (тг — 1). Таким образом, рекуррентная про-
процедура полностью описана.
Теорема доказывается следующим образом. Разложим оМп
в сумму о,йп-=^оМ'П-х © *Гп, Где f*n, очевидно, порождается компо-
компонентами вектора z(n) = у (п) — Я (тг) х (тг | тг — 1), поскольку
Ц (тг) _1_ ©#п_1 и проек ия г/(тг) на o#n_i равна
Я (тг) х (тг | тг — 1).
Тогда z (тг) = ц (п)-\-Н (п) {х (п) — х (тг | тг — 1)}. Так как e(n)±&ftn
то, рассматривая разложение оМп — о/1(п-.х © fn, имеем
# (тг-j-l | гс) = Ф (тг) ? (тг | тг— 1) + ^ (тг),
где и (тг) — проекция ^(тг + 1) на Т*п. Она равна
u(n)=E{x(n + l)z (тг)*} [Е {z (тг) z (тг)*}]2 (тг),
если предположить пока, что обратная матрица существует. Таким
образом, полагая
2 (тг) = Е {(х (тг) — х (тг | тг - 1)) [х (п)-х(п\п—1))'},
имеем
и (тг) = {ф (п) 2 (тг) Я (тг)' + S (тг)} {Я (тг) 2 (тг) Я (тг)' + R (тг)}-1 z (тг) =

208 Гл. III. Прогнозирование и фильтрация случайных процессов
Теперь получаем
х (п + 1 | я) = Ф (я) х (п | п — 1) + К (п) z (п) =
= {Ф (п) -К{п)Н (п)} х (п | п - 1) +
+ K(n){z(n) + H(n)x(n\n-l)},
что, согласно (8.3) и определению z (n), равно W (п)-\-К (п) у (п),
откуда следует (8.2).
Так как х (п~\-т) = Ф (п — 1) х (п-\-т — 1)+ е (п-\-т — 1)
и 8 (п-\-т — 1) _[_ о/Iп, т > 1, то имеет место первое соотношение
теоремы. Таким образом, остается доказать только равенство (8.4).
Чтобы получить уравнение для S (я), положим
i) — x(n-\-l \п — 1)} —
\n) — x(n + \\n—l)}i (8.5)
где второе слагаемое равно проекции первого на оМп. Представим
его как сумму проекции на o#n_i и проекции на ТГп. Тогда
{х (п + 1 | п) — х (п + 1 | п — 1)} = и (п),
ибо
а и(п) есть проекция х(п-\-1) на Тп» Далее,
х (п + 1) — х (п + 1 | ^г — 1) = Ф (п) {х (п) — х (п \ п — 1)} + е (/г),
откуда
я (дг + 1) — х (п + 1 | п) - Ф (п) {х (п) — х (п \ п — 1)} + е (п) — и (п),
и
2 (/г + 1) = Ф (п) 2 (/г) Ф (л)' + <? (/г) + Е (м (/г) гг (/г)') -
п-1)У}; (8.6)
однако
Е (и (п) и (п)') =К(п)Е (z (n) z (п)') К (п)' =----
= К (п) {Н (п) 2 (/г) Н{п)' + R (п)} К (п)', (8.7)
так как z (п) —Ц (п) -\-Н(п) {х (п) — х(п\п — 1)}. Кроме того,
Е{(х(п+\) — х{п + \\п— 1)) и (п)'} =
- Е {(х (п + 1) — х (п + 1 | п — 1)) z {п)'} К (п') =

9. Сглаживающие фильтры 209
ибо х(п-\- 11 п— 1) 6^л-1 -L Тп- Последнее выражение равно
K(n)E{z{n)z{n)')K{n)r,
так как К (п) z (п) есть проекция х (п -\- 1) на Тп. Подставляя это
и (8.7) в (8.6), получаем (8.4). В случае когда матрица Е (z (n) z (n)')
вырожденна, доказательство можно легко видоизменить, используя
обобщенную обратную матрицу. Тогда К (п) z (/г), очевидно, опре-
определен корректно, так как вектор z (n) с вероятностью 1 ортогонален
нулевому подпространству К (п). Конечно, если мы хотим разложить
К (п) z (п) на К (п) у (п) и К (п) Н (п) х (п \ п — 1), то мы должны
принять соответствующее соглашение, например соглашение о заме-
замене у (п) и Н (п) х (п | п — 1) их проекциями на ортогональное допол-
дополнение нулевого подпространства К (п). По-видимому, пет необходи-
необходимости вдаваться здесь в дальнейшие подробности.
Полагая
m-l
Ф(п + т\п)^= Ц Ф(л4-/).
1
имеем
х (п -f т | п) = Ф (п + ш | п) х(п-\-1\п).
Из (8.2), очевидно, следует, что х @) (начальная оценка) входит
в х (п + 1 | п) с матрицей коэффициентов
которая определяет устойчивость уравнений, т. е. степень влияния
ошибки в начальной оценке на будущее.
Если матрицы Ф, Я, Z?, S и Q не зависят от п и собственные зна-
значения Ф по модулю меньше единицы, то х в пределе дает решение
задачи выделения сигнала, рассмотренной в предыдущем параграфе.
9. СГЛАЖИВАЮЩИЕ ФИЛЬТРЫ
Всюду в этом параграфе мы рассматриваем только скалярный случай.
Большую часть этого параграфа мы посвятим обсуждению филь-
фильтров, предназначенных для, по крайней мере локального, воспроиз-
воспроизведения многочлена заданной степени. Поэтому за неимением лучше-
лучшего названия мы говорим о сглаживающих фильтрах. Это, конечно,
подразумевает, что коэффициент усиления таких фильтров в основ-
основном концентрируется в точке X = 0. Однако мы всегда можем пере-
перенести эту точку концентрации на любую другую частоту 9. Напри-
Например, в случае дискретного времени и фильтра с импульсной переход-
переходной функцией а (т) достаточно лишь заменить а (т) на а (т) cos 0m,
чтобы получить фильтр с частотной характеристикой V2{fe (Я — Э) +

210 Гл. III. Прогнозирование и фильтрация случайных процессов
+ h (к 4- Э)}, где h (к) — частотная характеристика исходного
фильтра.
Мы можем получить нужные нам фильтры «сглаживающего»
типа методами предыдущих параграфов, например, рассматривая
сигналы со спектром, сильно сконцентрированным на нулевой часто-
частоте. Фактически мы уже приводили пример подобной процедуры
в § 7. Однако во многих случаях наши предварительные знания
о характере сигнала весьма неопределенны (и это же может относить-
относиться и к шуму). Кроме того, может потребоваться, чтобы фильтрация
не была слишком «долгой», например, чтобы импульсная переходная
функция была отлична от нуля только на интервале t ? [0, Т].
Фильтр, построенный, скажем, по методу § 7, может иметь быстро
убывающую импульсную переходную функцию, так что раннее
усечение не скажется заметно на выходе.
Начнем со случая дискретного времени и рассмотрим построение
фильтра длины 2N + 1:
N
-N
предназначенного для воспроизведения произвольного многочлена
степени d < 2N -\- 1 в момент времени п + m и минимизирующего
дисперсию выхода, когда вход х (п) имеет спектральную плотность
f(k). Так как m произвольно, то требование, чтобы / изменялось
от —N до N, не является ограничением. Как и раньше, обозначим
через r2iy+i матрицу из 2N + 1 строк и столбцов, состоящую из
автоковариаций у (/ — к) процесса х (п). Пусть а — вектор с ком-
компонентами а (/). Тогда мы должны минимизировать
при ограничениях
N d d
l]oc(j){^iak(n + j)k} = ^iak(n + m)k, d<2N+l.
-NO 0
Так как ak произвольны, то эти условия равносильны следующим:
2
-N
Мы можем заменить это соотношениями
N
2 а(/)фр(/) = фр(m)> °<
-N
где фр (/) — многочлены, получаемые применением процесса орто-
гонализации Грама — Шмидта к последовательностям {/р, / =
= —N, . . ., N} х). Обозначим через Ф матрицу с элементами фр (/)
г) Таблицы этих или пропорциональных им многочленов имеются во мно-
многих книгах (см. Оуэн [1962], стр. 515). Мы не требуем, чтобы | m | < Л\

9. Сглаживающие фильтры 211
в р-й строке и 7*-м столбце, и пусть ф (т) — вектор с элементом фр (т)
в р-я строке. Тогда мы должны минимизировать
a'T2N+ia
при ограничениях
Фа = ф (т).
Это приводит к уравнению
где X — вектор множителей Лагранжа.
Предполагая, что T2N+i невырожденна, получаем
т. е.
и минимальная дисперсия равна
Ф К) (ФГ^Ф') Ф (т). (9.1)
Хорошо известно (pi мы увидим это в гл. VII), что такое же выра-
выражение получается, когда мы ищем наилучшую линейную несмещен-
несмещенную регрессию х (п) на ортонормированные многочлены и используем
полученные оценки коэффициентов регрессии для предсказания зна-
значения многочлена в момент т. В гл. VII (теорема 8) мы покажем,
что при весьма общих условиях на / (X) (например, / (к) кусочно-
непрерывна и не имеет разрыва в точке X = 0) отношение величи-
величины (9.1) к аналогичному выражению, которое получится, если во
всех вычислениях считать / (X) постоянной, стремится к единице
при N ->¦ оо и фиксированном d. Другими словами, если N велико
по сравнению с d, то почти тот же самый эффект дает простая регрес-
регрессия. В этом случае сглаженное значение х (п) равно
2
k
Ф; (т) Ф; (к) х(п + к) = Ух (п + к) {2 <pj (m) <р, (к)).
k j
Дисперсия выхода равна (см. § 2 гл. VII)
и, как было сказано, отношение ее к (9.1) стремится к единице при
N ->¦ оо. Представляет интерес частный случай т = 0. Тогда, учиты-
учитывая, что q)j @) равны нулю при нечетном j и ф^ (—к) = ф7- (к) при
четном /, так как 2N + 1 нечетно, мы видим, что результирующие
коэффициенты
удовлетворяют равенству а (к) = а (—к) и d всегда можно считать
четным. Значения этих коэффициентов для разных N и d (при т = 0)

212 Гл. III. Прогнозирование и фильтрация случайных процессов
приведены в книге Кендалла и Стюарта [1966], стр. 370. Например
для d = 4, Л^ = 6 строка коэффициентов а (к) имеет вид
^у A10, -198, -135, 110, 390, 600, 677, ...),
где указаны лишь семь коэффициентов, поскольку остальные шесть
получаются из условия симметрии. Мы будем и далее использовал,
подобные обозначения в этом параграфе, когда коэффициенты филь-
фильтра обладают требуемой симметрией. Частотная характеристика иско-
искомого фильтра равна TJ а (к) cos кХ, что равно также выходу фильтра,
когда на вход поступает cos кХ. Значение X = 0 является нулем
кратности (d + 2) функции {1 — 2 а Ш cos kk} (если d четно).
В этом легко убедиться, например, посредством дифференцирования.
Поэтому
{1 - 2 а (к) cos Щ = I1 — Т: а (к) еш} - A — e^)d^ q (X),
где q — многочлен от exp iX, exp —iX. Отсюда вытекает, что если мы
положим d = 0 и проитерируем полученный фильтр A + 1/2d) раз,
то частотная характеристика будет также содержать множитель
A — exp iX)d+2 и, следовательно, вблизи начала координат будет
похожа на характеристику оптимального фильтра. Это же верно,
если мы последовательно применим простые средние (d = 0) разных
длин. Обычно бывает удобно, чтобы результирующий фильтр имел
нечетную длину, поэтому всегда берется четное число простых
средних четной длины. С помощью подобных рассуждений был
получен ряд полезных формул (см. Кендалл и Стюарт [1966]) частично
для применения в страховании. Примем обозначение Кендалла
[р] х (п) для суммы р последовательных членов. Приведем два при-
примера:
15-точечная формула Спенсера: -о^о" [4]2 [5] (— 3, 3, 4, ...),
21-точечная формула Спенсера: о5п [5]2 [7] ( — 1, 0, 1, 2, . . .).
Выход каждого из этих фильтров локализован (во времени)
так же, как центральный член из (нечетного) числа членов, входя-
входящих в среднее. Легко найти частотные характеристики этих филь-
фильтров. Коэффициенты усиления равны соответственно
sin2 2Х sin ЪК/2 . . . я. « «.
11 + Д cos ^ — Д cos
80 sin3 X/2
sin2 Ы/2 sin 7X/2
175 sin3 X/2
1 -f-cos A,— cos3A,|

9. Сглаживающие фильтры 213
Оба они, в особенности второй, как показывает следующая таблица,
имеют острый пик:
1 = 0 я/12 я/6 Зл/12 2л/6 Зя/6 4л/6 5я/6 я
15-тч формула
Спенсера 1 0,983 0,809 0,292 0,094 0,000 0,013 0,003 0,000
21-тч формула
Спенсера 1 0,951 0,554 0,080 0,014 0,006 0,003 0,000 0,000
Некоторые оценки для длины фильтра, который должен пропу-
пропускать в основном данный узкий диапазон частот и подавлять осталь-
остальные частоты, можно получить следующим образом (мы следуем
Гренджеру и Хатанаке [1964]).
Предположим, что полоса пропускания должна быть X ? [— А,о, А,о],
и рассмотрим только симметричные фильтры, т. е. фильтры, имеющие
частотные характеристики вида
N
2 а (к) cos /ел,
о
что можно представить в форме
N
Возьмем Я?[0, п] и положим z^cosX, так что х^[ — 1, 1]. Рас-
Рассмотрим теперь
N
и потребуем, чтобы значения этого многочлена были малы в интер-
интервале [—1, х0], где х0 = cos A,o, и достаточно велики в интервале
[%о, 1]. Рассмотрим, в частности, многочлен Чебышева
равный
cos N (arccos х), х ? [ — 1, 1],
ch iV (arch х), \ х | > 1.
Этот многочлен обладает тем свойством (Лоренц [1966], стр. 40),
что среди всех многочленов степени N, не превосходящих единицы
в интервале [—1, 1], он имеет в концах этого интервала наибольшую
возможную по абсолютной величине производную, равную N2.

214 Гл. III. Прогнозирование и фильтрация случайных процессов
Положим
тогда многочлен Р Л (х) = СN (у) ограничен по модулю единицей
в [—1, х0] и возрастает в точке х0 настолько быстро, насколько
это возможно. Если мы возьмем аРN (х), где а — максимальный
коэффициент усиления нужного нам фильтра на интервале [Хо, я],
а Хо мало, так что х0 близко к единице, то мы должны получить нечто
близкое к оптимальному решению нашей проблемы. Так как нас
интересует отношение аРх A) к а, то мы примем а = 1. Тогда
Рх A) равно отклику фильтра при X = О (т. е. х = 1), что, оче-
очевидно, является максимальным значением и соответствует С N (у0),
где у0 = C - хо)/A + х0) = C - cos Ло)/A + cos Хо) « 1 + Ч2Х20
для малых Хо. Так как ch у ж 1 + х/2г/2 для малых г/, то мы видим, что
С* A + V2bJ) « CN (ch Xo) - ch
Таким образом, отношение максимума при X = 0 к максимальному
значению вне интервала X 6 [—^о> ^о! приближенно равно ch NX0.
Если ch NX0 и Хо фиксированы, то это дает уравнение для N, т. е. для
длины 2N -\- 1 фильтра, обладающего нужными свойствами. Если,
например, Хо = я/12 и ch NX0 = 10, то мы должны решить уравне-
уравнение ch (Nn/12) = 10, откуда Nn/12 = 2,993 и Л^ = 11,43, так что
длина фильтра должна быть около 23. Это означает, что можно
построить фильтр длины 23, коэффициент усиления которого на
всех частотах, удаленных более чем на я/12 от частоты максималь-
максимального пропускания, составляет 10% от максимального. Аналогично,
если ch NX0 = A/0,367), Хо = я/12, то мы получаем N = 6,34,
так что длина приближенно равна 14. Такое отношение достигается
на частоте я/12 центрированным 12-членным скользящим средним,
и длина соответствующего фильтра равна 13. Частотная характери-
характеристика для центрированного 12-членного скользящего среднего будет
иметь не столь острый пик, как для рассмотренного выше «оптималь-
«оптимального» фильтра; это видно из того, что в точке я/12 она убывает не
так быстро, как в случае «оптимального» фильтра, или из расположе-
расположения первого нуля, следующего за Хо. С другой стороны, она посте-
постепенно убывает до очень малого значения, тогда как коэффициент
усиления оптимального фильтра повторно возвращается к своему
значению в Хо.
Расположение первого нуля частотной характеристики фильтра,
построенного по многочлену Чебышева, дает в некоторых отноше-
отношениях лучшее представление об «остроте» ее формы. Этот нуль дости-
достигается при arccos у = n/2N, т. е. у = cos (n/2N) и х = cos X =
= V2{cos (n/2N) A + cos Xo) + cos Xo — 1}.
Тогда имеем приближенно
cos X= — T^

9. Сглаживающие фильтры 215
и если N велико, то получаем аппроксимацию
например, при Хо = я/12, N = 7 первый нуль, ближайший к Ло,
приходится на
А,о + 0,05 « я/12 + я/60.
Фильтр, предназначенный для воспроизведения гладкого сигнала,
может быть использован для устранения «тренда», т. е. гладкой
компоненты временного ряда, путем вычитания выходного сигнала
из входного. Другим методом решения этой задачи в случае дискрет-
дискретного времени является повторное вычисление разностей, т. е. пре-
преобразование
х (п) -*• Ad х(п),
где
Ах (п) = х (п + 1) — х (п).
Частотная характеристика такого фильтра равна (e~iX — l)d, так
что коэффициент усиления равен
| 2 sin V2A, | d.
Имеется обширная литература по поводу «метода разностей» (variate
difference method) (см., например, Тинтнер [1940]), который исполь-
использовался для оценки степени сглаживания, необходимой для пред-
представления полиномиального тренда. Мы, однако, не будем обсуждать
его здесь.
Для непрерывного времени эта задача может быть исследована
аналогичным образом. Рассмотрим фильтры типа
г
y(t)-+ J a(s)y(t + s)ds, (9.2)
-г
которые обладают тем свойством, что точно воспроизводят р (t + |ы),
где р (t) — любой многочлен степени d. Кроме того, мы хотим, чтобы
дисперсия выхода (9.2), когда вход имеет спектральную плотность
/ (А,), была настолько малой, насколько это возможно. Это означает,
однако, что мы должны рассматривать не только фильтры вида (9.2),
но и их среднеквадратичные пределы, которые могут быть не пред-
ставимы в таком виде. Довольно очевидно, что решение этой проблемы
получается методом «наилучшей линейной несмещенной» регрессии
для модели вида
d

216 Гл. III. Прогнозирование и фильтрация случайных процессов
где х (s) — стационарный процесс с нулевым средним и спектральной
плотностью / (к). Мы не хотим останавливаться на трудностях, свя-
связанных с решением этой проблемы, и сошлемся на работу Хебла
[1961], где она рассматривается г). Основной результат этой работы
состоит в том, что при Т -> оо наилучшая несмещенная процедура
и процедура наименьших квадратов по-прежнему являются асимпто-
асимптотически эквивалентными в том смысле, что они дают оценки для р7-,
ковариационные матрицы которых после подходящей нормировки
стремятся к одному и тому же пределу при Т —>¦ оо. Процедура
наименьших квадратов, конечно, сводится к простому решению
уравнений
-г -г
Выход фильтра в момент t равен тогда
S Р/, (9-3)
О
Опять удобно ввести многочлены Лежандра 2) Pj (x), удовлетворяю-
удовлетворяющие соотношениям
1
j Pj(x)Pk(x)dx = 8fJj^-I, U * = 0, 1, ...,
-1
где Pj — многочлен степени / от х. Если
!/2 т-
то ф7- (s) удовлетворяют соотношениям
г
-г
Тогда мы можем также записать
d
JtJ \ / Г \ /'
о
г) Распространение результатов Гренандера и Розенблатта на непрерывное
время встречает трудности, которые не были преодолены в работе Хебла.
См. по этому поводу работу Холево [1969].— Прим. перев.
2) См., например, Абрамовиц и Стегун [1964], стр. 342.

9. Сглаживающие фильтры 217
где a j —линейные функции от pft, k^j, и теперь
t+T
j
t-T
так что (9.3) переходит в
d t+T T
j -*)* = \ #(* + s)a(s)ds, (9.4>
Т
О i-Г -Т
Мы завершим этот параграф примером, демонстрирующим точность
аппроксимации оптимального фильтра фильтром наименьших ква-
квадратов, которая может иметь место при благоприятных обстоя-
обстоятельствах. Этот пример взят из книги Блэкмена [1965], который
по существу приходит к выводам последней части этого пара-
параграфа *).
Пример. Пусть х (t) — стационарный процесс с абсолютно непре-
непрерывным спектром и плотностью
положим d = 0. Таким образом, мы рассматриваем простейший
из случаев, представляющих какой-либо интерес. Пусть h (exp iX) —
частотная характеристика оптимального фильтра, понимаемая как
среднеквадратичный предел последовательности hn частотных харак-
характеристик фильтров вида (9.2), которые воспроизводят многочлены
нулевой степени. Имеем
lira [ \h-hn\2f(X)dX = 0. (9.6)
— оо
Обозначим через а2 минимальную дисперсию выхода. Тогда
X = n2, s?[-T, T]. (9.7)
В самом деле, если а + Р = 1, то Л4 ={ah + P exp iXs}, s ? [—Г, Г],
1) По-видимому, не отдавая себе отчета в том, что его теория близка к зада-
задачам регрессии и работам Гренандера и Розенблатта или Хебла.

218 Гл. III. Прогнозирование и фильтрация случайных процессов
также является допустимой, и дисперсия выхода равна
|а|2
Если минимум этого выражения достигается при E = 0, то должно
выполняться (9.7). С другой стороны, пусть ^ и h2 удовлетворяют
(9.7); тогда к = h{ — h2 удовлетворяет соотношению
-i^k (e^) f (к) dk = 0, s?[ — T, T].
Заметим теперь, что существует последовательность кп частотных
характеристик фильтров вида (9.2), для которой
lim \ \k-kn\2f(X)dk==0.
Пусть ап (s) — импульсная переходная функция, отвечающая kn(s).
Так как
оо
an(s) j ke~^f(X)dX = O, $e[-T, T),
— оо
ТО
оо
" knkf{k)dk = O
и /i = 0 почти всюду относительно / (к). Итак, решение h уравне-
уравнения (9.7), удовлетворяющее (9.6), где hn — частотные характеристи-
характеристики фильтров вида (9.2), единственно в том смысле, что любые два
решения отличаются только на множестве, спектральная мера кото-
которого равна нулю (значит, в случае, когда / (к) имеет вид (9.5), на
множестве нулевой меры Лебега).
Если/ (к) задается соотношением (9.5), то решение уравнения (9.7)
имеет вид
1
где а2 = A + р?7)- Мы предоставляем читателю убедиться в этом,
производя подстановку в левую часть соотношения (9.7).
Если мы положим a (s) = BГ), что соответствует регрессии по
методу наименьших квадратов, то получим следующую дисперсию
выхода:
]
-г

Упражнения 219
Максимум отношения olo/o2 равен приблизительно 1,07, так что
использование простого среднего не приводит к большим потерям.
Конечно, такой результат определяется характером / (к) и тем, что
мы рассматривали случай d = 0.
УПРАЖНЕНИЯ
1. Пусть y(rexp ih) гармонична в единичном круге и равна нулю почти
всюду на его границе, и пусть
где |ы — неотрицательная мера на единичной окружности. Доказать, что \i
сингулярна относительно меры Лебега на окружности. Примечание: доказа-
доказательство вытекает из первого следствия на стр. 62 книги Гофмана [1962].
2. Пусть
(f] ГРЬ-)р-1^, р>0,
где tj образуют реализацию пуассоновского процесса с параметром |ы. Опреде-
Определить наилучший линейный прогноз для х (t) и обсудить его свойства.
3. Робинсон [1962]. Пусть
сю
*(*)={«(*-*) Е (Л)
о
— каноническая компонента в вольдовском разложении одномерного стацио-
стационарного процесса. Показать, что если Р (t) удовлетворяет соотношениям
О О
то Р (*) = 0 п. в.
4. Показать, что при т ]> 2 выражение
L — ix I
равно нулю при i>0n непрерывно при t = 0. Вывести отсюда, что функция
{A -f гт)/A — ix)}m может быть с любой точностью аппроксимирована в сред-
среднеквадратичном (с весом F (dx)) линейными комбинациями функций exp itx,
где t > 0. Вывести отсюда, что (в обозначениях § 4) при отображении A +
+ ?т)/A — iT)-<-^exp /А, подпространство оМ-<х> отображается на JT-ос. С другой
стороны, exp {t (z — l)/(z +1)} является целой функцией при г>0 и равна
ехр (—t) при z = 0. Используя этот результат, показать, что, и обратно, ука-
указанное выше отображение переводит ЛГ-<х> в ©#_оо.
5. Используя теорему 3", доказать теорему 3'".

220 Гл. III. Прогнозирование и фильтрация случайных процессов
6. Вывести рекуррентные формулы, приведенные перед теоремой 10', кото-
которые выражают s@) (тг-|-1) через s@) (п) и s^v~^~^ (п) через s^(n).
7. Показать, что если фильтр
г г
x(t) -> \ a(s) x(t — s)ds, \ |a(s)|ds<oo,
о о
безошибочно предсказывает на время |ы вперед любой многочлен степени dT>
то его частотная характеристика имеет вид
где hR (z) аналитична.

Часть II
СТАТИСТИЧЕСКИЕ ВЫВОДЫ

Глава IV
Законы больших чисел.
Центральная предельная теорема
1. ВВЕДЕНИЕ
С этого момента мы начинаем заниматься статистическими проблема-
проблемами анализа временных рядов. Это означает, что мы будем заниматься
проблемами, которые, как мы надеемся, достаточно близки к реаль-
реальному миру. Излишне говорить, что при этом неизбежны некоторые
компромиссы. С одной стороны, нам придется использовать заведомо
неточные модели реального мира, основанные в лучшем случае на
простейших формах отклонений от стационарности. С другой сторо-
стороны, мы не сможем оставаться на прежнем уровне общности, так как
бессмысленно, например, рассматривать статистические проблемы,
основываясь только на предположении интегрируемости / (X).
(С этой точки зрения некоторые результаты первой части являются
излишне общими.) Это не означает, что допустимо какое-либо ослаб-
ослабление математической строгости, просто нам придется наложить
некоторые дополнительные ограничения, которые, хотя и жестки
с математической точки зрения, не являются таковыми, как мы
надеемся, с практической точки зрения.
Мы почти полностью ограничим нашу статистическую теорию
случаем дискретного времени. Это ни в коей мере не является необ-
необходимым, однако представляется целесообразным, так как если бы
мы этого не сделали, то потребовалось бы слишком много места для
ясного изложения. Кроме того, почти все способы анализа времен-
временных рядов реализуются теперь на вычислительных машинах. В таких
случаях дискретизация непрерывных данных необходима, и дискрет-
дискретное время отвечает существу дела. Это, конечно, не означает, что
изучение в предыдущих главах процессов с непрерывным временем
было ненужным, ибо обычно в основе анализируемых данных лежат
непрерывные явления.
Мы не собираемся давать подробные инструкции, как следует
производить те или иные расчеты (хотя часто будем обсуждать вычис-
вычислительные проблемы и подробности вычислений).
Поскольку мы будем иметь дело с проблемами реального мира,
то мы постараемся, где это возможно, снизить математический уро-
уровень изложения по сравнению с первой частью, с тем чтобы вторая
часть была доступна более широкому кругу читателей. Этому спо-
способствует ограничение общности, о котором говорилось выше, а также
наше соглашение рассматривать дискретное время. Кроме того, мы
несколько замедлим темп изложения.

224 Гл. IV. Законы больших чисел. Центральная предельная теорема
2. ЭРГОДИЧЕСКАЯ ТЕОРИЯ ДЛЯ ПРОЦЕССОВ, СТАЦИОНАРНЫХ
В УЗКОМ СМЫСЛЕ
Напомним, что (векторный) процесс называется стационарным
в узком смысле, если совместное распределение х (п^ + m)i
х (п2 + т), . . ., х (nk + т) зависит только от пи п2, . . ., nk и не
зависит от т для любых к, щ, . . ., nk и т. Мы сформулируем без
доказательства несколько фундаментальных теорем, касающихся
усиленного закона больших чисел. Мы не даем их доказательств,
потому что они длинны, сложны и не могут быть упрощены (по
крайней мере автором). Эти доказательства легко найти в литера-
литературе г).
Мы можем считать (см. § 1 гл. I), что случайные величины xj (п)
определены на одном и том же вероятностном пространстве (Q, Jt, Р).
Класс Л всех измеримых подмножеств этого пространства содержит
все цилиндрические множества
{со | (xj (fe) (nhj оз), к =. 1, . . ., т) е В},
где (xj{k) (rik, со), к = 1, . . ., т) — точка в Rm с указанными коор-
координатами, а В — борелевское подмножество Нт. На самом деле
можно считать, что А — наименьшая а-алгебра, содержащая все
цилиндрические множества. На цилиндрических множествах можно
определить оператор сдвига S —>- TS, который на множество
S = {со | я,-A) (пи оз) < аи . . . ? xj(m) (nm, со) < ат)
действует по формуле
71*5 = {(о|л:;-A)(л1 + 1, со)<аь . . ., Xjim)(nm + 1, со) < ат}.
Так определенный оператор продолжается на все множества из <4.
Легко видеть, что Т сохраняет меру, так что S и TS всегда имеют
одну и ту же вероятность. Очевидно, Т~г также корректно определен
аналогичным образом и также сохраняет меру. Поэтому можно
определить оператор сдвига, который мы также обозначим Т, на
пространстве случайных величин (измеримых функций) на Q по
формуле Tf (со) = / (Г^со). Если Tf = f, то мы будем говорить, что
f инвариантна (аналогично для S).
Заметим, что Txj(n, со) = Xj (n-\-1, со), так как для всех а
{со|Г^7-(^г, со)^а} = {со | Xj (п, Т'1^)^.^} = Г {со | Xj (n, со)^Са} =^-
= {u>\xj(n + l,
Положим
1
Имеет место следующая эргодическая теорема:
2) См., например, Дуб [1953] и Биллингслей [1965].

2. Эргодическая теория для процессов, стационарных в узком смысле 225
Теорема 1. Если х (п) — стационарный в узком смысле
процесс, причем Е {| Xj (п) |} < оо, / = 1, . . ., р, то существует
вектор х инвариантных случайных величин, для которых Е {| xj I} <
<С оо и
lim xN — x п. н.,
JV-VOO
Единственный минус этого факта в том, что х не обязан быть
постоянным с вероятностью 1. Очевидно, что это требование будет
выполнено, если инвариантными случайными величинами являются
только постоянные с вероятностью 1, или, что то же самое, если
всякое множество S, такое, что S — TS (с точностью до множества
нулевой вероятности), имеет вероятность 0 или 1. В этом случае
процесс х (п) называется эргодическим. (Такой процесс и оператор
сдвига Т иногда называются также «метрически транзитивными».)
Свойство эргодичности не может быть установлено по наблюде-
наблюдениям за единственной траекторией. Это можно показать на примере
скалярного процесса, имеющего скачок в спектре, из-за которого
в х (п) возникает компонента 2 Re {z (dX0) e-in^}. Тогда, как мы
сейчас покажем, | z (dk0) | — инвариантная случайная величина.
Однако на основании одной траектории нельзя судить, является ли
она почти наверное постоянной. Чтобы показать, что | z (dX0) |
инвариантна, рассмотрим точки непрерывности Яь К2 функции F (к),
такие, что Я1<^о<^2- Из теоремы 3" гл. II следует, что
так что величина
|| Т (z (Л2) - z (К,)) - е-^о (Z (Я2) - z (X,)) ||2 = j 4 sin2 V2 (^- К) F (dk)
стремится к нулю, когда Я1? К2 приближаются к Хо. Отсюда
Tz (dk0) = exp (-ik0) z (До)
и | z (dko) |2 инвариантна, что и утверждалось. В гауссовском случае
отсутствие скачков в спектре также и достаточно для эргодичности х).
Несколько обобщая, имеем следующий результат. Рассмотрим про-
процесс
*) Доказательства результатов, приводимых в этом абзаце, читатель может
найти в книге Розанова [1963].

226 Гл. IV. Законы больших чисел. Центральная предельная теорема
Тогда для эргодичности х (п) в первую очередь необходимо, чтобы
| Zj | были почти наверное постоянны для любого /. (Это сразу же
исключает гауссовский случай.) Таким образом, случайность входит
в х (п) только через фазы колебаний. Во-вторых, если S — любое
конечное подмножество Я;-, такое, что для некоторых целых чисел т$
2 mjQj = 0 (mod2ji),
то должно быть
2 j = ф (mod 2л), zj = I zj I ег03,
где ф п. н. постоянна. Необходимость этого условия вновь довольна
очевидна, ибо если
г) = ехр г f J\
TO
Следующее условие, более сильное, чем эргодичность, смысл
которого несколько более очевиден,— это условие
lim Р (А П Т~пВ) = Р (А) Р (В), А,В^Л. B.1)
П-*-оо
Если это условие выполнено, то х (п) называется процессом
с перемешиванием. Чтобы показать, что перемешивание влечет за
собой эргодичность, возьмем в качестве А = В инвариантное собы-
событие; тогда получаем Р (АJ = Р (А), откуда Р (А) =0 или 1. Груба
говоря, если события, определяемые значениями х (и), сильно раз-
разделенными во времени, почти независимы, то выборочное среднее
с вероятностью 1 сходится к среднему значению процесса. Более
сильным условием, чем B.1), является «условие сильного перемеши-
перемешивания», которое мы сейчас введем. Рассмотрим все события (т. е. все
множества из Л), определяемые только значениями х (п) при п ^ р.
Эти события образуют а-алгебру $}v. Аналогично, пусть $рq есть
а-алгебра событий, определяемых х (п) при n^z q. Пусть существует
положительная функция g от целочисленного аргумента, такая, что
g (n) ->¦ 0 при | п I ->¦ оо и
\Р(В{] F)-P(B) P(F)\<g(q-p)f Be %Р, F 6 fq. B.2)
Тогда говорят, что х (п) удовлетворяет условию сильного перемеши-
перемешивания. Теперь мы утверждаем, что события, разделенные во времени
промежутком q — р, приближаются к независимости равномерна
в том смысле, что отклонение от нуля левой части B.2) зависит
только от q — р, но не от конкретных рассматриваемых В и F.
Из этого условия, очевидно, вытекает B.1), а значит, и эргодич-

2. Эргодическая теория для процессов, стационарных в узком смысле 227
ность {х (п)}. Условие сильного перемешивания является довольно
жестким, но, с другой стороны, и более привлекательным. Например,
есть все основания полагать, что, скажем, поведение морских волн,
которые омывали берега много лет назад, совершенно не связано
с поведением волн, омывающих берега сегодня, и что это верно для
всех явлений, определяемых этими волнами. Правы мы или нет
в таком предположении, в настоящей книге нам придется существен-
существенно использовать это условие, введенное в статистические исследова-
исследования М. Розенблаттом. Впрочем, оно понадобится нам не сразу,
и мы ввели его сейчас лишь для того, чтобы указать на его связь
с перемешиванием и, следовательно, с эргодичностью *).
Пусть х (п) — стационарный в узком смысле эргодический про-
процесс; рассмотрим величины х (п) х (п + т)'. Если зафиксировать т
и изменять п, то получится последовательность случайных матриц,
которая вновь образует многомерный стационарный в узком смысле
процесс. Предположим, что х (п) стационарен также в широком
смысле, так что определена Г (т) = Е (х (п) х (п + ^)')- Если:
{х (п)} эргодичен, то эргодичен и процесс
{х (п) х (п + т)'},
ибо оператор сдвига для этого процесса совпадает с оператором сдви-
сдвига для {х (п)} на своей области определения (т. е. на множествах*
определяемых условиями на Xj (n) xk (n + т)), а значит, любое
инвариантное множество имеет меру 0 или 1.
Теорема 2. Если х (п) — стационарный в узком смысле эрго-
эргодический процесс, такой, что Е {| Xj (n) |} < оо, то
N
lim ^т 2 # (п) = Е (х (п)) п. н.
~*°° п=1
Если, кроме того,
Е (xj И2) < оо,
то
N
lim -jj- 2 х(т) х(т + п)' = Г (п) п. н.
iV—>оо
В частности, теорема 2 верна, если х (п) — процесс с перемеши-
перемешиванием. Она также справедлива для любого гауссовского стацио-
стационарного процесса с непрерывной спектральной функцией. Этот
результат распространяется и на другие функции траекторий, отлич-
отличные от
х (т) х (т + п)',
*) Розанов [1963] обсуждает смысл этого условия для гауссовских процес-
процессов и устанавливает ряд интересных соотношений. Мы используем это условие
главным образом в случаях, когда предположение о гауссовости не делается.

228 Гл. IV. Законы больших чисел. Центральная предельная теорема
Если х (п) — процесс с перемешиванием, то любой новый процесс,
определенный соотношением
уЦщ со) = / (Г-*со),
где / — векторнозначная измеримая функция на (Q, А-, Р), также
будет процессом "с перемешиванием. В самом деле, если А и В —
множества вида
{«) 1 (Уцк) (п (&), со), к = 1, . ¦ м т) 6 С} =
={со I (/Л*,(г-"%>)), к = 1. ..., т) ес},
где С — борелевское множество в Rm, то, как легко видеть, усло-
условие B.1) выполняется для класса измеримых множеств Jhy, порож-
порождаемого множествами вида А и J5, в вероятностном пространстве
(Qy< А у, Р), соответствующем процессу у (п). Нетрудно показать,
что последовательность независимых, одинаково распределенных
случайных векторов г (п) с нулевым средним и конечной матрицей
ковариаций обладает свойством перемешивания (мы оставляем это
в качестве упражнения). Отсюда вытекает, что если
х (п) = 5 А (}) г (п - /), S || А (/) ||2 < оо, B.3)
то х (п) — также процесс с перемешиванием и, следовательно, эрго-
дичен. Процессы вида B.3) иногда называются «линейными». Мы,
однако, будем использовать этот термин в более узком смысле.
(Мы знаем, что если процесс х (п) гауссов с абсолютно непрерывным
спектром, то он может быть представлен в виде B.3).)
Теорема 3. Если х (п) дается соотношением B.3), где г (п)
независимы и одинаково распределены, то х (п) — процесс с переме-
перемешиванием и, следовательно, эргодичен.
3. ЭРГОДИЧЕСКАЯ ТЕОРИЯ ДЛЯ ПРОЦЕССОВ, СТАЦИОНАРНЫХ
В ШИРОКОМ СМЫСЛЕ
Целью настоящего параграфа является доказательство ряда теорем,
аналогичных теоремам предыдущего параграфа, однако использую-
использующих, насколько это возможно, лишь предположения относительно
моментов второго порядка. Мы начнем с теорем, касающихся средних
значений, затем модифицируем их применительно к ковариациям
и в заключение обсудим некоторые статистики, которые служат
исходными элементами при оценивании спектра и имеют важное
значение во многих статистических проблемах.

3. Эргодическая теория для процессов, стационарных в широком смысле 229
Теорема 4. Пусть х (п) — стационарный процесс1) и
л я
(п) - f e-in4 (dX), T(n) = E (x (m) x(m + n)') = \ ein^ F (dk).
л
X \
-я
Тогда
l.i.m, xN = z(O) — z@—),
N-l
Доказательство. Положим ф (k) = 0 при X ф 0; ф @)
1. Тогда, в силу мажорированной сходимости,
л N
4 f
— я
я
Поэтому
JV я
4
1 -Я
-Я 1
я
а эта величина имеет ковариационную матрицу, указанную
в формулировке теоремы. Чтобы доказать второе утверждение,
заметим, что
2V-1 я JV-1
lim 4" 2 Г(и)=Ит ( ± 2
Я
-я
также в силу мажорированной сходимости.
-1) Всюду в дальнейшем, как и в начале книги, «стационарность» будет
означать «стационарность второго порядка».

230 Гл. IV. Законы больших чисел, Центральная предельная теорема
Из теоремы 4 сразу следует, что если х (п) — стационарный
процесс со средним jx, то вектор выборочных средних xN сходится
в среднеквадратичном к fx тогда и только тогда, когда спектр процесса
не имеет скачка в нуле. Это утверждение, часто называемое, в отли-
отличие от «индивидуальной эргодической теоремы» предыдущего пара-
параграфа, «статистической эргодической теоремой», принадлежит
Дж. фон Нейману.
Мы знаем, что если х (п) стационарен в узком смысле, то xN имеет
предел почти наверное. Последняя теорема утверждает, что xN
сходится в среднеквадратичном к случайной величине z @) — z @—).
Так как из сходимости в среднеквадратичном и сходимости почти
наверное вытекает сходимость по вероятности, то х^ почти наверное
должно сходиться именно к z @) — z @-).
Следствие 1. Если х (п) — стационарный в узком смысле
{а также в широком смысле) процесс с нулевым средним, то х ^ схо-
сходится п. н. к 0 тогда и только тогда, когда спектр процесса
не имеет скачка в нуле.
Совершенно аналогичные рассуждения, примененные к величинам
показывают, что они сходятся в среднеквадратичном и п. н. к слу-
случайной величине z (X) — z (X—); при этом они сходятся к нулю тогда
и только тогда, когда спектр процесса не имеет скачка в точке X.
Сейчас мы докажем теорему Дуба [1953], которая дает условия,
при которых среднеквадратичная сходимость может быть заменена
сходимостью п. н. для процессов, стационарных в широком смысле.
Теорема 5. Пусть х (п) удовлетворяет условиям теоремы 4
и Е (х (п)) = 0. Тогда, если существуют константы К > 0 и а > 0,
такие, что
N-l JV-1 2V-1
2 %
n-m) = -jT 2 y}(n)(l-№)^KN-*, C.1)
то xN сходится к нулю с вероятностью 1.
Очевидно, эту теорему достаточно доказать для одномерного про-
процесса. В этом случае левая часть формулы C.1) есть дисперсия xN.
Найдем Р>1, такое, что Ра>1. Тогда при N^>M^ имеем Е(х^)^
а^. Если е>0 и N{M) — наименьшее целое, большее или

3. Эргодическая теория для процессов, стационарных в широком смысле 231
равное М^, то по неравенству Чебышева
2 {\w)\}< 2
М=1 М=1
Согласно лемме Бореля — Кантелли, с вероятностью 1 происходит
лишь конечное число событий, вероятности которых суммируются
слева. Поэтому для достаточно больших М мы имеем | xN (М) | < е
с вероятностью 1, а так как 8 произвольно, то xNiM) с вероятностью 1
стремится к нулю. Кроме того,
max
JV(M+1)
ибо
Вновь применяя неравенство Чебышева и лемму Бореля—Кантелли,
^Д #jv(M) с вероятностью 1 стремится к ну-
мы видим, что
лю, когда N ->• оо и Аг
2 Р( max \~x~N-
M=l N(MNNMl l
M -{-!). В самом деле,
откуда, как и выше, следует высказанное утверждение. Итак, для
N (М), удовлетворяющих указанному соотношению, max | xN — хщМ)\
также стремится к нулю с вероятностью 1, поскольку N (M)/N-*¦!
при N (M)^.N^N (M + 1), и мы установили то, что требовалось.
Следствие 2. Пусть х (п) удовлетворяет условиям теоремы 5
и у; (п) = О (и-Р), р > 0, при п ->- оо, / = 1, . . ., р. Тогда xN стре-
стремится к нулю с вероятностью 1.
Доказательство.
N'1 У, у, (п) = iV'1 2' Y; (») + ^ 2" Т> («),

232 Гл. IV. Законы больших чисел. Центральная предельная теорема
где 2' означает суммирование от 0 до [Nl~a], а 2"—от [Л^~а] + 1
до N. Тогда левая часть не превосходит
yj@)N'a-\~(l-N-a) max | y{n) |<у;. @)#~а + сA-#-а)#(а~1)Р.
гол1-»
Если теперь взять а>0 таким, что рA—а)>0, то
AT S yjlnXKN-*, v>0,
О
и условие теоремы 5, очевидно, выполнено.
Следствие 3. Пусть х (п) удовлетворяет условиям теоре-
теоремы 5 и
б
^Fj(dX) = OF% p>0 /гри б->0, / = 1, ...,р.
о
Тогда xN стремится к нулю с вероятностью 1.
Доказательство.
N я
Е {(#-1 2 *,• ИJ} =2 J N-4,N(X)F(dk),
1 о
где LiY (Я) — ядро Фейера TV (sin ^^iV^/sin) C1^)}2. Правая часть не
превосходит
2
где 4 —интервал [0, iV/2a], а В—-интервал [N~1/2CC, л]. Это выра-
выражение не меньше чем
так как при
и правая часть стремится к 4 при iV ->¦ оо. Полагая a = 4/B + Р)»
мы видим, что дисперсия выборочного среднего Xj (n) ограничена
величиной KN"*, у = 2р/B + Р) > 0. Утверждение доказано.
Следствие 3 показывает, что спектральная плотность может быть
бесконечной в нуле и тем не менее выборочные средние будут схо-
сходиться с вероятностью 1. Она не может, конечно, стремиться к бес-
бесконечности произвольным образом, потому что, например, плот-
плотность
f(k) = [| Я |{log Bя/| ^ I)}2]-1

3. Эргодическая теория для процессов, стационарных в широком смысле 233?
не удовлетворяет условиям теоремы. Однако, поскольку наличие
скачка у F (X) при К = 0 исключает сходимость (как показывает
теорема 4) и ограничения на поведение / (X) могут быть весьма слабы-
слабыми (например, рост не быстрее Я~а, 0 ^ а < 1), то результат пред-
представляется достаточно сильным.
Следствие 4. Пусть х (п) стационарен в широком смысле,
имеет нулевое среднее, абсолютно непрерывный спектр и непрерывную-
в нуле спектральную плотность. Тогда
limNE(xNx'N) = 2nf@).
JV->oo
Утверждение сразу вытекает из того факта, что NE (xNx'N) есть
N-я чезаровская сумма ряда Фурье функции 2jx/ (К) (см. математиче-
математическое приложение).
Обратимся теперь к исследованию величин
N
C(n)=N-1 2 х(т)х{т + п)',
771=1
образующих естественные оценки для Г (п). Мы ввели С, так как
если доступно N наблюдений, то мы можем найти лишь
N-n
C(n) = (N — ny1 2 х(т)х(т + п)\ тг>0,
С (—п) = С (п)',
и мы предпочитаем сохранить более простые обозначения за этими:
величинами. Мы называем элементы матрицы С (п) сериальными
ковариациями или, в случае диагональных элементов, автоковариа-
циями г). Для настоящих целей, однако, мы можем воспользоваться
упрощением, которое состоит в том, что фиксируется количество
слагаемых в суммах С (п). Для любого фиксированного п или любого
фиксированного множества значений этого параметра С (п) обладает
теми же эргодическими свойствами, что и С (п). Если х (п) имеет
конечный четвертый момент, то величина
N^{x(N -j)x(N + n-j)}
сходится в среднеквадратичном к нулю, так что асимптотические
выражения для ковариаций элементов С (п) и свойства сходимости
в среднеквадратичном переносятся на С (п).
Введем величины
uff (m) = xt (m) Xj (т + п)—уц (п),
х) Далее мы будем использовать эти же обозначения ctj (n), С (п) и т. д.
для аналогичных величин, вычисленных по х (п) — xN, т. е. когда произведено^
центрирование.

234 Гл. IV. Законы больших чисел. Центральная предельная теорема
которые, очевидно, имеют нулевые средние, и будем исследовать
с их помощью эргодическое поведение элементов С (п) при N -> оо.
Мы знаем, что ctj (n) сходится с вероятностью 1 к ytj (n), если х (п)
стационарен в узком смысле и эргодичен или обладает свойством
перемешивания. Однако здесь мы хотим исследовать сходимость
в среднеквадратичном и сходимость с вероятностью 1, используя
только низшие моменты процесса. Из предшествующего ясно, что
нам понадобится существование моментов четвертого порядка, и мы
это предположим. Если четвертые моменты таковы, какими они
должны быть у стационарной последовательности, т. е.
Е (xt (m) xj (т + щ) xk (т + п2) хг (т + п3)) ==
= Е (xt @) Xj (щ) xk (п2) xt (n8)), C.2)
m=0, ± 1, . ..; i, у, к, Z = l, . . ., р,
то мы будем называть процесс х (п) стационарным четвертого поряд-
порядка; аналогично определим стационарность любого порядка. Напом-
Напомним (см. гл. I, уравнение E.1)), что C.2) равно
Vij (щ) Уы (п3 — п2) + Vtk (n2) Уц (п3 — щ) +
+ Ун (пз) Vjk (п2 — Щ) + Kijki (т, т + щ, т + п2, т + п3).
Если х (п) — стационарный процесс четвертого порядка, то послед-
последний член не зависит от т и можно заменить его на Kijki @, щ, п2, п3).
Если i — / = к — I, то мы ради простоты пишем nt @, w1? n2, n3).
Конечно, если х (п) гауссов, то четвертый семиинвариант равен
нулю.
Рассмотрим теперь типичную ковариацию элементов матрицы
С (п). Мы оставляем в качестве упражнения проверку следующего
выражения для ковариации между ctj (m) и ckt (n):
2V-1
+ (Лт— l^l) У, KiM(v, v + m, v + u, v + u-\-n)\ ,
J C.3)
i, /, &, Z = l, . . ., p,
где в сумме 2' индекс v изменяется в пределах 1 ^ v + и ^ N. Если
х(п) = %А (/) 8 (л ^/), 5 || А (/) ||< с», C.4)
— оо — оо
где 8 (п) независимы и имеют одинаковое распределение с конечной
матрицей ковариации G, то мы будем говорить, что х (п) — линейный
процесс. Если же условие ^\\А (/)||< оо заменяется на ^]||i (/)||2<
<; сю. то мы будем называть х (п) обобщенным линейным процессом.

3. Эргодическая теория для процессов, стационарных в широком смысле 235
Эта терминология громоздка (и несколько необычна), однако какое-
либо подобное определение необходимо. Так или иначе, всякий
обобщенный линейный процесс, а значит, и линейный процесс обла-
обладает свойством перемешивания и поэтому эргодичен.
Докажем теперь следующую теорему:
Теорема 6. Пусть процесс х (п) — стационарный второго
порядка. Для того чтобы с^ (п) сходились в среднеквадратичном
к Yij (n), необходимо и достаточно, чтобы ковариация C.3) стреми-
стремилась к нулю. Если х (п) — стационарный процесс четвертого порядка
и величина C.3) есть О (N~a), где а > 0, то имеет место также
сходимость почти наверное. Если х (п) имеет абсолютно непрерыв-
непрерывный спектр четвертого порядка, то сходимость в среднеквадратичном
для всех i, j, n имеет место тогда и только тогда, когда нет скачков
в спектре 1). Если х (п) стационарен также в узком смысле и имеет
абсолютно непрерывный спектр четвертого порядка, то отсутствие
скачков у F (X) необходимо и достаточно для сходимости почти
наверное. В частности, это условие необходимо и достаточно для
сходимости в среднеквадратичном и сходимости почти наверное
в гауссовском случае. Если х (п) — обобщенный линейный процесс,
то имеет место сходимость почти наверное, а если х (п) — линейный
процесс и семиинварианты четвертого порядка у &j (n) конечны,
то имеет место также сходимость в среднеквадратичном.
Доказательство. Заметим прежде всего, что, как уже
было сказано, все утверждения относительно ctj (n) непосредственно
следуют из соответствующих утверждений для с^ (п). Первое утверж-
утверждение очевидно, а достаточность того, что величина C.3) есть
0 (N~a), а > 0, когда х (п) — стационарный процесс четвертого
порядка, непосредственно вытекает из теоремы 5, если заменить
х (т) на utj (т), для фиксированных i, j, п. Пусть, далее, т = п,
1 = k, j — Z. Тогда выражение C.3) принимает вид
JV-1
ZJ \ N )
-JV+1
+ (N-\u\)~iy}' KUij(v,v + n, v+u, v + n + u)}. C.5)
v
Если i = j и m = n, то первые два члена равны произведению
27V на N-e чезаровское среднее ряда Фурье с коэффициентами
7г (^J. Последние являются коэффициентами Фурье свертки
л
Ft (Я)*2= \ Fi(X — Q)Fi(dQ).
х) Второго порядка.— Прим. перев.

236 Гл. IV. Законы больших чисел. Центральная предельная теорема
Следовательно, эти два первых члена сходятся к удвоенному скачку
Ft (Я)*2 в нуле (чтобы это показать, достаточно заменить F (X) на
Fi (X)*2 в доказательстве теоремы 4). Но этот скачок, очевидног
равен сумме квадратов скачков функции Ft(X). Если 1ф], но
т = п, то первые два члена приводят к скачкам в нуле функции
Ft*Fj и свертки Ftj exp {—ИпХ) с Fn. Очевидно, Fu не может
иметь скачков, если их нет у Ft и Fj (в силу эрмитовой неотрицатель-
неотрицательности приращений F (X)). Поэтому при условии, что слагаемое, содер-
содержащее семиинвариант четвертого порядка, сходится к нулю, необ-
необходимым и достаточным условием среднеквадратичной сходимости
всех ctj (n) является отсутствие скачков у F (X). В случае стационар-
стационарности четвертого порядка член в C.3), содержащий семиинварианты
четвертого порядка, принимает вид
JV-1
Если т = n, i = k, j = I, to это выражение зависит от поведения
Btjij на прямой (Я2 + Я3) = 0 (см. § 8 гл. II). Если Вцц абсолютно
непрерывна, то этот член, конечно, стремится к нулю. Итак, в случае
абсолютной непрерывности Btfhi необходимым и достаточным усло-
условием среднеквадратичной сходимости является отсутствие скачков
у F (X). Если х (п) стационарен и в широком и в узком смыслах
и спектр четвертого порядка абсолютно непрерывен, то отсутствие
скачков у F (X), очевидно, необходимо для сходимости почти навер-
наверное. Однако это условие также и достаточно, ибо сц (п), в силу
теоремы 1, сходятся почти наверное, а так как они сходятся в средне-
среднеквадратичном к ytj (п), то они и почти наверное сходятся к этим же
величинам. Если х (п) — обобщенный линейный процесс, то, как
мы уже знаем, он эргодичен. Кроме того,
S II Г (п) \\< || G || 5 ||Л(У)||2<оо,
— ОО — ОО
откуда F (X) абсолютно непрерывна и / (X) непрерывна (так как ее ряд
Фурье абсолютно сходится). Если, кроме того, семиинварианты
четвертого порядка у г (п) конечны, то конечны и семиинварианты
четвертого порядка у х(п), и если х (п) — линейный процесс, то
Кш@, д, г, s)\< оо.
q r s
В самом деле,
, g, r, s) = ^] Ktcde 5j а\ь (и) ajc (u+q) ahd (u+r) die {u+s)y
b, c, d, e=l и

3. Эргодическая теория для процессов, стационарных в широком смысле 237
где Kbcde — четвертый семиинвариант величин еъ(п), ес(тг), erf(rc),
ге{п). Итак, из C.3) видно, что си(п) сходятся в среднеквадра-
среднеквадратичном к Yij(n). Доказательство закончено.
Заметим, что условие отсутствия скачков у F (X) эквивалент-
эквивалентно следующему:
JV-»-oo v
ибо Fj(k) имеет скачки тогда и только тогда, когда F*2 (К) имеет
скачок в нуле, и
JV-1 я
sin21/2 NX „
— JV+1 -л
что сходится к нулю тогда и только тогда, когда выполнено указанное
условие.
Теорему 6 вряд ли можно назвать изящной! Некоторые условия
чересчур сильны, и оправдание для них состоит в том, что более
слабые условия трудно выписать в простой форме. Требования схо-
сходимости в среднеквадратичном и сходимости с вероятностью 1,
добавленные к исходному предположению стационарности второго
порядка, не должны, по-видимому, существенно препятствовать
принятию этой модели для анализа данных.
В случае линейного процесса асимптотическая форма выраже-
выражения C.3) для дисперсий и ковариаций несколько проще, так как
член с четвертыми семиинвариантами стремится к
) 2 akr (u) als (u + n)} , C.6)
p q r s u=—oo u=— oo
где р, g, r, s пробегают множество индексов, нумерующих столбцы
A(j), a Kpqrs — четвертый семиинвариант величин ер(п), &q(n), гг(п)
и г$(п). Когда процессы х(п) и &(п) одномерны, мы получаем
где к — четвертый семиинвариант 8 (тг). Аналогичное выражение
можно получить и для общего линейного процесса, однако оно не
так интересно, и мы его опускаем.
Дальнейшие подробности, касающиеся асимптотических свойств
ковариаций величин ct (n), читатель может найти в книге Андерсона
[1970]. Эти вычисления не столь важны практически (в частности,
из-за наличия четвертых семиинвариантов), и мы здесь не будем более
уделять им внимание.

238 Гл. IV. Законы больших чисел. Центральная предельная теорема
Теперь мы рассмотрим эргодические свойства некоторых стати-
статистик, значение которых для анализа временных рядов трудно пере-
переоценить и которые в действительности составляют основу многих
методов такого анализа. Положим г)
N л N
w(X) =—Цт- y.z(n)einb= [ —Цт- У ein&-*h(dQ). C.7)
1 — л 1
Очевидно, что
JV— 1
— JV+1
Если F (X) абсолютно непрерывна, то это выражение п. в. сходится
к / (X) (результат, который не доказывается в математическом при-
приложении и который мы не будем использовать в дальнейшем). Будем
теперь рассматривать только случай абсолютной непрерывности.
Если, кроме того, / (X) непрерывна в точке А,, то это выражение огра-
ограниченно сходится к / (X), а если/ (X) непрерывна всюду, то сходимость
равномерна. Если / (X) = 0, то w (X), очевидно, сходится к нулю
в среднеквадратичном. Если / (X) > 0, то w (X) для почти всех X не-
несходится в среднеквадратичном к какой-либо случайной величине,,
в частности, она не может сходиться в точках непрерывности / (X}
(см. упражнения к этой главе). Таким образом, эргодические свой-
свойства этих величин оказываются довольно неинтересными. Однако
величины w (X) полезны в связи с возможностью построения оценок
спектров и взаимных спектров с помощью функций от совокупностей
таких величин.
Величина
(X) = w(X)w (X)* C.8)
называется периодограммой. Это название несколько неудачно, ибо
C.8) есть функция частоты, а не периода. Следует также отметить,
что периодограмма часто рассматривается только для скалярного
процесса, причем она часто определяется в этом случае как
N
2
N
C.9)
1
Подобное определение дается из тех соображений, что для гауссов-
ских независимых величин х (п) с единичной дисперсией величина
C.9) при X = 2nk/N, X =т^= 0, jx распределена как хи-квадрат с двумя
степенями свободы. Мы же примем определение C.8). В работе
-1) Соответствующие величины с N вместо ~\/N в знаменателе представляют
интерес только в связи с задачами регрессии. Они аналогичны среднему xN,
которое мы вновь рассмотрим в связи с регрессией и которое рассматривалось
здесь отчасти по причинам исторического характера, отчасти из-за особой роли,
которую играет среднее, а также для того, чтобы ввести в круг рассмотрений,
затрагиваемых теоремой 6.

3. Эргодическая теория для процессов, стационарных в широком смысле 239*
Олшена [1967] доказан ряд довольно специальных теорем, показы-
показывающих, что / (X) не обладает какими-либо интересными эргодиче-
скими свойствами. Здесь мы не будем подробно на этом останавли-
останавливаться, однако ниже обсудим один частный результат такого типа.
Итак, периодограмма, по-видимому, не обладает такими асимптоти-
асимптотическими свойствами, благодаря которым она могла бы представлять
интерес как непосредственная оценка чего-либо. В самом деле,
в § 4 мы покажем, что при достаточно общих предположениях
распределение матрицы / (К) сходится к несколько видоизмененной
форме распределения Уишарта с двумя степенями свободы (X Ф 0, л).
Рассмотрим теперь
rN = w (X) — h (X) w (е, X),
где w (e, X) построена по последовательности 8 A), . . ., 8 (N)y
так же как w (X) по х (п), и1)
я(и) = 3^(/)е (»-/), MX) = fU(/>y\ 2 \\А О") II2 < °°-
— оо —оо — оо
Имеет место следующая теорема (Олшен [1967]):
Теорема 7. Если х (п) имеет абсолютно непрерывный спектр
и спектральная плотность непрерывна в точке X, то w (X) —
— h(X) w (e, X) сходится в среднеквадратичном к нулю; если/ (X) не-
непрерывна всюду, то сходимость равномерна.]
Доказательство. Если / непрерывна в точке X, то можно
выбрать h (X) так, чтобы она была непрерывна в этой точке 2). (Этому
условию удовлетворяет хотя бы положительный квадратный корень
из / (X).) Рассмотрим теперь
lim\\w(X)-h(X)w(z,X)\\* = f(X) +
N-+OO
+ ^-h{%) Gh (I)* - lim E {w (X) w (e, K)*h (k)* + h{%)w (e, X) w (k)*},
^•nt JV-юо
где G = E(e(n) e(n)'), как обычно. Второй член также равен /(Я).
Далее,
оо JV JV
— оо
JV-1
= — У,
-iV+1
г) Ради простоты мы теперь используем обозначение h (k) для функции
которая обозначалась h (exp iX) в гл. III.
2) В формулировке теоремы следует указать, что функция h выбрана именно
таким образом.— Прим. перев.

240 Гл. IV. Законы больших чисел. Центральная предельная теорема
Так как это стремится к A/2я) h (X) G для непрерывной h (Я), то
w (X) — h (X) w (е, X) сходится в среднеквадратичном к нулю (см.
математическое приложение), поэтому если выбрать h (X) непрерыв-
непрерывной, то среднеквадратичная ошибка будет равномерно стремиться
к нулю.
Будем говорить, что последовательность случайных величин хп
сходится в среднем к случайной величине х, если Е | хп — х | стре-
стремится к нулю.
Положим / (е, X) = w (е, X) w (е, Я)*.
Следствие 5. Если х (п) удовлетворяет условиям теоремы 7,
то элементы матрицы I (X) — h (X) I (е, X) h (X)* сходятся в среднем
к нулю, причем сходимость равномерна по Я, если f (X) всюду непре-
непрерывна.
В самом деле,
I (X) -h (X) I (8, X) h (Я)* ={w (X) -h{X)w (8, X)} w (e, Я)* h (Я)* +
+ h(X) w (8, X){w (X) —h(X)w (e, X)}* +
+ {w (X) — h(X)w (8, X)}{w (X) —h(X)w (8, X)}*.
Взяв математическое ожидание от нормы этого выражения и исполь-
используя неравенство Шварца, мы получим его верхнюю границу
2|| / (Х)\\ \\w(X) ~h(X)w (8, Л)|| +|| w(X) -h (X) w (8, A,)||2,
которая, очевидно, сходится к нулю как требуется.
В последующих статистических расчетах w (X) будет вычисляться,
как правило, не для одной фиксированной частоты Я, а для множе-
множества частот
(u] = 2nj/N% /==0, 1, ...
В частности, нам потребуется множество точек со;-, концентрирую-
концентрирующихся вокруг некоторой интересующей нас фиксированной частоты
или лежащих в некотором узком диапазоне частот. Поэтому в дан-
данном параграфе мы изучаем свойства сходимости в среднеквадратич-
среднеквадратичном и сходимости почти наверное для таких величин, как w (со/),
когда со;- концентрируются в интересующем нас диапазоне. Это
означает, что мы будем рассматривать эргодические свойства после-
последовательностей коэффициентов регрессии вида
где #(iV) (n) зависит, как мы видели, от N. Поскольку это понадо-
понадобится нам в дальнейшем (см. гл. VII), мы разовьем теорию для более
общих последовательностей у^(п)у удовлетворяющих лишь усло-
условиям F.1), введенным в § 6 гл. П. Итак, рассмотрим последователь-

3. Эргодическая теория для процессов, стационарных в широком смысле 241
нэсть g-мерных векторов i/N) (n), такую, что
N
(a) limd|(iV)=lim2{^JV)(w)}2=oo, / = 1, ...,д;
JV iV 1
{y- Wl
(b) lim max • = 0, 7 = 1, . .., g;
Здесь dj (N) — положительный квадратный корень из d) (N). Тогда,
точно так же, как в § 6 гл. II (см. теорему 11), получаем
Pjk (п) =
Обозначим через R (п) матрицу с элементами р7/1 (п) и предположим,
что R @) невырожденна.
Введем матрицу Yх с элементом у^ (п) на пересечении п-й стро-
строки и /-го столбца и матрицу XN, определенную аналогично через
Xj (п). ПОЛОЖИМ
¦В = \Х N* NJ ¦* N&N' \O.l\J)
Такое определение мотивируется теорией регрессии, так как j-ш
столбец В является вектором регрессии Xj (п) на у^ (п), к= 1,..., д.
В частности, если q^l и г/GУ)(тг)=1, то В равно xN. Введем диа-
диагональную матрицу DN с диагональными элементами dj(N). Что-
Чтобы нравильно сформулировать и доказать нашу теорему, необходи-
необходимо ввести тензорные обозначения. Возьмем столбцы матрицы В
и поместим их последовательно один под другим, так что полу-
получится столбец Р, в котором Р^, 7 находится в строке (/ — l)g + i,
ё = 1, ..., д; /=^1> -•••> Р- (Всего имеется р переменных ху(/г),
7 = 1, •-., р, ид переменных уи(п), к—1, ...,д.) Напомним, что
тензорное (кронекеровское) произведение г) А ® В рх р-матрицы Л
и g х g-матрицы В есть матрица размера pq x pq, у которой на пере-
пересечении (g (i — 1) -f к)-й строки и (д (/ — 1) + 0~ГО столбца, г, / = 1, ...
..., р; A:, Z-=l, ..., д, находится пцЬм. Теперь мы можем ввести
матрицу
л
J 2nf(X)®M'(dK){Ip®R@)}-1, C.11)
х) См. математическое приложение, § 5.

242 Гл. IV. Законы больших чисел. Центральная предельная теорема
где средняя матрица получается поэлементным интегрированием
матрицы / (X) ® М' {(Щ. Имеет место следующая теорема, которая
не только устанавливает среднеквадратичную сходимость к нулю
элементов 5, но и указывает предельную формулу для матрицы
ковариаций. В следующем параграфе мы обсудим эти результаты
применительно к w (со/).
Теорема 8. Если х(п) —стационарный процесс с абсолютно
непрерывным спектром и кусочно-непрерывной спектральной плот-
плотностью, не имеющей разрывов в точках скачков М (X), то
{1Р ® DN)E($$f){Ip®DN) сходится к C.11) при Лг-^эо.
Доказательство. Имеем Е(C) = 0, так как р линейно зави-
зависит от Xj(n). Заметим, что если превратить матрицу Y'nXn в стол-
столбец иг) по такому же правилу, как В превращается в |3, то этот
столбец будет иметь вид
Тогда
(/Р ® DN) Ь = {(/Р® DN) (/р ® YnYxY1 (Ip ® DN)} (Ip ® Drf) и.
Первый множитель (в фигурных скобках), равный
в силу условия (с) (для п = 0) при TV-^oo сходится к [IP®R (О)].
Итак, нам достаточно доказать теорему для [(Ip®D]f) и] с предель-
предельной матрицей ковариаций
2nf(X)®M'(dX).
Рассмотрим сначала случай, когда / (X) непрерывна и / (К) > О
в интервале [ — я, я]. (Здесь и дальше такое неравенство понимается
в смысле обычного отношения порядка для матриц 2).) Если/A) ()J) ^
</ (^)</B) (X) и и1ч и, и2 построены по процессам х1 (п), х (п),
х2 (?г) с такими спектральными плотностями, то
Е(щи[)< Е(ии')<Е(и2и'2).
х) Ради простоты обозначений мы опускаем индекс величины и, указываю-
указывающий на ее зависимость от N.
2) В частности, / (X) > 0 означает, что / (к) положительно определена, а не
просто неотрицательна.

3. Эргодическая теория для процессов, стационарных в широком смысле 243
В самом деле,
Е (ии') = 2 У (n-m)®y{N) (m) у(Ю (п)' -
п, т
я
= \ / (А) (><р /\ У \Щ) У \П) € к 'г" аА =
— Я п, т
л
= j f(k)®J(k)J(k)*dk, C.12)
— Л
где
Доказываемое неравенство следует из соотношений
/^ (Я) ®J{X)J (Я)*</(Л) ®J(l)J (l)*<fB) (I) ® /
Далее, если /B) (Я) — /A) (Я)<е/Р, то
-я
л
М — fa)W}®D^J (X)J(
—я
а последнее стремится к 2ле {/р® R @)}, ибо
Таким образом, мы получим требуемое соотношение для Е {ииг),
если для любого 8 ^> 0 сможем найти спектральные плотности
fO)(K), i = l, 2, такие, что
/B) (Я), /<2> (Я) - /а> (I) < 8/р,
я
lim (Ip ® Z)^1) E (u;u-) (/р ® ЗД) = ( 2л/<;> (л) ® М
iV-
Этого легко достичь, если / (К) непрерывна и / (К) > 0, так как
в этом случае всегда можно найти тригонометрические многочлены
)e-in\ i4(i)(w) = i4(O( —и), i = l, 2,

244 Гл. IV. Законы больших чисел. Центральная предельная теорема
удовлетворяющие первым двум условиям (чтобы это доказать, можно
выбрать г] > 0 так, чтобы матрицы / (К) ± г\1р были положительно
определены, и использовать тот факт, что чезаровские средние рядов
Фурье этих матриц положительно определены и равномерно сходят-
сходятся) Третье условие также выполняется, поскольку
я
(i) (и) ® J
П -Я
а последнее стремится к
-JJ (k) J (k)*D$ dk,
= [ 2п
Итак, формула для матрицы ковариаций установлена в случае
/ (А,) > О, А, 6 [—л, я]. Если / (К) непрерывна, но последнее условие
не выполнено, то рассмотрим /(^)+е/р, е>0 и введем соответ-
соответствующий вектор ие. Тогда из сказанного выше следует, что
Пт
Я
f 2nf(k)®M' (dX)-2ne(/p®JR@)).
откуда в силу произвольнострг 8 вытекает доказываемое утверждение.
Если / (А,) лишь кусочно-непрерывна, то можно найти две непре-
непрерывные спектральные плотности gA> (А,) <! f (К) -< gB> (X), такие, что
C.13)
например, если а0 —точка разрыва1) / (К) и f (Xo -f)
можно положить
-1
= / (Хо - ) + TJ-1 (^ -
— ), то
Если т] достаточно мало, то gA) (М ^ / (А)<'^B) (^) на указанном
интервале, и вклад в C.13), соответствующий этому интервалу,
Очевидно, имеются в виду разрывы первого рода.— Прим. перев.

3. Эргодическая теория для процессов, стационарных в широком смысле 245
можно сделать сколь угодно малым, ибо приращение М' (А,) на
интервале 1А0, ^о + т]] мало при малых г). Так как для gA) и gB),
как было выше доказано, теорема верна, а 8 в формуле C.13) сколь
угодно мало, то эта формула справедлива и для / (X). Теорема 8
доказана.
В связи с доказательством одной из разновидностей центральной
предельной теоремы нам необходимо будет усилить условие (Ь)
следующим образом:
(Ь)' Пусть SN — подмножество индексов jN, l^CjN <Г N,
состоящее из МN элементов. Если
то
равномерно относительно SN. (Таким образом, левая часть может
быть сделана меньше любого 8 > 0 для всех S N и /, если только
МNIN достаточно мало.)
Это условие, по-видимому, выполняется во всех практически
важных случаях х). Оно, однако, исключает некоторые случаи,
когда d)(N) возрастает очень медленно, например у (п) = п'1^.
Во всяком случае, оно выполняется во всех конкретных примерах,
рассмотренных в § 6 гл. II.
Будем писать d) (N) X Naj, если CiNaj < d) (N) < c2Naj для
некоторых 0 < Ci ^ c2 < оо. Имеет место
Теорема 9. Пусть х (п) — стационарный процесс с абсолют-
абсолютно непрерывным спектром, Тг{ /(Я)} ^ К^ < оо, X ? [—я, я], и пусть
yW (п) удовлетворяет условиям Гренандера с d) (N) X Naj, a7- > V2,
7 = 1, . . ., q. Тогда В сходится к нулю почти наверное.
Доказательство. Достаточно доказать, что
N
dj(N)dk(N)
сходится к нулю почти наверное для всех у, к, Z, ибо типичный эле-
элемент матрицы В может быть записан в виде линейной комбинации
таких величин с коэффициентами, сходящимися к конечным постоян-
постоянным. Дисперсия с (N) равна
л
dj (N)-4h (iV) J | 2 Vk (n)
(iV)

Подробности см. в упражнениях к этой главе.

246 Гл. IV. Законы больших чисел. Центральная предельная теорема
Положим Лг (Л/) = Л/Р, Ра, > 1. Тогда, в силу леммы Бореля —
Кантелли, с (N G1/)) сходится к нулю почти наверное, так как ее
дисперсия не превосходит KN~aft. (Мы обозначаем через К конечные
постоянные, не обязательно одни и те же.) Далее,
Е [ sup | (c(N)-c (N (M))) ds (N (M))) dk (N (M))/{dj (N) dk (N)} |2] <
Для краткости обозначим последнее выражение через а(М).
Имеем
и, поскольку а_/>>1/2, мы можем выбрать Р так, чтобы 1
— Р"х<;0. Тогда последнее выражение есть О (M"p
Следовательно,
М=1
(М+1)Р
М=1
Таким образом, нужный результат будет следовать из леммы Боре-
Бореля — Кантелли (как в теореме 5), если последний ряд сходится.
Однако это легко следует из того, что последовательность Ы~аъ d\(N)
ограничена.
4. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
Существует довольно обширная литература по центральной пре-
предельной теореме для стационарных процессов; отметим, в частности,
работы Морана [1947], Диананды [1954], Гренандера и Розенблатта
[1957], Хеннана [1961а]. Рассматривались два рода ситуаций.
В первой
оо
-7), 2
D.1)
где 8 (тг) независимы и имеют одинаковое распределение с матрицей
ковариаций G. Тогда х (п) — обобщенный линейный процесс. Весьма
общее рассмотрение этого случая, включающее частично также слу-
случай неравнораспределенных 8 (тг), имеется в работе Эйкера [1967].
Его идеи будут использованы в нашем изложении, насколько это
касается D.1), для модификации результатов Хеннана [1961а].

4. Центральная предельная теорема 247
Предположения, сделанные относительно D.1), ни в коей мере не
являются удовлетворительными, ибо трудно найти достаточно есте-
естественные оправдания для предположения о независимости 8 (п).
(Конечно, если х (п) гауссов с абсолютно непрерывным спектром,
то D.1) с необходимостью выполняется.) Однако введение независи-
независимости в той или иной форме представляется существенным для анали-
анализа. Другое условие было предложено в работах Розенблатта [1956а],
[1961], где предполагалось, что х (п) удовлетворяет условию сильного
перемешивания из § 2. В некоторых отношениях условие такого типа
представляется предпочтительным, так как мы можем обосновать
его в духе § 2. В настоящем параграфе мы также обсудим некоторую
форму центральной предельной теоремы такого типа.
Вместо того чтобы заниматься собственно центральной предель-
предельной теоремой для среднего, мы сразу рассмотрим более общий случай
матрицы В (определенной соотношением C.10)), где у(Ю (п) удовле-
удовлетворяет условиям (а), (Ь), (с) из предыдущего параграфа. Имеет
место
Теорема 10. Пусть i/W (п) удовлетворяет условиям (а), (Ь),
(с) § 3, а матрица В определена формулой C.10), где х (п) — обоб-
обобщенный линейный процесс с кусочно-непрерывной спектральной плот-
плотностью, непрерывной в точках скачков М (X). Пусть р определяется
через В, как указано после C.10). Тогда, если C.11) — ненулевая
матрица, то распределение (Ip ® D N) |3 сходится при N —>¦ оо
к нормальному с нулевым средним и матрицей ковариаций C.11).
Мы поместили доказательство теоремы 10 в приложение к этой
главе, потому что оно не столь сложно, сколь утомительно. Если
yW (n) более специального вида, то можно ожидать более сильный
результат и, в частности, для средних значений имеет место следую-
следующая теорема:
Теорема 11. Если х (п) — обобщенный линейный процесс со
спектральной плотностью f (А,), непрерывной в нуле, причем Тг / (X)
равномерно ограничен и / @) не есть нуль, то вектор N1^xN асимпто-
асимптотически нормален с нулевым средним и матрицей ковариаций 2я/ @).
Доказательство этой теоремы также дано в приложении к этой
главе.
Теперь мы рассмотрим весьма важный для дальнейшего случай,
который тесно связан с первым примером из § 6 гл. П. Фиксируем
частоту X, Q-^Х ^. л, и определим у№ (п) формулой
Xф 0, я, уги-\ (п) = cos пХи, у^ (п) = sin nku,
Хи=--—^-, и= 1, . . ., т,
где ju — последовательные целые числа, выбранные так, чтобы
Хи были как можно ближе к X. Таким образом, q = 2т. Если X — 0,

248 Гл. IV. Законы больших чисел. Центральная предельная теорема
то из D.2) следует исключить синусоидальную компоненту, отве-
отвечающую ju = 0; то же самое следует сделать, если X = л, N четно
и ]и = 1/2Лг. Число индексов к по-прежнему обозначается через q.
При X Ф 0, л матрица R (п) имеет вид
cosnX sinnX
— sin nX cosnX
о
lim -jj-
cosnX sinnX
— sinnX cosnX
где указаны только ненулевые элементы. Чтобы в этом убедиться,
заметим сначала, что d) (N) = 1/2Лг, и рассмотрим, например, соот-
соотношение
N
V, cosm^sin (m-]-^)^ = lim sin nXu = sin nX.
N->oo iV , N->oo
m=l
Конечно, мы могли бы с самого начала взять cos nku без соответ-
соответствующего синусоидального члена (или наоборот); тогда на диа-
диагонали R (п) появились бы одномерные блоки (вида cos nX). Мы,
однако, не будем специально останавливаться на этом случае. При
Я = 0, л матрица R (п) превращается в единичную матрицу Iq
порядка q (при X = 0) или в cos пл1q (при X — л). Соответственно
М (X) при X Ф 0, л имеет две точки роста, а именно -±Х, со скачком
2
JL
2
D.3)
в точке X и V'q в точке ~Х. При X =¦- О, я имеется единственный скачок
в точке Л, равный Iq.
В рассмотренном случае элементы В имеют вид
N
_2_ >п ,cos «
N Zj ->' \ ' sin Uu'
1
где обозначения указывают на то, что могут встретиться оба типа
сумм как вместе, так и порознь.

4. Центральная предельная теорема 249
Легко проверить, что функции cos nku, sin nXin где Хи описаны
выше, удовлетворяют условиям (а), (Ь)', (с) § 3, и поэтому элементы
матрицы В сходятся к нулю почти наверное. Нас, конечно, интере-
интересует предельное распределение матрицы В (после нормировки
посредством множителя DN).
В нашем случае R @) = I q (и при X Ф 0, я можно взять D N =
= 1/2NIq). Согласно теореме 10, (Ip ® D Y) P имеет предельное нор-
мальное распределение с матрицей ковариаций
Я' D.4)
2nf{K)®Iq, А, = 0, я.
Заметим в связи с этой формулой, что если мы изменим порядок
элементов в матрице E, помещая $ц в строку (у — 1) p-{-i (т. е. рас-
располагая их по порядку, учитывая сначала номер столбца, а потом —
номер строки), то в формуле D.4) изменится лишь порядок тензор-
тензорных сомножителей.
Теорема 12. Если х (п) — обобщенный линейный процесс со
спектральной плотностью, непрерывной и не равной нулю в точке Я,
Тг (/ (X)) равномерно ограничен и q последовательностей y^h ) (п)
определяются формулами D.2), то распределение (Ip ® D Y) P схо-
сходится к многомерному нормальному с нулевым средним и матрицей
ковариаций D.4).
Доказательство этой теоремы также вынесено в приложение.
Эта теорема дает возможность рассмотреть распределение вели-
величин w (Яи), определенных формулами C.7). Для упрощения обозна-
обозначений положим
N
v(u) = w (К) = 0 * 1/2 2 х (п) einXu = а (и) + 1Ъ (и),
<2яЛ) 1 D.5)
_ 2лj и _ л т
где а (и) и Ъ(и) равны соответственно соседним строкам матрицы Ву
умноженным на "|/Л78я, при ки Ф 0, я, и строке матрицы Вч умно-
умноженной на УN/2n, при Хи=0, я. Чтобы описать предельное рас-
распределение величины и (и), введем комплексное многомерное нор-
нормальное распределение с плотностью
iFdbr-2*22' D'6)
где 2 — эрмитова неотрицательная р X р-матрица, a z — столбец
с координатами Zj, j — 1, ...,/?. Эта плотность отвечает элементу
объема, который равен произведению дифференциалов вещественных
и мнимых частей всех z*.

250 Гл. IV. Законы больших чисел. Центральная предельная теорема
Теорема 13. Если х (п) — обобщенный линейный процесс со
спектральной плотностью, непрерывной и отличной от нуля в точ-
точке X, величины v (и) определены соотношением D.5), где Хи такие же,
как в D.2), то при к Ф 0, я совместное распределение величин Vj (и)
сходится к распределению т независимых случайных векторов, каждый
из которых имеет плотность распределения D.6) с 2 = / (Я). При
Я — 0 и, если N четно, при к = я один из векторов и (и) имеет
в пределе обычное многомерное нормальное распределение с матрицей
ковариаций f (К).
Доказательство. Мы начнем с некоторых алгебраиче-
алгебраических соображений, относящихся к случаю X Ф 0, я, которые мы
используем и впоследствии.
Пусть 2 — произвольная квадратная матрица с комплексными
элементами, имеющая р столбцов и р строк. Положим 21 — C-\-iQ
и установим соответствие
Это соответствие является изоморфизмом алгебры всех комплекс-
комплексных матриц 2 (рассматриваемой как алгебра над полем вещественных
чисел *)) и алгеброй вещественных матриц вида (*). (Сохранение
алгебраических операций проверяется непосредственно, и наше
соответствие, очевидно, взаимно однозначно.) Если 2 невырожден-
на,то невырожденна и правая матрица в соотношении (*), и обратно,
так как из 2z = 0, где z = х — iy, вытекает Cx-\-Qy= Qx — Су =
= 0, и обратно. Если 2 эрмитова, то С симметрична, a Q — косо-
симметрична, так что образ 2 является симметричной матрицей,
и обратно. (Если 2 унитарна, то ее образ является ортогональной
матрицей, и обратно.) Если 2 эрмитова и неотрицательна, то ее образ
является симметричной неотрицательной матрицей, и обратно, ибо
_о 2]
Далее, если 2 эрмитова и z — ее собственный вектор, отвечающий
собственному значению jli, то
(
У/ ' \~х
являются собственными векторами ее образа с тем же собственным
значением, и обратно. Отсюда, в частности, следует, что определитель
образа 2 равен (det 2J.
г) Когда мы говорим, что она рассматривается как алгебра над веществен-
вещественным полем, мы имеем в виду, что она замкнута относительно алгебраических
операций умножения и образования линейных комбинаций с вещественными
коэффициентами.

4. Центральная предельная теорема 251
Рассмотрим теперь элементы столбца
8{и)=\ъ(и))-
Теорема 12 утверждает, что их предельное распределение таково,
что векторы g (и) независимы при различных и. Элементы а (и)
и Ъ (и) получаются из элементов Р при т = 1 умножением послед-
последних на Dя)~1/2. Далее, располагая их в столбец g (и), мы изменили
их порядок по сравнению с порядком в р, поместив косинусоиды
перед синусоидами. Вследствие этого матрица ковариаций их пре-
предельного распределения получается в результате перемены порядка
сомножителей в тензорных произведениях D.4) (как объяснено непо-
непосредственно перед теоремой 11) и умножения на (in)'1. Итак, мы полу-
получили матрицу ковариаций предельного распределения g (и) в виде
1 Л [1 -Л
Таким образом,
= TT(f(k)W*).
Якобиан преобразования, переводящего элементы р в элементы g (и),
равен Dя)шр. Поэтому постоянный множитель в предельной плотно-
плотности распределения элементов а (и) и Ъ (и) равен
1/21~т Г ИГ c (Л11/21~т
как и должно быть, и теорема доказана для а ^= 0, п. Для X = 0, л
доказательство простое, и мы оставляем его читателю.
Замечание. Совершенно аналогично можно доказать сле-
следующее. Пусть К, ^A\ . . ., №*> — произвольное конечное множество
точек из [0, я], и пусть для )-й из них выбирается т^ частот Xj, t,
i = 1, . . ., mj, вида 2nk/N, ближайших к №К Тогда, если х (п) —
обобщенный линейный процесс, a f (X) непрерывна и не равна нулю
в точках №\ то совместное распределение векторов w (Xj, f) сходится
при N -> оо к распределению 2 тз независимых векторов, причем
те из них, которые относятся к частоте №\ имеют распределение
D.6), где 2 = / (№)) для КО) ф 0, я. Для № = 0 и, если N четно,
для АР) = я один из векторов имеет обычное многомерное нормальное
распределение с матрицей ковариаций №

252 Гл. IV. Законы больших чисел. Центральная предельная теорема
Распределение с плотностью D.6) играет центральную роль
в статистической теории, которая излагается далее; это связано
с тем, что величины w (к), с точностью до нормирующего множителя,
являются аппроксимацией для z (dk) — ортогональных приращений
в разложении процесса х (п) в интеграл Фурье.
Конечно, теорема 10 охватывает и многие другие случаи, так
что у (п), например, может быть стационарным процессом (с сериаль-
сериальными ковариациями, которые сходятся с вероятностью 1). Мы вновь
вернемся к этим вопросам в связи с проблемами регрессии. Требова-
Требование равнораспределенности 8 (га), как уже отмечалось, может быть
ослаблено.
Теперь мы переходим к обсуждению центральной предельной тео-
теоремы другого типа, упомянутой в начале параграфа. Для этого
введем следующие условия:
1. Процесс х (п) удовлетворяет условию сильного перемешива-
перемешивания B.2) из § 2.
2. Процесс х (п) — стационарный четвертого порядка, и четвер-
четвертые семиинварианты кцкг @, п, р, q) удовлетворяют условию
\Kijki(O, n, p,q)\<oo.
n, p, q=0
3. Последовательность i/W (га) удовлетворяет условиям (a), (b)'
и (с) § 3.
4. Процесс х (n) имеет абсолютно непрерывный спектр и непре-
непрерывную спектральную плотность, причем
\ f (к) ® М' (dk) ф 0.
Второе условие можно заменить аналогичным требованием отно-
относительно стационарности третьего порядка, а также третьих и третьих
абсолютных моментов (несомненно, что это условие можно ослабить
и дальше). Мы, однако, остановимся на условии 2, так как оно
пригодится и в дальнейшем (фактически оно уже использовалось
в теореме 6 § 3). Если х (п) стационарен в узком смысле, то в теоре-
теоремах, аналогичных теоремам 11, 12, 13, условие 2 можно заменить
некоторым необходимым и достаточным условием. На самом деле
это можно сделать и для теоремы 10 (если х (и) стационарен в узком
смысле), но в этом случае необходимое и достаточное условие слиш-
слишком сложно, чтобы быть интересным. Условие, о котором идет речь,
формулируется в терминах совместной функции распределения GNt^ (x)
вещественных и мнимых частей всех элементов w (к). Так, например,
Gjv, о (х) есть, с точностью до множителя (Лг/2яI/2, входящего в w @),
распределение среднего значения, и мы ищем для него предельное
распределение. Нужное нам условие имеет вид
2'. lim Пт f \\x\\2GNtK(dx) = 0.

4. Центральная предельная теорема 253
Интересно сравнить условие сильного перемешивания и условие
обобщенной линейности процесса в связи с доказательством теорем
типа 11, 12 и 13. Так как обобщенный линейный процесс стационарен
в узком смысле, то различие будет заключаться в замене обобщен-
обобщенного линейного процесса на процесс с сильным перемешиванием *),
замене условия (Ь) на (Ь)' и введении условия 2'. Сформулируем
теоремы, доказательства которых приводятся в приложении к этой
главе.
Теорема 10'. При сформулированных выше условиях 1—4 вели-
величина (Ip ® DN) p асимптотически нормальна с нулевым средним
и матрицей ковариаций D.3) 2).
Теорема 11'. Пусть выполнены условия 1, 2, пусть х (п)
имеет абсолютно непрерывный спектр с плотностью, непрерывной
(и отличной от нуля) при А, = 0, и Тг / (К) равномерно ограничен;
тогда имеет место утверждение теоремы 11. Если опустить усло-
условие 2, но потребовать, чтобы х (п) был стационарным в узком смысле,
то условие 2' при X = 0 будет необходимым и достаточным.
Теорема 12'. Пусть выполнены условия 1, 2, пусть х (п)
имеет абсолютно непрерывный спектр с плотностью, непрерывной
(и отличной от нуля) в точке А,, и Тг / (К) равномерно ограничен.
Тогда утверждение теоремы 12 остается в силе. Если х (п) стациона-
стационарен в узком смысле, а условие 2 опущено, то необходимым и достаточ-
достаточным условием является 2!.
Теорема 13'. В условиях теоремы 12' имеет место утвержде-
утверждение теоремы 13.
Замечание. Конечно, теоремы 1Г и 12' можно объединить
в одну, однако мы предпочли выделить случай среднего значения.
Эти теоремы близки к результатам Розанова [1963]; в частности,
он доказал необходимость и достаточность условия 2' при выпол-
выполнении остальных сформулированных условий в случае хх.
Рассмотрим теперь матрицу С (п). Мы сначала приведем аналог
теоремы 1Г, так как он легко вытекает из сформулированной тео-
теоремы. Для этого нам понадобится условие, аналогичное 2'. По-види-
По-видимому, проще всего сформулировать это условие, введя величину
Эл-.а= 2 2 [VN{cif(n)-yi3{r,)}]%,
i, j=\ п=\
*) Как было указано ранее, е (п) в определении обобщенного линейного
процесса х (п) могут быть не одинаково распределенными, а лишь должны удо-
удовлетворять некоторым подходящим ограничениям (см. Эйкер [1965]). Впрочем,
аналогичное ослабление условия стационарности возможно и для процессов
с сильным перемешиванием.
2) См. также работу Холево [1971].— Прим. перев.

254 Гл. IV. Законы больших чисел. Центральная предельная теорема
распределение которой мы обозначим GNt q (х). Тогда нужное усло-
условие имеет вид
2". lim lim \ xGNiq(dx) = O.
аоо Noo
х>а
Имеет место следующая
Теорема 14'. Если х (п) стационарен в узком смысле, удовле-
удовлетворяет условиям 1, 2 и имеет абсолютно непрерывный спектр
с непрерывной спектральной плотностью, то для любого целого q ^ О
совместное распределение величин
VN{ci3(nu) — yu(nu)}, i, ; = 1, ..., р, м = 1, ,.., q,
сходится к многомерному нормальному распределению с нулевым
средним и матрицей ковариаций, указанной в § 3, тогда и только
тогда, когда выполнено условие 2".
Эта теорема сразу вытекает из теоремы 11'. В самом деле, в усло-
условиях теоремы p2q последовательностей yiju (m) = xt (m) Xj (m-\- пи) —
— Ун (пи) образуют многомерный стационарный процесс с нулевым
средним и конечными ковариациями, удовлетворяющий условию
сильного перемешивания и имеющий абсолютно непрерывный спектр
с непрерывной спектральной плотностью. Применим теорему 11'
к последовательности р2д-мерных векторов l/~N{ctj (п) — уц {п)}
вместо YN хх- При этом роль необходимого и достаточного условия
теоремы И' играет 2", за исключением того, что вместо си (п) фигури-
фигурируют ctj (/г). Однако величина
У N{cu (п) - уи (п)} - УМ {си'(п) - уи (п)}
имеет дисперсию порядка О (N~l), так что в условии 2" и формулиров-
формулировке теоремы Сц (п) можно заменить на с и (п). Теорема доказана.
Ей соответствует следующая теорема без штриха:
Теорема 14. Пусть х (п) — линейный процесс, причем г (п)
имеет конечные четвертые семиинварианты х^ь тогда величины
VN{си(пи)~Уи(пи)}, i, / = 1, . .., р; м = 1, ..., q,
асимптотически нормальны с нулевым средним и матрицей ковариа-
ций. указанной в § 3.
Доказательство приведено в приложении.
Ни одну из этих теорем нельзя признать вполне удовлетвори-
удовлетворительной. Мы не будем далее углубляться в эти вопросы из-за их
сложности, а также из-за того, что теоремы такого типа, по-видимому,
не очень важны. Это объясняется тем, что для практики важнее
величины

Упражнения
255
и той центральной ролью, которую играют величины, рассматривав-
рассматривавшиеся в теоремах 13, 13'.
Интересно отметить, что по крайней мере при выполнении условия
5 |/|а(/J<оо
— оо
распределение коэффициента автокорреляции
с(п)
г(/г)=-
с@)
асимптотически нормально для линейного процесса, без каких-либо
предположений о четвертых моментах (мы отсылаем читателя к рабо-
работе Андерсона и Уолкера [1964]). Фактически природу такой ситуации
можно понять, рассматривая доказательство теоремы И гл. V.
Этот результат является довольно специальным, ибо в многомерном
случае аналогичный результат уже не имеет места; именно, представ-
представляется невозможным, используя технику Андерсона и Уолкера,
доказать асимптотическую нормальность величин
, ч Cjk (П)
а лишь на
без предположения конечности четвертых моментов,
основе условия
если только е (п) не является скалярным процессом.
УПРАЖНЕНИЯ
1. Пусть х (и) — скалярный процесс вида
х (п) -= a cos пк + Р sin iik,
где К иррационально, а а, |5 — независимые случайные величины с нулевыми
средними и единичными дисперсиями. Показать, что xN сходится к нулю с веро-
вероятностью 1, хотя х (п) не обладает свойством перемешивания.
2. Пусть х (п) стационарен в узком смысле, имеет нулевое среднее и непре-
непрерывную в нуле спектральную функцию. Показать, что xN сходится к нулю с ве-
вероятностью 1. (Использовать теорему 1 и среднеквадратичную сходимость xN
к пределу, который равен нулю с вероятностью 1.)
3. Вывести формулу C.3).
4. Показать, что последовательность независимых одинаково распределен-
распределенных случайных величин обладает свойством перемешивания.
5. Показать, что у (п) = п-1^ удовлетворяет условию (Ь), но не удовле-
удовлетворяет условию (Ь)' из § 4.
6. Пусть х (п) — скалярный процесс, удовлетворяющий условиям теоре-
теоремы 14. Положим г (/г) = с (и)/с @); показать, что любое конечное семейство
величин N1/2 {г (п) — р (тг)} асимптотически нормально с нулевым средним

256 Гл. IV. Законы больших чисел. Центральная предельная теорема
и ковариациями между г (и) и г (v), равными
оо
2 {р (т) р (т+ u — v) + р (т+ и) р (m — v) — 2p (т) р (и) р (m — v) —
-2р (т) р (v) р(т-и) + 2р (т)* р (и) р (г)}.
7. Пусть а: (п) — последовательность независимых одинаково распределен-
распределенных величин с нулевым средним и конечной дисперсией. Показать, что N ^г (п)
асимптотически нормален с нулевым средним и единичной дисперсией. (Заме-
(Заметим, что никаких предположений о четвертых моментах здесь не делается.)
Показать, что для любого конечного подмножества значений п величины
дЛ/2Г (?г^ совместно асимптотически нормальны с единичной матрицей ковариа-
м
цлй и, следовательно, статистика N J] r(nJ (M фиксировано) может быть исполь-
1
зована как хи-квадрат с М степенями свободы для проверки гипотезы о неза-
независимости х (п).
8. Если xi (п) и xj (п) — независимые линейные процессы, то Л7 /2г^- (п)
распределен асимптотически нормально с нулевым средним и дисперсией
] fi ft) fj M db
fi(k)dkl fj'WdkI'
-я
(Замечание. Здесь также не нужны предположения о четвертых моментах.)
Показать также, что любое семейство величин ~\/Nr^ (n) (для конечного мно-
множества значений п) совместно асимптотически нормально с нулевым средним
и ковариационной матрицей (для запаздываний п и р)
9 (Олшен [1967]). Пусть хп — последовательность элементов гильбертова
пространства &6, такая, что || хп || ^ а <; оо и (хт, хп) стремится к нулю при
п -^ оо и любом фиксированном т. Показать, что произвольный элемент и ? &€
можно представить в виде
k
где г| ортогонально ко всем хп, а е имеет произвольно малую норму. Вывести
отсюда, что (и, хп) стремится к нулю для любого и ? &€. Пусть w (к) вычислено
но N наблюдениям за одномерным процессом х (п). Если :с (п) — стационарный
процесс второго порядка с абсолютно непрерывным спектром, причем / (К) ^
^ а <с °° для всех л, то последовательность xN = w (к) удовлетворяет указан-
указанным выше условиям и, следовательно, слабо сходится к нулю при X -^ оо.
Вывести отсюда, что если w (к) не сходится к нулю в среднеквадратичном, то
она не может сходиться ни к какой случайной величине.
10. Показать, что если скалярная последовательность г/(Л > (п) удовлетво-
удовлетворяет условиям (а), (Ь)', (с) § 3, то
Д, = <*>, / = 0,1
N-+oo (log N)?

Приложение 257
Показать также, что если
y(N)(n)
то условия (а), (Ь)', (с) выполнены, однако
o, a>0.
ПРИЛОЖЕНИЕ
1. Доказательство теоремы 10
Мы хотим доказать асимптотическую нормальность элементов матрицы D]$B
(см. C.10)). Так как первый множитель в выражении (Dn^YnYj^DT})'1 X
X (D"nYnXn) для этой матрицы сходится к R @), то нам достаточно доказать
центральную предельную теорему для D"nYnXn. В свою очередь для этого
достаточно доказать теорему для произвольной линейной комбинации элемен-
элементов матрицы D'hYnXn. В самом деле, если это доказано, то характеристи-
характеристическая функция ф]\г (9) фиксированной линейной комбинации сходится
к ехр ( —1/2Э2а2), где о2 = а'2а, a 2 —предел при N ->- оо матриц ковариаций
элементов D^YnXn, расположенных в некотором определенном порядке (этот
предел, как нам известно из теоремы 8, существует). Вектор а здесь опре-
определяет рассматриваемую линейную комбинацию и ф^ (9) = ф^ (9а), где ф^ —
совместная характеристическая функция элементов D'nY'nXn.
Таким образом, ф^ (9а) сходится к ехр (— х/292а'2а), откуда в силу про-
произвольности а следует доказываемое утверждение. Итак, рассмотрим
2=1 j = l П=1
с» N
- S
k=—оо г j n=\
где а^ (к) есть i-я строка матрицы А (к),
*(п)-2 А(к)е(п-к), 2 IM(k)lls<~.
— ОО —ОО
где е (п) — независимые одинаково распределенные случайные векторы с нуле-
нулевым средним и матрицей ковариаций G. Перепишем xN в виде
оо N (N) / \ °°
f*= 2 (SS 2 4jy?rH(ra-u))8(K)= 2 ч.у...
U = -oo i j n=\ u= — oo
Конечно, r\Nt и зависят от atj, но так как atj фиксированы, мы пока не вво-
вводим их в обозначения. Мы уже установили в теореме 8, что дисперсия xN
сходится к
я
2я j 2 auakifik (я.) ми («а,)< оо. A)
-Я i,j,k,l

258 Гл. IV. Законы больших чисел. Центральная предельная теорема
Величины t\n, и независимы и имеют конечные дисперсии, откуда следует,
что можно найти последовательность /с^-^оо, такую, что для z/jv= 2 r\N,u
u=-kN
будем иметь
lim E((xN-yN)*) = 0.
N-+00
Поэтому достаточно доказать теорему для последовательности yN. Для этого
в свою очередь достаточно установить (см. Гнеденко и Колмогоров [1949],
стр. 110), что для любого 6 > 0 выполняется условие Линдеберга, а именно, что
2 j **FN.u(dz)^0, B)
u=-kN\z\>6
где FNt u — функция распределения величины r\Nt ы. Рассмотрим теперь частный
случай, когда
2 (
dj(N)
Следуя Эйкеру [1965], мы заметим сначала, что из условия (Ь) § 3 следует
равенство
lim max —' /дгч— = 0.
Поэтому существуют целые числа т^->оо, такие, что
lim mN max —° —=0.
Пусть им — номер, при котором достигается
N
max V.
Тогда
" п=1
где ^' означает суммирование по всем п, таким, что \п — uN \ > [1/
a yj" — по остальным п, 1 <; п < JV. Правая часть последнего выражения

Приложение
259
оценивается величиной
{ 2 Н а< M
| max
п
dj(N)
которая, очевидно, стремится к нулю для всех i, /. Заметим теперь, что
где и. — наибольшее собственное значение G. Имеем
следовательно,
N
что стремится к нулю при 7V->-oo. Пусть g^ u—дисперсия r|vjU. Тогда B)
равно
-ft^ l«l>6(iVf
f, а (^ж) < ^ Шах
u)
ftiV
V,u)
где С —верхняя граница для сумм дисперсий q^ u, a Gn\ u — функция рас-
распределения случайной величины ^u'HiV.a'» однако величина Q~NtlJ\Ntu имеет
вид ^jUe(^), где ty'N uGtyn, u = 1, так что область, где она превосходит
по модулю б (N, и), содержится в области, где е (и)' G~lz (и) > б2 (iV, w);
в самом деле,
= 8 (и)'
/2е (и) < 8 (и)' G-1 8 (и).
Так как распределение е (u)f G'1 & (и) не зависит от и и б (iV, и) -> оо, то
(max дг]у, и) также стремится к бесконечности, и теорема доказана. Из дока-
u
зателъства видно, что вместо равнораспределенности е (и) достаточно потре-
потребовать, чтобы величины
j x*Fu (dx),
x>6(N,u)
где Fu — функция распределения {е (и)' G~xe (u)}1/21 сходились к нулю равно-
равномерно по и. Дальнейшие подробности можно найти в работе Эйкера [1965].

260 Гл. IV. Законы больших чисел. Центральная предельная теорема
2. Доказательства теорем 11 и 12
Теорема 11 сразу следует из теоремы 10, если дополнительно предположить,
что/ (К) кусочно-непрерывна. Однако кусочная непрерывность/ (К) используется
в теореме 10 только в связи с теоремой 8, которая устанавливает асимптотиче-
асимптотическую формулу для матрицы ковариаций. Но мы уже знаем из следствия 4, что
если / (К) непрерывна в нуле, то у N xN имеет матрицу ковариаций, указанную
в теореме 11, так что эта теорема не нуждается в дальнейших пояснениях. Для
теоремы 12 ситуация аналогична. Рассмотрим случай А, Ф 0, я, оставляя подроб-
подробное рассмотрение двух других случаев читателю. Типичный элемент матрицы
m, n=l
имеет вид
N ^J ^-l sin
m n
И
sin
где синусы и косинусы могут появиться в любой комбинации, а Хи даются фор-
формулой D.2). Если X ? @, л), то для достаточно большого N имеем Хи ? @, я),
и = 1, . . ., т. Теперь, определяя и, как в начале доказательства теоремы 8,
получаем нужную нам матрицу ковариаций:
j})=^ f(Q)®KN(Q)dQ.
C)
Элементы матрицы KN (9) являются линейными комбинациями членов
N N
с коэффициентами ± 1/2 или
-я
1
V7v ^
i/2. Рассмотрим
—Я ^ 1
Первый интеграл равен нулю при ?uu =^= ^ю, ибо он равен
N
71=1
Квадраты модулей двух последних сомножителей во втором интеграле равны
соответственно LN (9 — Хи), LN (9 ± ^D). (См. § 3 математического приложе-
приложения.) Поэтому сходимость второго члена к нулю доказывается почти так же,

Приложение 261
как сходимость чезаровских средних ряда Фурье функции, непрерывной в точ-
точке А,, к значению функции в этой точке (в нашем случае это значение равно
нулю); единственное (незначительное) усложнение состоит в том, что ки и kv
могут отличаться от % на величину порядка кт/N. Следуя рассуждениям § 3
математического приложения, мы можем найти 6-окрестность точки А,, внутри
которой || / (9) — / (к) || < е, а вне LN (9 — ки) < е, LN (9 — kv) < e. Ана-
Аналогично, LN (9 + hv) << е вне такой же окрестности точки —к\ Рассмотрим,
например, случай, когда во втором множителе берется -\-kv. Тогда второе сла-
слагаемое в D) оценивается величиной
J LN (Q-ku)il2I>ir
+ j \\f(Q)-f(X)\\LN(Q-
ie-x,|>6
2 ] II / (9)—/ (M II -^лг (9 + Л,0I/2 d9 <:
l e—a. r >6
+ ( ||/F)-/(A.) || del +eVt f ||/F)-/(*,) || Lj,
J J J
|2я+ [ |l/(9) — f(k) || <29 j
так как / (9) непрерывна в точке —X. Таким образом, ненулевой вклад в D)
получается только тогда, когда +2^ равно —Ки. Аналогичный вклад получается,
если вместо —Хи подставить +^ц и заменить +?vHa +^ц- Суммируя эти вклады
с соответствующими коэффициентами, мы получаем
что и требовалось.
Можно заметить, что даже если / (к) не непрерывна в точке X, но имеет
односторонние пределы / (к + 0) и / (к — 0), теорема все же будет верна с заме-
заменой / (к) на V2(/ (к + 0) -f / (^ — 0))- При к = 0 никакого обобщения не полу-
получаем, так как / (—к) = / (к),
3. Доказательство теоремы 10' § 4
Так как из (Ь)' следует (Ь) (см. § 3), то асимптотическая формула для кова-
риаций Р по-прежнему имеет место. Поэтому вновь рассмотрим вектор м, при-
причем, следуя Розенблатту [1962], положим
где
Здесь
Sj = {n | / (a (N) + b (N)) < n < у+ 1) a (iV) + /b (TV)},

262 Гл. IV. Законы больших чисел. Центральная предельная теорема
где a (N), b(iV), с GV) —целые числа, такие, что a(N), b(N), c(N)-+oo,
b(JV)/(J\T)-*O, а
Гс <*> = {» | с (N) (a (N) + b
Положим S— U Sj, T={J Th, так что S (j T содержит все целые числа
от 1 до N. Покажем сначала, что (Ip ® Djj-) ^ v W сходится к нулю по ве-
h
роятности. В самом деле, этот вектор имеет матрицу ковариаций
<2я8ирЦ/(Я.)||/р<<
А»
Но так как {с (N) Ъ (N)}/{с (N) a (N)} -> 0, то заведомо с (N) Ъ (N)lN -> О,
значит, в силу условия (Ь)', диагональные элементы неотрицательной матрицы,
которая входит вторым множителем в тензорное произведение, сходятся к нулю;
следовательно, и все тензорное произведение сходится к нулю. Поэтому доста-
достаточно рассмотреть только Aр 0 D"?}1) 2 и W* Положим
з
и
Обозначая через к^(-, ., ., .) четвертый семиинвариант для х^ (п), имеем
S( 212
и m, n, p, q?Su
+ Ki @, *-w, p-m, q-m)} yW (m) yW (n) y<№ (p) yW (g)/dj (N)).
Это выражение не превосходит
и т п р а
E)
Поскольку aGV)/7V->0, то, в силу (Ь)',
Так как, кроме того,

Приложение
263
то первое слагаемое в E) стремится к нулю для любых i, /. Второе слагае-
слагаемое ограничено величиной
s 2 2 {|««<°. ¦• >. *> 12 2 '
u m?Su
(п) = 0 при п <;
а, Ь, с=—оо
где мы условимся считать, что
N. Последнее вы-
выражение не превосходит
а Ъ с
ибо при только что установленном соглашении
m=l
что в силу неравенства Шварца не превосходит единицы. Из (Ь)' и условия 2
доказываемой теоремы следует, что второй член в формуле E) стремится к нулю,
а значит, сходится к нулю и все выражение E).
Положим теперь
F)
и рассмотрим величину
асимптотическую нормальность которой мы и должны установить (см. начало
доказательства теоремы 10). Имеем
Iе 04 Л1/4 < 2 2 I аи I (Е (г4 и('./))I/4.
поэтому
Л^ и) стремится к нулю.
и
Согласно теореме Ляпунова (см. Гнеденко и Колмогоров [1949], стр. 110),
величины ^^iv.u бшш бы асимптотически нормальными, если бы слагаемые
и
r\N, u были независимыми. Чтобы доказать, что центральная предельная теорема
имеет место, как и в случае независимых слагаемых, рассмотрим события
Е (/, пч) = {т]с (#)-* < r\N, j < (mj + 1) c (N)-*}.
Докажем, что
2'Р { П Е (/, mi)} < Р B ^, J <*)< 2" Р {Q Е (/, mj)},
где 2'~сУммиР°вание по всевозможным подмножествам с (N) индексов ту,
таких, что
^mj + cjN)

264 Гл. IV. Законы больших чисел. Центральная предельная теорема
а У1/' — аналогичная сумма по подмножествам целых чисел т^, таких, что
Для доказательства заметим, что события Q Е (/'» ту)> когда т,- пробегают
У
все целые числа, образуют разбиение с (Л^)-мерного пространства на непересе-
непересекающиеся параллелепипеды. Очевидно, что каждое из событий, вероятности
которых суммируются в левой части доказываемого неравенства, влечет за собой
событие в средней части, так что первое неравенство справедливо. С другой
стороны, каждое r\Nyj лежит в каком-либо полуинтервале (mjc GV)~2, (mj + 1) X
X с GV)~2], причем если происходит среднее событие, то mj удовлетворяют соот-
соотношению (*). Таким образом, доказано и второе неравенство. Пусть Fj+ltN —
функция распределения величины r\Ntjt 7 = 0, . . ., с (N) — 1. (Мы нумеруем
FjiN подобным образом лишь для того, чтобы не вводить сложные индексы.)
Тогда
Fu N * F2, n * - • • * Fc iNu N (*- с (ЛГ)-1) < 2' Д Р (Е (/, mj)), G)
3
так как из ^] r\Ny j^x-c(N)-1 следует, что для некоторого множества чисел
о
mj выполняется каждое из событий E(j\ mj).
Аналогично
3
Покажем теперь, что 2'^@ ^У» тМ м°жно заменить правой частью соот-
соотношения G), а 2"^@ ^У» ^i)) —левой частью (8), в том смысле, что раз-
разность между указанными выражениями будет стремиться к нулю при под-
подходящем выборе a(N)t b(N), c(N). Отсюда будет следовать центральная пре-
предельная теорема, так как
Fl,N*F2,N* ••¦ * Fc(N),N
стремится к нормальному распределению.
Имеем, во-первых,
i Уё
для некоторого /с, ибо
Е {max | t]jv, j |}2 < Е {^ | r\Ni j |2} < с
3 з
С другой стороны,
? (С fi E(Urtij))— \\ J?{E(j,mj)) <c{N)g{b{N))
i=o j=o
(здесь g — функция, фигурирующая в условии сильного перемешивания). Это
следует из того, что событие Е (;, rrij) определяется величинами х (п) для п 6
6 Sj, причем каждое из множеств Sj отделено от другого по крайней мере Ъ (N)
единицами времени. Повторное применение условия еильного перемешивания
дает нужный результат. Всего имеется {2с (N)B ке-1/*}0^ множеств Е (/, rtij)y
для которых max | r\Nij \ не превосходит с (N) Ы'Уг. Следовательно,
(n E (/• тА)- S"П р {Е (/> т^ \ <с {N) {2с {N)S ке~1/2}С {N)g (b

Приложение 265
(это можно установить, разбивая выборочное пространство на подмножество,
в котором
и его дополнение). Конечно, аналогичный результат справедлив и для 2'*
Если мы условимся считать, что g (х) у> A-\-х)*1, х^>0 (это не ограничивает
общности), то мы можем выбрать с (N) так, чтобы
*(#)<{-log *(Ь(#))}1/2,
ибо
log (с (N) {2с (N)*kB-i/2}c <N))=ac (N) + 3c(N) log с (N) + log с (N),
что имеет порядок, меньший с (TVJ при c(N)-+oo. Теперь, полагая b(N) =
= N1/21 a(N) = N/c(N) — N1/2, мы видим, что
(N) > ^1/2
Ъ(Ю \{log{l + b(N))}^2)
и теорема доказана.
4. Доказательства теорем 11' и 12'
Если yW) (n) равны единице, то
и в случае стационарного в узком смысле х (п) распределение t]jv>u не зависит
от и. Условие Ляпунова можно теперь заменить условием Линдеберга. Как
мы увидим, это можно было сделать и для теоремы 10' и получить необходимые
и достаточные условия в случае стационарности в узком смысле. Однако эти
условия было бы довольно трудно интерпретировать, и поэтому мы рассмотрели
случай стационарности в узком смысле только в теоремах 11Г и 12'.
Необходимость условия 2' очевидна, так как если FN — функция распре-
распределения величины ~]/N xn, сходящаяся к (нормальной) функции распределе-
распределения F, то, в силу теоремы 8,
lim \ \\x\\*FN{dx)=\ \\x\\*F(dx),
iV->oo J J
где интегрирование производится по р-мерному евклидову пространству. Более
того, если теорема верна и FN сходится к F, то для любого а > О
Г Г
JV-oo J J
Поэтому
lim [ \\x\\*FN{dx)= f || x \\^F (dx),
так что 2' действительно имеет место. Мы должны пересмотреть только одно
место в доказательстве теоремы 10', касающееся распределения величин v\n,u

266 Гл. IV. Законы больших чисел. Центральная предельная теорема
в предположении их независимости. Необходимым и достаточным условием
сходимости распределений сумм
к нормальному является условие B) этого приложения, в котором следует
считать 0 ^ и ^ с (N) — 1. В нашем случае, когда FNtU не зависит от и, оно
принимает вид
lim с {
N-+oo
Так как N/a (N) эквивалентно с (N), то это соотношение равносильно следую-
следующему:
lim
N-+00
\x\>6c(N)
где HN — функция распределения величины
a(N)
1 2-'*
1
Это выполняется, если
lim
im lim \
а, N {aX) = V,
а-+оо N-+oo J
\х\>а
где Fat N — функция распределения величины
N
Так как \а' ~\/Nxn \2<^a'aNx'NxNi то условие 2' при Х = 0 в свою очередь
превращается в достаточное условие асимптотической нормальности величин
~]/N cl'xn при любом а Ф 0, и теорема доказана.
В случае теоремы 12' ситуация лишь немного усложняется. Теперь мы
рассмотрим
/ 2 \1/2 V / ч 1 / 2 \1/2 ^ / ч • 1
UN, j ~ \ ~д7 I /Л Х ^П' C0S n*^N9 VN, j— l ~д7 I /j x \n) sin п^М,
где XN — число, кратное 2л/N, которое стремится к X при N -> оо. Рассмотрим
случай X Ф 0, я, так как случай X = 0 уже был рассмотрен, а случай X ~ л
почти от него не отличается. Пусть / непрерывна в точке X. Распределение вели-
величин uN,j, vNij зависит от / даже для стационарного х (п). Если, однако, положить
2 \1/2
(9
( 1/2
s/

Приложение 267
то uNy j и vNt j для любого / имеют те же распределения, что uNy 0, yjv, о»
причем
UN, j = u
VN, j =-' yJV, J cos «JV, j^N+uN, j sin aiV, AjV«
Вновь нам достаточно рассмотреть случай, когда каждая из последовательностей
{uN,j, Vffj}, 7' = 0, 1, . . ., с (N) — 1, состоит из независимых компонент.
Условие типа B) для асимптотической нормальности 2Jt|jvij имеет ВИД
lim V. [ x^FjfN(dx) = 0, 6>0,
О |х|>6
где Fj, jv — функция распределения величины
и а7-, Ь7-— произвольные вещественные векторы. Однако
*1jv, j = (a7 cos aiv, j^N+bj sin ajv, yX-iv)' hjv, /+(by cos ajv, jkN — aj sin ajv,
поэтому
Условие
lim c(N) f x*GN(dx),
где GN—функция распределения u'N . uN . + v^ . vN^ j, достаточно для асимпто-
асимптотической нормальности. Теперь, рассуждая так же, как при доказательстве тео-
теоремы 11', мы получаем достаточность условия 2'. Необходимость доказывается
точно так же, как в теореме 11'.
5. Доказательство теоремы 14
Рассмотрим сначала величины
к
-к
которые получаются как скользящие средние конечного числа независимых
одинаково распределенных случайных величин. Тогда для фиксированного
конечного множества значений параметра п величины
N
~\/N сц(п)=—=г У\ Xi(m)xj(m + n)
у N *-*
7П=1
могут быть записаны в виде
N
1 ¦V 1 in
7=2
гДе У и равно х\(т) х] (т-\-п) для некоторого набора ?, /» и и уи(™>) конечно
зависимы в том смысле, что уи(т), yv(p) независимы, если \т — р \ превы-

268 Гл. IV. Законы больших чисел. Центральная предельная теорема
шает некоторое фиксированное число (вида 2K-\-q, где q определяется мно-
множеством значений п). Векторный процесс уи (т) теперь стационарен в узком
смысле и удовлетворяет условию сильного перемешивания. Более того, спектр
этого процесса (после центрирования уи) абсолютно непрерывен и спектраль-
спектральная плотность непрерывна. Поэтому, согласно теореме 10', величины
~\/N {си (n)—yij (л)}, где уц (п) = Е (ctj (n)), асимптотически нормальны.
Докажем сначала следующую лемму, принадлежащую Бернштейну [1926],
которая будет использоваться и далее в этой книге. Мы будем ссылаться на нее
как на лемму Бернштейна.
Пусть xN — последовательность векторных случайных величин с нулевыми
средними, и пусть для любых 8 > 0, ? > 0, Т] > 0 существуют последователь-
последовательности случайных векторов yN (s), zN (в), такие, что xN = yN (e) + zN (eO
где распределение yN (в) сходится при N -+¦ оо к многомерному нормальному рас-
распределению с нулевым средним и матрицей ковариаций 2 (в), причем
lim 2 (в) = 2, Р (zN (г)' zN (г) > ?2) < г\. (9)
Тогда распределение xN сходится к многомерному нормальному с матрицей
ковариаций 2.
Доказательство. Если второе из соотношений (9) имеет место
для любых г\ > 0, ? > 0, то аналогичное соотношение верно и для a'zN (s),
где а — произвольный вещественный вектор; аналогично, первое из соотно-
соотношений (9) имеет место, если заменить 2(е), 2 на а'2(в) а, а'2а. Поэтому, так
же как при доказательстве теоремы 10, достаточно ограничиться скалярным
случаем. Положим тогда а'2а = а2. Пусть ^ > t0 и ? достаточно мало; введем
множества
В силу (9), Р (^i) > 1 — Л и
Р (Е3) > Р (Е1 Г) Е2) > Р (Щ + РЩ-1 > Р (Д2)-т|.
Р(Я4) > Р (#1 П ^з) > Р (^1) + Р(^з)-1 > Р №)-т|-
Поэтому
Р (ft) - Г) < Р (ft) ^ Р (ft) + Т|.
Кроме того, для достаточно малых 8 и ? и достаточно большого 7V
to
гДе I ^1 I ^Л» I Лг I <Г1- Поэтому для достаточно большого N
= j , ^ + Т]3, | лз | < 3T|f
и лемма доказана.
Вернемся теперь к доказательству теоремы 14. Заметим прежде всего, что
вместо ctj (n) можно рассматривать 7tj (n), так как "]/Ж (ctj (n) — c^-(w)}, как
мы уже знаем, сходится к нулю почти наверное (см. доказательство теоремы 6
в этой главе). Положим
(п) — уи (п)},

Приложение 269
Выбирая К достаточно большим, мы можем сделать предельные ковариации
величин yN (г) сколь угодно близкими к ковариациям xN. В самом деле, спек-
спектральная плотность/к (к) процесса х (п) сходится равномерно к / (к)\ если рас-
рассмотреть выражение C.3), то первые два члена в пределе при N ->- оо зависят
только от матрицы / (к) (см. текст ниже C.6)). Оценка последнего слагаемого
в C.3), даваемая выражением C.6), показывает, что эти слагаемые для х (п)
и х (п) будут сколь угодно мало отличаться одно от другого при достаточно
большом А. Теперь, так как величина zN (г) = xN — yN (е) имеет нулевое
среднее, в силу неравенства Чебышева нам достаточно доказать, что дисперсия
zN (e), а именно
N var {7U (п) — си (и)}, A0)
сходится к нулю. Положим z(n) = x(n) — х (п). Тогда
- 2 lz* (m)*J
т
и мы должны доказать, что дисперсия каждого из трех членов этого разложения
сходится к нулю равномерно по N. Средний квадрат первого члена равен
N
I, m=[ \цж V
X У ^\air(v)Er(m — v
\v\>K r
что после центрирования дает дисперсию
*~г 2 2 2 2 (S 2 {<va^2' 2"a*P
р q r s I m t и
2'" 2"'a*P @ajs(/n + w— l + t)ajq(u)air(m — n — l +
t и
где ^' — сумма no | t | > A', ^ " — no I M I ^ ^'» 2'" — по множествУ» содер-
содержащему не более конечного числа значений t > К или и > А, и последняя
сумма — по такому же конечному множеству значений t. Таким образом, только
первая из этих сумм могла бы не стремиться к нулю; для фиксированных р, q, r, s
с точностью до множителя Oproqs она равна
2 f1-"^
<iV-l
что по абсолютной величине не превосходит
2' i о,р (oifii a,P м I {21а^
— сю

270 Гл. IV. Законы больших чисел. Центральная предельная теорема
При К -*- оо это выражение стремится к нулю.
Второй член, очевидно, имеет такую же структуру и по тем же причинам
сходится к нулю. Дисперсия третьего члена имеет аналогичную структуруу
только суммы 2"i 2' 2 заменяются на суммы вида 2'. Равномерную по N
сходимость к нулю можно доказать аналогично; например, член, содержащий
четвертый семиинвариант, для фиксированных р, q, г, s оценивается следующим
образом:
X-^pqrs^Li 2 ^'aip(t)ajq(t + n)a
I m
<х>
<S'iaipWHa-'9<<+re)i 2 Кг
Т=—оо
что, очевидно, стремится к нулю. Теорема доказана.

Глава V
Статистические методы спектрального
анализа
1. ВВЕДЕНИЕ
Существует довольно обширный круг задач, в которых статистиче-
статистические процедуры лучше всего реализуются при непосредственном
использовании исходных наблюдений без привлечения преобразова-
преобразования Фурье. Некоторые из них мы рассмотрим в гл. VI. Методы,
основанные на смешанных моделях авторегрессии и скользящего
среднего, которые будут рассмотрены в гл. VI, представляют опре-
определенный интерес при небольших выборках (как это часто бывает
в экономике), когда доход, получаемый в результате правильного
вклада в параметрическую модель, весьма высок, и поэтому такой
вклад обязательно будет сделан. Подобные методы важны также
в задачах прогнозирования и регулирования, где они особенно
хорошо приспособлены к машинным расчетам итеративного харак-
характера.
С другой стороны, в общей ситуации (например, в науках о Зем-
Земле), когда объем имеющихся данных велик, следует, очевидно,
использовать спектральные методы. Основанием для этого служит
фундаментальное свойство инвариантности, заключенное a priori
в предположении о стационарности (эта инвариантность оказывается
в некоторых случаях единственной основой для априорных суждений
и находит свое проявление в физических понятиях частоты, фазы
и амплитуды). Если в условиях большого числа наблюдений (напри-
(например, 1000) применяется модель типа авторегрессии или скользящего
среднего, то часто приходится вводить очень много параметров,
чтобы адекватно описать изменения данных. Например, в скалярном
случае вместо 100 спектральных ординат может возникнуть необ-
необходимость оценивать 100 параметров авторегрессии. Каким образом
следует тогда интерпретировать эти параметры? По-видимому, есте-
естественно было бы исследовать собственные колебания авторегрес-
авторегрессионной системы, однако это опять приведет нас к спектральным
рассмотрениям, как и методы, основанные на преобразовании Фурье.
Подводя итог, можно сказать, что в условиях, когда имеется большое
число наблюдений и анализ данных нужен не столько для прогноза
или регулирования, сколько для изучения источников статистиче-
статистической изменчивости данных, на первый план выступают спектральные
методы, обсуждаемые в этой главе.

272
Гл. V. Статистические методы спектрального анализа
2. ФИНИТНОЕ ПРЕОБРАЗОВАНИЕ ФУРЬЕ
Как мы уже говорили, центральное место будут занимать финитные
преобразования Фурье
wi
N
= —4=- У, x (n) ein%.
~\/Отг ЛТ ^-—1
которые будут вычисляться для частот к = 2nk/N, к = О, 1, . . ., N.
Удобно ввести для этих частот специальное обозначение: cofe =
= 2nk/N; мы не указываем на зависимость от N, так как это не
приведет к недоразумениям.
Мы уже рассматривали такие величины в гл. IV (см. теорему 6
и обсуждение, следующее за соотношением C.7), теоремы 13, 13'
и упражнение 9 к гл. IV). В случае когда х (п) — линейный процесс
(см. гл. IV, соотношение C.4) и ниже), можно весьма полно иссле-
исследовать свойства w (X). Итак, рассмотрим
N
1г; л) =
= 2 А (/)
N
>(/г)*** + гИА,),
где
-i N-j
{- S 8 И gin^ + Jj с (tz) e*
Л,_,- N
iV-j
71=1
- N < / < 0,

2. Финитное преобразование Фурье 273
Будем теперь рассматривать случай, когда е (п) имеет конечные
2к-е абсолютные моменты. Тогда
X
сю
-±— 2 || А (Л || max [Е {(Я,-, N (X)* Rj, K {l))h}\i/2k<
* -со
2 in A,A/ |/^I/2). B-1)
— оо
так как при /, N—>-оо
О {f), /<ЛГ,
потому что члены, содержащие е7- (тг) только в первой степени, не
дают вклада в математическое ожидание. Константа ck зависит
только от абсолютных моментов величин е, (тг) до порядка 2/с. Заме-
Заметим теперь, что можно найти т, такое, что
2 ^
1 i \>m
Тогда правая часть B.1) не превосходит
и, выбирая У N большим, чем е~12 У т 2 ||^(/)||? мы видим, что
— сю
B.1) не превосходит е. Таким образом, в силу произвольности е
сю
и> (Я) == (S А (/) е*»} w (е, К) + rN (К),
— сю
где w (е, X) определяется через е (тг) так же, как w (К) через х (п),
причем
lim max E {{rN (X)* rN (X))k) = О,
iV->oo К
при условии, что 2/с-е абсолютные моменты 8 (тг) конечны. В частности,
rN (X) сходится к нулю по вероятности.

274 Гл. V. Статистические методы спектрального анализа
Более сильный результат можно получить при дополнительном
условии
так как тогда из B.1) следует, что
max [E{(rY (A,)* rY (a
Ck
и, значит, 2/с-е абсолютные моменты компонент вектора rN (К) имеют
порядок N~k при N ->- оо равномерно по X, если 2/с-е абсолютные
моменты компонент е (п) конечны *).
Теорема 1. Если х (п) — линейный процесс, причем величины
е (тг) имеют конечные 2к-е абсолютные моменты, то
iv(X)={%A (/) е^} w(е, А) + rN(I),
— ОО
где rN (к) имеет абсолютные моменты порядка 2к, сходящиеся
к нулю равномерно по а; если, кроме того, 2 II ^(/) II |/|1/2<°°*
то 2к-е абсолютные моменты rN (к) имеют порядок N~k равно-
равномерно по X.
Если х (п) представляется в виде
х(п) = %А(])г(п-]), S |И(/)||<оо, B.2)
—оо —оо
где е (?г) — некоррелированные векторы с нулевым средним и матри-
матрицей ковариаций G, то rN (k) сходится к нулю в среднеквадратичном
равномерно по X.
Позже мы используем,некоторые аспекты этой теоремы, однако
в данный момент она ненамного увеличивает наши возможности,
поскольку в оставшейся части параграфа мы собираемся рассмотреть
статистические процедуры, основанные на распределении D.6) гл. IV
для Vj (и) (т. е. wj (ku)), которое было установлено при несколько
более общих условиях. Однако предварительно мы сформулируем
результат теоремы 1 в терминах величины
/ (е, К) = w (г, К) w (е, X)*.
г) Более аккуратные оценки позволяют уточнить эти результаты (см.
Уолкер [1965]). Нетрудно показать, что если ^ || А (/) || |/|б<оо, то /с-й
абсолютный момент rN (X) имеет порядок OGV"ftE) при JV-yoo.

2. Финитное преобразование Фурье 275
Теорема 2. Если х (п) — линейный процесс, то его периодо-
периодограмма I (X) представима в виде
где при условии конечности 2к-х моментов е (п) к-й абсолютный
момент величины Rx (к) стремится к нулю при N -> оо равномерно
по К; если же 2 II А (/)|| | j |x/2 < оо, то этот момент имеет порядок
J\[-1/2k равномерно по К. Если х (п) удовлетворяет условию B.2), то
первый абсолютный момент RN (К) стремится к нулю.
Следствие I1). Пусть х (п) — линейный процесс с конечными
четвертыми моментами; тогда для любых фиксированных Х1: Х2
I U, /Ц :7t= ZEZ A/2,
lim co\ {I pqiki), Irs(h)}={ ЛиДи^ п\/ п\ ' ~~
JV-oo Jpr (A) Jsq (A) + fps (A) JqT (A),
Более того, если ?ц, Х2 имеют вид 2nj/N, j = 0, 1, . . ., [1/2N], то
среднеквадратичная скорость сходимости имеет порядок О (N'1)
равномерно по j, если ^] || А (/)|| |/ |х/2 <; оо.
Доказательство.
т I h j
Xexp[i{(/ — fc)^ — (i —
где ap<? — ковариация между гр (п) и е^ (^г). Это выражение равно
QprOgs ( smi/2N(ki-%2) \2 opsoqr f sini/2N (кг + К2) \2 *p
4я2 \ iV sin 1/2^!-^) J "^ 4я2 t ,V sin i/2 (^i + X2) J •
N '
где Xpgrs — четвертый семиинвариант величин ер (^г), eg (w), er (n),
es (^г). Если Xj и ?^2 имеют вид 2njlN, то при ?ц =7^ А,2 или Хх Ф —Х2
первые два члена равны нулю. Эти члены стремятся к нулю также
для любых фиксированных Х1, Х2, если только Я4 -ф Ко или ?ц =т^ —Х2.
Так как величина RN (X), согласно теореме 2, сходится в среднем
к нулю, то мы можем пренебречь ею при оценке ковариаций. Таким
образом, например, при >ц = Х2 ~ ^ Ф 0? ±я имеем
lim cov {/р, (X), /„ (X)} = 2 S 2 2 ?р* М X
N-+oo k I m n
X g9i (й.) grm (Я,) g.B (Я.) ог/,тагп/4я2 = /рг (Я) /а. (I) = /рг (Я) /„ (X),
х) Мы напоминаем читателю, что при вычислении ковариаций двух ком-
комплексных случайных величин вторая из них берется комплексно сопряженной.

276 Гл. V. Статистические методы спектрального анализа
гДе gi)k(k) — элемент матрицы ^>) A (j) exy ijX на пересечении р-&
строки и А-го столбца. Если Sll^(/)ll |7|1/2<°°» то второй момент
RN(X) имеет порядок Offl'1), и так как при X=2kj/N величина
cov{Ipq(X), Irs(ty — fpr(X)fsq(k) имеет порядок OfAT), то отсюда
следует нужный результат для случая Х1 = Х2 = Хф0, ± я. Осталь-
Остальные случаи рассматриваются аналогично.
Теперь мы рассмотрим статистические выводы, основанные на
w (X). Предположим, что имеет место одна из теорем 13, 13' гл. IV
и что Vj (и) = w (Хи), и = 1, . . ., т, имеют распределение D.6).
Сначала мы будем иметь в виду ситуацию, когда для исследования
выбрана некоторая частота X, и нас интересует относительно узкий
диапазон вокруг X, так что т мало по сравнению с N. В этих усло-
условиях представляется приемлемой асимптотическая картина, описы-
описываемая упомянутыми теоремами 4.13 и 4.13'. Здесь мы позволим
себе обратить внимание на следующие очевидные соображения.
Все, что мы в состоянии доказать,— это некоторая математическая
теорема, основанная на некоторых предпосылках. Конечно, эта
теорема может быть более или менее полезной в соответствии с ее
общностью; например, можно представить себе обобщения тео-
теорем 13, 13' гл. IV, дающие асимптотические разложения распределе-
распределений Vj (и) в духе теоремы Берри — Эссеена и ее уточнений (см. Кра-
Крамер [1937], гл. VII). Вопрос о применимости подобных теорем должен,
конечно, решаться в каждом конкретном случае. Если бы т не было
мало по сравнению с N, то, вероятно, предпочтительнее рассмотреть
предельную ситуацию, в которой is.mii N стремятся к бесконечности,
причем, возможно, так, что mIN ->- 0. В других случаях (например,
если т невелико) такая модель является мало подходящей. Так или
иначе, мы далее рассмотрим и тот случай, когда т стремится к бес-
бесконечности.
В связи с распределениями, которые будут получены ниже,
мы будем всегда, когда это возможно, ссылаться на соответствующие
результаты многомерного анализа. Подобный способ изложения
представляется целесообразным, поскольку предполагается, что
большинство читателей уже знакомы с этой областью. К сожалению,
мы не имеем возможности во всех случаях действовать таким образом.
Если мы положим, используя обозначения теоремы 13 гл. IV,
Vj (п) = у {lj (и) + Щ] (и)}, и = 1, ..., т,
то, согласно формуле D.6) гл. IV, асимптотическое распределение
величин lj (и), rjу (и) при X Ф 0, я будет многомерным нормальным
распределением с нулевым средним и матрицей ковариаций, ненуле-
ненулевые элементы которой имеют вид
Е {lj (и) 1к (и)} = Е {r)j (и) цк (и)} = 2Re {fjh (X)} = cjk (X),
Е {lj (и) r]k (и)} =-Е {tjj (и)h (и)} = -2 Im {fjk (X)} = qjk (X), B'3)

2. Финитное преобразование Фурье 277
причем при / = к, конечно, Cj (X) = 2/;- (X), a q$ (X) = 0. Если X =
= 0, я, то g7fe (А,) равно нулю при всех /, к, ибо функция qjk (X)
непрерывна и меняет знак при переходе через 0 и я. Следует также
оговориться, что при X = 0 и, для четного N, при X = я имеется
одно значение и, для которого Хи = 0, я, а соответствующие mj
тождественно равны нулю. При этом i?j вещественны и имеют (веще-
(вещественные симметричные) матрицы ковариаций/ @), / (я) соответствен-
соответственно. Поэтому случаи 0, я следует рассматривать особо. Иногда,
чтобы избежать лишних вычислений, мы будем опускать специаль-
специальное исследование этих случаев, которое легко получается из случаев
X Ф 0, я. Мы также не будем далее постоянно напоминать об асимпто-
асимптотическом характере результатов. Следует иметь в виду, что во всех
случаях мы можем получить асимптотические распределения рас-
рассматриваемых статистик, обращаясь с величинами Uj (и) так, как
если бы они имели многомерное комплексное нормальное распределение.
Правомерность такого способа вычисления асимптотических рас-
распределений (см., например, Фиш [1963], стр. 184) вытекает из того,
что во всех случаях рассматриваемые статистики являются непре-
непрерывными функциями от Uj (и) (за исключением, быть может, множеств
нулевой вероятности относительно предельного распределения).
Мы также часто будем опускать аргумент X, когда это не приведет
к недоразумениям.
Асимптотическая многомерная нормальная плотность величин
I/ (и), v)j(u), ХфО,л, распадается на т множителей, имеющих
одинаковые ковариационные матрицы; именно, вектор
?' И = (h (и), • • •> 1Р (и), Л1 (и), - • ., Ъ (и))
имеет матрицу ковариаций
Так как на диагонали q (X) стоят нули, то величины lt (и), т]г- (и)
независимы для любого i.
Для неизвестных параметров распределения D.6) гл. IV при
X Ф 0, я легко получаем оценки максимального правдоподобия:
= 2йг 2
где суммирование производится по m значениям Хи. Отсюда
fjk W ^ у
{^ (^) - iqjh (Щ = -^ 2 vi (u)

278 Гл. V. Статистические методы спектрального анализа
Если X = 0, я, то q (X) = О и fjk (X) = 1/2Cjk (^)- При X = О
одна из частот Хи всегда равна нулю (и я при X — я). Кроме того,
данные всегда будут центрироваться (по меньшей мере), в результате
чего мы будем иметь w @) = 0. Частоты Хи, ближайшие к X = 0, я,
таковы, что соответствующие величины Uj (и) будут попарно сопря-
сопряженными, за исключением, быть может, одной (когда т четно).
Поэтому удобно ограничиться рассмотрением лишь тех значений и,
которые соответствуют частотам, лежащим правее нуля или в нуле
(и левее я или в я). Имеем
где суммирование происходит по и, таким, что Хи = 2nu/N, и =
= 1, . . ., 1г/2т],
[l/2(m+l)]
Cjk (я) = у [у (rn+ I)]"' S & И ^ И + Ъ И % (и)},
где суммирование ведется по и, таким, что Хи = я — 2nu/N, и =
= 0, 1, . . ., [V2(m-l)l.
При малых m использование подобных оценок, по-видимому,
неизбежно, если только вычисления не требуют больших затрат.
Были предложены различные модификации, которые мы обсудим
позже.
Теорема 3. Пусть х (п) удовлетворяет условиям теоремы 13
или 13' гл. IV, a v (и) определено формулой D.5), где Хи, и = 1, ...
. . ., 7тг, выбраны ближайшими к некоторой фиксированной частоте X.
Тогда оценки максимального правдоподобия для с (X), q (X), f (X),
полученные из предельного распределения v (и), даются соотноше-
соотношениями B.4) и B.5).
Совместное асимптотическое распределение величин cjk (X), qjh (X)
получается из комплексного распределения Уишарта, которое мы
обсудим в § 6, однако в этом параграфе оно нам не понадобится.
По-видимому, наиболее важные статистические процедуры осно-
основываются на взаимных спектрах, коэффициенте когерентности и фазе
для пары процессов, а также на оценках переходной функции одного
процесса по некоторому количеству других и на соответствующих
сводных и частных коэффициентах когерентности. Мы рассмотрим
эти и некоторые более сложные случаи ниже. Мы не сможем приво-
приводить все подробности, ибо иначе пришлось бы иметь дело с классиче-
классическим многомерным анализом во всей его сложности, а для этого
потребовалась бы отдельная книга. В § 6 мы даем некоторое понятие
о комплексном многомерном анализе, ибо этот предмет, по-видимому,
представляет определенный интерес, хотя пока, кажется, не нашел
никаких применений.

2. Финитное преобразование Фурье 279
Напомним еще раз, что в дальнейшем мы не всегда указываем
на асимптотический характер наших утверждений, хотя все резуль-
результаты получаются из предельного распределения, описанного в тео-
теореме 3.
(а) Индивидуальные спектры
Распределение оценки // непосредственно получается из теоре-
теоремы 3; впрочем, из соотношения B.4) и предшествующего ему заме-
замечания ясно, что при К ^= 0, п это есть распределение дисперсии с 2т
степенями свободы г). Поэтому 2/и///// распределено как %!т (хи-ква-
драт с 2т степенями свободы). Кратчайший несмещенный довери-
доверительный интервал 2) для // с коэффициентом доверия A — а)
имеет вид
2т 2 ^ ± ^ 2/тг Л
~п Jj ^ fj < ~ П,
где [а2т, Ъ2т] — интервал, вероятность которого относительно %!т~
распределения равна A — ее). Величины ап, Ъп затабулированы
в работе Тэйта и Клетта [1959] для п = 2, 3, . . ., 29 и а = 0,1;
0,05; 0,01; 0,005; 0,001. В этой работе затабулированы также значе-
значения а2т, Ь2т для геометрически самого короткого несмещенного
интервала (при тех же значениях параметров а, тг), используемые
аналогичным образом. В качестве грубого приближения можно счи-
считать, что In (fj/fj) имеет нормальное распределение с нулевым сред-
средним и дисперсией т'1. Хотя при этом, возможно, придется работать
в терминах In /;- и In /7-, приближенный метод в данном случае прак-
практически себя оправдывает. Для сравнения приведем приближенный
интервал для fj при т = 10, а = 0,95:
и интервал минимальной длины
0,531// <:/./<: 1,978/у.
Стоит обратить внимание на длину интервала, достигающую 1,5//.
Так как значение т = 10 не является необычным, то отсюда уже
ясно, как осторожно следует интерпретировать наблюдаемое значе-
значение. Даже если увеличить т до 20, приближенный интервал (для
а = 0,05) будет включать значения от 0,645// до 1,550//.
г) Имеется в виду выборочная дисперсия по 2т независимым наблюдениям
над нормальной совокупностью с нулевым средним.— Прим. перев.
2) Кратчайпиш доверительным интервалом мы называем интервал, который
с некоторой заданной вероятностью (равной коэффициенту доверия) накрывает
истинное значение параметра // и имеет минимальную вероятность накрыть
значение /7-, если оно не совпадает с истинным. Таким образом, это не обяза-
обязательно геометрически самый короткий интервал. Называя интервал несмещен-
несмещенным, мы подразумеваем, что вероятность содержать значение // максимальна,
когда fj совпадает с истинным значением.

280 Гл. V. Статистические методы спектрального анализа
(Ъ) Когерентность
Определим выборочный коэффициент когерентности Ojk (k) фор-
формулой
Л.. /1\ \fjk(b)\
Это есть оценка максимального правдоподобия. При К Ф 0, +
она имеет следующую плотность распределения:
*(* К) ^1^) 2 *
Для гауссовских данных при К Ф 0, ±я ато совпадает с распреде-
распределением выборочного сводного коэффициента корреляции между одной
и двумя другими величинами по 2т наблюдениям без центрирования.
Сейчас мы не будем доказывать формулу B.6), так как она вытекает
из теоремы 5, устанавливающей распределение сводного коэффи-
коэффициента когерентности. Почему распределение Ojk является распре-
распределением сводного коэффициента корреляции, можно понять, рас-
рассмотрев три вектора-строки:
(i) &A), ljB), ..., lj(m), гъ-
(u) (Ik A), Ik B), .. ., Ik И, rift A), • • •, % H), B.7)
(iii) ( —T)fc(l), -Л/Л2), ..., —
Последние два из них ортогональны. Поэтому квадрат сводного
коэффициента корреляции равен
X
Таким образом, коэффициент когерентности действительно совпадает
с указанным сводным коэффициентом корреляции. Если Ojk = 0,
то распределение B.6) получается сразу, поскольку в этом слу-
случае B.7) (i) не зависит от B.7) (ii), B.7) (iii), а тогда, как хорошо
известно, распределение сводного коэффициента корреляции не
зависит от распределения векторов регрессии. Если же Ojk Ф 0,
то указанная формула для распределения не так очевидна, ибо
B.7) (ii) и B.7) (iii) являются векторами специального вида с совпа-
совпадающими случайными величинами в разных строках.

2. Финитное преобразование Фурье 281
При Ojk = О, X Ф О, ±я плотность B.6) принимает вид
2 (т - 1) х A - х2)™-2,
поэтому распределение величины (т — 1) о^ A — о%)~г имеет плот-
плотность
т. е. плотность распределения Фишера F с 2 и 2 (т — 1) степенями:
свободы. Это можно, конечно, использовать для проверки гипотезы
о наличии когерентности, однако такая процедура вряд ли будет
применяться. Более вероятно, что потребуется доверительный интер-
интервал для Gjk. Его можно найти с помощью подробных таблиц функции
распределения B.6), составленных Эмосом и Купменсом [1963],
например, используя «симметрично ограниченный» интервал
а 1
a^ojk^b, \ p(x\ojk)dx= \ p(x\ojk)dx = Yai B-8)
о ъ
где р (х | Gjk) задается формулой B.6).
Рассмотрим, наконец, случай X = 0, ±зх. Тогда т частот вида
2nj/N, по которым вычисляется/ @), получаются при/ = 0, ±1, • • ••
Предположим, что данные центрируются и вклад, отвечающий
/ — 0, отсутствует, ибо для нулевого среднего w @) = 0. (Остальные
w (coft) при этом не изменяются.) Тогда 6jk @) (асимптотически) рас-
распределен как простой выборочный коэффициент корреляции между
двумя гауссовскими величинами с коэффициентом корреляции Gjk @),
вычисленный по т — 1 парам наблюдений, a Gjk (я) имеет аналогичное
распределение с заменой Gjk @) на Gjk (я) и т — 1 на т. Чтобы пока-
показать это, например, для Gjk @) и нечетного 7тг, рассмотрим две строки
случайных величин
Здесь Vj (u) = w (cou), «и = 2nulN. Квадрат коэффициента корре-
корреляции между этими строками равен
Ь ("J + S ЧИ"J) A1 Ih И2 + 2 ik (")я))
= I /л @) 1% @) Л @) = ^л (ОJ.
откуда сразу следует сформулированный результат.
В связи с оцениванием когерентности упомянем здесь об одной
проблеме, к которой мы вернемся позже. Эта проблема возникает
из-за того, что фаза может быстро меняться в рассматриваемом1

282 Гл. V. Статистические методы спектрального анализа
диапазоне частот. Тогда, если /7-, fk, ojk практически постоянны,
но Qjk быстро меняется, то, поскольку
cjk = 2 (fjfkI/2 ojk cos Qjk, qjk = — 2 (fjfk)i/2 °jk sin QJk,
среднее значение величин cjk, qjk по диапазону может быть мало;
следовательно, мало может быть и среднее величины Gyfe, которое
оценивается в нашей процедуре. В этом параграфе, однако, мы рас-
рассматриваем узкие диапазоны (т постоянно при возрастающем Лг),
л обсуждение этой проблемы мы отложим до § 7.
(с) Комплексный коэффициент регрессии и фаза
Положим
О, /»(Ч-0.
^Мы часто будем опускать аргумент X.) Оценкой максимального
правдоподобия для этого параметра является
=о, я.
Рассмотрим условное распределение v} (и) при фиксированном vk (и),
X =?=. О, п. Легко показать, что его плотность представляет собой
произведение т множителей вида х)
L_ { \vj(u)-Vjkvh(u)\* ,
т. е. «одномерных» комплексных нормальных распределений со сред-
средним $jkvk (и) и дисперсией /у A — o)k). (Доказательство этого факта
мы оставляем в качестве упражнения к этой главе.) Отсюда сразу
следует, что при фиксированном vk (и) действительная и мнимая
части величины $jk—P7-fe независимы и имеют одинаковые нормальные
распределения с нулевым средним и дисперсией Bт)~1 /; A— o)h)lfh.
(В самом деле, нетрудно проверить, что вещественная и мнимая
части $jk являются коэффициентами регрессии строки B.7) (i) на
B.7) (ii) и B.7) (ш); требуемый результат тогда вытекает из класси-
классической теории регрессии.) Более того, остаточная сумма квадратов
равна Amfj A — р|/г), так что fj A — o)h) является оценкой для
fj A — Ojk)i не зависящей от jjy-ft. Это позволяет производить про-
проверку гипотез и строить доверительные интервалы, «точные» в той
х) Мы сознаем, что, обозначая через vj (и) одновременно и случайные вели-
величины, и «свободные переменные» в плотности распределения, мы допускаем
возможность недоразумения, однако в тексте, и без того перегруженном обозна-
обозначениями, мы предпочли пойти на такой риск.

2. Финитное преобразование Фурье 283
мере, в какой применимо многомерное нормальное распределение.
Эту точность не следует переоценивать, хотя она, очевидно, является
положительным свойством. Так, 100A —а) %-й доверительный
интервал для fijk получается в виде
1) A} U A - 6%) F2,2m_2 (а)]1/2,
'Я' B.10)
А, = я.
Здесь F2, 2m-2 (°0 есть 100а %-я точка для /"-распределения с ука-
указанными степенями свободы, a tv (а) имеет аналогичный смысл для
/-распределения Стьюдента. Как мы уже отмечали, в случае к = 0
предполагается, что w @) исключено посредством центрирования.
Можно также построить доверительные интервалы отдельно для
вещественной и мнимой частей, однако это вряд ли может понадо-
понадобиться. Важнее то, что мы теперь можем построить доверительный
интервал для фазы. В самом деле, 0^, очевидно, является аргумен-
аргументом комплексного числа p7fe, a 0jk — аргументом |37fe. Поэтому вели-
величина $jk ехр (—iQjk) имеет вещественное математическое ожидание
\ $jk |. Следовательно, математическое ожидание величины | $jk \ х
х sin (Qjk — Qjk) равно нулю. Так как эта величина имеет вид
Re p^ cos QJh — Im p7fe sin QJk,
то ее условная дисперсия при фиксированном uk (и) равна
Bm)-1fj(l — o%)/Jk. Полагая s2 = fj(l — 6%)/{Bт — 2) /й}, мы видим,
что
имеет ^-распределение с Bт — 2) степенями свободы. Поэтому
100A — а) %-й доверительный интервал для Qjk дается соотноше-
соотношением.
1 sm(Qjh-Qjk) \^-^-t2m.2 (a) = ( .B1""gjfc ) ' ^2m_2(a), ХфО, я,
IPjftl l GjkBm — 2) )
B.11)
гДе t2m-2 (a) eCTb 100a%-я точка для двусторонней гипотезы для
/-статистики с 2т — 2 степенями свободы.
Теорема 4. Пусть выполнены условия теоремы 3; тогда
асимптотические доверительные интервалы для P7-fe (к) и Qjk (к),
к Ф 0, я, можно получить из соотношений B.10) и B.11).
При построении доверительного интервала возникает одна про-
проблема. Можно условиться, что числа Qjk должны лежать в интервале
(—я, я], так что в принципе Qjk также могут быть определены в этом
интервале. Однако, действуя таким образом и применяя B.11),
мы получаем доверительную область на единичной окружности,

2&4 Гл. V. Статистические методы спектрального анализа
состоящую из двух непересекающихся кусков одинаковой длины,,
одного с центром в точке Qjk и другого с центром в диаметрально
противоположной точке. (Конечно, эти куски могут срастись, и ста-
статистическое утверждение станет бессодержательным; вероятно, это
действительно будет так, когда коэффициент o)h не близок к единице,
и в какой-то мере это зависит от величины т.) Если коэффициент
о% велик, то второй из этих кусков, казалось бы, можно отбросить,
так как §jk вряд ли примет значение, отличающееся от истинного на
величину порядка п (или, что то же самое, величины cjk и qjk едва ли
обе будут иметь неверный знак, если o)h близок к единице). Это,
однако, приведет к тому, что статистическое утверждение уже не
будет точным. Другая возможность состоит в том, чтобы локализо-
локализовать 0jk, Qjk в фиксированном интервале длины дт; например, можно-
определять их как главное значение арктангенса, чтобы они лежали
в интервале (—я/2, я/2]. Проблема, однако, остается, так как теперь,
чтобы получить точную доверительную область, следует найти пере-
пересечение первоначальной области (состоящей из двух кусков на всей
окружности) с заранее выбранным интервалом, т. е. мы должны
взять часть интервала (—я/2, я/2], образованную значениями Qjkr
удовлетворяющими B.11) *). Эта часть вновь может состоять из
двух кусков, один из которых (не содержащий bjk) будет обычно
меньше другого. Возможно, что практики предпочтут первый метод
и будут отбрасывать интервал, не содержащий 87-fe, во всяком случае
когда оба интервала не слишком велики.
Распределение фазы само по себе, по-видимому, не представляет
большого интереса, за исключением, возможно, случая Gjk (X) = О,
когда оно является распределением величины arctg {qjjcjh), где
qjk и Cjk — уже независимые гауссовские величины (относительно
предельного распределения). В этом случае 6/ft, определенное как
главное значение арктангенса, имеет, как легко показать, равномер-
равномерное распределение на (—я/2, я/2].
Построенный нами доверительный интервал, конечно, не является
единственно возможным, однако он обладает хорошими свойствами
(см. Нейман Е. [1954]). В самом деле, мы показали, что он является
кратчайшим несмещенным интервалом (см. примечание на стр. 279).
Таким образом, он обладает некоторыми достоинствами и может
с пользой применяться, пока не появится лучшая процедура.
(d) Множественная регрессия, когерентность, фазовые процедуры
Методы предыдущего пункта распространяются на случай, когда
одна переменная, скажем у {п), должна быть связана с р другими
Xi (n), х2{п), . . ., Хр (п). Предполагается, что все эти процессы
г) Мы оставляем читателю проверку того, что это является точной довери-
доверительной областью для параметра 6д, ограниченного значениями (—л/2, л/2].

2. Финитное преобразование Фуръе 285
совместно стационарны, и мы выделяем один из них у (п) лишь для
удобства обозначений. Рассмотрим сначала условное распределение
величины vy (и) при фиксированных vk (и). Здесь индекс к относится
к процессу xk, индекс у — к процессу у, а условное распределение,
о котором идет речь, получается из совместного распределения типа
D.6) гл. IV для vy (и) и vk (и). Обозначим через fx матрицу с эле-
элементом fjk в ;-й строке и к-м столбце, fxy — вектор-столбец с /с-й ком-
компонентой fky, равной взаимной спектральной плотности между xk и у.
Символом fyx, естественно, мы будем обозначать транспозицию
вектора fxy. Условное распределение имеет плотность
Здесь величина oyv, которую мы называем сводным коэффициентом
когерентности, определяется соотношением
= Ту fyxtx fxy i
Ту fyxtx fxy
а вектор E с компонентами Р& имеет вид
Будем предполагать, что fx невырожденыа, хотя это условие может
быть ослаблено. Сводный коэффициент когерентности является аде-
адекватной мерой степени связанности у (п) и xh (п) на частоте X. Интер-
Интерпретируется он аналогично обычному коэффициенту когерентности
(см. § 2 гл. II, перед формулой B.10)). Именно, считая, что у (п)
и xk (n) получаются в результате выборки из процессов с непрерыв-
непрерывным временем, мы можем определить
#а. е (п) = 2 аА (п — Oft)-
Рассмотрим теперь коэффициент корреляции между компонен-
компонентами у (п) и xa,Q (n), отвечающий частотам +Я (т. е. узким диапазо-
диапазонам вокруг этих частот). Максимизируя его по ak и 8fe, мы и получим
сводный коэффициент когерентности. Чтобы получить для пего
и для вектора |3 оценку максимального правдоподобия, следует
лишь заменить /х, fy, fyk на fx, fy, fyk. Таким образом, имеет место
Теорема 5. При условиях теоремы 3 асимптотическое рас-
распределение величины оур при X ^Ф 0, я имеет плотность
В(т — р, р) yv \1~°yv) г*i\mi mi P, °ур°ур)-
При X = 0 следует заменить р на г12р и т на V2 (т — 1) (в пред-
предположении, что х (п) центрирован), а при X = л имеет место ана-
аналогичный результат с заменой р на г/2р и т на г12 т-
Замечание. Здесь В (•, •) — бета-функция, a 2F\ — вырож-
вырожденная гипергеометрическая функция. Эту плотность можно также

286 Гл. V. Статистические методы спектрального анализа
записать в других формах (Андерсон [1958], стр. 134, соотноше-
соотношение C8)). Она совпадает с плотностью сводного коэффициента корре-
корреляции между одной вещественной нормальной величиной и 2р дру-
другими вещественными нормальными величинами, вычисленного по
2т наблюдениям без центрирования. Доказательство теоремы, при-
приводимое ниже, несложно и, разумеется, охватывает случай р = 1Г
с которым мы имели дело в формуле B.6). Результат теоремы пред-
представляется несколько неожиданным. Геометрическое объяснение мы
приведем в § 6. При X = 0, я доказательство такое же, как и в слу-
случае B.6), и мы его опускаем.
Доказательство. Рассмотрим 2р -f-1 векторов-строк вида
Яу=(М1)* •••' h(m), ЛЛ1)* •••* %(го)),
а;-=(^A)* •••' b(mh ^A). •••* Л;Н); 7 = 1, ---, Р,
ь;- = (—^(l), • ••, -ч/Н, Ы1), •••> §jH); / = i, .--, р.
Здесь 1У, у\у отвечают процессу у(п), а |у, ^ — процессу я,- (п).
Тогда Оу-р — сводный коэффициент корреляции между ау и 2р
векторами a,j, bj, /=1, ..., р- Чтобы это доказать, воспользуемся
соответствием, установленным в начале доказательства теоремы 13
гл. IV. Так как fx = 1/2(cx — iqx), fxy = 1/2(cXy — ^xy)^ где сх, qx —
квадратные матрицы, а сху, qxy — столбцы, то, используя упомяну-
упомянутое соответствие, имеем
-2 1 2 1Г' Л- ч Г °х Ч*]'1 (С*А
z L — qx cxj \qXy)
что, как нетрудно показать, совпадает с указанным коэффициентом
корреляции.
Рассмотрим теперь условное распределение оур при условии, что
фиксируются значения компонент векторов а^ 6;-, / = 1, . . ., р.
Из B.12) непосредственно получаем, что вектор условных математи-
математических ожиданий а у равен
Остаточная дисперсия величин %у (и), х\у (и), и = 1, . . ., т, т. е.
дисперсия относительно условного распределения, также получает-
получается из B.12) и равна 2fy A — o2yv). Величины ?у {и), ч\у (и), и =
= 1, . . ., т, независимы и нормальны относительно этого услов-
условного распределения. Следовательно, условное распределение o'lv,
совпадает с условным распределением квадрата сводного коэффи-
коэффициента корреляции между одной нормальной случайной величиной
и 2р другими по 2т наблюдениям без центрирования, ибо, поскольку
a,j, bj фиксированы, их вероятностная природа не имеет никакого

(m — p — \)\ ZJ
3 = 0
2. Финитное преобразование Фурье 287
значения. Согласно Андерсону [1958], стр. 131, формула C1), плот-
плотность такого распределения имеет вид
где
Среднее значение этого распределения равно
2т {fy A - ajp)}-! р*/*Р = 2m {/у A - ajp)} Л,*/;1/*» %
Далее, Э2 как функция от случайных величин Н;- (а), rjy (и) с точно-
точностью до постоянного множителя равна
и, следовательно, пропорциональна случайной величине %2mi имею-
имеющей ^-распределение с 2т степенями свободы, ибо величины $*v (и}
независимы и имеют (одномерное) комплексное нормальное распре-
распределение. Таким образом, Э2 ={о^р/A — °lp)} 7im- Подставляя это
в условное распределение для а?7Р, мы видим, что оно принимает
ту же форму, что и распределение соответствующего сводного коэф-
коэффициента корреляции (см. Андерсон [1958], стр. 131). Таким образом,
интегрируя по переменным |7- (и), г|7- (и), и = 1, . . ., т; j = 1, ...
. . ., р, мы получаем то же распределение, что и для сводного коэф-
коэффициента корреляции, ибо, несмотря на различие случайных век-
векторов, которые фиксируются, мы в обоих случаях фактически инте-
интегрируем относительно распределения %2т- Доказательство теоремы
завершено.
Если G^p = 0, то из замечания, предшествующего доказательствуг
вытекает, что величина
т — р
1 "ур
имеет ^-распределение с 2р и 2т — 2р степенями свободы. Для
случая o\v =т^ 0 подробных таблиц, по-видимому, не существует.
Если р = 1, то можно, конечно, использовать таблицы Эмоса и Куп-
менса [1963]. Для р = 2, 4, 8, 16, 32; Ь2УР = 0; 0,1; 0,2; . . ., 1,0;
(т — р) = 5, 10, 20, 40, 80, 160 левые и правьте концы «симметрично
ограниченных» доверительных интервалов для g\v с коэффициентами
доверия 1 — а, где а = 0,05; 0,01, указаны в работе Гровса и Хен-
нана [1968]. В этих таблицах g\v обозначено через г, g\v — через фг
am — через М. Например, для т = 42, р = 2, а — 0,05 и а^р —

288 Гл. V. Статистические методы спектрального анализа
= 0,80 левый и правый концы доверительного интервала равны
соответственно 0,69 и 0,86. Соответствующий интервал для оур есть
[0,83, 0,93]. В работе Кхатри [1966] обсуждаются преобразования
величины а^р, которые приводят к распределениям, почти не завися-
зависящим от olP. С точки зрения построения доверительных интервалов
эти результаты, однако, не кажутся полезными, хотя их можно
применять для проверки гипотетического значения o2jp.
Можно определить частный коэффициент когерентности как
2 \2УЬ\*
иУ''Р' (\1УУ\ \I,kk\) '
где 2 — матрица
\fxij Jx
а | 2?/fe |2 обозначает квадрат модуля определителя, получающегося
вычеркиванием первой строки и (/с+1)-го столбца, | 1>уу | = det fx
и | Zhh | — определитель, получающийся вычеркиванием (А: + 1)-й
строки и (к--1)-то столбца. Х1тобы получить теперь а^.р, следует
заменить fy, /?/x, fx на /?/, /?/х, fx. Эта величина равна также частному
сводному коэффициенту корреляции между столбцом ау и парой
столбцов ak, bk после устранения, посредством регрессии, всех aj, 67-,
j ф к, j = 1, . . ., р. Она является адекватной мерой связанности
процессов у (п) и хк (п) на частоте X после устранения всех линейных
эффектов, обусловленных процессами xj (n), включая их прошлое
и будущее. Мы предоставляем читателю проверку справедливости
утверждения, касающегося вида dyu-p- Оно вытекает из соответ-
соответствия, установленного в начале доказательства теоремы 13 гл. IV,
как и в случае теоремы 5. Мы опускаем также доказательство сле-
следующей теоремы, подобное доказательству теоремы 5.
Теорема 6. При условиях теоремы 3 асимптотическое распре-
распределение величины oyk.p совпадает с распределением простого коэффи-
коэффициента когерентности, вычисленного по (т — р + 1) частотам Хи
(или по т — р в случае X = 0 вследствие центрирования):
Несколько более вероятно, что (при р > 1) может понадобиться
проверка значимости oyk.p, так как нулевая гипотеза о том, что
связанность между у (п) и Xj (n) на частоте X обусловлена лишь про-
процессами Xj (п) при/ Ф /с, может быть правдоподобной a priori. Крите-
Критерий основан на использовании статистики
распределенной по закону F2,2m~2p- Напомним, что

3. Другие вычислительные процедуры для ФПФ 289
Этот вектор имеет компоненты
Величины Ьк определяют опережение или запаздывание у (ri) отно-
относительно xk (ri) на частоте X после устранения всех линейных эффек-
эффектов, обусловленных другими процессами Xj (ri) (включая прошлое
и будущее). Имеет место
Теорема 7. При условиях теоремы 3 асимптотические
100 A — а)%-е доверительные интервалы для f$fe и, в случае X Ф 0, я,
для Qk могут быть получены из соотношений
'1 U A - 4v) I 7~1F2,2m_2p (a)f'\ I ф 0, я,
/
— ctSp) I /
|.sinFft — 6fe) |<т^Ц- ^2m-2P (a),
IPfe I
где
Конечно, при построении доверительного интервала для Э^
возникает та же проблема, что и для фазы в связи с теоремой 4 (см.
обсуждение, следующее за этой теоремой).
Методы, рассмотренные в этом параграфе, по существу являются
классическими регрессионными и корреляционными методами с тем
единственным усложнением, что векторы регрессии (мы будем назы-
называть их регрессорами) имеют специальный вид, и это сказывается
на распределении при ненулевом значении параметров. Конечно,
тот факт, что величины $jk комплексны, тоже привносит дополни-
дополнительную специфику, например в связи с понятием фазы. Скоро мы
увидим, что аппарат многомерного дисперсионного анализа полно-
полностью переносится на рассматриваемый случай. Мы отложим обсужде-
обсуждение этих вопросов до § 6 не потому, что считаем их маловажными,
но чтобы избежать здесь слишком продолжительной дискуссии
о методах, которые до сих пор почти не применялись.
3. ДРУГИЕ ВЫЧИСЛИТЕЛЬНЫЕ ПРОЦЕДУРЫ ДЛЯ ФПФ
Мы ввели сокращение ФПФ для «финитного преобразования
Фурье». Вычисление таких преобразований при больших N является
обременительным делом, так как требует порядка N2 операций
(каждая из которых включает сложение и умножение). Поэтому
весьма важно, что существуют более простые процедуры. Эти про-
процедуры, по-видимому, имеют длинную предысторию, однако в послед-

290 Гл. V. Статистические методы спектрального анализа
нее время они связываются с работой Кули и Тьюки [1965]. Про-
Процедура основана на следующей простой идее. Пусть
0=П пм, у =
г-1
по модулю 7V. Имеем
/с = z;s
откуда видно, как ^-, г;7- получаются последовательным делением.
Тогда
N
В самом деле, при вычислении произведения пк можно опустить
все члены NNjl\Ni, j > Z, так как их вклад в mcoft есть целое крат-
кратное 2ni. Далее выполняется 5 последовательностей операций, /-я из
которых требует 2Nnj вещественных операций (умножение, а затем
сложение), так что в целом производится приблизительно 2N 2 w/
вещественных операций. Таким образом, мы получаем последова-
последовательность массивов, первый из которых имеет N входов
As+1 {ии . . ., us) = х (п), причем указанный элемент располагается
по адресу щ, . . ., us. Затем массивы формируются последовательно
по формуле
..., v8) X
xexp {i2mtj 2 7v~7}' / = s, *—1, ..., 1. C.1)
В массиве Л7- комплексные элементы с vj, . . ., ys, отвечающими
к и N — /с, и с одинаковыми ии . . ., Uj^ являются сопряженными,

3. Другие вычислительные процедуры для ФПФ 291
а для N, 1/2Лг — вещественными. Тогда
s
Если N — [| nf li то для осуществления вычислений потребуется
1
всего около 2^ 2 Ptnt вещественных операций. Для реализации
этой процедуры можно отбросить либо добавить небольшое число
наблюдений, чтобы получившееся N было «в высокой степени состав-
составным»; если, например, имеется 1539 наблюдений (число 1539 было
взято из таблицы случайных чисел), то, учитывая, что 1539 = 34-19,
можно отбросить 81, чтобы получить N = 36-2. С другой стороны,
если это возможно, мы могли бы добавить 81, чтобы получить N =
= 34-22-5. В первом случае потребуется 2-1458-20 = 58 320 опера-
операций, во втором 2-1620 «21 = 68 040 операций (при большем числе
наблюдений). Сравните это с 2 368 521 операциями, требующимися
для вычисления «в лоб». Таким образом, описанная процедура
экономит более 95% первоначального объема работы и делает вычис-
вычисления вполне реализуемыми.
Формулы становятся особенно простыми, когда nt = 2; в этом
случае типичная сумма в правой части C.1) имеет вид
и ..., uj-u 0, vj+l, ..., vs) +
s
+ Aj+i(uu ..., Uj.u 1, vj+i, ..., us) exp | in 2 -^rj-} , C.2)
так что некоторые из операций, включавших умножение и сложение,
сводятся фактически только к сложению. В этом случае число опера-
операций равно 2sN = 2N log2 N и относится к JV2 как 2 log2 N/N. Основы-
Основываясь на этом, Кули и Тьюки [1965] предложили следующую процеду-
процедуру. Последовательность х (п) дополняется нулями с одного или двух
концов, чтобы получившийся ряд имел длину TV', TV ^ N' = 2s <
< 2N. Затем он обрабатывается (после модификации, которую мы
опишем ниже) как ряд из N' наблюдений. Таким образом, вместо
w (cofe) мы получаем
w
( 2пк ) ? — о 1 JV' —
Эта процедура может потребовать больше операций, чем первая,
однако она может иметь другие преимущества с вычислительной
точки зрения (см. Кули, Тьюки [1965]). В случае N = 1539 придется
взять N' = 2048 и произвести 2048-22 = 45 056 операций умноже-
умножения с последующим сложением. Мы получим N' значений w (X) вме-
вместо N, однако это не дает никаких преимуществ, ибо исходными
являются всего N наблюдений х (гг).

292 Гл. V. Статистические методы спектрального анализа
Модификация исходного ряда, о которой упоминалось выше,
заключается во введении сглаживания на его концах, устраняю-
устраняющего резкий переход от нулевых значений к ненулевым. Исходный
ряд х (п) заменяется на aN (n) x (п), где aN (n) — коэффициенты
сглаживания; можно взять, например,
или
1, Af<rc<7V— M,
Некоторое 'предпочтение, по-видимому, отдавалось сглаживанию,
которое приближается к единице на концах гораздо медленнее, как,
например,
Введем
N
и определим м;(л) соотношением
(К) = -^=- 2 ^ W ^ (л) ^п>^. C.3)
Именно эта величина вычисляется для (u'k = 2nk/Nf процедурой
Кули —Тьюки.
Имеем
фЛ. (А, — 9) |2/ (в) d9.
Роль сглаживания можно понять, рассматривая эту формулу.
Желательно, чтобы | ф v (Э) |2 было по возможности мало при доста-
достаточно больших Э, ибо только тогда мы будем уверены, что отклоне-
отклонение w (X) w (Я) от / (А,), вызванное намного большим значением / (Э)
в другой точке Э, достаточно удаленной от А,, невелико. Как под-
подсказывают наши примеры и как мы позднее и будем делать, можно
взять aN (п) = uN (n/N), где uN (х) — непрерывная функция х.

3. Другие вычислительные процедуры для ФПФ 293
Предположим сейчас для простоты, что aN (n) — и (n/N). Говоря:
«при 8, далеких от нуля», мы подразумеваем, что велико расстояние
от нуля до 8 в единицах длины 2я/Лг; перепишем поэтому
Е (w(X) xw (X)) в виде
E(w(X)w(X)) = j ЛГ-i | Ф
-JVjt
где X — 6 ^ г|;/Лг. Теперь
что быстро приближается к
i
и(^)=-^ \u(x)e***dx.
Рассматривая теперь и (х) как функцию на (— оо, оо), обращаю-
обращающуюся в нуль вне интервала @, 1), мы видим, что если эта функция
v раз дифференцируема, так что v-я производная является линейной
комбинацией интегрируемых функций и б-функций (но не их про-
производных), то и (г|}) = О (|г|э |"v) при г|э->¦ оо. Таким образом, чем
выше порядок приближения и (х) к нулю в точках 0, 1, тем быстрее
убывает и (ty) при возрастании | г|э |, значит, тем быстрее убывает
ФN (X) при возрастании | X |. Например, для и (х) == 1 величина
I ^ 2
Флг (^) I2 равна
2nN sin2
что убывает как >i~2 при возрастании | А, |. Если ^ (ж) =
= V2 A — cos 2nx), то v = 3 и | <$N (X) |2 должна убывать как
| X \~6. В самом деле,
что имеет требуемый порядок г|з.
Конечно, введя сглаживание, мы должны будем кое-чем посту-
поступиться. Во-первых, как мы увидим, применение сглаживания приво-
приводит к появлению корреляции между величинами w (co^) в их асимпто-
асимптотическом распределении. Впрочем, если NIN' <^ 1, то заметная
корреляция между w (co?) имеется в любом случае, и, кай показывает
приведенная ниже теорема 8, при NIN' <^ 1 использование сглажива-
сглаживания может упростить ковариационные свойства w (со^). Во-вторых,

294 Гл. V. Статистические методы спектрального анализа
как мы увидим ниже, использование сглаживания приводит к уве-
увеличению дисперсии. Этот эффект будет незначительным, если коэф-
коэффициент сглаживания близок к единице на большей части диапазона,
где он отличен от нуля, чего, как мы знаем, можно достичь, если нас
интересует лишь поведение qN (i|ViV) достаточно далеко от нуля
(в единицах 1/iV).
Итак, применение сглаживания позволяет не слишком доро-
дорогой ценой гарантировать отсутствие нежелательного отклонения
Е {wCk) w (к)} от / (А,), обусловленного очень большими значениями
/ F) при Э, достаточно удаленных от к. Можно, конечно, возразить,
что если для некоторого 8 отношение / (8)// (к) очень велико, это
будет нам известно заранее, и мы сможем предотвратить нежела-
нежелательный эффект, например, с помощью предварительной фильтрации.
В таком случае действительно следует подумать о выборе процедуры,
однако весьма вероятно, что использование сглаживания во многих
случаях будет полезной и недорогостоящей мерой предосторожности.
Мы хотим исследовать асимптотические свойства оценок w (к).
Рассмотрим ситуацию, когда N = [aNr], V2 < # <1, и N' (имеющее
вид 25) возрастает так, что а остается постоянной. Исходя отчасти
из предыдущих примеров, положим
C.5)
где uN (х) — непрерывная функция, такая, что | uN (х) | ^ 1 и
limuw(x) = u(x), 0<я<1, C.5')
N-+OO
где и (х) также непрерывна.
Если MIN —>¦ 0 при N —>¦ оо, то это выполняется в рассмотренных
выше примерах с и (х) = 1. Если MIN ->¦ а, то в первом примере
и (х) = ха~г при х^Са, и (х) = 1 при а<^ ^1 — а и и (х) =
= A — х) а при остальных х. Второй пример аналогичен, и мы
оставляем его рассмотрение читателю. Ситуация, когда и(х)==1,
в определенном смысле является наиболее подходящей, ибо при
N —>¦ оо отношение M/N, по-видимому, должно стремиться к нулю.
Однако представляет интерес и другой случай, так как в каждом
конкретном примере MIN не равно нулю, и чтобы получить некото-
некоторое представление о том, что происходит при больших TV, имеет
смысл рассмотреть и этот более общий случай.
Исследуем теперь совместное распределение величин w (к) для
т' значений к'и = 2njJN', ближайших к фиксированной частоте к.
Мы будем иметь в виду соотношение т = am' (которое может выпол-
выполняться лишь приближенно), так что к'и покрывают примерно такой же
диапазон, что и ки. Как и в § 4 гл. IV, мы приходим к рассмотрению
последовательностей aN (n) exp ink'u. Легко проверить, что они (или
их действительные и мнимые части) удовлетворяют условиям (а),
(Ь), (с) § 4 гл. IV. В самом деле, вводя для удобства обозначение

3. Другие вычислительные процедуры для ФПФ 295
Л/ (к) вместо Xft, рассмотрим
N
е-гп%\1) ^ aN
lim ^ F . C.6)
Это равно
*-** lim
{ ± 2 а* <m> s" (
^Ц — , C.7)
f M2 (X
ибо
п
N 1
-jv ^ &N (mJ = \ и (xJ dx,
1 0
где й (х) — кусочно-постоянная функция, равная aN (m) на интер-
интервалах вида [mIN — BЛГ)~1, m/N + BN)'1]. Так как и (х) ограничен-
ограниченно сходится к и (х) при почти всех х, то отсюда следует C.7). Ана-
Аналогично, числитель выражения C.7) с точностью до множителя
ехр (—ink) равен
1
lim \ и(х)и (х -f- -^г) ехр { i2nax (jh — jt) (—r^-) \ dx
и, в силу тех же соображений (с учетом того, что jk — ji = k—l),
сходится к
1
<pft_, = j и (х) е* ™*
О
При и (х) = 1 это равно
I
sin яа (/с-I)
так что C.6) в этом случае равно
e-inKgianik-i) fsinJta(fe-Z)^
Обозначим через Ф матрицу с элементом ф^-^ в и-й строке, v-м столб-
столбце. Эта матрица эрмитова и в интересных случаях (например, и (х) ^Ф
=т^= 0 п. в.) невырожденна. В случае а = 1 и и (х) = 1 она, конечно,
равна единичной матрице. Положим v (и) = w (k'u) и обозначим

296 Гл. V. Статистические методы спек пралъного анализа
через и вектор, составленный из р-мерных векторов v (и), так что
Vj (и) попадает в строку с номером (и — 1) p + j. Имеет место сле-
следующая
Теорема 8. Пусть v — определенный выше вектор, где w (Х^)
вычислены по формуле C.3) для т' значений Х'и вида 2nk/N', ближай-
ближайших к X, а а у (п) даются соотношением C.5) с непрерывной функцией
и (х), и (х) Ф 0 п. в. Тогда если х (п) удовлетворяет условиям теоре-
теоремы 13 или 13' гл. IV, то распределение v сходится при N ->¦ оо, N =
= [aNr], где 1/2 < #^1> к комплексному многомерному нормальному
распределению с плотностью
, я.
Результат остается справедливым при X = О, если исключить Х'и =
= О, и при X = я, ес/ш исключить Х'и = я.
Доказательство этой теоремы почти не отличается от доказа-
доказательств теорем 13 или 13', и мы его опускаем.
Не следует переоценивать значение теоремы 8. Дело в том, что
процедура Кули — Тьюки, как правило, будет применяться только
для очень больших N, а в этом случае более подходящей является
ситуация § 4, когда т' может возрастать вместе с N. Однако эта
теорема позволяет в рассматриваемом случае провести все рассужде-
рассуждения § 2 для единственной фиксированной частоты X. В самом деле,
матрица Ф известна. (На практике в качестве а берется NIN'.) Поэто-
Поэтому мы можем образовать вектор
/гТл—1/2 J—>. Т \ /О О\
V = (Ф ® 1 р) У. \д-о)
Обозначим через у (и) р-мерный вектор с компонентами, занимаю-
занимающими те же р мест в у, что и у (и) в у. Таким образом, чтобы получить
у (и), мы сначала образуем р векторов у,- с u-й компонентой у, (и),
и = 1, . . ., /тг', затем находим Уу = Ф~1/2у/, тогда у, (и) является
гг-й компонентой Уу.
Следствие 2. ?Ъш выполнены условия теоремы 8 и векторы
v (и), и = 1, . . ., т', определены, как указано выше, то они имеют
те же асимптотические свойства, что и векторы у (и) в теореме 3,
и все результаты § 2 имеют место с заменой v (и) на v (и) и т на т''.
Хотя этот общий результат, очевидно, и представляет некоторый
интерес, практически весьма вероятно, что а будет очень близко
к единице и и (х) = 1 (точнее, aN (n) равно или близко к единице
для большей части своих значений). Тогда мы сможем заменить
величины у (и) более простыми у (и). Наиболее очевидная формула

имеет вид
3. Другие вычислительные процедуры для ФПФ 297
III IV
= {-^г 2 ^ м "*(">} / {4- 2 а* И2} • <3-9)
и=\ п=1
(Мы сейчас не делаем различия в обозначениях между этой оценкой
и другой, введенной ранее.)
Интересно исследовать первые и вторые моменты таких оценок.
Так как
N
w2
и последняя величина совпадает с диагональными элементами матри-
матрицы Ф, то средним значением асимптотического распределения fjk (X),
как и должно быть, является fjk (X). Дисперсию можно получить из
теоремы 8. Рассмотрим ковариации для предельного распределения
этих величин.
Следствие 3. Ковариации *) величин fjk (X), вычисленные
относительно предельного распределения теоремы 8, равны
в и W hi М) =
)йу2^(Ф^)!{Х)!(Х) ХфО, я,
[mf \и
I { m' J u2 (ж) d* } 2 Тг (Ф») {/ife (Я) /„ (A) +
I ° +/«(Л)Д;(Л)}, Я=0, Я.
Мы оставляем доказательство этого следствия в качестве упраж-
упражнения, так как оно легко вытекает из теоремы 8.
Если т! не является малым, то хорошую аппроксимацию для
Тг Ф2 дает следующая формула:
т'-\ 1
-m'-fl О
так как указанная сумма является чезаровской суммой ряда Фурье
(при нулевом значении аргумента) для свертки с собой функции,
равной а~1и2(у/2па) на интервале [0, 2ка) (и нулю вне этого
*) Еще раз напомним, что при вычислении ковариации двух комплексных
случайных величин вторая из них берется комплексно сопряженной.

298 Гл. V. Статистические методы спектрального анализа
интервала). Это приводит к приближенной матрице ковариаций
вида
1
J и* (х) dx
-Lf(K)®f'(K)—J! , т = ат', КфО, ± я.
Очевидно, что асимптотическое распределение матрицы /, кото-
которая дается процедурой Кули — Тьюки при фиксированных т, т!,
не совпадает с распределением, полученным в § 2. В частности, в ска-
скалярном случае статистика 2mflf имеет асимптотическое распределе-
распределение хи-квадрат только при а = 1 (даже если и (х) = 1). Этому,
однако, не следует придавать слишком большого значения. Порядок
/с-го семиинварианта предельного распределения величины /, найден-
найденной при помощи процедуры Кули — Тьюки, равен m~h+1. Поэтому
если т не слишком мало, то использование величины v{///} в каче-
качестве х2 с
1
2т (I u*(x)dxJ
1
J и* (х) dx
О
C.11)
степенями свободы будет неплохой аппроксимацией. Это правило
дает распределение с правильным средним и приближенно правиль-
правильной дисперсией, причем неточность обусловлена введением простого
предельного выражения в знаменатель. Распределение будет также
иметь приблизительно правильную форму. В соответствии с этим
мы можем обращаться с матрицей /, как если бы она имела комплекс-
комплексное распределение Уишарта (см. § 6) с «числом степеней свободы» v,
даваемым формулой C.11), вместо v = 2т для финитного преобра-
преобразования Фурье. Несомненно, нужны дальнейшие исследования этих
приближений. Б тех случаях, когда описанная аппроксимация закон-
законна, она чрезвычайно упрощает расчеты, позволяя перенести все резуль-
результаты предыдущего параграфа на статистику C.9) с заменой 2т на
число v, найденное по формуле C.11).
Вычисление величины v для функций и (х), отвечающих приме-
примерам, приведенным перед формулой C.3), разумеется, вполне три-
тривиально; например, в первом случае

3. Другие вычислительные процедуры для ФПФ 299
где а = M/N. Отсюда
2т A — 4а/3J
1 —8а/5
Во многих случаях а будет чрезвычайно малой величиной (скажем,
0,05), и тогда C.11) переходит в v = 2т.
Если а очень мало по сравнению с единицей, то, используя под-
подходящее сглаживание, можно добиться, чтобы коэффициенты 1 ф7- |
быстро стремились к нулю при возрастании /. Это в некотором смысле
приблизит Ф к единичной матрице. Однако ясно, что это можно делать
лишь до определенного предела; если а мало по сравнению с едини-
единицей, то приближенное рассмотрение распределения статистики C.9)
может дать, по-видимому, лишь грубую аппроксимацию, так что
потребуется использование следствия 2. Как мы уже отмечали,
процедура Кули — Тьюки дает ощутимую пользу, когда N очень
велико, и более реалистичной является асимптотическая модель,
в которой т возрастает вместе с iV, как в § 4. Использование сгла-
сглаживания, по-видимому, не оправдывается в достаточной мере жела-
желанием обосновать асимптотическую теорию статистики C.9), хотя
этот вопрос и заслуживает дальнейшего исследования. С другой
стороны, следствие 3 и идущее за ним обсуждение показывают, что
применение сглаживания имеет некоторые недостатки; например,
в одномерном случае дисперсия оценки равна
т
и достигает минимума при и (х) = 1. Таким образом, сглаживание
приводит к увеличению дисперсии. Его применение оправдывается
уменьшением смещения.
Мы закончим этот параграф двумя замечаниями. Во-первых,
есть нечто парадоксальное в утверждении теоремы 8, из которой
следует, что, используя частоты 2nk/Nr, лежащие в данном диапазоне
ширины 2nmlN вокруг А,, мы можем получить оценку для / (к)щ
которая в скалярном случае имеет распределение %!т' с 2т! > 2т.
Почему тогда нельзя взять сколь угодно малое а и соответственно
сколь угодно большое т'Ч Объяснение, конечно, состоит в том, что
если а очень мало по сравнению с единицей, то для применимости
асимптотических результатов нам, возможно, придется взять N' 1т',
значительно превышающее Nlm. Поэтому число N, которое для дан-
данного т' обеспечивает хорошее приближение к асимптотическому рас-
распределению теоремы 8, будет давать хорошие результаты в теореме
3 для значений т, по крайней мере столь же больших, как т\ Вопрос
этот заслуживает более подробного рассмотрения, чем данное здесь.
Второй вопрос, возникающий в связи с процедурой Кули —
Тьюки, относится к корреляции между оценками в соседних диапа-
диапазонах. Если оценка производится методами § 2, то очевидно, что мы

300 Гл. V. Статистические методы спектрального анализа
можем разделить т частот, по которым оценивается / (X), например,,
на два непересекающихся подмножества, состоящие из т^ и т2 частотг
и получить две асимптотически независимые оценки / (X) с vt = 2тг
степенями свободы. Для процедуры Кули — Тыоки, как видно из
теоремы 8, это, разумеется, не верно. Конечно, если сглаживание
подобрано хорошо и т исходных частот разделены на два множества
из т[ и т2 частот так, что первое целиком лежит левее второго и пг\,
тп'2 не являются малыми, то корреляция может быть совсем незначи-
незначительной. Мы можем непосредственно вычислить эту корреляцию-
относительно предельного распределения двух оценок; аналогично
формуле C.10) получаем
1
-* { j и* (х) dx}  Тг (Ф12ф* ) / (Я)
0
где на пересечении [(i — 1) р + /]-й строки, [(к — 1) р + Л-го
столбца находится ковариация между оценкой /г-;- (X) по первому
подмножеству частот и оценкой fki (X) по второму подмножествуг
а Ф12 имеет т^ строк и т2 столбцов и состоит из элементов cpa_D,
и -- 1, . . ., mi; v = rrii + 1, . . ., mi + т2. Этот результат мы
также оставляем в качестве упражнения к этой главе. В скалярном
случае коэффициент корреляции между двумя соседними оценками
принимает вид
где Оц, Ф22 — квадратные матрицы типа Ф порядка т^ и т2 соот-
соответственно; например, Фи состоит из элементов матрицы Ф, лежа-
лежащих в столбцах и строках с номерами от 1 до т^. Ситуация теперь
достаточно ясна. Нетрудно распространить эти результаты на слу-
случай, когда т частот разбиваются более чем на два подмножества.
4. ОЦЕНКИ СПЕКТРОВ ПРИ БОЛЬШИХ N И т
Мы рассмотрим теперь проблему спектрального оценивания в усло-
условиях, по-видимому, наиболее близких к «реальным ситуациям»,
когда TV очень велико (например, более 2000) и спектральные оценки
должны производиться для семейства диапазонов равной ширины
п/М, с центрами в частотах nj/M, причем отношение N/M также
велико. Если N/M велико, то распределение хи-квадрат для спек-
спектральной оценки можно с успехом заменить нормальным. Таким
образом, мы рассматриваем асимптотическую ситуацию, когда N и М
неограниченно возрастают, однако M/N при этом стремится к нулю.
Именно такая модель, а не процедуры, описанные в § 2 и 3, исполь-
использовались в основном при статистических реализациях спектральных
оценок. Мы ограничимся оценками, которые являются квадратичны-

4. Оценки спектров при больших N и т 301
ми функциями наблюдений, т. е.
/ (Я) = 22 ЬиЛ*) *(")*(*>)'• D-1)
Предположим пока, что х (п) имеет нулевое среднее, так как с исклю-
исключением тренда мы будем иметь дело позднее, однако подчеркнем,
что на практике необходимо по меньшей мере центрирование данных.
Наиболее важен класс оценок, для которых Ьии (X) = bv_u (к).
Подобные оценки естественны, так как математическое ожидание
Xj (и) xk (и) зависит только от г; — и. На самом деле, как показали
Гренандер и Розенблатт [1957], можно, не теряя общности, ограни-
ограничиться такими оценками. Впрочем, не все практически используемые
оценки относятся к этому классу. Если
то наша оценка принимает вид
JV—1
-IV+1
где 2 обозначает суммирование по всем и, таким, что и и и~\-п
лежат строго между 1 и N. Положим кп = 2nNbn и запишем оценку
в виде
IV-1
* "V k p-inK ( i ' п ' \ Г (л\ (А 9\
^" /Л п \ N ) ^ '' w*^/
-iV+1
где С (тг) — матрицы, определенныэ в § 3 гл. IV. Введя
JV—1
-N+1
мы можем переписать D.2) в виде
я
[ I(Q)KN(X — Q)dQ, D.3)
— я
где / (Э) определено соотношением C.8) гл. IV. Формулы D.2) и D.3)
являются основными; в частности, D.3) показывает, что оценки рас-
рассматриваемого типа являются усреднениями «периодограммы» / (Э)
с ядром (или «спектральным окном» *)) КN (X) в качестве весовой
функции. Так как математическое ожидание / (9) при весьма общих
предположениях сходится к / (8), то отсюда видно, что ядро Кх (к)
следует выбирать так, чтобы при возрастании N оно концентрирова-
концентрировалось в нуле. Соответственно последовательность кп (также завися-
-1) Последовательность кп иногда называют «окном запаздывания» (lag
window). Рассматриваемый круг вопросов переполнен специальными терминами.

302 Гл. V. Статистические методы спектрального анализа
щая от N) будет стремиться к нулю со скоростью, которая умень-
уменьшается при возрастании N. Мы, однако, увидим, что KN (X) не-
недолжно концентрироваться в нуле слишком быстро при N -> оог
ибо иначе дисперсия D.2) не будет стремиться к нулю.
В важном классе случаев мы будем иметь
kn = k (п/М), D.4>
где к (х) — непрерывная четная функция, к @) = 1, | к (х) | < 1, и
k2(x)dx<°o.
Ниже мы приведем примеры. Мы увидим, впрочем, что не все случаи
укладываются в описанную схему. В случае так называемой оценки
Бартлета требуются лишь незначительные изменения, а оценки типа
рассмотренных в предыдущем параграфе требуют отдельного иссле-
исследования.
Часто удобнее вместо KN (X) рассматривать
оо
что приближенно равно
N-1
1 ^1 7
2пМ
Обсудим теперь некоторые примеры.
Пример 1. ФПФ. Рассмотрим оценку
т *—*
j
где У пробегает т последовательных целых чисел, а т растет вме-
вместе с N. Имеем
JV-1
2 (F) /л ч __ _J_ ^ 1 ^ri / л 1 п |
Э -JV+1
где т частот со7- — ближайшие к X. Это есть просто преобразованная
формула B.5). Положим
где (Од — первая частота в сумме, определяющей /<F) (Я). Мы часто
будем опускать аргумент X в дальнейших рассуждениях, так как он,

4. Оценки спектров при больших N и т 303
фиксирован, однако следует помнить, что кп зависит от X. Последнее
выражение равно
i-V+CD Q-n/N)
einQ.b) J. Ilf
mli sin (пл/N)
Мы ввели обозначение
так что | X — X' | ^ nlN. {Если X совпадает с серединой диапазона,
занимаемого т частотами ФПФ, то X — X' = 0.) Имеем
inztm/N —innm/N
71 mli sin (пл/N)
т. е.
n m sin (nnlN) ' ' ' - ' ' '
Теперь /(F)(X) можно записать в виде
-JV+l
Если положить 2mM=N, то эта оценка приводит к функции
siD 1/zJl* 1
Пример 2. Процедура Кули —Тьюки. Здесь мы имеем
где со] имеют вид 2nj/Nf и являются ближайшими т' частотами к X.
Это есть формула C.9), в которой мы для простоты положили
N'1 ^\aN (пJ = 1, что не ограничивает общности. Наличие сгла-
сглаживания делает невозможным даже приближенное приведение этой
оценки к виду D.4). Если aN (лг) ^= 1, то, как в примере 1, получаем
JV-1
-JV+1

304 Гл. V. Статистические методы спектрального анализа
Мы по-прежнему будем часто опускать аргумент А, в обозначении
для кп. Полагая 2т'М = N', вновь приходим к функциям
О, |Х|>я/2.
Если а^ (/г) =? 1, то предположим, что aN (n) равномерно огра-
ограничена (по N и п) и, как было оговорено,
Предположим далее, что существует непрерывная функция и (x)t
0 ^ х ^ 1, которая является поточечным пределом кусочно-постоян-
кусочно-постоянных функций uN (x), равных aN (n) в интервалах (nIN — 1/27V,
nlN + 1/2N). Очевидно,
1
\ и2 (х) dx = 1.
о
Тогда для оценки Кули — Тьюки со сглаживанием мы положим
о
Пример 3. Усеченная оценка. Здесь
м
-м
sin
Для этой оценки функция к (х) разрывна. Это имеет свои недо-
недостатки. Первый боковой максимум функции К (к) достигается вблизи
точки Зтс/2 и составляет около 2/Зтс от величины главного максимума.
Поэтому если спектральная плотность / (к) имеет острый пик в точ-
точке к, то, как видно из D.3), это приведет к появлению пиков в оцен-
оценках для точек на расстояниях +Зл/2М, =ь5л/2М, . . . от А, из-за
совпадения боковых максимумов с пиком спектральной плотности.

4. Оценки спектров при больших N и т 305
Это может повлечь за собой неверные выводы. Другим нежелательным
свойством является знакопеременность К (X). Из-за этого оценка
спектральной плотности может принимать отрицательные значения.
Это будет происходить в точке, где / (X) имеет глубокую впадину,
близко подходящую к нулю. По причинам такого рода усеченная
оценка применяется редко.
Пример 4. Оценка Бартлета. Здесь
f A-
-M ~~
_ 1 — 1 re \/M
n~ l-\n\/N #
Вновь, хотя эта оценка и не имеет в точности вида D.4), мы можем
ввести функцию
A-М), l*l<4i
\х\
Тогда
К (X) = — / sin 1/zX 1 2 > о
Пример 5. Оценка Тьюки — Хэннинга. Эта оценка широко рас-
распространена благодаря влиянию Тьюки. Она вычисляется по фор-
формуле
/да (х) = — /<т) (X) + -г /(Т) (X — п/м)
Соответственно
!-??¦ I , ^г = 0, ±
'-{т.
"О, |ж|>1,
sin X ( я2
Конечно, /iT у (X) легко получить из ядра для усеченной оценки
с помощью того же «скользящего суммирования», которое было
использовано для получения f(H) (X) из /<т). Функция К (X) не всюду
положительна, однако ее первый боковой экстремум, располагаю-
располагающийся вблизи 5я/2, имеет (отрицательную) величину, составляющую
всего лишь около 8/A05тс) = 0,021 от высоты главного максимума.
Именно этот аргумент приводится в защиту этой оценки ее сторонни-
сторонниками. Конечно, в силу соображений, высказанных выше в связи
с использованием сглаживания, мы вряд ли сможем достичь лучшего,

306 Гл. V. Статистические методы спектрального анализа
чем оценка Бартлета, если хотим, чтобы первый нуль К (К) был
в точке 2л, а средняя высота К (X) по сравнению с высотой основного
максимума была минимальна. Однако наибольший боковой экстре-
экстремум для оценки Бартлета относительно более высок (в 105/9 раз
выше), и в некоторых случаях это обстоятельство может оказаться
важным (см. обсуждение усеченной оценки).
Пример 6. Оценка Парзена. Естественно искать ядра среди тех,
которые успешно применяются в теории суммирования рядов Фурье.
Одним из них является ядро Джексона — Валле-Пуссена
12
12 /
которое также обращается впервые в нуль при А, = 2я. Оно более
сконцентрировано в нуле, чем ядро Фейера (оценка Бартлета);
в самом деле, отношение его величины при X = jt к величине глав-
главного максимума равно 16/тс4 по сравнению с 4/тс2 для ядра Фейера.
По этой причине вместо него было предложено
к п\ 3
Это ядро не обращается в нуль в точке 2я, но имеет в ней малое зна-
значение и очень низкие боковые максимумы. Оно, конечно, положи-
положительно. Имеем
{i-6*2+6|xi3, i*i<4'
2A-1*1)», 4-<и<1,
О, К\х\.
Пример 7. Оценка Абеля. Последние две оценки мы упоминаем
лишь потому, что они не лишены интереса, хотя и не будут исполь-
использоваться. Для первой из них
kN (х) = к(х) = е-°1«1, 0<а,
К(к) = —
Пример 8. Оценка Даниэля. Здесь мы полагаем
Примеры 7 и 8, как и пример 1, требуют больших вычислитель-
вычислительных затрат. На самом деле ясно, что примеры 8 и 1 очень тесно свя-
связаны. По-видимому, не существует никаких веских доводов в пользу

4. Оценки спектров при больших N и т 307
применения оценок 7 или 8. Предлагались и другие оценки, напри-
например оценка типа D.4) с к (х) = 1 — х2 при | х | < 1 и к (х) = 0
при | х | > 1.
Вопросу о выборе «спектрального окна», вероятно, придавалось
чересчур большое значение. Стандартными процедурами являются
1, 2, 4, 5 и 6, из них 2 и 5 используются наиболее широко. Представ-
Представляется вероятным, что процедура 2 станет преобладающей. Мы
можем рассмотреть выборочные свойства таких оценок и с общей
точки зрения, так как по крайней мере семь из восьми предложенных
процедур использовались в разных случаях на практике. Сейчас
мы приступаем к этим рассмотрениям.
В связи со следующей формулой для ковариации напомним
читателю еще раз, что при вычислении ковариации двух комплекс-
комплексных случайных величин мы берем вторую из них сопряженной. Имеет
место
Теорема 9. Пусть х(п) — стационарный процесс четвертого
порядка, причем
оо оо
2 S 2 I *tm @, и, р, g) |< оо, Si yjh (я) I < °°,
2 S 2
n, p, q= — оо
;, к, 1 = 1,
и пусть оценка f определяется соотношением D.2) с кп вида D.4),
где к (х) непрерывна, равномерно ограничена и Л: @) = 1, или же
f— одна из оценок примеров 1—8. Тогда при М -> оо, M/N-+0
(М = 1l2m~1N в примере 1 и М = V2 (лтг') N в примере 2)
0, Xl^±X2(mod2n),
{ ft* (х) е*>™ dx {fih (I) fu (I) + Ui (Я) fhj (ty,
я.
Сходимость равномерна по Хь Х2 ^л вс^д: точек тора —я ^ Xt < я,
i = l, 2, для которых \ ^ ± Х2 | ^ 8 (mod 2я) ^грц любом фиксиро-
фиксированном 8 > 0.
Эта теорему мы докажем в приложении к этой главе.
Заметим, что нет необходимости отдельно формулировать резуль-
результат для Xi = —Х2 = X, так как в этом случае мы имеем дело с кова-
риацией между ftj (X) и flh (X — лр/М). Если использовать принятые
нами тензорные обозначения, то в случае ^ = Х2 = X ФО, л

308 Гл. V. Статистические методы спектрального анализа
результат можно записать в виде
оо
{ j k* (х) е№dx} f (К) ® / (к)'.
— оо
В формулировке теоремы 9 мы хотели подчеркнуть следующие обстоя-
обстоятельства: (а) оценки в двух фиксированных точках Xt и Х2 становятся
некоррелированными при N —>¦ сю, но (Ь) оценки в точках, отстоящих
друг от друга на расстояние лр/М, вообще говоря, коррелированы.
Фактически оценки вычисляются в точках, отстоящих на расстояние
лр/М, так что это замечание существенно.
Величина I к2 (х) exp (ipnx) dx равна нулю при р ^0 в приме-
примерах 1, 2, 3 и 8. В примерах 4, 5 и 7 она принимает следующие зна-
значения:
2 Л
Пример 4: -j при р = 0; —^- при рфО.
3 1
Пример 5: -^ при р = 0; — при р=±1;
•у при р=±2; 0 при |р|>2.
Пример 7:
В примере 6 ситуация аналогична примеру 4, хотя формулы более
сложны. Для примера 6 коэффициент | к2 (х) dx при р = 0 равен
367/560.
Если взять к (х) как для усеченной оценки и положить М = N,
то усеченная оценка перейдет в периодограмму. Конечно, при
М = N теорема 9 не имеет места. Тем не менее мы можем подставить
М = N в формулу D.5) для данной к (х) и попытаться получить
формулу для ковариации периодограммы. Сравнивая получающийся
результат с правильным, вытекающим из следствия 1, мы видим, что
они не совпадают; однако соотношение D.5), использованное таким
незаконным образом, дает удвоенное верное значение. (Причину
этого следует искать в коэффициенте A — | п \/N), который не
влияет на ответ, когда MIN —>¦ 0, но сказывается при М = N.)
Этот парадоксальный результат наводит на мысль, что по крайней
мере для усеченной оценки теорема 9 практически может давать
сильно завышенное значение дисперсии.
Интересно проследить значение константы
2N
v = -
M I /с2 (х) dx
в наших примерах. Так как для ФПФ v = 2т, то естественно
в общем случае положить т = V2v, и мы так и сделаем. Величина v

4. Оценки спектров при больших N и т 309
определяется согласно правилу, что число степеней свободы случай-
случайной величины, пропорциональной %2, равно удвоенному отношению
квадрата ее математического ожидания к дисперсии. Отсюда полу-
получаем таблицу 1.
Таблица 1
Оценка V—число степеней свободы
1. ФПФ 2т
1 1
2. Кули —Тьюки Bm'N/N')/\ и* (х) dx = (N/M)/\ и* (х) dx
О О
3. Усеченная N/M
4. Бартлета 3N/M
5. Тьюки —Хэннинга SN/3M
6. Парзена A120 7V)/C67 M)
7. Абеля 2aN/M
8. Даниэля N/M
1 —л:2, |ж| <1;
О \х >1 A5 7V)/(8A/)
Следует остерегаться предположения, что оценка тем лучше,
чем выше, для данных Л/, N, число степеней свободы. Фактически
во всех случаях, когда v превышает NIM, это происходит из-за
корреляции между соседними диапазонами. В общем это не так уж
плохо, ибо мы рассчитываем, что для соседних диапазонов истинные
значения / (X) близки, а плавность перехода в ошибках оценок,
обусловленная высокой степенью корреляции между соседними
диапазонами, исключает резкие скачки случайной природы. Неприят-
Неприятность, однако, в том, что такое увеличение v достигается за счет
расширения спектрального окна за пределы диапазона ширины
я/М, и, следовательно, на оценку в середине диапазона будут влиять
значения / (X) в точках, удаленных от середины более чем на л/2М.
В случае оценки 2 применение сглаживания должно уменьшать
число степеней свободы, если только и (х)=? I. И вновь приходится
проявлять осторожность в выводах, так как еще не было исследовано
смещение оценок, для уменьшения которого и предназначено сглажи-
сглаживание.
Как только что было отмечено, мы должны исследовать смещение
спектральных оценок. Не следует преувеличивать значения даль-
дальнейших выкладок, ибо на практике столь же часто приходится
использовать спектральные оценки для нахождения спектральной
массы целого диапазона, как и для оценивания спектральной плотно-
плотности в отдельной точке. Однако некоторые представления о таком
понятии, как смещение, необходимы, ибо иначе можно было бы

310 Гл. F. Статистические методы спектрального анализа
подумать, что мы в состоянии произвольно быстро увеличивать
число степеней свободы v, заставляя М возрастать сколь угодно
медленно при увеличении N. Далее мы в основном следуем Парзену
[1957].
Очевидно, величина смещения будет зависеть от гладкости / (X),
и мы предположим, что
оо
2|пП|Г(»)||<оо, д>0. D.6)
— оо
Мы будем интересоваться только главным членом асимптотического
разложения для смещения и предположим также, что для того же
самого q
lim 1~fc(a:) = kq< оо D.7)
Если kq конечно для некоторого q0, то при q < q0 оно равно нулю.
Если мы исходим из теоретически заданных последовательности
Г (п) и функции к (х), то в качестве q можно взять наибольшее число,
удовлетворяющее D.6) и D.7), хотя целесообразно рассматривать
q как наибольшее вещественное число, удовлетворяющее D.6),
а к (х) — как функцию, выбранную так, чтобы выполнялось D.7).
В случае процедуры Кули — Тьюки потребуется дополнительное
условие
Шп М« { 1 --1Г^щ- 2'*n (и) aN(u+n)}=0 D.8)
для любого фиксированного п. Здесь вновь суммирование ведется
по всем и, для которых и и и + п лежат между 1 и N. Имеет место
следующая
Теорема 10. Если /, М, N удовлетворяют условиям теоре-
теоремы 9, число q удовлетворяет условиям D.6) и D.7), сглаживание
удовлетворяет условию D.8) и МqlN -> 0 при q^l, то
--^2Г(/г)е-^|,г|*. D.9)
— оо
Доказательство. Для оценок с кп вида D.4), а также
для усеченной оценки имеем
M*E0,k(\)-f,h(X)} =
q N-l
^(i-^VJkWbi-wjSe-^Mn)} . D.10)
-JV-4-1 -oo

4. Оценки спектров при больших N и т
311
Разобьем теперь D.10) на три слагаемых, из которых первое
оценивается следующим образом:
|__^1 у Ук(п)е-ь
2я ?± *Jk v '
-ы%
Второе сводится к
JV-1
-2V+1
При q > 1 это не превосходит
JV-1
2 \п\Ы(*)\-+о-
-JV+1
При д<1 выражение D.11) ограничено величиной
JV-1
-JV+1
Утверждение справедливо и при д = 0, так как
JV-l
1 Nn7/W\lWl
iV-l
-JV+1
" 2я ^J TV
-Л' + l
и обе суммы
JV-l
ът 2 (i-^
JV-l
-JV+1
имеют один и тот же предел.
Наконец,
Mq ^
-JV+1
2я ^-J
-N+l
Из условия
iV-l
-JV+1
— к(п/М)
hm
1 — Л
D.И)
следует, что {1 — к (п/М)}/\ п/М \ q ограниченно сходится к kq
для любого фиксированного п, откуда следует утверждение теоремы.
То же самое, очевидно, верно и для оценки Бартлета.

312 Гл. V. Статистические методы спектрального анализа
Для ФПФ рассуждения аналогичны, однако к (х) заменяется на
kN{x) e
N ч ' т sin
Величина X —V равна
т — 1
г—
где 2tljo/N — наименьшая частота в сумме, определяющей оценку.
Первые два вклада в смещение сходятся, как и выше, к нулю, если
q удовлетворяет условию D.6) § 4. Если требуется, чтобы смещение
имело порядок О (M~q), то следует наложить условие
z^Ml = kq<00 D.12)
N-+00 (п/Му
для любого фиксированного п. Рассмотрим
m sin
,. Г я2^2 Г A — w2) Л/*7 1 "]
что равно я2/24 при д=2 и нулю при д<2. С другой стороны,
A_^а-г)мч—sin/i1Bjta:/ м9, х = п/М, D.13)
будет стремиться к нулю при N -> сю, если MqlN стремится к нулю.
Для процедуры Кули—Тыоки мы полагаем
kN (х) = ^(я.-я,')дг sin)BjT;r . —-1-—.. Уд (и)аЛ, (м + л),
^ v l m' sm (ll2nxlm') N — \n\ ±J ^ v у л \ i /^
где суммирование происходит по N — \ п \ значениям и, таким,
что и и и + w лежат между 1 и iV. Если опустить последний множи-
множитель в выражении для kN (x), то D.12) будет вновь выполняться при
q ^ 2 с теми же значениями /с^. Таким образом, чтобы этот результат
имел место для процедуры Кули — Тьюки с настоящей функцией
kN (x), необходимо потребовать выполнения D.8).
Теорема показывает, что если q удовлетворяет сформулированным
условиям, то смещение имеет порядок не выше О (M~q). Во всех
рассмотренных случаях к0 = 0, так что в условиях теоремы смеще-
смещение, во всяком случае, стремится к нулю. Некоторые частные резуль-
результаты отражены в таблице 2. Число kq в третьем столбце, разумеется,
отвечает наибольшему значению q, для которого kq конечно.
Таблица 2 в каком-то отношении дезориентирует, так как,
например, усеченная оценка, имеющая здесь наилучшие показатели,
обладает, как мы уже знаем, плохими свойствами в отношении

4. Оценки спектров при больших N и т 313
Оценка
ФПФ
Кули—Тьюки
Усеченная
Бартлета
Тьюки — Хэннинга
Парзена
Абеля
Даниэля
q, для кото-
которого к < оо
q<2
q<2
q<oo
<7<1
9<2
q<2
q < 1
<7<2
Таблица 2
\
к2 = л*№
к2 = л2/24
kq = 0
Аг± = 1
А:2 = jt2/4
А:2 = 6
ki = a
fr = зт2/6
смещения (имеет заметный боковой экстремум, который может
причинить неприятности). Проведенный нами асимптотический ана-
анализ не обнаруживает дефектов такого рода. Для периодограммы
смещение равно
что имеет порядок О (log N/N), если / ? Lip 1 в окрестности Я.
(См. математическое приложение. В частности, это условие выпол-
выполняется, если / дифференцируема в точке Я.) Если q ^ 1, то, учитывая,
что MqIN —>¦ 0, мы можем подобрать М так, чтобы M~q = О (log N/N).
Впрочем, при таком выборе М дисперсия увеличилась бы много боль-
больше, и этим замечанием мы хотим лишь дать представление об ориенти-
ориентировочных границах для скорости убывания смещения.
Если мы хотим сравнить смещение со стандартным отклонением,
то имеет смысл рассмотреть среднеквадратичную ошибку, которая
равна дисперсии плюс смещение в квадрате. Так как дисперсия имеет
порядок О (M/N), то, если смещение есть в лучшем случае О (M~q)9
порядок среднеквадратичной ошибки будет наименьшим, когда
M^O{Nu^+2q)). D.14)
Для усеченной оценки этот результат, конечно, малосодержателен;
из него следует, что M/N может сходиться к нулю сколь угодно
быстро, без каких-либо неблагоприятных последствий для оцениваю-
оценивающей процедуры, если f (X) является достаточно гладкой. Это может
привести к неправильным выводам при конечном фиксированном N.
Для q = 2 формула D.14) дает М = О (N1/b). Практическая цен-
ценность этого правила, по понятным причинам, не очень высока.
В случае </'= 2 асимптотика смещения имеет вид M~2k2f" (Я),
так что для среднеквадратичной ошибки при М = cN1^ в скалярном

314 Гл. V. Статистические методы спектрального анализа
случае, когда К фО, ±я, имеем
оо
lira iV4/5E [{f(k) - f (k)}*\ = cf (k) j k2 (x) dx + c-% {/" (X)}2;
— oo
правая часть достигает минимума при
1/5
С =
При этом произведение N на среднеквадратичную ошибку стре-
стремится к
оо
2 (/«(*) j k*{x)dxLb{2k2f'{k)J'\
— оо
Из проведенных рассуждений уже видно, что смещение и диспер-
дисперсия действуют в противоположных направлениях, так что, если
мы увеличиваем М, чтобы уменьшить смещение, мы уменьшаем
и скорость убывания дисперсии. Дальнейшее исследование этого
явления читатель может найти в работе Гренандера [1951] или
Бартлета и Медхи [1955].
Полученные результаты, касающиеся ковариаций, можно при-
применить для нахождения дисперсий и ковариаций некоторых других
рассмотренных статистик. Мы не будем приводить всех подробностей,
как в теореме 9, а упомянем лишь то, что представит интерес в даль-
дальнейшем.
Следствие А. Б условиях теоремы 9 при X ф 0, я (mod 2тс)
кЦх)йх {/, (k)fj(X) (I -afc
Нт ^ var (qu (Ц) = 2 j к* (х) их {/; (К) fj (к) A - а?; (к)) +1 qb (к)] ,
оо
Нт ж cov (си (X), qu (К)) = j к2 (х) dxcu (I) qu (X),
— оо
Ит 4- var фи (к)) = i j к2 (х) dx
— оо
и, если спектральное окно неотрицательно,
оо
lim-J-var(a4,(X))=4- f k2{x)dx{i -ob

4. Оценки спектров при больших N и т 315
Замечание. Частоты 0, Jt представляют интерес только для
Gtj (к). Мы не стали отдельно останавливаться на этом случае только
ради простоты. Позже мы покажем, что при подходящих ограниче-
ограничениях на х (п) в случае otj (к) = О величина Э^ (к) имеет равномерное
распределение, тогда как при otj (к) фО она асимптотически нор-
нормальна, так что ее дисперсия представляет интерес. Этот результат
для коэффициента когерентности, без сомнения, справедлив при
более общих предположениях, однако мы не сочли целесообразным
обсуждать их здесь.
Доказательство. Первые два соотношения получаются
легко, так как ctj и qtj — линейные функции от ftj и /7г-.
При рассмотрении коэффициента когерентности мы ограничимся
неотрицательными спектральными окнами. В этом случае нетрудно
показать, что с^ (к) ограничен единицей. Благодаря этому можно
получить асимптотику его дисперсии относительно M/N с помощью
простых рассуждений (см. Крамер [1946], стр. 388). Имеем
1/2 / аЬ U/2
Разлагая эту функцию четырех переменных в ряд Тейлора в окре-
окрестности а, р, у, б, где а = Е{/^- (к)} и т. д., и ограничиваясь линей-
линейными членами, имеем
, ±тс,
откуда получаем х) с той же точностью дисперсию Gtj (к):
Нт -?¦ var (аи (X)) = ± {1 - o\j {%)f j k* (x) dx.
В случае Gtj (к) Ф 0 можно аналогично получить дисперсию фазы
си
Предположим, что ctj A) ^0 и что 0г-7- (к) лежит внутри интервала
[—я/2, я/2] (с учетом знаков qtj (к) и ctj (к)). При условии otj (к) фО
другие случаи могут быть рассмотрены аналогично и дисперсия
получается такая же. Разлагая арктангенс и действуя, как выше,
отличается от Е (стг-;-) на величину порядка MlN.

316 Гл. V. Статистические методы спектрального анализа
получаем
Нт 4™г фи (Ц) = 4 j /с2(х) «te { ^- -1} , а„ (X) # 0.
Как и следовало ожидать, дисперсия равна нулю, если Otj (к) = 1.
5. АСИМПТОТИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ СПЕКТРАЛЬНЫХ ОЦЕНОК
Мы ограничимся в этом параграфе доказательством центральной пре-
предельной теоремы для наших спектральных оценок в случае линейных
процессов. Без сомнения, подобный результат можно установить,
опираясь на условие сильного перемешивания, но мы ограничимся
более простым случаем. Предположим, что
оо оо
*(»)=2ЛG-)е(п-/), 2И(/)||<оо, E.1)
— сю —сю
где е (п) — независимые одинаково распределенные случайные век-
векторы с нулевым средним, ковариационной матрицей G и конечными
четвертыми моментами. Если мы рассчитываем на содержательный
результат, то мы должны быть уверены, что смещение имеет меньший
порядок, чем стандартное отклонение, так что после нормировки
предельное распределение / (к) будет концентрироваться вокруг / (к).
Поэтому мы дополнительно потребуем, чтобы
lim sup vi/21| / (А.) — Е (/ (Я)) || = 0. E.2)
Сформулированные условия имеют еще тот недостаток, что нам
приходится предположить существование четвертых моментов (для
е (/г)), тогда как наши статистики связаны только со вторыми момен-
моментами. Как видно из следующей теоремы, этот дефект можно устра-
устранить, если E.1) дополнить условием
sup | / | \\А G)|| < оо E.3)
—сю<;<сю
(которое, как легко видеть, не сильнее и не слабее E.1)).
Теорема 11. Если х (п) удовлетворяет условиям E.1), E.2)
и E.3), то для того, чтобы распределение величин
q = 1, . . ., П I = 1, . . ., 5,
где kh I = 1, . . ., 5,— произвольные частоты, сходилось к комплекс-
ному многомерному нормальному распределению с матрицей ковариа-

5. Асимптотическое распределение спектральных оценок 317
ций теоремы 9, необходимо и достаточно, чтобы
N
сходилось к нулю по вероятности. Последнее выполняется, если г (п)
имеет конечные четвертые моменты, причем условие E.3) можно
тогда опустить.
Доказательство этой теоремы также помещено в приложении
к этой главе.
Представляется вероятным, что эти условия могут быть ослаблены
и нечто менее ограничительное, чем абсолютная сходимость А (]),
будет достаточным. В связи с этим мы рекомендуем читателю работу
Уиттла [1964]. Мы сформулировали теорему в ее настоящем виде,
ибо нам потребуется совместное распределение оценок в соседних
диапазонах.
Чтобы избежать недоразумения, отметим, хотя это может быть
и излишне, что рассматриваемое здесь комплексное многомерное
нормальное распределение не является точным аналогом распределе-
распределения, появляющегося в § 2, но в определенном смысле является пре-
предельной формой произведения т экземпляров распределений D.6)
гл. IV, по экземпляру для каждого элементарного диапазона частот
в рассматриваемом диапазоне ширины л/М. Другими словами, мы,
грубо говоря, используем нормальное распределение как аппрокси-
аппроксимацию к хи-квадрат распределению при большом v.
Теорема И, в пределах своей применимости, подтверждает асимп-
асимптотическую применимость всех процедур § 2. Во всех случаях
асимптотическая теория приводит к нормальному или хи-квадрат
распределению вместо, например, t- или /^-распределений, однако
подобная модификация не является необходимой, ибо распределения,
применявшиеся в § 2, дают результат, асимптотически эквивалент-
эквивалентный методам настоящего параграфа. Для иллюстрации приведем
несколько примеров. Начнем с построения доверительного интер-
интервала для спектральной плотности, который теперь становится очень
простым, а именно:
где z (а) есть 100 A — а) %-я точка для стандартного нормального
распределения (коэффициент доверия равен 100а%). Эта процедура,
как легко видеть, эквивалентна процедуре § 2 (а); последняя, воз-
возможно, несколько предпочтительнее, хотя выяснение этого вопроса
требует более тщательного анализа.
Распределение статистик Cjk и qjk также получается из этой
теоремы. Будучи вещественными линейными комбинациями комп-
комплексных нормальных величин, они имеют вещественное нормальное

318 Гл. V. Статистические методы спектрального анализа
распределение. Их дисперсии и ковариации, очевидно, совпадают
с вычисленными в § 4. В частности, при Ojk = 0 величины с}-и и qjk
имеют одинаковые дисперсии, равные
2 [k*(x)dxfj(X)fk(X).
Их отношение qjjcjk распределено как отношение двух независимых
нормальных случайных величин с нулевым средним и единичной
дисперсией, поэтому 0 = arctg (qjjcjk) имеет равномерное распре-
распределение в (—тс, тс] в предположении, что при локализации 0 в этом,
интервале мы учитываем знаки qjk и cjk. Для коэффициента коге-
когерентности рассмотрим сначала случай Gjk = О и предположим, что
fj > 0, fh> 0. Тогда при X Ф0, +я величина
4 fjfk
распределена как хи-квадрат с двумя степенями свободы и, поскольку
fjfk/fjfk сходится по вероятности к единице, vo)h распределена как
хи-квадрат с двумя степенями свободы. При X = 0, +я, в силу
аналогичных соображений, величина у a)h распределена как хи-ква-
хи-квадрат с одной степенью свободы. В § 2, когда т было фиксировано,
мы получили, что у (v — 2) Ojfe/A — о%) имеет jP-распределение
с 2 и v — 2 степенями свободы. При v -> сю это согласуется с уста-
установленным результатом, так как o']k стремится по вероятности
к нулю, a 2F2, v-2 сходится к хи-квадрат с двумя степенями свободы.
Даже при v = 60 существует заметное различие между точками
значимости для этих двух распределений C,15 для F2,6o и 2,99 для
Y %1 ПРИ 5%-м уровне). Мы подробнее обсудим аппроксимации
такого типа для гауссовских процессов в § 3 гл. VI, однако пред-
представляется вероятным, при данном ограниченном уровне наших
знаний, что jP-аппроксимация будет лучшей в большинстве случаев.
В случае Gjk Ф 0, /7- > 0, fk > 0 мы поступим следующим обра-
образом. Рассмотрим при X Ф0, ±тс
vi/2 jVz^k = vi/2(aM-aM) °ih0+Gjk .
2ojk v Jk 3h) 2ojk
Очевидно, если левая часть имеет нормальное распределение при
v -> сю, то это же справедливо и для v1/2 (ajk — ojk), так как послед-
последний множитель сходится к единице по вероятности. Однако
_ гт? \ — vl/2 / I fih — fjh |2 + /jfe (fjk — fjk)+fjk(fjk —Jik) _
°>h>~V \ fjfk
h

5. Асимптотическое распределение спектральных оценок 319
а эта величина имеет такое же асимптотическое распределение, что и
так как, например, v1/2 | fjh — fjk |2 сходится по вероятности к нулю.
Но последнее выражение есть линейная комбинация комплексных
нормальных величин и поэтому является нормальной величиной
с дисперсией, которая, согласно предыдущей формуле, равна
A — ojfeJ 4o2jh. Итак, v1/2 (Ojh — Ojh) нормальна с нулевым средним
и дисперсией A — о%J, в согласии с формулой для дисперсии,
полученной в § 4 *). Поэтому, в частности, величина
12 — Ojh)
нормальна с нулевым средним и единичной дисперсией 2). Это при-
приводит к доверительному интервалу
где z (а) теперь 100 A — а) %-я точка для стандартного нормального
распределения.
Для А, = 0, +я эта формула требует модификации, однако мы
оставляем эти относительно несущественные случаи в качестве
упражнений. Здесь также может оказаться предпочтительной про-
процедура, основанная на таблицах Эмоса и Купменса [1963], при-
применявшаяся в § 2 для фиксированного v (т. е. т). Эти таблицы покры-
покрывают очень широкий диапазон значений v (фактически до v = 250),
хотя при очень больших v оба метода дают почти одинаковый ре-
результат.
Приведенные примеры достаточно иллюстрируют положение
вещей. Сформулируем заключение в следующем виде:
Следствие 5. В условиях теоремы 11 справедливы все резуль-
результаты § 2 с заменой 2т на v, определяемое по таблице 1.
Представляет реальный интерес обобщение теоремы 11 на случай,
когда х (п) не является линейным процессом, но зато удовлетворяет
условию сильного перемешивания; так, линейная модель непригодна
в ситуации, когда все х (п) положительны, и, за исключением доволь-
довольно специальных случаев, мы должны считать а7- и г (п) неотрица-
неотрицательными (в скалярном случае). Тогда, однако, их автокорреляция
должна быть положительной для любого значения запаздывания,
*) Здесь уже не требуется положительность спектрального окна оценки.
2) Этот результат, конечно, можно получить непосредственно из теоремы
о распределении функции от асимптотически нормального случайного вектора
См. Рао [1965], стр. 337.

320 Гл. V. Статистические методы спектрального анализа
что часто не соответствует действительности. Теорему 11, несомнен-
несомненно, можно было бы обобщить и на такой случай, однако здесь мы
ограничимся лишь этим малоудовлетворительным утверждением.
Обсудим теперь некоторые дальнейшие результаты, принадле-
принадлежащие Вудруфу и Ван Нессу [1967]. Выше мы рассмотрели процеду-
процедуры, позволяющие строить доверительные интервалы для различных
характеристик, определяемых плотностью / (К). Возникает, однако,
новая проблема, если все значения X, для которых вычисляется / (X)
(т. е. X = тс/с/М, к = 0, . . ., М), должны рассматриваться одно-
одновременно, так как если мы требуем, чтобы одновременно для всех к
оцениваемые величины лежали в наших интервалах, то уровень
доверия, который мы приписываем этим интервалам, будет, очевидно,
слишком завышен. Трудность состоит в том, что М растет вместе с N,
т. е. в конечном счете мы должны одновременно делать неопределенно
большое число доверительных утверждений. Необходимо знать рас-
распределение какой-либо статистики типа
max
k
Именно ее и рассматривали Вудруф и Ван Несс. Очевидно, что
теперь потребуются более сильные ограничения, чем использованные
в конце § 4, и мы предположим, что
оо
я (и) = 2 A(j)z(n — J)>
— оо
где е (п) — независимые, одинаково распределенные векторы с пара-
параметрами @, 1р), конечными восьмыми моментами и
3 |. E.4)
— оо
Предположим также, что
оо
min det {h (X)} > 0, h(X)=^A (у) еЩ
К -оо
M = 0(Na), a<2/5,
и что 2а 'C — 46) > 1 при б << 3/4. Это есть некоторая модификация
условий Вудруфа и Ван Несса, хотя, насколько может судить автор,
сформулированные условия не являются определенно менее или
более ограничительными. Они, однако, проще формулируются,
в особенности для б ^ 3/4. Эти условия не кажутся излишне ограни-
ограничительными, хотя установить их связь с явлениями реального мира
было бы не легко. Мы рассмотрим оценивающие процедуры типа тех,
которые обсуждались в § 4 и 5. Вудруф и Ван Несс предполагали, что
KN (к) ^ 0, и существенно использовали условие, что к (х) = 0
при | х | < 1. Это исключает процедуры 3 и 5 § 4, каждая из которых

5. Асимптотическое распределение спектральных оценок 321
представляет определенный интерес. На самом деле, если
л
J \KN
то условие А^ (К) ^ 0 можно опустить. Последнее выполняется для
процедур 3 и 5. Требование к (х) = О при | х | < 1 исключает про-
процедуры 7, 8 и, что значительно более существенно, процедуры 1 и 2.
Эти процедуры, как и любые другие процедуры неусеченного типа,
удовлетворяющие условию
[ x42{x)dx<oo,
также могут быть включены в обсуждаемую теорему. Возможно, что
последнее условие слишком сильно, но оно достаточно для наших
целей, так как во всех примерах 1, 2, 7 и 8 р может быть взято сколь
угодно близким к единице, тогда как A0/3) a — 1 < V3. Для про-
процедуры Кули — Тьюки возникает проблема в связи со сглаживанием.
Сглаживание должно «хорошо» вести себя при N ->¦ сю, чтобы исчеза-
исчезали эффекты смещения. Мы оставляем детальную разработку этого
вопроса наиболее трудолюбивым читателям и ограничимся случаем
без сглаживания. Чтобы упростить обозначения, положим
с надлежащей модификацией в случае к = 0, М в соответствии
с полученными выше результатами. Аналогично, положим
-afiJ, кфО, М,
fl(nk/M)(i-ob(nk/M))
= vi
bN = {2 log BM)}1/2-V2 B log 2M)/2 {log B log 2M) + log 2я},
zN = aNx-\-bN.
Доказательство следующей теоремы, мало отличающееся от при-
приведенного в работе Вудруфа и Ван Несса [1967], мы опускаем.
Теорема 12. Пусть процесс х (п) и оценивающие процедуры
для спектров и взаимных спектров удовлетворяют оговоренным

322 Гл. V. Статистические методы спектрального анализа
условиям. Тогда
hmP
i\h(nk/M)-fj(nk/M)\}
max гто =^zv =ехр( — е ),
<:^m {var(/7- (nk/M)) }1/2 ^ ~J FV 7
lim P
ИтРГ max {\6и(пк/М)-ои(пк/М) 1 } H (,o
sin (^j Cik/M) — Qij (nk/M)) | }
4^——- ^—¦—
max
Понятно, что во всех случаях дисперсии могут быть заменены их
оценками, так что практическая польза этого результата состоит
во введении функции ехр (—е~х), которая определяет доверительный
уровень, отвечающий точкам значимости aNx + bN. Некоторые
точки значимости для этого распределения затабулированы в книге
Оуэна [1962], стр. 307—309. При использовании этих результатов,
по-видимому, требуется более низкий уровень доверия.
Эти результаты важны в принципиальном отношении, однако
из-за их асимптотического характера на практике к ним относятся
с большим недоверием, чем к результатам предыдущих параграфов.
Известно, что в случае, когда рассматривается наибольшее значение
из последовательности независимых одинаково распределенных вели-
величин, подобные формулы для экстремальных значений справедливы
лишь при очень больших размерах выборки. Здесь же привлекаются
и другие аппроксимации, и для пригодности формул, очевидно,
порядок М столь же существен, что и порядок N. Можно предпола-
предполагать, что приведенные соотношения дают лишь очень грубую аппро-
аппроксимацию.
Мы закончим этот параграф ссылкой на работу Бриллингера
и Розенблатта [1967b], относящуюся к полиспектрам. В этой статье
эффективно разработаны аналоги теорем 9, 10 и 11 для спектров
высших порядков.
6. КОМПЛЕКСНЫЙ МНОГОМЕРНЫЙ АНАЛИЗ х)
В этом параграфе дается обзор методов многомерного анализа,
приспособленных для анализа векторных процессов на данной часто-
частоте X. Изложение будет кратким, ибо рассматриваемый предмет весьма
обширен и мог бы включить в себя весь классический вещественный
многомерный анализ и многое другое. Он выходит за рамки веще-
вещественного многомерного анализа, ибо комплексное многомерное
нормальное распределение, записанное как вещественное многомер-
многомерное нормальное распределение для вещественных и мнимых частей
рассматриваемых величин, имеет специальную форму. Эта специфика
находит проявление в понятии фазы, которое лишено смысла в клас-
Этот параграф можно пропустить.

6. Комплексный многомерный анализ 323
сическом многомерном анализе. Наш обзор, однако, ни в коей мере
не будет полным; в частности, в дальнейшем исследовании нуждаются
вопросы статистической обработки фазы для рассматриваемой нами
ситуации. Мы будем предполагать, что наш векторный процесс х (п)
удовлетворяет условиям теорем 13 или 13' гл. IV и что все рассмо-
рассмотрения относятся к данной частоте X ^ О, я, которую мы зафиксируем
и не будем вводить в обозначения. (Мы считаем, что X ФО, дт, так как
в противном случае многомерный анализ сводится к классическому
вещественному многомерному анализу.) Таким образом, мы исходим
из плотности
et/)me-Tr(rlS)' S-W, F.1)
где матрица V имеет элемент Vj (и) в ;-й строке и и-м столбце; j =
= 1, . . ., р; и = 1, . . ., т. Имеем m^S = /. С этой плотностью
ассоциируется дифференциальная форма dV, которая равна произ-
произведению дифференциалов вещественных и мнимых частей всех Vj (и).
Теорема 13. Если комплексные случайные величины Vj (и)
имеют плотность F.1), то S = VV* имеет плотность
т _/)!}-! е-тцг1® (det S)m~v (det/)~w. F.2)
i
Это распределение называется комплексным распределением Уишарта.
Доказательство. Заметим сначала, что, вводя преобра-
преобразование
V = AV, J=AfA*, S = ASA*,
где А — невырожденная комплексная р X ^-матрица, имеем
( F.3)
В самом деле, ф (/, S) = | det А |тф (/, S), и остается только
проверить, что якобиан преобразования равен | det А \2т. Если
А = С + Ш, v (и) = а (и) + ib (и), и (и) = а (и) + ib (и), то, как
в начале доказательства теоремы 13 гл. IV, имеем
1а(и)\ГС -D1 (а (и)
\Ъ (u)j ID С] \Ъ(и)
В упражнениях к этой главе мы покажем, как доказать, что опре-
определитель этого преобразования равен | det А |2. Отсюда сразу сле-
следует, что его якобиан равен | det А \2т. Пусть я|) (S) dS — плотность
распределения элементов матрицы S, где теперь dS — произведение
дифференциалов р2 вещественных и мнимых частей элементов S,
лежащих на главной диагонали или выше нее. (Вещественные и мни-
мнимые части элементов ниже диагонали не дают новых вещественных

324 Гл. V. Статистические методы спектрального анализа
случайных величин.) Согласно F.1),
я|) (S) dS = с^-ткг1*) (det f-iyn gi E) dS^ F4)
где gi (S) получается в результате интегрирования по всем пере-
переменным в F.1), кроме тех, которые определяют S. Конечно, g{ (S)
не зависит от /. В силу F.3), замена S на S и / на / не меняет г|) (S) dS,
и это позволяет записать F.4) в виде
ф (S) dS = <* -тгсгЪ) {det (ГЩт g (S) dS,
где g (S) dS — g (S) dS. Известно, что существует только одна
с точностью до постоянного множителя такая «инвариантная диффе-
дифференциальная форма» (см., например, Хелгасон [1962], стр. 402).
Преобразование S —>¦ S есть линейное преобразование р2 веще-
вещественных случайных величин из матрицы S. Его определитель равен
| det А |2Р. (Мы укажем способ доказательства в упражнениях.)
Вследствие этого (det S)~p dS есть инвариантная дифференциальная
форма. Итак,
гр (S) dS = ce-v^S) ^et SO/l~p (det f)'m dS,
и остается только найти константу с.
Мы будем в основном следовать Гудмену [1963], но Заметим сна-
сначала, что с не зависит от /, и рассмотрим интеграл
( {det S}he-ins)
где можно интегрировать по множеству положительно определенных
матриц, так как мера множества вырожденных матриц равна нулю.
Положим S = Т*Т, где Т — верхняя треугольная матрица с поло-
положительными элементами на диагонали. (Легко показать, что S пред-
ставима в таком виде. Единственность следует из того, что если
S = ЦТи S = ЦТ2, где Ти Т2 имеют требуемый вид, то Г^ —
унитарная верхняя треугольная матрица с положительными элемен-
тами на диагонали и, значит, равна единичной.) Якобиан -^ равен
dS __9P/2p-l/2p-3 f
где ttj — элементы Т. Это следует из соотношения
min (i, h)
если упорядочить рассматриваемые вещественные параметры следую-
следующим образом: s14, Res12, Im s12, . . ., Reslp, Im slp, s22-> • • •
. . ., lmsp_it p, spp; tn, Re ^12? Im ^j2? . . ., Re tlp, Im tip, t22, - • •
. . ., Im ^.1( p, tpp; тогда якобиан превращается в определитель

6. Комплексный многомерный анализ 325
треугольной матрицы и легко вычисляется. Это приводит к интегралу
j IdetJpexpC — Тг(Г*Г)Jрг2р-1 ... tppdT =
= 2» f *f JP+*>-i<2gH-'O-» . .. tf+* exp ( -Tr (Г*Г)) dT1.
Так как
то этот интеграл приводится к произведению интегралов, из кото-
которых р имеют вид
а остальные р(р — 1)/2 —вид
j j exp (— | tJk |2) duJk dvjk = я, tJh = и^ + шм,
Поэтому рассматриваемый интеграл равен
П( 7 —1)!.
Полагая к = т — /?, находим
1
что и требовалось.
Теперь, когда ответ известен, мы можем доказать результат,
и не используя единственности инвариантной дифференциальной
формы, путем вычисления совместной характеристической функции
элементов S с помощью соотношений F.1) и F.2). Эти вычисления
довольно несложны, и мы предоставляем их читателю, который захо-
захочет по-другому доказать соотношение F.2).
Теорема 13 является аналогом результатов, обсуждавшихся
в пункте (а) § 2. Ее ценность, по-видимому, ограничена. Мы не будем
обсуждать вопросы типа проверки значимости различия между дву-
двумя спектрами, так как подобные вопросы также не представляются
практически важными. Вместо этого мы продолжим обсуждение
несомненно важных вопросов, аналогичных рассмотренным в пунк-
пунктах (Ь) и (с). С этой целью введем второй стационарный процесс у (п)
с ^компонентамии предположим, что векторный процесс (х (п)' \ у{п)')
стационарен и удовлетворяет условиям теорем 13 или 13' гл. IV.

326 Гл. V. Статистические методы спектрального анализа
В соответствии с этим мы получим разбиение
[7* Л.»]
r~lfyxfy Г
где fx — матрица спектральной плотности х (п), fy — матрица спек-
спектральной плотности у (п), а элементами матрицы fxy = ffJX являются
взаимные спектральные плотности между Xj (п) и yk (п). Мы, конечно,
будем использовать обозначения }х и т. п. для оценок, полученных
из vx> j (и), / = 1, . . ., р; vy> k (и), к = 1, . . ., q; и = 1, . . ., га,
где первый индекс указывает на процесс, по которому вычисляются
эти статистики. Будем обозначать через vx (и) и т. п. вектор с р ком-
компонентами vXt j (и), / = 1» • • •» Р- Предположим, что га ^ р -f- д.
Заметим, что р га-мерных векторов с элементами их, 7- (^) порождают
р-мерную гиперплоскость в Ст (комплексном га-мерном простран-
пространстве) и что аналогичную гиперплоскость порождают q векторов
с га координатами иу, j (и). Мы ищем два новых случайных вектора,
каждый из которых лежит в соответствующей гиперплоскости, таких,
чтобы истинная когерентность между ними была максимальна.
Найдя их, мы ищем следующую пару, некогерентную с каждым
членом первой пары и такую, что когерентность между ее членами
максимальна, и т. д. Максимизированные коэффициенты когерентно-
когерентности p^ можно назвать каноническими. Среди них не более min (p, q)
коэффициентов отличны от нуля. Соответствующие случайные век-
векторы с компонентами \ifvx (и), vfvy (и), имеющие коэффициент
когерентности рь
I PffxVi I2
Pi= „*/ u.v*/ v. . * = *> •••• min(p, q),
lxi7x\xiviJyvi
называются х- и г/-дискриминантными функциями, а векторы \xt
(и vt) называются векторами коэффициентов х- (и г/-)дискриминант-
ных функций. Если р > д, то можно найти р — q дискриминантных
функций \Xq+jVx (и), / = 1> • • -7 Р — Я., которые некогерентны со
всеми v%vy (и), и аналогично в случае q > р. Говорят, что функ-
функции \iq+jVx (и) отвечают каноническим коэффициентам когерентно-
когерентности pg+J- = 0, «тождественно равным нулю». Мы можем нормировать
дискриминантные функции так, чтобы их средний квадрат равнялся
единице (так что знаменатель последнего выражения равен едини-
единице). Тогда
Следующая теорема является простым алгебраическим фактом,
и ее доказательство опускается.
Теорема 14. При р ^ q нормированные векторы коэффициен-
коэффициентов дискриминантных функций определяются однозначно с точностью
до множителя, по модулю равного единице и одинакового для членов

6. Комплексный многомерный анализ 327
каждой пары, из соотношений
[fxyftfyx —pf/oc] И-i = 0, ш
'1 л
Р?>р|>...>Рд2>0,
д
Числа pj являются каноническими коэффициентами когерентно-
когерентности. При р < g мы можем получить эти параметры, поменяв ролями
хну. Теперь мы можем определить соответствующие выборочные
величины |Lif, vt, pi путем простой подстановки fx вместо fx и т. д.
Они имеют простую геометрическую интерпретацию, установить
которую мы предоставляем читателю.
Совместное асимптотическое распределение величин pt было
найдено Джеймсом [1964], формула A12). Мы не будем здесь зани-
заниматься ни этим распределением, ни его выводом. Вместо этого мы
рассмотрим некоторые критерии значимости для гипотез о связанно-
связанности процессов х (п) и у (п) на частоте X и соответствующие доверитель-
доверительные процедуры. Рассмотрим несколько более общую ситуацию, когда
одновременно наблюдаются три векторных процесса х (п), у (тг),
z (п) с р, q и г компонентами, причем векторный процесс
(х (п)г • у (п)' • z (п)') удовлетворяет условиям теоремы 13 или 13'
гл. IV. Имеем
/=
'fx fxy f.
Тух fy
ху J xz
Tzx Jzy /z
Мы хотим проверить гипотезу о связанности хну (на частоте X)
после исключения всевозможных эффектов, обусловленных z. Таким
образом, исходная гипотеза состоит в том, что fxy — fxzf^fzy равно
нулю, так что vx (и) — ixzUYvz (и) некогерентно с vy (и), и вся види-
видимая связь между х и у обусловлена только их общей зависимостью
от 2.
Теорема 15. Полученное из асимптотического распределе-
распределения F.1) отношение правдоподобия для проверки гипотезы о равен-
равенстве нулю fxy — fxzfz^fzy есть монотонная функция «лямбда-крите-
«лямбда-критерия» х)
И / \ det (А —В) /а г\
A(m-r,p,q)= d[et(A) , F.5)
= (fxy - fj-z%) (/у - fJlHzvT1 Qvx ~
г) Мы вводим тильду, чтобы отличить распределения от их вещественных
многомерных аналогов.

328 Гл. V. Статистические методы спектрального анализа
Имеет место равенство
~ р q ~
Л (го —г, р, д)= Ц Ц Л(/л —г —у—* + 2, 1, 1), (ra-r)>p + g. @.6)
ji ь1
где каждый множитель Л (т', 1, 1) имеет вид A — р2), где р —
простой коэффициент когерентности для т' наблюдений. При нуле-
нулевой гипотезе эти сомножители асимптотически независимы и рас-
распределены как простые коэффициенты когерентности при равной
нулю истинной когерентности. Отсюда
П {
u, г/=1
(u, e)^=(i, Л)
F.7)
При больших т величину
— га" In Л (га — г, /?, д),
где
можно приближенно рассматривать как хи-квадрат с 2pq степе-
степенями свободы.
Замечание. Более точную аппроксимацию распределения Л
можно получить из результатов Андерсона [1958], стр. 207—209
(см. также Рао [1965], стр. 500). Можно, в частности, использовать
асимптотическое разложение, первые два члена которого имеют вид
Хи — хи-квадрат величина с и степенями свободы.
Доказательство. Мы опустим доказательство того, что
отношение правдоподобия имеет указанный вид. Рассмотрим сначала
случай г = 0. Пусть s — плоскость в Ст, проходящая через начало
координат и порождаемая строками матрицы Vx (которая имеет
элемент vXt 7- (и) на пересечении /-и строки и ^-го столбца). Л-крите-
рий принимает вид
det{/x} V

в. Комплексный многомерный анализ 329
Коэффициенты р* определяют взаимное расположение плоскости s
и плоскости t, натянутой на строки матрицы Vу (с элементами
vy, h (u))- Соответствие между Vx и s порождает вероятностное рас-
распределение на пространстве х) Gp, m (С) всех таких плоскостей,
проходящих через начало координат. Это распределение инвариантно
относительно унитарной группы U (т), поскольку Vx и VXU (m)
имеют, очевидно, одинаковое распределение. Когда мы говорим, что
порождаемое распределение инвариантно, мы имеем в виду, что
вероятность любого множества 5 таких плоскостей совпадает с вероят-
вероятностью множества gS, получающегося из S действием любого эле-
элемента g унитарной группы U (m) (gS есть множество {gs; s ? S}).
Если t0 — фиксированный элемент из Gq, m (С), то распределение
коэффициентов pt, описывающих взаимное расположение s и t0
(s имеет инвариантное распределение в Gp, m (С)), не зависит от
фиксированной плоскости (ибо s и gs имеют одинаковое распределе-
распределение, a pi одинаковы для пар gs, gt0 и s, t0). Отсюда следует, что рас-
распределение pj не зависит от распределения плоскости t0, если она не
фиксирована, а распределена случайно независимо от s; в частности,
t0 может иметь инвариантное распределение в Gq, m (С), независимое
по отношению к s. Отсюда также следует, что распределение Л не
изменится, если одна из плоскостей распределена инвариантно
и независимо по отношению к другой, которая может иметь произ-
произвольное распределение. Поэтому, чтобы найти распределение
Л (m, p, g), можно взять в качестве Vy матрицу
Vy = [Iq i 0].
Кроме того, Л (m, p, q) не меняется при преобразовании Fx->
--*~PVX, гдеР невырожденна. Поэтому можно положить fx = Ip. Теперь,
обращаясь к случаю г Ф 0, положим Е = {Im—V* (VzV*)~lVz).
Тогда Е проектирует на ортогональное дополнение подпростран-
подпространства, порожденного строками Vz в Ст. Таким образом, при г^О
мы связываем VХЕ и VyE, где VXE не зависит от Vy (так как
Е (VxEVl) = fxy — foczf^fzy = 0)- Кроме того, при фиксированном Е
строки матрицы VХЕ порождают плоскость s ? Gp, m_r (С), которая
имеет инвариантное распределение в этом многообразии, ибо уни-
унитарное преобразование, оставляющее инвариантным подпростран-
подпространство, натянутое на строки F2, очевидно, коммутирует с Е. Поэтому
Л (т — г, р, q) имеет распределение, соответствующее семейству
коэффициентов когерентности р* между ^-мерной инвариантно рас-
распределенной плоскостью в Ст~г и g-мерной плоскостью в этом же
*) Пространство Gp, m (С) как топологическое пространство с локально
евклидовой топологией, определяемой локальной параметризацией с помощью
элементов матрицы Vx, является аналитическим многообразием, которое назы-
называется грассмановым многообразием.

330 Гл. V. Статистические методы спектрального анализа
пространстве, натянутой на строки матрицы
\h : 0],
причем инвариантно распределенная плоскость порождается стро-
строками матрицы W, имеющими комплексное нормальное распределе-
распределение с нулевым средним и ковариационной матрицей 1Р. Таким обра-
образом, условие г =т^ 0 приводит лишь к уменьшению степеней свободы,
и мы можем, не ограничивая общности, рассматривать Л (т, р, q).
Отношение Л (m, р, q) имеет вид
т
det
/Y(m, p, q) =
det {%WiW*}
1
где wt есть г'-й столбец матрицы W. Эта величина и ее знаменатель
независимы; в самом деле, она функционально не зависит от эле-
элементов матрицы, определитель которой находится в знаменателе,
ибо эти элементы можно привести к произвольным допустимым значе-
значениям (т. е. таким, которые образуют эрмитову положительно опре-
определенную матрицу) невырожденным преобразованием W ->¦ PW,
которое, как мы знаем, не изменяет Л. Мы предоставляем читателю
доказать, используя подходящее преобразование координат *), что
элементы матрицы WW* распределены независимо от остальных
параметров, необходимых для задания распределения W, от которых
только и может зависеть Л. Положим
m
det {S}
3
и заметим, что
Более того, каждое из отношений Л (т — / + 1, р, 1) не зави-
зависит от остальных. Рассмотрим, например, Л (т — / + 1, р, 1),
Л (т — к + 1, р, 1), к > /. Второе из них не зависит от элементов
т
матрицы 2 wtwt, определитель которой находится у него в знаме-
х) Это можно сделать, полагая W = GLA, где G — унитарная, L — квад-
квадратная диагональная, а А — матрица размера рХт с ортогональными стро-
строками. Строки матрицы А порождают подпространство, определяемое W. Диф-
Дифференциальная форма по элементам W распадается на произведение двух форм,
одна из которых содержит только элементы А, а так как плотность зависит
только от WW* = GLG, то утверждение доказано.

6. Комплексный многомерный анализ 331
нателе. Оно заведомо не зависит от
ft-i ft-i
2
з i+1
а значит, от элементов матриц
ft—1 т ft-1
2 "W* + 2 "W*, S "W* + 2
i ft i+1 ft
и, следовательно, от отношения Л (га — j' + 1, р, 1), которое являет-
является функцией только этих элементов. Отсюда следует высказанное
утверждение. Разумеется, Л (га', р, 1) = 1 — р2, где р — сводный
коэффициент когерентности между одной комплексной нормальной
случайной величиной и р другими, от нее не зависящими; таким
образом, р2 распределен как сводный коэффициент корреляции с 2р
вещественными величинами по 2га' группам наблюдений. Мы можем
повторить описанную процедуру для каждого множителя Л (га', р, 1) =
= Л (т', 1, р) и в результате придем к разложению
ЛК А ?)= П П Л(т-/-Л + 2, 1, 1),
i=i ft=i
где каждый множитель не зависит от других и имеет вид 1 — р2,
где р — простой коэффициент когерентности для т = т — / —
— к + 2 наблюдений. В силу B.6), A — р2) имеет плотность
а —2 (га' — 1) In A — р2) имеет хи-квадрат распределение с двумя
степенями свободы. Итак, полагая ajk = т — ; — к -\- i, имеем
| = — In Л (га, р, д) = ^ 2 alkZj, и,
j=l ft=l
где х/, ft — независимые и одинаково распределенные величины
с плотностью ехр (—х). Поэтому характеристическая функция ?
равна
откуда легко получаем плотность |:
2 2 {•-*•» II
i ft (u, i))^=(;f ft)
Это доказывает теорему, за исключением ее последнего утверждения.
Оно довольно очевидно, так как
— га" In Л (га, Р, (?) = 2 2
з ft

332 Гл. V. Статистические методы спектрального анализа
и при т, больших по сравнению с р и д, коэффициенты (m"l2ujk)
близки к единице, так что правая часть близка к сумме pq независи-
независимых случайных величин, каждая из которых имеет распределение %\.
Впрочем, нетрудно было бы оценить и F.7).
Прежде чем перейти к дальнейшему, мы рассмотрим некоторые
частные случаи, иллюстрирующие полученные выше общие резуль-
результаты. Насколько нам известно, такие методы никогда не использова-
использовались на практике, так что предлагаемым примерам нельзя придать
практическое звучание. Тем не менее мы надеемся, что эти методы
найдут применение.
(i) Если х (п) содержит детерминированную компоненту
2 (сс7- cos nQj + Р7- sin nQj), где сс7- и Р7- — векторы из р компонент,
то среднее значение величины vx (и) отлично от нуля, особенно для
тех и, которые отвечают частотам 2nu/N, концентрирующимся около
частоты X, близкой к одной из 07-. В этом случае вектор средних
значений для vx (и) зависит от и. Мы приводим здесь этот пример
только для того, чтобы показать, что может возникнуть желание
проверить гипотезу о равенстве нулю среднего значения vx (и).
В этих обстоятельствах можно рассмотреть каноническую связан-
связанность между vx (и) и vy (и) = 1 (т. е. q = 1). Выше было получено
распределение Л-критерия при нулевой гипотезе Е (их (и)) = О,
и мы видели, что оно совпадает с распределением A — р2), где р2 —
сводный коэффициент корреляции между одной вещественной слу-
случайной величиной и 2р другими по 2т группам наблюдений, когда
истинная корреляция равна нулю. В нашем случае Л-критерий,
конечно, имеет вид
1 - fe (m-*VxVl)-i iix = 1 - fen (X) ji*,
где \хх — вектор средних значений vx (и). Мы позже рассмотрим
подобную проблему с другой точки зрения. Возможно, что более
подходящим будет критерий, основанный на выборе vy (и) = exp iuk,
который приведет к тому же самому распределению новой статистики
критерия.
(ii) Рассмотрим пример, в котором, скажем, р океанографических
«параметров» должны быть связаны с q -f- 1 метеорологическими
параметрами, причем предполагается, что все возможные связи
обусловлены одной известной линейной комбинацией метеорологи-
метеорологических параметров. В этом случае г — 1. Критерий строится путем
исключения с помощью комплексной регрессии известной линейной
комбинации из всех океанографических переменных и из q линейных
комбинаций метеорологических переменных (линейно независимых
по отношению к заданной). Конечно, его можно построить проще
в соответствии с F.5). Величина
— Bт — р — q — 2) In Л (га — 1, р, д),

6. Комплексный многомерный анализ 333
рассматриваемая как хи-квадрат с 2pq степенями свободы *), служит
для проверки гипотезы о том, что имеется всего один аргумент при-
причинной зависимости. Полное отношение Л (т, р, q + 1) распадается
на множители
Л(т, р, д+1)=Л(т, р, 1)Л(то—1, р, д),
где первый множитель в правой части отвечает критерию для провер-
проверки связанности заданной линейной комбинации метеорологических
переменных с океанографическими переменными.
(ш) В качестве несколько более сложного примера рассмотрим
проверку гипотезы о том, что связанность всецело обусловлена
одной линейной функцией метеорологических переменных и, кроме
того, что зависимость распространяется лишь на некоторое задан-
заданное подмножество pi <С р = pi + Рг океанографических параме-
параметров. Теперь разложим Л по формуле
А(т9 р, д+1)=Л(т, рь 1)Л {т—р{, р2, 1) А(т — 1, р, q),
где Л (т< pi, 1) — критерий связанности между заданной линей-
линейной комбинацией и заданными океанографическими переменными,
А(т — ри р2, 1) = Л(т, р, 1)/Л(/п, р4, 1), где числитель такой же,
как в примере (ii), и Л (т — 1, р, q) такое же, как в примере (П).
Если заданная линейная функция некогерентна на рассматриваемой
частоте с р4 заданными океанографическими переменными, то пер-
первый множитель приводит к хи-квадрат распределению с 2pt сте-
степенями свободы; независимо от справедливости первой гипотезы
второй множитель приводит к %2 с 2р2 степенями свободы, если
остальные р2 переменных не связаны с заданной линейной ком-
комбинацией (помимо возможной связи через первые pi переменных),
тогда как третий множитель приводит к %2 с 2pq степенями сво-
свободы, если заданная линейная комбинация является единственным
аргументом причинной зависимости.
Две другие проблемы мы упомянем здесь лишь кратко; первую —
потому, что ее практическое решение опирается в настоящее время
на асимптотическую (для больших т) теорию, которая в рассматри-
рассматриваемых приложениях является несколько ненадежной, и вторую,
связанную с доверительными процедурами для коэффициентов дис-
криминантных функций,— из-за трудностей изложения результатов
в настоящем контексте, когда число вещественных параметров не
бывает меньше двух, а часто достигает восьми или десяти.
Первая проблема возникает тогда, когда, вычислив коэффициенты
рь упорядоченные так, что р4 ^ р2 ^ . . ., мы обнаруживаем, что
только первые s <C min (p, q) из них имеют заметную величину,
х) Здесь, конечно, применима теорема 15 во всей ее общности, и мы не
обязаны использовать приближенное у|рд-распределение.

334 Гл. V. Статистические методы спектрального анализа
а остальные малы. Тогда мы можем попытаться проверить гипотезу,
что только s из истинных коэффициентов когерентности отличны
от нуля. Если бы были известны истинные дискриминантные функции,
отвечающие этим ненулевым коэффициентам, например для пере-
переменных х, то мы могли бы, действуя как раньше, построить критерий
Л (т — 5, p — s, q). В противном случае можно использовать выбо-
выборочные дискриминантные функции взамен неизвестных истинных.
Согласно F.5), это приводит к отношению
Л (т, р, q)
{det (fx-fXzh1fzx)!det fx} '
где z соответствует s переменным, определяемым первыми s выбо-
выборочными дискриминантными функциями. Знаменатель, очевидно,
равен
Ild-pf),
так что наш критерий принимает вид
_ min(p, q)
А3{т'Р'Я) = П A-Й). F.8)
Распределение этой статистики может быть получено из точного
распределения р^, i = 1, . . ., min (p, q). Можно также получить
аппроксимацию, используя совместное асимптотическое распределе-
распределение этих величин при фиксированных ридит-^ оо. Рассмотрение
вещественного случая читатель может найти в работе Хзу [1941].
Основной результат состоит в том, что F.8) асимптотически можно
рассматривать как Л (т — 5, р —5, q — s) при условии, что в точ-
точности s канонических коэффициентов когерентности отличны от нуля;
другими словами, величину
/о \ 1 Л (т, р, о)
Bго —р—g)ln / 'У'Ч)
можно приближенно использовать как хи-квадрат с 2 (р — s) (q — s)
степенями свободы.
Наконец, мы очень кратко обсудим доверительные процедуры
для коэффициентов дискриминантных функций. Рассмотрим случай,
когда требуется построить доверительную область для вектора
коэффициентов v, определяющих дискриминантную функцию ? (и) =
= v*vy (и), причем предполагается, что после устранения влияния
г переменных vZt ;- (и) остается только по одной истинной дискрими-
нантной функции для х и у с ненулевой канонической когерентно-

6. Комплексный многомерный анализ 335
стью. Нормируем v, условившись, например, что первый ненулевой
коэффициент равен единице. Тогда мы можем разложить полное
отношение критерия по формуле
Л(га, р, q-{-r) = A(m, p, r)A(m — r, p, q) =
= Л(/и, р, r)Av(m — г, 1, q)Av(m — г— 1, р—1, д),
где первый множитель служит для проверки гипотезы о связанности
переменных х и z, второй — для проверки связанности переменных Н
иг/ (в предположении, что v известен) и последний — для проверки
гипотезы о том, что есть только одна функция !¦ с ненулевым коэффи-
коэффициентом когерентности. Последний множитель, конечно, является
функцией неизвестных коэффициентов ? (подчиняющихся указанному
ограничению). Таким образом, поскольку Av (т — г — 1, р — 1, q)
имеет известное распределение при гипотезе, что только один
канонический коэффициент когерентности отличен от нуля, соотно-
соотношение
ra — г—1, /?—1
можно использовать для нахождения доверительной области для
компонент v с коэффициентом доверия а: для этого следует найти
векторы v, удовлетворяющие неравенству
Av(m — r — I, p-1, g)<a. F.9)
Проиллюстрируем эти рассмотрения на простом примере р = 2.
Тогда
"л / л л \ А (т — г, р, а)
Av(m —г—1, р—1, g)= v 1_ф 1
где Л (т — г, р, д) — полный критерий (не зависящий от v) свя-
связанности после устранения влияния переменных z, а ф — квадрат
канонического коэффициента когерентности между ? (и) ид пере-
переменными у после устранения влияния z. Последний равен
v*Bv
где А и В определены в F.5).
Соотношение F.9) переходит тогда в
v* {В-\—= ] A) v<0;
I 1_1_-Л(т — г— 1, р —1, q)J )
таким образом, доверительная область для v определяется указан-
указанной эрмитовой формой.
Можно было бы, конечно, рассмотреть и более сложные случаи.
В заключение отметим, что в соответствии с принципом, сформули-
сформулированным в следствии 5, методы этого параграфа применимы, с заме-
заменой 2т на число степеней свободы, когда М и N неограниченно
возрастают, но так, что MIN ->¦ 0.

336 Гл. V. Статистические методы спектрального анализа
7. ПРАКТИЧЕСКИЙ СПЕКТРАЛЬНЫЙ АНАЛИЗ
В этом параграфе мы не будем постоянно различать спектры и взаим-
взаимные спектры и во всех случаях, когда не может возникнуть недора-
недоразумение, будем говорить просто о спектре или спектрах.
Чтобы согласовать наши обозначения с теми, которые обычно
используются в практическом спектральном анализе, мы изменим
их следующим образом:
1. Мы будем обозначать через Л выборочный интервал, который
до этого момента мы считали единичным.
2. Мы будем работать в терминах частоты /, равной числу колеба-
колебаний в единицу времени. Таким образом, X = 2я/.
3. Положим Хи (/) = 2nfij (Я), X = 2я/.
4. Тогда fn = BД) — частота Найквиста, или частота сверты-
свертывания.
5. Ширина диапазона, по которому производится спектральная
оценка, равна теперь BМД).
Предположим, что мы раз и навсегда выбрали некоторую про-
процедуру оценивания (например, процедуру Кули — Тьюки или Тью-
ки — Хэннинга и т. д.). Ясно, что обычно так оно и бывает, ибо
выбор того или иного метода определяется той программой, которая
лучше всего «идет» на имеющейся вычислительной машине, личным
опытом работы исследователя с определенной методикой оценивания
и т. п., а отнюдь не желанием найти оптимальную для рассматривае-
рассматриваемой проблемы процедуру.
После этого должны быть приняты некоторые решения, которые
отражаются в выборе значений A, N и М (или т) 1). Производя
выбор, мы, очевидно, должны учитывать такие факторы, как
(a) скорость убывания | Xtj (/) | при возрастании /;
(b) стоимость увеличения N;
(c) требования к точности и степени разрешения.
В связи с последним пунктом заметим, что под точностью мы
подразумеваем то, что измеряется дисперсией, однако мы еще должны
установить, что понимается под разрешением. Для этого необходимо
ввести понятие полосы частот. Это можно сделать по-разному,
однако, поскольку для нас это понятие служит исходным и мы не
собираемся давать точных указаний, как измерять полосу частот,
здесь нет необходимости в пространном обсуждении различных
определений. Нас интересует, насколько выраженный характер
в истинном спектре (скажем, в скалярном случае) имеют узкие
х) В этой книге не рассматриваются ситуации, когда весьма важное значе-
значение имеют относительно высокие частоты (как, например, в акустике) и числен-
численные методы становятся слишком дорогостоящими. В таких случаях первосте-
первостепенную роль играют аналоговые устройства, использующие методы фильтрации.

7. Практический спектральный анализ 337
высокие пики. Полосу частот для такого локального максимума
можно определить как половину ширины пика на уровне, составляю-
составляющем половину его максимальной высоты над уровнем спектра в окре-
окрестности. Полосу частот для спектра в некоторой области можно опре-
определить нестрого как минимум подобных величин по всем «заметным»
пикам в этой области. Как уже отмечалось, для измерения это поня-
понятие определено слишком нечетко. Оно, конечно, тесно связано
с колебанием спектра на интервале /, а именно, с функцией
со (б) = sup | / (?ц) - / (Л2) |, | К - Х2 | < б, ?цД2 6 /,
которая в свою очередь зависит от скорости стремления к нулю
коэффициентов а7- в формуле для линейного процесса. Поэтому
понятие полосы частот в скрытой форме уже присутствовало в наших
рассуждениях (см. упражнение 2). Здесь же нам потребуется нечто
менее определенное и более приспособленное к обсуждению практи-
практических вопросов на интуитивном уровне.
Конечно, выбор оценивающей процедуры нельзя произвести без
каких-либо априорных сведений о поведении спектра. Во многих
областях подобная информация существует из опыта предшествую-
предшествующих аналогичных исследований. При ее отсутствии единственным
выходом из положения является «пробное» вычисление. Блэкмен
и Тьюки [1959] описали «скорый, но грубый» способ выполнения
подобного пробного исследования, основанный на попарном сумми-
суммировании наблюдений, образовании попарных разностей и суммирова-
суммировании их квадратов. Таким образом, величину
х BАп)-х BАп~А)}2 G.1)
можно (после соответствующей нормировки) рассматривать как
оценку спектральной массы в интервале от /п/2 до fn. Мы, однако,
не будем останавливаться на этом способе, ибо он, по-видимому,
предназначался для ранних поколений быстродействующих машин.
Современное оборудование позволяет обойтись без подобных методов.
Большим достоинством ФПФ и процедуры Кули — Тьюки является
то, что они дают исходную оценку для / (X), на основе которой можно
проводить все дальнейшие вычисления. Таким образом, исходное
пробное исследование может заключаться просто в первом примене-
применении этих процедур, т. е. в первом выборе значений т или т! (возмож-
(возможно, меняющихся с частотой). Если же эти процедуры недоступны, то
начальная оценка X (/), скажем, по методу Тьюки — Хэннинга
с завышенным значением М представляется все же более предпочти-
предпочтительной, чем использование формул типа G.1). Во всяком случае,
мы будем предполагать, что имеется хотя бы качественная информа-
информация, на основе которой можно проводить дальнейшие вычисления.
Мы рассмотрим вопрос о выборе N позже, хотя N должно выби-
выбираться в первую очередь. Выбор А в основном мотивируется стремле-
стремлением избежать наложения частот, хотя, конечно, возникают и пробле-

338 Гл. V. Статистические методы спектрального анализа
мы стоимости; например, может оказаться очень сложным разобрать
запись процесса для очень коротких интервалов. Грубое правилоt
предложенное Тьюки, предписывает брать в качестве fn вели-
величину 3/2/шах> где /шах —«максимальная интересующая нас частота»,
так что
А = C/шах).
Если спектральная масса сосредоточена ниже 2/тах, то это означает,
что эффекты наложения ниже /тах отсутствуют.
Перед тем как выбрать М, имеет смысл произвести следующую
обработку информации.
1. Данные по возможности следует нанести на график. Это чрез-
чрезвычайно важно не только потому, что дает некоторое представление
об их характере, но и потому, что (а) предохраняет от ошибок при
записи и (Ь) позволяет заметить отклонения от стационарности.
Большие ошибки при записи могут полностью исказить результаты
спектрального анализа. Нет никаких автоматических правил, кроме
соблюдения аккуратности, которые исключали бы ошибки, и построе-
построение графика (с последующей тщательной проверкой) является одним
из лучших способов их обнаружения. Мы предполагали до сих
пор стационарность, однако не исключены и радикальные измене-
изменения в механизме случайности. Важным приемом при изучении таких
изменений является разбиение временного ряда на отрезки, в кото-
которых стационарность сохраняется.
2. Можно осуществить ту или иную предварительную фильтра-
фильтрацию. В экономических задачах обычно производится предваритель-
предварительная фильтрация для устранения «трендов», которые можно грубо
представлять себе как скопления спектральной массы на нулевой
частоте. В конечном счете цель фильтрации состоит в таком исполь-
использовании априорных сведений, которое по возможности приблизило
бы спектр к равномерному, прежде чем начнется оценивание.
В какой-то мере это можно рассматривать как операцию «пригонки»
оценивающей процедуры к имеющимся данным. Для ФПФ и про-
процедуры Кули — Тьюки роль подобной предварительной фильтрации
не так велика, ибо эти методы дают исходные оценки, основанные на
спектральных окнах с узким диапазоном BnlN или 2n/N'). Тем не
менее предварительная фильтрация необходима, в частности, для
устранения значительных концентраций спектральной массы в тех
случаях, когда отсутствуют точные сведения о природе этих кон-
концентраций. Конечно, после завершения вычислений влияние филь-
фильтрации должно быть учтено. В принципе это сводится просто к деле-
делению на частотную характеристику фильтра. В действительности же
последовательность операций, включающая фильтрацию, спек-
спектральную оценку и деление на частотную характеристику фильтра,
дает не тот же самый результат, что просто оценивание без филь-
фильтрации; в самом деле, если бы это было не так, то фильтрация была бы
вовсе не нужна! Этот вопрос, по-видимому, требует дальнейшего

7. Практический спектральный анализ 339
исследования, и фильтрацию следует применять с осторожностью.
Ясно также, что может потребоваться учет фильтрации, которая
произошла естественным путем (например, из-за инерции записываю-
записывающего устройства).
3. Во всех случаях необходимо центрирование данных, но может
потребоваться и более сложная регрессия. Подробно мы обсудим
ее последствия в гл. VII. Центрирование повлияет в основном на
оценку при / = 0. В этом случае приближенная корректирующая
процедура состоит в делении на A — M/N). В более общем случае,
когда с помощью регрессии устраняется полиномиальный тренд
порядка (г — 1), оценку на частоте / = kl2M можно делить на
{1 — {гIN) KN Bя/)}. При / = 0 и г = 1 это правило переходит
в предыдущее.
4. Наконец, коснемся проблемы, обсуждавшейся ранее в связи
с оценками взаимных спектров и состоящей в том, что если 0 Bя/)
быстро меняется в зависимости от /, то оценка когерентности может
быть сильно занижена. Приближенный способ заключается в сдвиге
по времени одного ряда относительно другого, что приводит к вычи-
вычитанию из фазы величины /60. Конечно, величина 60, определяемая
сдвигом, может меняться от диапазона к диапазону (т. е. в зави-
зависимости от к). Таким образом, если пробное исследование пока-
показало, что в рассматриваемом диапазоне 6 между ?-м и ;-м процессом
может иметь вид а + &/, где Ъ велико, то перед началом вычисле-
вычислений для этого диапазона j-и процесс следует сдвинуть относительно
i-ro на [Ь] единиц времени.
Пусть Б — полоса частот предварительно найденного спектра
или той его части, которая нас интересует. Тогда следует положить
(МА) = В, ибо ширина диапазонов (в единицах /) равна BМД)~\
и если мы подберем ее так, чтобы она равнялась половине полосы
частот, то будет достигнуто приемлемое разрешение. Отсюда
Относительная ошибка оценки спектра (в смысле отклонения от ожи-
ожидаемого значения) измеряется коэффициентом вариации
Аппроксимируя последний множитель, получаем
АТ 4М __ 12/тах
где V — требуемый порядок величины относительной ошибки, т. е-
требуемый коэффициент вариации *). Итак, мы установили про-
г) Коэффициент вариации дает порядок величины относительной ошибки,
которую можно ожидать.

340 Гл. V. Статистические методы спектрального анализа
стые приближенные правила для определения А, М и N по задан-
заданным В, /тах и V. Их следует рассматривать только как общее руко-
руководство и нельзя принимать слишком всерьез, хотя бы потому, что
они часто приводят к чересчур завышенным значениям N; если,
например, единица времени — секунда и
/шах =Ю, 5=1/2, 7=0,1,
то
Д=1, М = 60, N = 24000.
Довольно ясно, что для многих целей такое значение V слишком
мало. Если заменить его значением 0,3, то N уменьшается до вели-
величины порядка 2 700, что представляется более приемлемым. Более
точным кажется другой подход, основанный на теореме 11 § 5.
На практике описанная последовательность действий вряд ли будет
выполняться в явной форме, даже в настоящем ее виде. На деле
процедура скорее всего носит частично экспериментальный харак-
характер, когда методика дополняется некоторой «игрой» при выборе М,
в особенности если используется ФПФ или метод Кули — Тьюки.
Правило, предложенное Дж. М. Дженкинсом, предписывает про-
пробовать три значения М. Первое, заниженное значение дает при-
приближенные указания относительно расположения основной спек-
спектральной массы. Второе, завышенное значение дает представление
о необходимой величине разрешения, и компромисс достигается
при выборе третьего значения. В этих вопросах, как и в ряде других,
настоящим учителем является опыт и никакая книга не в состоянии
заменить его!
УПРАЖНЕНИЯ
1. Пусть
5 М(/I11/!в<°°. 1/4 < б.
— со
Используя неравенство
показать, что
Е {шах || RJ9 N (k) ||2} < К {min (| / |,
и, следовательно,
), 1/4<6<3/4,
\г!(Ь)Ц}=<
I O(N
E{maXU " б>3/4.
2. Если выполняется условие упражнения 1, то
|| h (X + 8) — h (к) || = О (г6)

Упражнения 341
при 8 ->- 0, т. е. h (К) удовлетворяет условию Липшица с показателем 6. Вывести
отсюда, что / (к) также удовлетворяет этому условию.
3. Показать, что если выполнено условие упражнения 1, то
4. Пусть Vj (и), у = 1, 2, для фиксированного и имеют комплексное много-
многомерное нормальное распределение, причем матрица /, фигурирующая в фор-
формуле D.4) гл. IV, является функцией от и вида
/u=l
/2
Считая Vj (и), и = 1, . . ., га, независимыми, получить оценки максимального
правдоподобия для /ь /2 и а12 = Pi2 (/1/2) ~^2- Построить критерий отношения
правдоподобия для проверки гипотезы о том, что 6W не зависит от и.
5. Пусть в примере 4 6U = а + |3w. Построить оценки максимального
правдоподобия для /ь /2» а12, а, Р и критерий отношения правдоподобия для
гипотезы Р = 0. Обсудить примеры 4 и 5 в связи с процедурами оценки коге-
когерентности, предложенными в § 6.
6. Доказать соотношения B.9), B.12), C.10) и C.12).
7. Рассмотрим оценку вида
я
)= f
М
-м
Показать, что
_ я >п дг Bпк я/ \ / я/ \
-JV+1
т. е. что спектральная оценка в точках 2nk/N в точности совпадает с «естествен-
«естественной» интегральной суммой, аппроксимирующей правую часть соотношения (*).
8. Пусть
А-\ ° Dl
A-\_-D С}'
Показать, что определитель А равен | det (С -\- iD) |2. (Используя полярное
разложение А = С + Ю и изоморфизм, установленный при доказательстве
теоремы 13 гл. IV, сведите доказательство к случаям эрмитовой и унитарной
матрицы А.)
9. Определить вид матрицы, обратной к А = С -\- iD, используя изомор-
изоморфизм, упомянутый в упражнении 8.
10. Пусть S — эрмитова р X р-матрица и S = PSP*. Показать, что яко-
якобиан такого преобразования р2 вещественных параметров матрицы S равен
|detP|2p. (Рассмотрите произвольную комплексную матрицу Т. Множество
всех таких матриц образует р2-мерное комплексное векторное пространство,
и если Т записана в виде столбца, как указано в § 5 математического приложе-

342 Гл. V. Статистические методы спектрального анализа
ния, то преобразование Т -+¦ РТР задается матрицей Р ® Р'. Векторное про-
пространство матриц Т разлагается в прямую сумму ортогональных подпространств,
отвечающих эрмитовым и косоэрмитовым матрицам, каждое из которых является
левоинвариантным относительно Р ® Р'. Заметив, что косоэрмитова матрица Z
может быть записана в виде ?У, где У эрмитова, покажите, что в упражнении 8
можно взять А в виде Р 0 Р' с D = 0 и С, действующей в вещественном вектор-
векторном пространстве, которое можно отождествить с множеством симметричных
эрмитовых матриц. Таким образом, учитывая, что det (Р 0 Р') = | det P |2р,
согласно упражнению 8, получаем, что определитель А равен | det P |4р,
и S ->- PSP* как преобразование в пространстве эрмитовых матриц имеет
указанный якобиан.)
ПРИЛОЖЕНИЕ
1. Доказательство теоремы 9
Точно так же, как мы получили соотношение C.3) в гл. IV, находим
(N — n)(N — nf) . , ,.
~ '-ft L COV (Cjk (*'), Crs G1)) =
(Of *'• u> u+n)} W (", Л', Л), A)
где* для п' >д
0, ы<
п', л)=«| 1—L-, ООО — л',
1
Мы используем это выражение при вычислении ковариации между Jjk (А,4)
H/rs (^2 + яр/'М) (при этом вторая величина берется комплексно сопряженной).
Начнем с оценок типа D.2), где кп дается соотношением D.4). Тогда произведе-
произведение указанной ковариации на N/M распадается на три слагаемых, из которых
первое равно
п п'
X 2 У1г(и)Укз (и + п — п') q>N(u, n', гс) | =
— оо
2JV-2 оо
2
N-1
-JV+1

Приложение 343
Обозначим сумму в фигурных скобках через LN (и, у, п). Она зависит также
от Xi, ^2» Р» но эти величины постоянны в наших рассуждениях.
Покажем теперь, что при N ->- оо выражение в фигурных скобках ограни-
ограниченно сходится к нулю при Х4 Ф Х2 и к
СХ)
f k*(x)einpxdx
в остальных случаях. Отсюда будет следовать, что при N -> оо величина B)
стремится к нулю при Х4 ^= Х2 и к
i 2 v;r («) *"•*• -^-
C)
J
— оо
при Ki = Х2 (в силу мажорированной сходимости, а также абсолютной сходимо-
сходимости ряда Yjfe (u))- Заметим сначала, что выражение в фигурных скобках не пре-
превышает по модулю
/.L V kz(JL\\i/2f± У jfll
\м 2}" [ м )f \м 2jk \
)
М
но, поскольку каждая из этих сумм является аппроксимацией интеграла
оо
[ №(x)dx
от положительной непрерывной г) функции, то очевидно, что они сходятся при
возрастании М к последнему выражению и, следовательно, равномерно ограни-
ограничены. Аналогично, для любого 8 > 0 можно найти Г, такое, что
-jf 2 LN(u,V,n) <8
\п\>МТ
при достаточно больших М, равномерно по и, у, Xiy X2 и р. Поэтому остается
рассмотреть только
Разобьем интервал [-Т, Т] на непересекающиеся интервалы Ег так, чтобы
модули непрерывности 2) функций ф^, к (х) и exp inpx были меньше, чем г\ > О,
на Ег. Пусть в интервале Et содержится et точек вида п/М. Тогда если л4 —
х) Утверждение остается справедливым и для усеченной оценки, хотя для
нее к (х) разрывна.
2) Модуль непрерывности co(/i) функции f(x) на интервале Е определяется
как максимум величины \ f (х + t) — f (х) | по х, х + t ? Е, \ t \ < h.

344
Гл. V. Статистические методы спектрального анализа
— Х2 ф 0 (mod 2я), то при достаточно большом N
тг 2 k (ж)k (т) *i
D)
Здесь с$ зависят, например, от среднего значения к (х) на интервале Et. Если
TV, а значит, и е^ выбрано достаточно большим, то последнее выражение может
быть сделано меньшим, чем г), равномерно по и, у, р и по Х4, Х2, таким, что
I ^ — ^2 I > е > 0. Тогда
±
(так как сумма всех е% равна приближенно 2МТ). Если
-г
Х2=0, то
так как слева стоит сумма, аппроксимирующая указанный интеграл. Из ска-
сказанного сразу получаем, что B) стремится к нулю при | Х4 — Х2 | ф 0 и к C)
в остальных случаях, причем сходимость равномерна по р и X в случае Х4 =
= Х2 = X, а сходимость к нулю равномерна по р и по | Kt — Х2 | при условии
| Xi — Х2 | > 8 > 0 (mod 2л). Второе слагаемое в A) дает выражение, вполне
аналогичное B), за исключением того, что Х4 — Х2 заменяется на Х4 + Х2 и г, s
меняются местами, когда Х4 — Х2 = 0 (mod 2я). Это дает вклад, который схо-
сходится к C) при Х4 = —Х2 = X равномерно по X и к нулю при Kt + Х2 Ф
Ф 0 (mod 2я) равномерно по | Х4 + ^2 I > е > 0 (mod 2я). Третье слагаемое
ограничено величиной
NH
П', U, П= —оо
которая стремится к нулю равномерно по Х1у Х2, р.
Отсюда следует доказываемая теорема, так как при Х4 = Х2 = X Ф О,
я только первый член дает ненулевой вклад и все сходимости равномерны,
и аналогично при Xt = — Х2 = X Ф 0, я. При Xt = Х2 = 0, ±я вклад дают
оба слагаемых. Однако сходимость в окрестности уже не равномерна в силу
неравномерной сходимости к нулю второго члена в D) при Xi — Х2 = 0 (mod 2л)
и в силу неравномерной сходимости соответствующего члена для второго сла-
слагаемого в A) при Xi + Х2 = 0 (mod 2я).
Нам остается рассмотреть случай, когда кп не удовлетворяют соотноше-
соотношению D.4). Согласно примечанию 1 на стр. 343, усеченная оценка охватывается
предыдущими рассмотрениями. Оценка Бартлета несущественно отличается
от оценок рассмотренного типа, и мы оставляем подробности читателю. Случай
ФПФ несколько более сложен. Рассмотрим величину, которая получится, если
подставить первую компоненту A) в нужное нам выражение для коварпации.
Аналогично формуле B), получим
2JV-2 оо JV-1
1 v V
4л2 ^-J ?Л
-2N+2u=-oo
JV-1
u-v) {JL 2 L'N(u,v,n)\ .
JVf1
-JV-f-1

Приложение 345
где теперь
L'N(u, у, n) = q>N (и, n + v, п)кп+и (К{) кп I ^2 + "^~) е~г
а кп указаны в примере 1 § 4. Имеем
М *
sin "(»+") "8inJ!%"
( sin 8inJ!%
17 2 ] ^i(n+")r^r ^— — Ф* («, n + v, п) \ , E)
=17
м
где
a g', g" - целые числа, выбранные так, чтобы У и X" были наиболее близки
к lj и Х2 + пр/М соответственно.
Разобьем сумму E) на две, одну по | п | <cjnM и другую по \ п \ ^ тМ.
(Они содержат приблизительно одинаковое число членов, поскольку 7V =
= 2тМ.) Так как
\L'N(u,v, n)\ = cpN (u% n + v, n)
Sln N
(n+v) л . пп
^; sin"
и ф^ (гг, дг + у, /г) < max {A — | п \/N), A — | п + v \/N)}, то, применяя
неравенство Шварца к части второй суммы, соответствующей п ^ тМ•, и пола-
полагая 7V — п = и (или 7V — п — v = и)у мы получаем следующую оценку для
этой части суммы E):
тМ
sin (umn/N) \2 и
т sin (un/N) ) N '
тМ
1 ^i /
Выберем а так, чтобы
тМ тМ
f sin (umn/N) \ 2 ц 1 ^п f sin (umn/N) \ 2
\ |Л8ш(мя/^) / TV ^ M 2i \ |лзт(мя/ЛГ) J
] и=[аМ-1]
Это можно сделать, так как настоящая сумма является аппроксимацией «хвоста»
интеграла от интегрируемой положительной непрерывной функции. Однако
часть этой суммы по и << аМ также асимптотически пренебрежима, так как
она равна
[аМ]
J_ Г J_ %п Г sin (umn/N) П2 и \
N \ М 2л L msm (un/N) J MJ'
0
u=0
и выражение в фигурных скобках является аналогичной аппроксимацией соот-
соответствующего интеграла. То же самое справедливо и для п < —тМ, так что
нам остается лишь первая часть суммы E). Доказательство того, что она схо-

346 Гл. V. Статистические методы спектрального анализа
дится к нулю при (kt — Х2) ф О (mod 2л) равномерно по | Xt — А,2 | > е и к ве-
величине
оо
sin2
Г sin2 У2я* Лрхп ,_ _ f 0, р>1,
J 1/2ях2 dx-\2, p=0,
равномерно по ^ = А2 = ^ в остальных случаях, не отличается от приведенного
выше доказательства для оценок типа D.4). Второй и третий члены рассматри-
рассматриваются аналогично, и эта часть теоремы доказана.
В случае процедуры Кули — Тьюки прежде всего заметим, что если нет
сглаживания, то изменения коснутся только соотношения E), где т заменится
на т , а N на TV', так что mlm — TV/TV' принимает наименьшее значение (согла-
(согласующееся с требованиями, что m, N, т , N' целые и N < N' = 2s). Доказа-
Доказательство теоремы в этом случае не отличается от соответствующего доказатель-
доказательства для ФПФ. Если же используется сглаживание, то поступим следующим
образом. Имеем
2 2cov {2 •» w *i w *ша 2 ^ w * w
a, 6=1
. F)
где т значений соа вида 2nl/N' концентрируются вокруг А,4 и аналогично т'
значений соь — вокруг Х2+ лр/М. Мы снова можем представить эту ковариа-
цию в виде суммы трех слагаемых, одно из которых выражается через четвертые
семиинвариантные функции для xj (n); как и раньше, можно показать, что оно
асимптотически пренебрежимо. Рассмотрим вклад, который дает математиче-
математическое ожидание произведения первой и четвертой сумм из последнего выражения
в фигурных скобках, а также математическое ожидание произведения второй
,и третьей сумм. Это приводит к выражению
JV-1
1 ^ vi , ч
4я2 ^ A yjs [ } Укг
JV-1
sin nwm'IN1 sin я (w + v — и) m'/N' , . "i
где
1
и (^i — M)]< iilN', (k2 — ^2) <i л/N'. Суммирование здесь производится по всем
s, таким, что значения аргументов лежат между 1 и N, для каждых и, у, w.
Легко видеть, ^что ф^ ограничена величиной с A — \ w \/N) и при N ->• оо

Приложение 347
сходится к
о
для любых фиксированных и, v, w. Совершенно так же, как выше, можно пока-
показать, что рассматриваемый вклад в ковариацию сходится к нулю, если Х4 +
+ Х2 ф 0 (mod 2л). Если же Х4 + Л2 = 0 (mod 2л), то выражение в квадрат-
квадратных скобках сходится к величине
оо 1 оо
которая равна нулю при р ф О и
1
f И* (д)
в противном случае. Доказательство этого факта вновь аналогично соответ-
соответствующему доказательству для ФПФ. Выполнив суммирование по и, у, полу-
получаем при Х4 = —Х2 = 'к
Оставшийся член, который соответствует другому попарному объединению
множителей в фигурных скобках в правой части формулы F), дает вклад
при Х4 = Х2 = X и нуль в остальных случаях. Теорема доказана.
2. Доказательство теоремы 11
В силу условия E.2), входящего в формулировку теоремы, мы можем
рассматривать
v1/2{/W-E(/(X))}. G)
Заменим это величиной
v1/2 {/ (Х)-Е (/(Х))}-У}г(Х), (8)
1/2 JV
-JV+1
где 2' — сумма по 1— j ^ и ^. N — п — / при п ^ 0 и по гс + 1 — / ^
^ и ^ 7V — у при п ^ 0. Таким образом, yjy содержит «квадратичные члены»
выражения G). Если бы 8 (п) имели конечные четвертые моменты, то все эле-
элементы матрицы Yn сходились бы к нулю в среднеквадратичном, ибо в этом слу-
случае математическое ожидание квадрата нормы Yn не превышает
N-1 оо
c(v/N){ 2 \кп\ 2 }*

348 Гл. V. Статистические методы спектрального анализа
где с — конечная константах). С другой стороны, дисперсия величины (8)
выражается через моменты е7- (и) не выше второго порядка. Поэтому ковариации
между элементами (8) для разных значений X одни и те же, независимо от того,
имеет 8 (и) конечные четвертые моменты или нет, а так как при этом предполо-
предположении ковариации для G) и (8) асимптотически совпадают, то ковариации для
(8) асимптотически должны иметь вид, указанный в теореме 9.
Покажем теперь, что Y'N стремится к нулю по вероятности, если это выпол-
выполняется для
уже без предположения о конечности четвертых моментов 8 (и). Покажем, что
Y'N можно заменить на У^, отличающуюся от Y'N тем, что сумма 2' распро-
распространяется на все и, 1 ^ и ^ N. В самом деле, математическое ожидание нормы
Y"N — Y'N не превосходит
1/2 N~i °° 1/2 N~l
2Ь 2 [^ ^^ ^
-N+1 "-оо -JV+1
так как в силу условия E.3) доказываемой теоремы
S II Л (/) || || A U + n) || | Л <с 2 II А (/) ||<оо,
— СЮ —СЮ
сю сю
2 IIА (/) ГСПА (/+») III" I < 2 ИА WIIИА «+») II (I /+»1+1 /1 )< °°-
— сю —оо
Однако
JV-1
(v^2/N) ^ 1М-0;
например, для оценки, основанной на финитном преобразовании Фурье, имеем
v1/2 чп ., ,_/j^_\1/2JL V 1 sin (nmn/N) __n ( logv
N ?Л x\Kn\ — \ N ) M Zj \msin(rm/N) "U \ vl/2
-JV+l1 -iv+l
В свою очередь Y"n можно заменить на
оо
B
,1/2 ~ "
-оо 1
ибо для любого />-мерного вектора z
1/2 °°
«.* (у„ V" \ ~ «* J_ / ^ л а\ «гД v
^ [rN—rN)z-z 2л ^2jAu)e х
— оо
N
I
X
!) Мы по-прежнему обозначаем буквой с конечные константы, не обяза-
обязательно одинаковые.

Приложение 349
где мы положили кп = 0 при | п | > N. Так как N-1 ^ (е (и) е (и)' — 1р) схо-
сходится почти наверное к нулевой матрице, то для любого г) > 0 последнее выра-
выражение почти наверное не превосходит величины
L_
которая сходится к нулю в силу условия E.2). Итак, мы видим, что сходимость
величины v^N-1 ^ (8 (и) е (иУ — ?р) по вероятности к нулю достаточна для
1
•сходимости Yn по вероятности к нулю.
Теперь мы докажем центральную предельную теорему для G). При доказа-
доказательстве этой теоремы конечность четвертых моментов ej (п) будет использовать-
использоваться только в асимптотической формуле для ковариаций G). Условие E.3) исполь-
использоваться не будет. Таким образом, мы получим то, что нам нужно, так как мы
уже показали, что G) и (8) имеют одинаковые ковариационные свойства и что
при условии E.3) величиной Y'N можно пренебречь.
Положим
e(rc), е(л)'е(л)> Л,
и г) (гс) = т]A) (гс)— Е (if1) (п)). Тогда для достаточно большого А
Пусть теперь
оо
х(п) = и (п) + »(»), v (п) = 2 Л (/) Л (»-/);
— С»
тогда и (п) и v (п) — линейные процессы с нулевыми средними и спектральными
плотностями соответственно:
с»
^ h (X) б () h (X)* h(X)^A (/) в«\
-^ h (X) б, (в) h (X)*, ~ h (X) б2 (е) h (X)*, h(X)=^A (/) в«\
— 00
где при А -*¦ оо (т. е. е -»- 0) G4 (е) -»- E, б2 (в) ->• 0. Рассмотрим величину
v1/2
+v1/2{/0« (X)-B (/„„ (A,))}+v1/2 {/„ (А,)-Е (/„ (Я,))}, A0)
ящих целе
между эл
lim vE {Тг l(h (X)-E (/„ (Я,)))
N
где только для настоящих целей мы обозначаем, например, через fuv (к) матрицу
взаимных спектров между элементами процессов и(п) и v(n). Имеем
а) /„ (X)*) J fc2 («) dx, хфо, ± я,
и удвоенное то же значение при А, = 0, ±п. Эту величину можно сделать сколь
угодно малой, подбирая достаточно малое е, т. е. достаточно большое А. То же
самое верно для второго и третьего слагаемых в правой части A0). С другой
стороны, при достаточно малом е, т. е. при достаточно большом А, тензор кова-

350 Гл. V. Статистические методы спектрального анализа
риаций первого слагаемого в правой части A0) произвольно близок к тензору
ковариации левой части A0). Поэтому, согласно лемме Бернштейна (см. п. 5
приложения к гл. IV), достаточно доказать теорему для и (п) вместо х (п), и, сле-
следовательно, мы можем считать, что все моменты «возмущения» ц (п) конечны.
Чтобы избежать лишних обозначений, мы вернемся к х (п) и 8 (п), но будем счи-
считать, что все моменты 8 (п) конечны. Точно так же мы можем ограничиться слу-
случаем, когда A (j) = 0 при | j | > Т. При этом мы пренебрегаем другим и (п)
вида
\П>т
спектральная плотность которого
1 / %п Af\i3k\t\)
2я
1Л>Г |;!>Г
имеет норму, не превосходящую величины
которая может быть сделана сколь угодно малой.
Таким образом, мы ограничились случаем, когда
х(п)= 2 A(j)B(n-j), A1)
1 з \^т
где 8 (п) — независимые одинаково распределенные векторы с нулевым средним,
единичной матрицей ковариации и конечными моментами произвольного порядка.
Из теоремы 1 вытекает, что
w(X) = h(l)w(E, X)Jt-O(N-1^2I A2)
где математическое ожидание нормы второго члена в правой части имеет порядок
TV/2. Повторяя рассуждения, подобные проведенным выше, можно показать,,
что вкладом этого слагаемого можно пренебречь; например, для ФПФ имеем
где со/, как и раньше, m частот, ближайших к X. Последнее равно
v1/2 {-j-j-
В самом деле,
l/2 | m-i _L /i ((o7.) ^ (со7-)* — Е
\ =
так как выражение в фигурных скобках есть среднее от m величин, каждая
из которых имеет порядок TV/2 равномерно по у. Аналогично, слагаемое OiN/2)
в соотношении A2) дает в общее выражение вклад порядка О(М~г/2). Таким
образом, мы свели вопрос к- рассмотрению величины
vl/2

Приложение 351
Для других оценок ситуация совершенно аналогична, и мы опускаем подроб-
подробности. В итоге мы придем к выражению
е (Х)-Е (/е (X))} h (к)*. A3)
Рассмотрим, например, случай оценки типа D.2), где кп удовлетворяют D.4).
В этом случае приходим к выражению вида
я
v1'2 j h(Q) {le(&)—^Ip} h(Q)*KN(X-Q)d& =
-Я
-я
я
-j {А(в)-А(*,)} {/,F) —-^
A4)
Последние три члена дают вклад, который, очевидно, сходится к нулю по вероят-
вероятности; например, второй из них дает матрицу взаимных спектров, оцененных
в точке к между двумя процессами рассматриваемого типа, причем спектральная
плотность одного из них обращается в нуль в точке X. Таким образом, в итоге
нам остается рассмотреть A3), т. е.
и мы должны доказать теорему для этой величины. По-видимому, простейший
путь состоит в том, чтобы показать, что семиинварианты выше второго порядка
стремятся к нулю при N -> оо, а первые и вторые моменты сходятся к указанным
в теореме (для 8 (п) вместо х (п)). Отсюда будет следовать теорема. То, что касает-
касается первых и вторых моментов, уже было доказано в § 4 (так как 8 (п) есть просто
частный случай х (?г)). Остается доказать сходимость к нулю семиинвариантов
произвольного порядка t > 2. Для этого достаточно рассмотреть семиинвариан-
семиинварианты компонент /е (X), а это в свою очередь сводится к рассмотрению четных семи-
семиинвариантов компонент w (е, X) порядка t ^ 6. Последние получаются из соот-
соотношения
т JV
log Е { exp i ^ Quwu (e, *)}=>] log E { exp i ( ^ е* у *
1 п=1 и *
где и пробегает т целых значений между 1 и р. Это равно
N
1 е iX^n I \
2jl/V ' " '' ^ 1/2kN I '

352 Гл. V. Статистические методы спектрального анализа
где if» — совместная производящая функция семиинвариантов величин еи (л),
п = 1, . . ., т. Коэффициент при
который и является нужным семиинвариантом, равен
n=l
Так как t > 6, то он имеет порядок не выше О (N~2). Отсюда следует, что любой
2-й семиинвариант, t > 3, компонент 1Е (К) имеет по меньшей мере порядок
О {N~2). Теперь достаточность доказывается простой проверкой.
Обратимся к доказательству необходимости. Положим ZN = v1/2 {f — Е (/) }
и XN =ZN — YN, так что ZN = XN + YN. Пусть r\ (п) — определенный выше
процесс, и [пусть XN — процесс, построенный по и (п) так же, как XN строится
по 8 (п), a YN = ZN —. XN, так что вновь ZN = XN + YN и YN = YN —
— (X^ — XN). Пусть теперь v — произвольный комплексный вектор; положим
ZN = ^лг + Уи = XN + ^лг» гДе ^лг = v*XNv, yN = v*YNv и т. д. Нам изве-
известно, что распределение xN сходится к нормальному, причем дисперсия может
быть сделана сколь угодно близкой к значению, указанному в теореме 9, за счет
выбора достаточно большого А. Более того, для любого 8 > 0 найдется доста-
достаточно большое Л, такое, что Е {{xN — xNJ) < &. Предположим теперь, что
распределение zN также сходится к нормальному. Пусть FN — совместное рас-
распределение xN, ifN; рассмотрим подпоследовательность значений N, для которой
FN сходится в обычном (слабом) смысле к F. Тогда I? — собственное распределе-
распределение, так как распределения zN и xN сходятся для любой подпоследовательности.
Далее, полагая
о*= j j t*dF(x, у), oj= j j **dV{x, y),
имеем
где т] может быть сделано сколь угодно малым. Заметим теперь, что Е (xNyN) ==
^ 0, ибо, записывая сомножители в виде квадратичных форм соответственно
от элементов е (п) — т] (п) и 8 (п), мы видим, что могут возникнуть лишь произ-
произведения типа
(8. (т) — г\г (т)) {&j (п) — r)j (n)) (efc (р) — 1) (ej (р) — 1), т ф п,
так что либо /тг, либо п отлично от р; поскольку математическое ожидание
&j (т) — r)j (т) равно нулю, Е {x*NyN) = 0. Следовательно,
I Е (ххух) | = | Е (xN (xN — xN)) |,
и эта величина может быть сделана сколь угодно малой за счет выбора достаточно
большого Л. Кроме того,
где ci зависит от А. Поэтому для подпоследовательности Nj, для которой FN
сходится, мы также имеем
\ xydF(x,
J
lim
J-+OO

Приложение 353
и эта величина сколь угодно мала при достаточно большом А. Отсюда сле-
следует, что величина
при достаточно больших А сколь угодно мала. Мы уже отмечали, что веро-
вероятность
можно сделать произвольно малой, выбирая достаточно большие А и N. Сле-
Следовательно, и
будет сколь угодно малой величиной при достаточно больших Ли/. Таким обра-
образом, поскольку величины yN. не зависят от А, они должны сходиться по вероят-
вероятности к нулю, а так как это верно для любой последовательности, для которой
fN сходится, то yN сходится по вероятности к нулю. Последовательность YN
также сходится по вероятности к нулю, а вместе с ней и
Следовательно,
Я оо JV
-Я -С» 1
также сходится по вероятности к нулю. Можно предположить, что матрица
оо
2 А (/)•А а)
— ОО
невырожденна, и мы видим, что условие теоремы является необходимым.

Глава VI
Статистические выводы
для рациональных спектров
1. ВВЕДЕНИЕ
История развития анализа временных рядов начинается с появления
временного анализа, ведущая роль в котором принадлежит
Дж. У. Юлу. Под временным анализом здесь понимается анализ
авторегрессионных моделей, и терминология отражает тот факт,
что статистические выводы основываются на выборочных автокор-
автокорреляциях, а не на выборочных спектрах. В общем случае она ука-
указывает на использование исходных данных, а не их преобразований
Фурье. К 1943 г. асимптотическая теория для авторегрессионных
систем в основном была подытожена в работе Манна и Вальда [1943].
После войны такие системы изучались для низких порядков авто-
авторегрессии более точным образом в предположении гауссовости.
С начала пятидесятых годов «чары» спектральных методов отвле-
отвлекают исследователей от временного анализа, и действительно, в неко-
некоторых приложениях, когда 7V очень велико, спектральные методы
занимают центральное место. В других приложениях, например
в экономике, ситуация может быть иной, ибо если объем доступных
данных невелик, то удачный вклад в параметрическую модель при-
приведет к большому выигрышу, так что такой вклад должен быть
сделан почти наверняка. Разумеется, очень многое зависит от конеч-
конечной цели анализа. В некоторых экономических задачах прогнози-
прогнозирования, как и в некоторых задачах регулирования, авторегрес-
авторегрессионные схемы весьма привлекательны. С другой стороны, изуче-
изучение, например, ветровой нагрузки на летательный аппарат с необ-
необходимостью приводит к спектральному разложению регистрируе-
регистрируемых данных. В последние годы наблюдается некоторый возврат
к применению параметрических моделей, особенно в связи с зада-
задачами прогнозирования и регулирования, к которым, как мы гово-
говорили, они хорошо приспособлены. Под параметрической моделью мы
понимаем в основном смешанную модель авторегрессии и сколь-
скользящего среднего, и настоящая глава основывается именно на таких
моделях. Не следует, однако, слишком подчеркивать «временной»
аспект, ибо не существует никаких серьезных доводов против приме-
применения к таким моделям методов Фурье, и на самом деле эти методы
окажутся полезными в нашем рассмотрении.

2. Статистические выводы. Асимптотическая теория 355
2. СТАТИСТИЧЕСКИЕ ВЫВОДЫ ДЛЯ АВТОРЕГРЕССИОННЫХ МОДЕЛЕЙ.
АСИМПТОТИЧЕСКАЯ ТЕОРИЯ
Рассмотрим векторную авторегрессионную модель
~ =/Р, B.1)
где 8 (п) — независимые одинаково распределенные случайные век-
векторы с параметрами (О, С), а В (/) — квадратные матрицы, такие,
что все корни многочлена
det(j]B(j)zj)
о
лежат вне единичного круга. Тогда, как утверждает теорема 4'
гл. I, стационарное решение такой системы имеет вид
*И = 1МG)е(п--7), ^@) = /Р, B.2)
о
где || А (/) || экспоненциально стремится к нулю при возрастании /.
Теорема 4' гл. I утверждает также, что любая другая последова-
последовательность, удовлетворяющая уравнению B.1), отличается от этого
стационарного решения только на слагаемое вида
l(n) = Y. J 2с(г, U u)zlnJb(i, и), |zu|< 1,
и г j
где Ъ (i, и) — фиксированные векторы, а с (?, /, и) — случайные
величины, подобранные так, чтобы решение удовлетворяло q началь-
начальным условиям. Таким образом, существует а > 1, такое, что ап^ (п)
сходится к нулю почти наверное. Отсюда легко вывести, что наличие
| (тг) не сказывается ни на одном из утверждений формулируемой
ниже теоремы 1. Поэтому в дальнейшем мы будем предполагать,
что х (п) стационарен.
В таком виде модель не вполне удовлетворительна, так как она
предполагает, что х (п) имеет нулевое среднее. Если х (п) имеет
постоянное среднее fx, то, конечно,
так что если х (п) заменяется на х (п) — |ы, то B.1) имеет место для
нового процесса с {е (п) — Е (е (п))} в правой части, и вообще,
если |ы (п) — среднее значение х (п), то из B.1) вытекает соотно-
соотношение

356 Гл. VI. Статистические выводы для рациональных спектров
Мы предпочтем отложить обсуждение таких вопросов до гл. VII, где
рассматриваются общие задачи регрессии. Однако, поскольку всегда
будет необходимо производить по крайней мере центрирование, мы
рассмотрим в этой главе оценивающие процедуры в предположе-
предположении, что среднее значение х (п) постоянно, но не обязательно равно
нулю. Естественно оценивать ju посредством х. Для оценивания
остальных параметров рассмотрим соотношение
о
которое преобразуется в
B.3)
Естественно использовать эти соотношения при и = 0, 1, . . ., q для
оценивания В (/) и G путем подстановки С (п) (см. § 3 гл. IV) *) вме-
вместо Г (га).
Другой способ состоит в том, что величины е (п) считают гаус-
Совскими и используют метод максимального правдоподобия. Это
приводит к оценкам, которые отличаются от рассмотренных выше.
Для иллюстрации рассмотрим случай р = q = 1, когда функция
правдоподобия равна
п
Л -\
где, как обычно, 5A) заменено на —р, a G — на а2. Уравнения
максимального правдоподобия имеют вид
A -р) (х- р) + jf {x(N) + хA) -2A} = О,
N N
{h?)(())}S()A)
2 1
-Н р {(а: A) — ц)« + (« (ЛГ) — |1)а — аа/A — Р*)} = 0, B.4)
N
Эти оценки отличаются от полученных из B.3) на величины порядка
TV. Амплитуда отклонения зависит также от р, что ясно, например,
2) См. примечание на стр. 233. Мы вычисляем здесь С (п) после центриро-
центрирования.

2. Статистические выводы. Асимптотическая теория 357
из соотношений
Поправка к я мала, если N велико и р много меньше единицы. Урав-
Уравнения максимального правдоподобия нетрудно выписать в общем
случае, а иногда и при небольших N разумно использовать эти урав-
уравнения для оценивания. Мы, однако, не станем далее обсуждать эти
вопросы и обратимся к свойствам решений уравнений B.3). Позже,
в предположении гауссовости, мы рассмотрим свойства точных
выборочных распределений оценок, близких к тем, которые получа-
получаются из B.3) или B.4).
Нам придется вновь ввести тензорные обозначения. По-видимо-
По-видимому, хорошо было бы полностью избавиться от векторно-матричных
обозначений, использовавшихся до сих пор, и записать B.3) при
у>0в виде
Q
2 $\(и)Уз (и —v) = 0, и, у=1, . . ., q, i, /, Л=1, . . ., р,
где мы ввели обозначения р*. j (и) = pi (и), yjt ъ.(и — и) = у) {и — и)
и приняли обычное соглашение о суммировании по повторяющимся
индексам. (Естественно рассматривать $i,j(u) как тензор, кова-
риантный по первому индексу и контравариантный по второму.)
Однако, поскольку специалистам по статистике и теории вероятно-
вероятностей более привычны векторно-матричные обозначения, мы сохра-
сохраним эту символику и перепишем B.3) в виде *)
{/р®Гд}рд=-т«. B.5)
где Та состоит из q2 блоков, причем в блоке (и, v) находится матрица
Г {и — и), столбец рд имеет элемент рь 7- (и) в строке с номером
(i — 1) pq + (и — 1) р + /, тогда как у<? имеет элемент yit k (и)
в строке (к — 1) pq + (и — 1) р + i. Здесь вновь щ и = 1, . . .
• • •» q\ h h к = I, ...,/?. Таким образом, мы располагаем эле-
элементы в порядке возрастания индексов, так что в первую очередь
учитывается номер строки, затем величина запаздывания и, нако-
наконец, номер столбца. Мы, конечно, могли бы определить рд, распола-
располагая элементы в порядке возрастания запаздывания, строки, а затем
столбца. Если определить yq, располагая в таком же порядке эле-
элементы yik (и), то изменения в B.5) сведутся к тому, что (Ip <8> Tq)
заменится на Tq ® /р. Мы остановились здесь на этом, потому что
позже нам придется менять способ упорядочения.
Матрица Ip ® Г^ по предположению обратима. В самом деле,
это равносильно обратимости матрицы Г^. Если бы Тя была вырож-
*) Здесь введен индекс д, так как он понадобится в дальнейшем, например
при рассмотрении частных коэффициентов автокорреляции.

358 Гл. VI. Статистические выводы для рациональных спектров
денной, то
г и
для всех п, где некоторые коэффициенты аг (и) отличны от нуля;
но тогда, в понятных обозначениях,
ZJ S ai (и) xi(n — ^) = 2 а' (и) Х (п — и).
г и и
Отсюда следовало бы, что
*/(^)B(^)eiuX) = 0 п- в-
Однако это соотношение невозможно, так как определитель / (к)
п. в. отличен от нуля.
Наши уравнения для оценок принимают вид
{IP®Cq}$q=-cq, B.6)
где Cq получается из Tq подстановкой Сц{п) вместо уц{п), cq полу-
получается из yq, a pg, конечно, является оценкой для $q. Так как
С = ЗВ(«)Г(и), B.7)
О
то G мы оценим по формуле
С7 = У В (и) С {и). B.8)
о
Очевидно, Cq с вероятностью 1 невырожденна, и поэтому
что сходится к Рз с вероятностью 1, ибо все элементы Cq и cq схо-
сходятся в этом смысле к элементам Tq и yq, как утверждает теорема 6
гл. IV. Аналогично, G сходится с вероятностью 1 к G. Таким обра-
образом, мы доказали первую часть следующей теоремы:
Теорема 1. Если х (п) порождается уравнением B.1), где
е (п) и В (у) удовлетворяют] сформулированным условиям, I\, J3g, Cq
определены в соотношении B.5) и ниже, PQ определено соотношением
B.6), a Gq — соотношением B.8), то |3g, Cq и Gq сходятся почти
наверное к pg, Yq и G соответственно. Более того, распределение
У N (pg — Р?) сходится при N ->¦ оо к нормальному с нулевым сред-
средним и матрицей ковариаций (G ® Г^).

2. Статистические выводы. Асимптотическая теория 359
Доказательство. Рассмотрим сначала случай, когда
ц = 0 и центрирование не производится. В этом случае запишем
N
ctJ (u — v)= N~l 2 {xt (m — и) Xj (m — v)} + dtj (u, v) =
m=l
= cu(u, v) + dij{uJ v).
Здесь для и — v = n
где 2' =Ь содержит члены из ctj (n), не входящие в ctj (ri), или наобо-
наоборот. Легко видеть, что последнее слагаемое имеет вид TV (у + yN),
где yN — стационарная в узком смысле последовательность (обра-
(образованная из тех слагаемых в ctj (n), не входящих в ctj, для которых
т> N — и), а у — фиксированная случайная величина. Следова-
Следовательно, N1/2dtj (и, и) сходится по вероятности к нулю, так как
nN~1/2ctj (n) + N~1/2y сходится к нулю почти наверное, a N~1/2yN схо-
сходится по вероятности к нулю в силу неравенства Маркова). Под-
Подставим теперь в Tq вместо Т (и — и) матрицу с элементами ctj (и, и).
Обозначим полученную матрицу Cq. Аналогично, определим cq
(взамен cq), подставляя ctj (и, и) вместо ctj (и — и). Если bq удовлет-
удовлетворяет уравнению
ТО
VN (Ip ® Cq) (bq - $q) = VN (cq - cq) + VN (Ip ® D) pe,
где D определяется через da(u,v) так же, как Cq через сц(и,и).
Правая часть, очевидно, сходится к нулю по вероятности, a Cq
невырожденна с вероятностью 1; поэтому YN (bq — $q) сходится
к нулю по вероятности и при изучении предельного распределения
мы можем рассматривать bq вместо J3. Но
есть тензорная запись выражения
q N
^^^х{п-и)х' (n-v)
1
v I

360 Гл. VI. Статистические выводы для рациональных спектров
так что
где компонента вектора е с номером (i — 1) pq + (и — 1) р + / равна
Таким образом,
Е(е) = 0, ЕК
ибо
iV N
Е {"y^fS *i(™>)xj(m — u) 2
1
где aik — элементы матрицы G. Если мы сможем показать, что е
асимптотически нормален, то, учитывая, что (Ip ® Cq) сходится
с вероятностью 1 к Ip ® Tq, мы покажем, что ]A/V (bq — $q) асимпто-
асимптотически нормален с матрицей ковариаций (G (8> Tq ). Разумеется,
если мы предположим, что четвертые моменты Sj (n) конечны, то
этот результат будет следовать из теоремы 14 гл. IV, так как
в этой теореме в качестве Y^Nctj (п) можно взять etj (v), a ytj (n)
можно принять равными нулю. Однако, просмотрев доказательство
теоремы 14 гл. IV, можно убедиться, что в данном случае асимптоти-
асимптотическая нормальность имеет место и без существования моментов
выше второго порядка. В самом деле,
Р оо N
=l m=0 n=l
где коэффициенты ajt г (т), экспоненциально стремящиеся к нулю,
являются элементами матриц А (т) в представлении
сю
х (п) = 2 А (т) г(п — т).
о
Таким образом, etj (v) не содержит «квадратичных» членов (т. е.
членов вида е^ (тг) е,- (тг)). Доказательство теоремы 14 (см. приложе-
приложение к гл. IV) проходит и в настоящем случае. Мы должны лишь
в качестве xt (n) (входящих в ctj (n) в теореме 14) взять е^ (п), а в ка-
качестве Xj (п) — наши теперешние Xj (n — и). После усечения на но-
номере К бесконечной суммы, определяющей х (п — и), и замены
Xj (п — и) усеченной суммой процесс е^ (тг) xj (n — и) будет удовлет-
удовлетворять условиям теоремы 10' гл. IV, так как он будет стационарным
в узком смысле с непрерывной спектральной плотностью. Тот факт,
что влиянием усе^аения можно пренебречь, доказывается еще проще,

2. Статистические выводы. Асимптотическая теория 361
чем в теореме 14 гл. IV, так как здесь отсутствуют члены с четвер-
четвертыми семиинвариантами (из-за отсутствия квадратичных членов)
и, поскольку второй сомножитель равен е, (п), нужно рассмотреть
только разложение Xj (п — и) по величинам е (п).
Если |ы не предполагается равным нулю, то мы заменим xj (n)
на Xj (п) — xj. Тогда можно считать, что \х равно нулю. Обозначим
временно через ctj (п) величину ctj- (п), вычисленную по Xj (п) — Xj.
(Мы воспользуемся этим обозначением только в данный момент,
а потом вернемся к обозначениям ctj (n) для величин, вычисляемых
после центрирования.) Тогда
СЦ (П) — Ctj (n) = {ZiXj (n) + Xi( — n) Xj — XtXj},
где, например, при п^О
N N-n
Очевидно, что ctj (n) — ctj (n) сходится к нулю почти наверное.
Кроме того,
VN(cu(n)-cu(n))
сходится к нулю по вероятности, так как, например, YNxj асимпто-
асимптотически нормален, a xj (n) сходится к нулю почти наверное. Отсюда
следует, что теорема остается справедливой после центрирования,
и доказательство завершено.
Совсем не обязательно оценки для В (у), полученные по этому
методу, будут такими, что все нули оценки для g (z) = ^В (и) zu
лежат вне единичного круга. В самом деле, в простейшем случае
р = q = 1 эта оценка равна
где если, например, нет центрирования, то
(JV— 1
2 х(п)х{п+1)
2
1
и г A) больше единицы, если, скажем, х (п) = 1, п = 1, . . .
. . ., N — 1, х (N) = V2, Л^ > 3. Если же вместо ctj (n) мы исполь-
используем величины A — \ п \/N) ctj (n), то все нули определителя оценки
&(z) =1lB (u) zU будут лежать вне единичного круга. Мы не при-
приводим здесь доказательства, но в случае р = 1 оно следует из упраж-
упражнения 7 к этой главе. (Нули могут попасть на единичную окруж-
окружность, но это будет лишь в том случае, когда периодограмма равна
нулю для 7V — q из со7-, j = 0, . . ., 7V — 1.)

362 Гл. VI. Статистические выводы для рациональных спектров
Мы могли бы исследовать также асимптотическое распределение
G. Оно зависит от четвертых моментов х (п), и хотя У N (G— G)
асимптотически нормальна, тензор ковариаций предельного распре-
распределения весьма сложен и малоинтересен. Поэтому мы оставим этот
вопрос и обсудим некоторые частные случаи.
(i) Рассмотрим сначала случай р = 1. Тогда наша формула
принимает вид
det{Cq+i\
Pg - — C^Cq, O\ = C @) — CqCqXCq = _—^- ,
lim NE {(fa - fa) (fa-fa)'} = а»Г?.
N-+oo
Здесь Cq обозначает квадратную матрицу порядка q с элементом
с (i — у) в i-й строке и j-м столбце, cq есть g-мерный вектор-столбец
с элементом с (/) в /-й строке. Мы оставляем доказательство второго
соотношения в качестве упражнения к этой главе. Разумеется,
Налицо почти полная аналогия с классической теорией регрес-
регрессии, если мы рассмотрим регрессию вектора с компонентами
х (q + 1), х (q -f 2), . . ., х (N) на g других векторов (после исклю-
исключения среднего), /-й из которых имеет компоненты х (q + 1 — /)? • • •
. . ., a: (TV — /)• Единственное отличие состоит в том, что при вычис-
вычислении центрированного произведения, например, двух указанных
векторов, мы используем и члены вида х (п) х (п — /) при / + 1 ^
^ п < q + 1. Вследствие этого вычисление Cq требует нахождения
только q ковариаций вместо q (q + l)/2 в классической регрессион-
регрессионной модели. В остальном процедура оценивания и асимптотическое
распределение в точности такие же, какие получились бы в клас-
классической регрессионной модели. Отсюда следует, что все статисти-
статистические процедуры, применяемые в классической теории регрессии,
асимптотически пригодны и в этой задаче, поскольку они зависят
только от распределения вектора pq. Конечно, вычисления во всех
случаях упрощаются в соответствии с только что сформулированным
правилом. При этом не только сокращается количество вычисляемых
ковариаций, но и легко выполняется обращение матрицы Cq. В самом
деле,
где Р — матрица, обращающая порядок элементов вектора (т. е.
элементы Р равны единице на второй диагонали и нулю на осталь-
остальных местах). Мы оставляем доказательство этой формулы в каче-
качестве упражнения к этой главе. Если авторегрессия порядка q — 1

2. Статистические выводы,. Асимптотическая теория 363
уже подобрана, то все составляющие этой обратной матрицы нахо-
находятся непосредственно, и вычисление $q является простой задачей.
Мы приступаем к более подробному обсуждению некоторых из этих
процедур. Доверительные процедуры настолько очевидны, что мы
опускаем их описание. (В этих процедурах, конечно, используется
замена а2 и Tq на а2 и Cq при формировании оценки для кова-
ковариационной матрицы рд.)
(а) Оценивание спектра
Если мы постулировали авторегрессионную модель, то нам вряд
ли потребуется оценивание спектра, однако такая задача все же
представляет интерес, хотя бы потому, что авторегрессионная модель
могла постулироваться с целью дать некоторый способ спектраль-
спектрального оценивания. Спектральная оценка имеет вид
Рассмотрим yrN(f — f)/f, где для краткости опущен аргумент К.
Положим h (I) = 2 р (и) e*u\ h(X) = 2 Р (и) eiu*>. Тогда \/"N(f — f)if
отличается от j/jV {| h |~2 — | h |~2}/| h |~2 на величину, которая сходится
по вероятности к нулю, так как а2 сходится к а2 с вероятностью 1. Но
и это также отличается от
на величину, которая сходится по вероятности к нулю, ибо (h/h)
сходится к единице с вероятностью 1. Последнее, очевидно, асим-
асимптотически нормально с нулевым средним и дисперсией
2/ (К) {
2л 2 2 eiu~rVu' v)} + 2ст2 Re
где 7U'U — элементы матрицы, обратной к Tq. Относительная слож-
сложность этого выражения отражает, по-видимому, тот факт, что приме-
применяемый метод оценки по существу не приспособлен для спектраль-
спектрального оценивания.
Интересно оценить последнее выражение в том случае, когда
истинный порядок авторегрессии q0 мал по сравнению с предпола-
предполагаемым порядком q. С этой целью мы можем рассмотреть предел

364 Гл. VI. Статистические выводы для рациональных спектров
отношения последнего выписанного выше выражения к q, когда q
стремится к бесконечности (qQ остается постоянным). Мы не станем
входить здесь в подробности вычислений и сошлемся на упражне-
упражнение 7 гл. VII. Используемые там рассуждения показывают, что
предел равен 2, если 1 ^0, л, и 4, если X = 0, я. Следовательно,
если q велико по сравнению с q0, то мы можем рассматривать
Y(Nlq) (/ — /) как нормальную величину с нулевым средним и диспер-
дисперсией 2/2. Таким образом, q приближенно следует отождествить с М
из наших предыдущих рассмотрений, что едва ли является неожи-
неожиданным. Все это говорит не в пользу применения авторегрессион-
авторегрессионных процедур для спектрального оценивания, ибо если q равно М,
то при больших М вычислительные затраты для авторегрессионных
процедур будут, очевидно, гораздо большими, чем для процедур,
рассмотренных ранее.
(Ь) Порядок авторегрессии
Более важной проблемой в этом круге приложений является
определение порядка авторегрессии. Основным шагом здесь будет
рассмотрение р (q) (для авторегрессии порядка q). Мы видим, что
где для удобства мы обозначили через | Cg' q) \ минор матрицы Cq,
дополнительный к элементу в i-й строке и q-м столбце, вместо исполь-
использованного ранее обозначения det (Cg' q)).
Тогда легко видеть, что р (q) равно (—l)q+1 \ Cf+Ui) |/det (Cq),
и в соответствии с соотношением D.2) гл. I мы полагаем
где в правой части стоит оценка коэффициента автокорреляции
между х (п) и х (п — q) после устранения посредством регрессии
величин х (п — 1), . . ., х (п — q + 1). Дисперсия величины
У N (р (q) — р (q)) равна a2 det (r^/det (Tq). При нулевой гипо-
гипотезе, что процесс авторегрессионный порядка q — 1, это равно
единице. Таким образом, для проверки гипотезы о том, что поря-
порядок авторегрессии равен (q — 1), мы можем использовать y~N p (q)
как нормальную величину с параметрами @, 1). С точки зрения
классического анализа наименьших квадратов было бы естественно
использовать статистику
которая, очевидно, имеет то же самое предельное распределение.
Эта процедура почти наверняка более предпочтительна, как мы

2. Статистические выводы. Асимптотическая теория
365
увидим позже, когда будем исследовать точное выборочное рас-
распределение р (при малом q), однако это видно также из следующих
соображений. Если мы применяем статистику Y~Np (q\ 1, . . ., g—1),
то мы используем некоторую оценку (а именно, 1) для ее дисперсии
при нулевой гипотезе. Если, однако, нулевая гипотеза не верна,
то дисперсия величины р (q) = — р (q | 1, . . ., q — 1) будет меньше;
в самом деле, асимптотически она равна
iV^a2 det (IVO/det (Г,) - {N'1 det (Tq+1) det (iy^/{det (Гд)}2.
Но мы знаем из теоремы 6 гл. I, что
а из соотношения D.3) гл. I получаем
_______,
откуда
{ | )
На самом деле, как мы позже увидим, предпочтительнее исполь-
использовать статистику
как ? Стьюдента с (N — q) степенями свободы. Далее мы предло-
предложим ряд других аппроксимаций. Введение множителя в знамена-
знаменатель будет приводить к возрастанию значения статистики критерия,
даже если нулевая гипотеза верна, и с этим связано использование
/-распределения Стьюдента. В то же время мощность критерия воз-
возрастает, поскольку при альтернативной гипотезе знаменатель может
быть существенно меньшим.
Интересно выписать нашу формулу для р (# | 1, . . ., q — 1) при
малых q. Имеем
= 2, pB|l)=|C<3.D|/det(C2) = -
1) 1 r{\)
г B) r(l) 1
rC) г B) r(l)
= 3, рC|1,2) =
1 гA) г B)
7-B) r(l) 1

366 Гл. VI. Статистические выводы для рациональных спектров
(с) Но : авторегрессия порядка q.
Hi: авторегрессия порядка q -f s
В пункте (b) мы рассмотрели случай s = I. Теперь нас интере-
интересует общий критерий для проверки пригодности модели авторегрес-
авторегрессии порядка q, т. е. «критерий согласия». В такой ситуации s долж-
должно быть велико, вероятно много больше, чем q. В классической
теории регрессии мы рассматриваем q -f- s «переменных регрессий»
Xi, x2, . . ., xq, . . ., xq+s и для проверки того, что последние s
из них не влияют на зависимую переменную, образуем величину
\ р>2 остаточная сумма квадратов после регрессии на х^ ...,xq+s
~~ остаточная сумма квадратов после регрессии на х1у ..., xq
Аналогом этой статистики в нашем случае является о\+&1'о\, так что
введем величину
1 КЦа\ с\а)~
1 H(q+ s\ q) -
Эта величина безразмерна и может быть выражена через г(п). По ана-
аналогии с классической ситуацией мы приходим к статистике
R*(q + s\q) N-q-s
l< -= ^\^ЛЧ
Мы предоставляем читателю доказать, что распределение
NR2 (q + s | q) при iV ->¦ оо сходится к хи-квадрат распределению
с s степенями свободы, так что
сходится к единице с вероятностью 1. Чтобы это сделать, можно
представить R2 (q -\- s \ q) как квадратичную форму от р (q + 1), ...
. . ., Р (q -\- s), матрица которой с вероятностью 1 сходится к обрат-
обратной матрице ковариаций этих величин. Это асимптотически обосно-
обосновывает B.11); однако представляется вероятным, и мы подтвердим
это дальнейшими исследованиями, что лучше, как было рекомен-
рекомендовано, рассматривать эту статистику как Fs, N-q-s-
Другой способ проверки рассматриваемой гипотезы был разра-
разработан Кену ем [1947]; Уиттл [1951] указал на его связь с рассматри-
рассматриваемым критерием. Так как

2. Статистические выводы. Асимптотическая теория 367
(см. теорему 6 гл. I), то если Но верна 1), приближенно получаем
12, ..., q)}\ «
1,2, ..., q),
1
где мы пренебрегли произведениями, вклад которых сходится по
вероятности к нулю при Но. Последнее выражение по существу
совпадает со^ статистикой Кенуя, которая, однако, вычисляется
следующим образом. Находим
где сумма берется по тем значениям /, O^7^S(Z> Ддя которых u — j
также лежит в этом диапазоне. Затем находим
J
о
Тогда при гипотезе Но распределение величины
q+s
V г/2
стремится при Л^ —>¦ сх» к хи-квадрат распределению с 5 степенями
свободы. Мы не будем приводить здесь подробное обоснование этого
критерия 2). Заинтересованный читатель может обратиться к кни-
книгам Гренандера и Розенблатта [1957], стр. 106, или Хеннана [1960],
стр. 116. Этот критерий легко реализуется, если авторегрессия
g-го порядка уже построена, ибо нам нужно лишь найти аи и с их
помощью образовать скользящее среднее для г (п). Изменение зна-
значения s требует лишь незначительных дополнительных вычислений.
В настоящее время, однако, реализация B.11) в любом случае потре-
потребует меньших вычислений и, по-видимому, нет никаких серьезных
х) В следующем выражении р (q + / | 1, 2, . . ., q) обозначает частный
коэффициент автокорреляции между х (п) и х (п — q — /) после исключения
из этих величин линейных эффектов q промежуточных неременных х (т), где
т пробегает q значений, ближайших соответственно к п и к п -р q — j.
2) Некоторое его обобщение для р >> 1, включающее случай р = 1, обсуж-
обсуждается в § 6. Подробное рассмотрение показывает, что мощность этого критерия
может быть ниже мощности критерия B.11), так как оценка для а2, основанная
на остаточных суммах для авторегрессии порядка q, может быть слишком завы-
завышена, если нулевая гипотеза не верна.

368 Гл. VI. Статистические выводы для рациональных спектров
оснований для использования критерия Кенуя вместо критерия,
основанного на B.11) 1)).
(П) Случай, когда р > 1. Теперь р соответствует матрице
В'B)
- B'{q) „
B.12)
согласно правилу, установленному в § 3. гл. IV (см. C.10) и далее).
Эта оценка аналогична той, которую мы получили бы, если бы
оценивали матрицу В (определенную аналогично в терминах В (/)) по
методу наименьших квадратов, рассматривая регрессию каждой из
последовательностей xj (п), п = 1, 2, . . ., N, на pq последователь-
последовательностей Xj (п — и). Как и в случае р = 1, аналогия является непол-
неполной, поскольку в настоящей процедуре используются произведения,
отсутствующие в среднеквадратичной регрессии, и сумма квадратов
и произведений для pq векторов регрессии будет иметь одинаковые
значения вдоль любой диагонали. Из теоремы 1 следует, что здесь
также полностью применима соответствующим образом модифици-
модифицированная и упрощенная классическая теория регрессии. Следует
также отметить, что решение уравнений B.5) является не столь
трудной задачей, как это может показаться на первый взгляд;
каждую строку соотношения
Q
х(п)= —^jB(u)x(n — u) + & {п)
1
фактически можно рассматривать отдельно, поскольку коэффициен-
коэффициенты для ?-й строки, расположенные в столбец сначала по возраста-
возрастанию и, а затем по номеру столбца, имеют вид
где yi — вектор с компонентой у^ (и) в строке с номером
{(и — 1) р + к}. Соответственно столбец оценок равен
где Ci — вектор с компонентой cik (и) в строке с номером ((и — 1) р +
+ к). Другими словами, мы находим регрессию вектора из N — q
компонент хг (п), п = q + 1, . . ., TV, на pq векторов с компонен-
компонентами Xj (п — и), п = q + 1, . . ., N, соответствующих значениям
у = 1,...,/?, и = 1, . . ., q, однако используем все подходящие
произведения, чтобы упростить вид регрессии.
г) Это в какой-то мере опровергает мнение, высказанной автором ранее
в работе [1960], стр. 117. В вычислительном отношении ситуация сильно пере-
переменилась.

2. Статистические выводы. Асимптотическая теория
369
Теперь, следуя хорошо известным правилам, можно реализо-
реализовать стандартные критерии и доверительные процедуры. В качестве
иллюстрации рассмотрим сначала критерий для проверки гипотезы
о том, что все В (и), и = 1, . . ., q, равны нулю. Это будет крите-
критерий для нулевой гипотезы, что х (п) сериально независимы, против
гипотезы, что х (п) порождается авторегрессией порядка не выше q.
Естественно использовать статистику
Л (Лг, р, pq) =
&et{C@)
det{C(O)}
где В было определено выше соотношением B.12). Если бы мы имели
дело с классической регрессией р векторов из N наблюдений на pq
других векторов, где первые р векторов гауссовы и независимы
во времени, то статистика Л при нулевой гипотезе (отсутствие зави-
зависимости) имела бы распределение, которое хорошо изучено и доста-
достаточно подробно затабулировано *). Подробности читатель может
найти в книге Т. Андерсона [1958]. Хорошее приближение получается,
когда
ogA B.13)
рассматривается как хи-квадрат с p2q степенями свободы. Мы обосну-
обоснуем здесь использование этого приближения в смысле, который будет
уточнен.
Заметим, что
так как
У В (и) С (и) = В'
С B)
Таким образом,
A (N, p, pq) ==
det (Gg)
det{Gq + (C @)-Gq)}
= -B'CgB.
det (Gg)
Далее,
- dл
G~ ulB'CqBQ-
i/2
BG-i/2)
N{(Ill + Gq1"iB'CqBG-'/')-(Ip + Gl <~BTqBG-i/z)} =
N {(GqU2 -G-i/2) B'CqBG~i/2 + G~l/2B' (Cq-Tq) BGqin
Оставшаяся часть этого параграфа тесно связана с § 6 гл. V.

370 Гл. VI. Статистические выводы для рациональных спектров
и при гипотезе В = 0 это сходится по вероятности к нулевой матрице,
так как Ni/2B асимптотически нормальна и, например, Ggi/2— G~1/2
сходится к нулю с вероятностью 1; но
что асимптотически распределено как хи-квадрат с p2q степенями
свободы. Однако
-#1пЛ(ЛГ, р, рд) = ЛГ1пПA + г|),
где г\ — собственные значения G~ 2BfCqBG~], которые, очевидно,
сходятся к нулю почти наверное. Поскольку, как мы видели, N^\r\
есть хи-квадрат с p2q степенями свободы и
N 2 r$<N 2 In (I + rl)<N 2 ^ + ^ S г! In A + rf),
то средний член при больших JV тоже распределен как хи-квадрат
с p2q степенями свободы; в самом деле, N^r\ In (I -f rf) сходится
по вероятности к нулю, потому что каждый In (I -\- г?) сходится
почти наверное к нулю. Можно предположить, что способ исполь-
использования B.13), указанный после этого соотношения, предпочтитель-
предпочтительнее использования N^r\, однако приходится довольствоваться тем,
что это подтверждается только рассмотрением (которое мы дадим
ниже) случаев, когда р = 1 и q мало.
Более интересен критерий для проверки гипотезы В (q) = 0.
Здесь мы полагаем
A(iY-(g-l)p, p,p)= /У\ . B.14)
det (Gq_i)
Доказательство того, что при N ->¦ сх» распределение статистики
- {N-p(q-l)}lnA
сходится к хи-квадрат распределению с р2 степенями свободы, совер-
совершенно аналогично предыдущему, и поэтому опускается.
Вообще, можно рассмотреть
det (Qqi)
и использовать
{ } n Л, gi
как хи-квадрат с p2q2 степенями свободы для проверки нулевой
гипотезы, что х (п) порождается авторегрессией порядка q{, против
альтернативы, что порядок равен q>q\. Такие процедуры исполь-
использовались, по-видимому, очень мало (хотя тесно связанные с ними
процедуры широко применялись в экономике).

3. Статистические выводы. Некоторые точные результаты 371
Все результаты этого параграфа неудовлетворительны в том
отношении, что они носят асимптотический характер и не сопро-
сопровождаются никакими указаниями о размере выборки, необходимом
для хорошей аппроксимации. Как уже говорилось, далее будут
получены некоторые более точные результаты в предположении
гауссовости; затем мы рассмотрим также некоторые выборочные
эксперименты (и теоретические результаты) для негауссовских дан-
данных, которые показывают, что предложенные здесь аппроксимации
будут весьма точными при достаточно большом (например, больше
50) эффективном числе наблюдений (которое равно коэффициенту
при —log Л) и что в случае, когда р и q малы, удовлетворительная
точность достигается при гораздо меньших значениях (скажем,
до 20). Разумеется, эти результаты носят эмпирический характер.
Мы не рассматривали в явном виде доверительные процедуры
для элементов 5, так как они достаточно очевидны и в то же время
трудно интерпретируемы из-за высоких размерностей. Здесь могут
быть использованы процедуры классической теории множественной
регрессии (см., например, Т. Андерсон [1958], стр. 288—290), модифи-
модифицированные с учетом более простого характера настоящей ситуации,
как мы уже неоднократно подчеркивали. Для иллюстрации рас-
рассмотрим доверительную область для В (q).
Если при вычислении det (Gq) в B.14) мы заменим В (q) на
{В (q) — В (q)}, то распределение получающейся при этом стати-
статистики Aq будет совпадать с указанным распределением для Л, так
как в конечном счете оно сведется к распределению случайной вели-
величины, которая равна произведению N на квадратичную форму от
элементов {В (q) — В (д)}, причем матрица этой формы равна обрат-
обратной от (оцененной) матрицы ковариаций В (q). Таким образом, если
найти % (а) из соотношения
Р {- (N -p(q- 1)) log Л, < х (а)} = 1 - а,
то область, задаваемая неравенством в скобках, определит довери-
доверительную область для В (q) с коэффициентом A — а).
3. СТАТИСТИЧЕСКИЕ ВЫВОДЫ ДЛЯ АВТОРЕ! РЕССИОШ1ЫХ МОДЕЛЕЙ.
НЕКОТОРЫЕ ТОЧНЫЕ РЕЗУЛЬТАТЫ
В этом параграфе мы дадим обзор некоторых результатов, полу-
полученных в предположении гауссовости и относящихся к распределе-
распределениям тех коэффициентов автокорреляции или частной автокорреля-
автокорреляции, на основе которых делаются статистические выводы для авто-
авторегрессионных моделей. Мы рассмотрим в основном случай р = 1,
так как большинство известных результатов относится к этому
случаю. В. конечном счете получение любого нужного распределения
с любой заданной точностью требует лишь достаточной энергии
и применения вычислительных машин. Фактически число затабули-

372 Гл. VI. Статистические выводы для рациональных спектров
рованных распределений относительно невелико, и большая часть
обсуждаемых далее результатов получена более 10 лет тому назад х).
Это частично отражает тот факт, что основное внимание с тех пор
переместилось на спектральные методы, однако объясняется еще
и тем, что эти точные результаты на самом деле не вполне точны,
ибо предположение о гауссовости выполняется обычно не точно
и начиная с какого-то момента слишком точный расчет нужного
распределения теряет смысл. Как мы уже говорили, сейчас наблю-
наблюдается некоторый возврат к параметрическим моделям, который,
возможно, приведет в будущем к дальнейшему развитию теории
точных распределений, в особенности для случая р>1.
Рассмотрим сначала случай р = 1 и начнем обсуждение этого
случая с распределения г (I) в предположении, что х (п) — нор-
нормальные одинаково распределенные величины с параметрами (jli, a2).
По существу первый вывод точного распределения статистики такого
рода принадлежит фон Нейману [1941], который рассмотрел
N-
(tf-l)-l 2 {*(д + 1)-*(Л)}2
1б2
1
(В этом параграфе N фиксировано, и мы не нуждаемся в каких-либо
индексах, указывающих на число наблюдений, по которым вычис-
вычисляется х.) Это выражение называется иногда отношением фон Ней-
Неймана. Оно, конечно, близко к 2 A — г A)), причем различие обус-
обусловлено лишь коэффициентами при крайних членах. Как видно
из выражения для функции правдоподобия при q = 1, приведен-
приведенного в § 2, достаточными статистиками в простом марковском слу-
случае являются
N-l 2V-1 N-1
>1 х{п)\ 2 x(n+l)x(n), x(l)* + x(NJ, 2*(га), x(l)+x(N),
2 1 2
так что в такой простой марковской модели выбор статистики, даже
для проверки гипотезы р = 0, неизбежно будет неоднозначным.
(Более подробное обсуждение этого вопроса см. в работе Т. Андер-
Андерсона [1948].) Несколько позже Р. Андерсон [1942] рассмотрел круго-
круговой коэффициент автокорреляции
N-1
У] \(x(n)-x)(x(n + l)-x)} + {x(N)-~xl {х([)-х\
Г A) - ~ N '
1) Отметим, в частности, в дополнение к ссылкам, приводимым далее, сле-
следующие работы: Даниэле [1956], Диксон [1944], Дженкинс [1954а], Купменс
[1942], Лейпник [1947], Мэдоу [1945] и Рубин [1945].

3. Статистические выводы. Некоторые точные результаты
373
Его можно записать в виде
x'PWPx
х'Рх
C.1)
где / — единичная матрица порядка N, 1 есть TV-мерный вектор,
все компоненты которого равны единице, a W — циркулянтная
матрица, элементы которой равны 1/2 на двух диагоналях, сосед-
соседних с главной, а также в правом верхнем и левом нижнем углах,
а на остальных местах равны нулю. Если U — основной циркулянт
0
0
0
0
1
1
0
0
0
0
0
1
0
0
0
0 ...
0 ...
1...
0...
0...
0
0
0
1
0
то W = V2 (U + U') = г/2 (U + и~г). В общем случае можно рас-
рассмотреть г = {xrPAPx}/xfPx — u/v, где А невырожденна и сим-
симметрична, а Р идемпотентна и симметрична, поскольку все три упо-
упомянутые статистики имеют такой вид. Первый относящийся сюда
результат — это
Теорема 2. Пусть г = x'PAPxIx'Px = u/v, где х — вектор
с компонентами х (п), которые являются независимыми гауссов-
скими случайными величинами с нулевыми средними и единичными
дисперсиями, матрица А симметрична, а Р симметрична и идем-
идемпотентна. Тогда случайная величина г независима по отношению
к х'Рх, В частности, Е (гт) = Е (ит)/Е (vm).
Впервые это было замечено, по-видимому, Э. Питменом. Доказа-
Доказательство весьма просто, так как мы можем привести г ортогональ-
ортогональным преобразованием к виду Sm^I/S^j, где ^-—собственные зна-
значения РАР, а количество слагаемых в каждой сумме равно рангу Р.
Вводя полярные координаты, мы видим, что это отношение зависит
только от полярных углов, а знаменатель равен длине вектора
с компонентами |7-, которая не зависит от полярных углов. В част-
частности,
Е {гтит} - Е (ит) = Е (гш) Е (ит),
т. е.
w

374
Гл. VI. Статистические выводы для рациональных спектров
Для иллюстрации рассмотрим г A). Тогда Р имеет вид C.1) и
0 1 0 ... 0]
1 0 1 ... О
А =
N
J_
N — 1 2
О 1 0 ... О
О 0 0 ... О 1
О 0 0 ... 1 О
Следовательно,
Тг {РАР) __ Тг(РЛ)
Tr(P)
N—l
N — 1
2(N—1J
—1)= — 7v —1
Отсюда
Таким образом, дисперсия величины {г A) + II(N — 1)} с точностью
до N~2 совпадает с дисперсией обычного коэффициента корреляции
с центрированием для Л^ + 2 пар наблюдений. Собственные значе-
значения А равны {N/(N — 1)} cos (nj/(N + 1)), / = 1, 2, . . ., N (мы
оставляем это читателю в качестве упражнения). Они, конечно,
не совпадают с собственными значениями РАР, но этот результат
показывает, что хотя пределы, в которых изменяется г A), не равны
±1» как для обычного коэффициента корреляции, они все же близки
к правильным, если N не очень мало. Таким образом, используя
г A) + (N — I) как обычный коэффициент корреляции для N + 2
пар наблюдений, мы должны получить хорошую аппроксимацию,
если N не очень мало х). Мы обсудим подобные аппроксимации ниже.
Ситуация упрощается, когда А = W и Р = I — N~4 ~1', ибо 1
теперь является собственным вектором W, отвечающим единичному
собственному значению, а другие собственные значения равны
cos Bnj/N), / = 1, . . ., iV — 1. Таким образом, 7 A) меняется
в пределах cos Bn/N) и —1 (при четном N) или —cos (nlN) (при
нечетном N). Так же как выше, мы можем найти его среднее и дис-
х) Здесь (и далее) автор имеет в виду использование распределения обычного
коэффициента корреляции в качестве приближения к распределению рассма-
рассматриваемой статистики.— Прим. перев.

3. Сin атлетические выводы. Некоторые точные результаты
375
Персию, которые равны соответственно —(N — I) и
(N2 - 3N)/{(N + 1) (N - IJ} = (N + 2) + О (TV).
Это наводит на мысль использовать г A) + (iV+ 2) как обычный
коэффициент корреляции для (N + 3) пар наблюдений. Практически
в этом нет нужды, поскольку точки значимости для истинного рас-
распределения при небольших N затабулированы в работе Р. Андерсона
[1942], и мы упомянули об этом только для того, чтобы подготовить
почву для приближенных процедур, предлагаемых далее. На самом
деле сравнение приближенных и истинных точек значимости пока-
показывает, что аппроксимация является очень точной при N ^ 20.
То же самое относится и к отношению фон Неймана, среднее которого
равно 2, а стандартное отклонение 4 (N — 2)/(N2 — 1). Если поло-
положить г= A —2~82/s2j ' то можно использовать эту статистику как
коэффициент корреляции для (N + 3) пар наблюдений, ибо ее дис-
дисперсия равна (N + 2) + О (TV). Точки значимости для точного
распределения также известны, и мы просто предлагаем некоторый
довод в пользу приближенных процедур. Для этого случая мы при-
приводим таблицу 1.
Таблица 1
Сравнение истинных и приближенных точек значимости
для r=(l-y
N
4
5
6
7
8
9
10
15
20
V
Истинные
0,610
0,590
0,555
С, 532
0,509
0,488
0,469
0,397
0,350
= 0,05
Приближенные
0,669
0,622
0,582
0,549
0,521
0,497
0,476
0,400
0,352
р
Истинные
0,687
0,731
0,719
0,693
0,669
0,646
0,624
0,539
0,480
= 0,01
Приближенные
0,833
0,789
0,750
0,716
0,685
0,658
0,634
0,543
0,482
Очевидно, что эта аппроксимация также является очень точной
при N ^ 20 (на самом деле трудно вообразить ситуацию, в которой
она была бы неудовлетворительной при TV ^ 10). Для многих целей
Достаточно использовать г A) + (N — I) как коэффициент корре-
корреляции для (N + 2) пар наблюдений.

376 Гл. VI. Статистические выводы для рациональных спектров
Выведем теперь распределение величины г (I), по-прежнему
предполагая, что х (п) независимы. Фактически мы рассмотрим сов-
совместное распределение величин г (/), у" = 1, . . ., q, где
Такой выбор г (j) мотивируется тем, что матрицы Wj коммутируют
и близки к матрицам, фигурирующим в числителях г (j). Кроме того,
в ряде важных случаев Р будет проектором на ортогональное допол-
дополнение подпространства, порождаемого некоторыми собственными
векторами всех матриц Wj. Эти векторы имеют на 1-м месте компо-
компоненту cos Bnkl/N) или sin Bnkl/N), причем собственное значение
в обоих случаях равно cos Bnkj/N) (для Wj). Таким образом, если
к пробегает значения от 0 до IV27V], то мы получаем N векторов,
на которые мы проектируем, если хотим подобрать конечный ряд
Фурье по N точкам. Следовательно, если мы обрываем ряд Фурье
на частоте 2nKIN и если Р проектирует на ортогональное дополне-
дополнение подпространства, порождаемого первыми 2К -\- 1 собственными
векторами, то мы должны исключить cos Bnkj/N), k = 0, 1, . . ., К,
из списка возможных собственных значений для PWjP; остаются
собственные значения cos Bnkj/N), k = К -j- 1, . . ., [7V/2], причем
каждое из них повторяется дважды, за исключением того, которое
отвечает k = -^-N при четном N. Так как матрицы PWjP, ] = I, . . . ,q,
и Р коммутируют (если Р такова, как было описано выше, что мы
и предположим), то они могут быть одновременно приведены к диаго-
диагональному виду ортогональным преобразованием. Сложим попарно
квадраты нормальных величин, коэффициенты при которых равны
cos Bnkj/N) Bnk/N фп); поскольку г (j) не меняется при измене-
изменении масштаба и переносе начала координат, мы можем предполо-
предположить, что получившаяся случайная величина имеет плотность
ехр (—х), х ^ 0 (гамма-1 распределение). Если N четно, то мы будем
иметь еще одну величину с плотностью п~1/2х~12 ехр (—х) (т. е.
гамма-1/2 распределение). Поэтому мы можем написать
м
г (У) = -^4 , 7 = 1, ..-,?, C.2)
где X (к, ]) = cos {2л (К + к) j/N}, к = 1, . . ., МЛ @, /) = (-l)i
для четного N и X @, /) = 0 Ддя нечетного N, wk имеют гамма-1
распределение, a w0 — гамма-1/2 распределение. Если N четно, то
N = 2М + 2К + 2, в противном случае N = 2М + 2К + 1. Слу-
Случай, когда К > 0 и q = 1, был подробно рассмотрен в работе
Р. и Т. Андерсонов [1950], где затабулированы 5%- и 1%-е точки

3. Статистические вывооы. Некоторые точные результаты 377
значимости для значений К, соответствующих задачам оценивания
сезонных вариаций. Имеет место следующая теорема (Ватсон [1956]):
Теорема 3. Если wk в C.2) — независимые гаммаЛ величины,
Wo — гамма-1/2 величина, не зависящая от wk, и г (j) определены
соотношением C.2), то плотность совместного распределения вели-
величин г (j), 7 = 1, . . ., q, дается соотношением C.6) (с учетом всех
замечаний, сделанных ниже этого соотношения). В частности, если
r(]) — x'PWjPx/x'Px, где х удовлетворяет условиям теоремы 2, Wj =
= — (U3 -f- U~J), a P — проектор на ортогональное дополнение под-
подпространства, порождаемого 2К -)- 1 векторами, соответствующими
регрессии х (п) на cos 2nknlN, k = 0, . . ., К, sin 2nknlN, k —
= 1, . . ., К, то соотношение C.6), где т X (k, j) =
= cos {2л (К + к) j/N}, к = 1, . . ., М; X @, /) = (—1); при четном
М, X @, j) = 0 при нечетном М и N = 2М + 2К + 2 при четном
N, N = 2М + 2К + 1 при нечетном N, дает совместную плотность
распределения для г (j).
Доказательство. Удобно положить s (j) = r (/) —
— X @, /) = ujiv и найти сначала совместную характеристическую
функцию величин Uj и и. Она равна
сю ос д
а () 1
м
X ехр ( — 2 ^
1 ~~ О
причем множитель в квадратных скобках появляется лишь в случае
четного N. Это выражение равно (см. Рао [1965], стр. 148)
Л/ q
[II t1"^^ 9Л?1(А:' Л-^(°» 7)}-^) Х] A —ii|>)/2f
где последний множитель также включается лишь в случае четного
N (мы не будем далее повторять эту оговорку). Это равно
М а
C.3)
Заметим, что любой минор порядка д+1 лгатрицы
[1 : Я (Л, у)]
из М строк и q + 1 столбцов, у которой первый столбец состоит
из единиц, а в k-й строке и (/ + 1)"м столбце находится к (к, j),

378 Гл. VI. Статистические выводы для рациональных спектров
не равен нулю для всех, за исключением конечного числа, значений
-ф. В самом деле, достаточно доказать это для [1 • К (k, j) —К @, /)]
или, что равносильно, для [1 • X (к, j)]. Если бы для последней
матрицы это утверждение было неверно, то мы могли бы найти
(q -j- 1) постоянных а^, таких, что
q
о
где все ки различны. Это, однако, невозможно, так как отсюда выте-
вытекало бы, что тригонометрический многочлен 2aj cos ®j степени q
равен нулю для (q + 1) значений 2nkjN в интервале @, я], что
возможно лишь при clj = 0. Таким образом, не более q из М множи-
множителей в произведении C.3) могут одновременно обращаться в нуль
(исключая отдельные значения -ф), и мы можем разложить это про-
произведение в сумму дробей, образованных всевозможными наборами
из q сомножителей, а именно
^ 2S2 с{кик1 hq)
Умножим обе части этого соотношения на один из знаменателей пра-
правой части и приравняем 67- тем значениям, которые обращают все
множители этого знаменателя в нуль, т. е.
где Э имеет требуемое значение на к-м месте. Тогда
с(ки ..., kq)= П {1 + 1' [X.(Лв, У)! ^
hki, ..., kq
где 1 (к) — вектор с компонентой Я (к, j) на j-м месте. Легко под-
подсчитать, что это равно х)
I ) (к i) \M~Q
I /v \Ки, J) I
С(ки ..., kg) = -
IT _..
i kq 1 ; X (ки, j)
Это выражение, очевидно, не изменится, если %(к, j) заменить
на 1(А:, ]) = Х(к, j) — А, @, j); таким образом, получаем
V V с (fei» • • •» fe«)
г) В этом параграфе удобно ввести обозначение | a,jt k | для определителя
матрицы [ah k].

3. Статистические выводы. Некоторые точные результаты
379
Мы можем теперь почленно найти обратное преобразование Фурье.
Типичный член этой суммы (если заменить числитель на единицу)
равен, очевидно, совместной характеристической функции величин
я
uj= 2 M&u, ])Уи, м=1, . . ., q,
4
C-4)
где уи имеет гамма-1, а г; — гамма-(М — q — V2) распределение, что
соответствует плотности
1 \' Л/Г „ 1 /„
(Здесь и далее мы используем факториальные обозначения для гамма-
функции во избежание путаницы с нашими обозначениями для сери-
сериальных ковариаций.) Таким образом, типичный член суммы после
обратного преобразования Фурье дает вклад, который получается
из плотности величин уи, и = О, . . ., q, посредством линейного
преобразования C.4):
(kk Л)X(ku, 7I,
где sgn(x) — знак х. Согласно C.4),
где и — вектор с компонентой Uj на j-u месте. Это равно
v \ и'
1
Таким образом, вклад типичного члена суммы в совместную плот-
плотность равен
sgn | X (
ки, /) |
Л 11/2
«-»
(M — q — 1-l
2I
у : и
Г j х
П
, *2, • •
1
(*и,
/)
1
г
М-?-1/2
i X' (ft)
Переходя от переменных и;- и у к переменным 5(;), у = 1,
и интегрируя по г; от 0 до оо, получаем вклад
(Л/-!/2)!
(M-g-i/г)!
sgn | Г(*
1 Я, (*а,
П 11/2
1 j S'
Г j X
П
1, ft2
i)
л.
г
М-5-1/2
¦; у (к)
/)
C.5)

380
Гл. VI. Статистические выводы для рациональных спектров
где s — вектор с компонентами s (/). (Якобиан этого преобразования
равен uq и интеграл от ехр (—г;) Vм-1'2 равен (М— V2)!.) Разумеется,
мы считаем, что C.5) равно нулю, если компоненты вектора s выхо-
выходят из области допустимых значений. Теперь мы можем перейти
к исходным случайным величинам г (/) и исходным коэффициентам
^ (ku, ]), в результате чего получаем совместную плотность в виде
2---S
j)
M-g-1/2
TT
, . . ., kq
1 1
sgn
1
X
1
Г
1 x
! x
X'@)
X(ku
@)'
(Kc, j)
j)
C.6)
Здесь /-я компонента вектора г равна г (/). Последний множитель
в знаменателе появляется лишь в случае четного 7V; в этом случае
показатель для первого множителя в числителе должен быть также
уменьшен на V2, а (М — 1!2)U (М — q — V2)! должны быть замене-
заменены на (М — 1)!, (М — q — 1)!. Область /?, в которой изменяются
&!, /с2, . . ., kq, состоит из наборов /сь к2, . . ., kq, для которых s (/)
являются возможными значениями выражений
т. е. из всех наборов ки к2, . . ., fcq, для которых s (j) лежат в наи-
наименьшем выпуклом многограннике с вершинами @, 0, . . ., 0),
1), ...Д(&1?
, 1), ...
Иначе говоря, мы включаем в R все (ки к2,
kq), ДЛЯ КОТОРЫХ
г A), . . ., г (q) лежат в наименьшем выпуклом многограннике
с вершинами (X @, 1), . . ., X @, ?)), (X (ки 1), . . ., X {ки ?)), . . .
. . ., (X (kq, 1), . . ., X (kq, q)). Таким образом, совместное распреде-
распределение г (j), j = 1, . . ., q, найдено, и доказательство теоремы 3
завершено.
Именно это распределение для q = 1 и К = 0 затабулировано
в работе Р. Андерсона [1942], а для q = 1 и нескольких избранных
значений К — в работе Р. и Т. Андерсонов [1950]. Само по себе оно
не представляет большого интереса, за исключением частного слу-
случая q = 1, так как вряд ли кому-либо может понадобиться распреде-
распределение г B) или {г B) — г AJ}/{1 — г (IJ} в ситуации, когда нуле-
нулевой является гипотеза о независимости х (п). То, что действительно
нужно при q > 1 — это распределения, основанные на авторегрес-
авторегрессионной модели порядка q (или q — 1) для х (п). Однако, если пред-

3. Статистические выводы. Некоторые точные результаты
381
положение о независимости не выполняется, то задача сильно услож-
усложняется, так как теперь матрица в показателе экспоненты функции
правдоподобия для х (п) не будет коммутировать ни с Wj, ни с любы-
любыми другими разумно выбранными Aj (т. е. с такими, которые разум-
разумно использовать для определения автокорреляций). Это привело
исследователей к введению фиктивного предположения о циркуляр-
но коррелированном процессе. Предполагается, что х (п) = х (п -(- N)
для п = 0, 1, 2, . . ., N — 1, так что фактически процесс определен
на множестве целых чисел, приведенных по модулю N. Предпола-
Предполагается также, что х (п) стационарен в том смысле, что Е (х (т) х (п)) =
= у (п — т), где все числа приведены по модулю N. Так, если
N = 20, то Е (х(— 5) х E4)) - у A9). Тогда матрица ТЛ, с*у (п— т)
в 7П-Й строке и п-м столбце является циркулянтной; например, при
N = 5 мы имеем матрицу
Т@)
ТB) 7C) у D)
ТC) fD) 7@) уA) fB)
7B) 7C) 7D) 7@) f(l)
LtA) 7B) 7C) 7D) 7@)
Поэтому она может быть записана в виде
где U — основной циркулянт, определенный выше. Так как, оче-
очевидно, y(N — j) — y(j), то теперь в качестве нулевой гипотезы
уместно рассматривать случай, когда
г* = S y(i)W].
Каким образом следует выбирать 7 (/)? Мы можем ответить на этот
вопрос, рассматривая обратную от ковариационной матрицы I\v
для 7V наблюдений в случае авторегрессии порядка q. Мы предостав-
предоставляем читателю доказать, в качестве одного из упражнений к этой
главе, что при N > q матрица, обратная к Гх, на пересечении у-й
диагонали выше главной и k-ii строки имеет элемент (в случае а2 — 1)
2 Р (и) Р (» + /). 0<
и
0,

382 Гл. VI. Статистические выводы для рациональных спектров
где суммирование производится по и от 0 до min(fc — I, q — /,
N — k— j). Эта матрица, конечно, симметрична относительно глав-
главной диагонали. Сказанное наводит на мысль положить
-б_;, C.7)
-q О
Заметим, что 8q = fiq и если Р5 = 0, то б^_! = P^-i, и т. д. Кроме того,
Гдг положительно определенна, так как собственные значения
Т]} равны
я I 9
-g О
2лА:
Пригодность такой аппроксимации мы обсудим позже. Функция
правдоподобия равна теперь
| f Г1/
fv Г1/2 ехр ( -\ 2 S^W^) , C.8)
так что статистики x'WjX достаточны для бу, / = 0, . . ., q.
Соответственно функция правдоподобия для x'PWjPx, j =
= 0, . . ., g, где Р определено выше, равна
--L 2 6,x'PWjPx) ,
где Гд это матрица ГЛг, рассматриваемая как матрица преобразо-
преобразования на области значений оператора проектирования Р. В самом
деле, Рх имеет матрицу ковариаций 2 SjPWjP и Р2 = Р, так что
выражение для показателя экспоненты верно; с другой стороны, Р
коммутирует с ГЛ-, так что PTNP = Гу, где Тх определена выше.
Так-им образом, собственные значения Тх равны
S djei^k, к =-= А" -г 1, . . ., К + М,
причем каждое повторяется дважды, кроме того, которое соответ-
соответствует oo/t = л в случае четного iV.
Теорем а 4. Если х (п), п = 1, .... N,— цирку лярно корре-
коррелированные величины с матрицей ковариаций, задаваемой соотношр-
нием C.7), то совместная плотность величии г (/) = x'PW$Рх!х'Рх,
где Р удовлетворяет условиям теоремы 3, получается из C.6) умно-

3. Статистические выводы. Некоторые точные результаты 383
жением на
К+М q q
B ) Y, fS^i-M-MSVO-)}-^2, C.9)
-q K-fl -q О
где в случае нечетного N следует опустить первый множитель, а так-
также — х/2 в показателе последнего множителя.
Доказательство. Чтобы получить совместную плотность
статистик x'PWjPx, / = 0, . . ., q, следует добавить множитель
| ГЛ- Г1/2ехр ( —i- {(б0- 1) х'Рх+ 2 dj
1
к плотности, которая была найдена для случая 67- = 0, / = 1, . . ., д.
При интегрировании по v мы должны заменить ехр (—и) в выраже-
выражении, предшествующем C.5), на
Из-за этого появляется множитель C.9), произведение которого
на C.6) дает совместную плотность в случае, когда исходной плотно-
плотностью является C.8), и теорема доказана.
Само по себе распределение C.6) может быть полезно лишь в очень
специальных случаях, так как, не говоря уже о сложности формулы,
циркулярная зависимость является неприемлемой фикцией. Это,
конечно, не относится к случаю q = 1, ибо в этом случае можно рас-
рассматривать распределение г A) при нулевой гипотезе независимости.
Теперь мы изучим характер аппроксимации распределения x'PWjPx,
которая дается распределением, полученным в предположении, что
исходной плотностью является C.8), тогда как истинная плотность
определяется соответствующей авторегрессией. С этой целью мы
оценим две характеристические функции, используя каждый раз
тильду для обозначения циркулярного случая. Ограничимся слу-
случаем, когда никакого центрирования не производится, pi сравним
распределение статистик x'WjX, / = 0, 1, . . ., q, полученное
на основе описанного выше циркулярного предположения, с распре-
распределением статистик x'AjX, полученным при соответствующем нецир-
нециркулярном предположении, где
N-j
х'А jX -г,--. У, х (п) х (и + ]), C.10)
i

384 Гл. VI. Статистические выводы Оля рациональных спектров
так что г (/) = x'Ajx/x'x, если нет центрирования. Характеристиче-
Характеристическая функция для x'WjX, как мы знаем, равна
ф (в) = ф (е0, elt ..., eg) = | iN - Bt l] QjWj) rv r1 \
Отсюда
N oo
* @) = 1о§Ф (9) = —i 2 log A -фй) - |2
1 1
Фл = 1 2^ Zj 9j cos J^k \
^ о J
Типичный семиинвариант величин N^x'WjX равен
q
x(s0, ^, ...,5д)=ЛГ-в2в-1E-1)! 2Г{2я/((ой)}8 И (cos/со,)^],
V.Sj-S. C.11)
0
Рассмотрим теперь х'Л7х, /^-0, . ..,cy, в нециркулярпом случае.
Характеристическая функция равна
так что
1 1 /г
где ф& есть fe-e собственное значение матрицы Bi^\QjAj) TN.
Теорема 5. Пусть х имеет компоненты х (п), п = 1, . . ., N,
которые являются нормальными величинами с нулевыми средними.
Если матрица ковариации Тх вектора х определяется соотноше-
соотношением C.7), то семиинварианты N-1xr WjXдаются соотношением C.11).
Если матрица Г v ковариации х соответствует авторегрессии с коэф-
коэффициентами Р (/), / = 1, . . ., q, и величины N~xx А^х определены
соотношением C.10), то их семиинварианты равны
х 4r j №W>sП (cosA)SJ'd%+° (iV"s). 2 *i=s>
где f (X) — спектральная плотность, отвечающая Тх.

3. Статистические выводы. Некоторые точные результаты 385
Доказательство. Мы покажем, что
л
J {2
N
J
ft=l -л О
и тогда C.12) будет следовать из выражения для \|з F) точно так же,
как C.11) следует из выражения для ij) @). Доказательство заимство-
заимствовано из книги Гренандера и Сегё [1958], стр. 276. Величины (pJ2i
являются собственными значениями произведения матриц (J^QjAj)
я TN. Обе эти матрицы — «теплицевы», т. е. имеют одинаковые эле-
элементы вдоль любой диагонали, причем элемент на у-й диагонали
ниже или выше главной равен у'-му коэффициенту Фурье четной
интегрируемой функции, а именно 2я/ (X) для ГЛг и 2 ®j cos jX для
^QjAj. Обе эти функции в настоящем примере бесконечно диффе-
дифференцируемы (поскольку / (X) отвечает авторегрессии). Пусть МN (ft)
обозначает теплицеву матрицу, соответствующую функции /;. Таким
образом, riY = Мх Bл/ (X)), 2i 2 QjAj = MN Bi 2 Qj cos /X). Мы по-
получим утверждение, сформулированное в начале доказательства,
если сможем показать, что
N-1 Tr {MN (A) MN (/2) . .'. MN (/р) - Mn (/1/2 . . . /р)} =
= О (TV).
В самом деле, полагая/? = 2s и считая, что s функций /^paBHbf2n/(A,),
а остальные s этих функций равны 21 2 6; cos jX, мы видим, что
лг-1 тг (.?л. (/,)... л/v (/„)) = лг-1 Tr {Bi S е^;глг)8)=лг-12 n,
тогда как
JV-i Tr {Мл, (/, /2 ... fp)) = J- j { 2л/ (X) 2i 2 в/ cos A}S dA,.
-л О
Обозначая теперь через rntj(fk) элементы матриц MN(fk)f мы
видим, что
(/l) ?7гП2П3 (/2) • • • ™>ПРЩ (fp), C.13)
где суммирование происходит по 1 ^ rij ^ N для всех у. Обозначим
через ТN сумму, которая получится, если для у = 2, 3, . . ., р
заменить пределы суммирования на 1 ^ iij < сю. Покажем, что
^л- — SN есть О A); отсюда будет следовать требуемое, так как,

386 Гл. VI. Статистические выводы для рациональных спектров
например,
оо
2 тгЦП2 (/l) ^П2ПЗ (/2) =
2 {"ИГ J /i M е*"* «й-^- [ /а (Я) e«»2-
П2=1
Я
J / ft) / W *(»"»)>- d>. = m
-ST J
nins
поскольку/у (X) вещественны, так что Г^ равна Тг {Мх (/1/2 ••• /р)}.
Таким образом, остается только доказать, что SN — ТN есть О A).
Эта разность сводится к сумме конечного числа членов вида C.13),
где 1 ^ щ ^ iV, хотя бы один индекс пробегает от N до бесконечно-
бесконечности и остальные — от 1 до сю. Применяя прием, который только что
был использован для доказательства соотношения Т N =
= Тг {МN (/1/2 . . . /р)}, мы можем свести рассмотрение к случаю
2 "W2 (/1) тП2Пз (/2) . .. mnqni (fq); 2 < g< p,
ЛГ<^<оо? / = 2, 3 g. ( *
Пусть теперь k, l и п — произвольные целые числа, тогда V2 I fe — l\
меньше или равно одному из чисел \п — к \, \п — I \. Кроме того,
где О A) может зависеть от fj, но не от пи п2. На самом деле это
верно и в предположении, что fj лишь дважды непрерывно (или огра-
ограниченно) дифференцируема. Очевидно, что это верно для любого
произведения величин fj (при том же условии). Таким образом, если
/, g — линейные комбинации произведений fj, то
=o{\) 2
n=N
n=N
__ Q /|\ || | /Д, 7\2l-l /Q |r:\
Применяя это повторно, мы видим, что C.14) равно

3. Статистические выводы. Некоторые точные результаты 387
где г равно q или q— 1. Используя преобразования C.15), сведем
это к
0(i) S S
nr=JV ni=l
п=1
и утверждение доказано.
Сравнивая теперь C.11) м C.12), жи видим, что семиинварианты
величин N^x'WjX и N^x'AjX с точностью до членов порядка N~s
отличаются только заменой интеграла на интегральную сумму.
Это показывает, что результат теоремы 5 дает по крайней мере
асимптотически пригодную аппроксимацию распределения г (/) в*не-
циркулярном случае. Из него вытекают также следующие два заме-
замечания.
1. Среднее и дисперсия статистик N^x'AjX (при нециркулярной
гипотезе) могут быть точно найдены, и мы можем сделать поправки
к этим статистикам, после которых они с достаточной степенью точ-
точности будут иметь среднее и дисперсию распределения N^x'WjX
при фиктивной циркулярной гипотезе. Эти поправки будут иметь
порядок Л7'. Теорема 5 показывает, что семиинварианты величин
N~xx'AjX порядка выше второго отличаются от соответствующих
семиинвариантов N^x'WjX, полученных для циркулярной модели,
на величины порядка выше N. Таким образом, после указанных
поправок все семиинварианты будут отличаться от соответствующих
семиинвариантов, полученных в предположении циркулярное™,
на величины порядка выше N~x, и нетрудно показать, что это будет
выполняться равномерно относительно порядка семиинварианта.
Если мы применяем циркулярную модель для нахождения совмест-
совместного распределения N^x'WjX, то мы получаем аппроксимацию
с ошибкой порядка oiN'1) распределения модифицированных величин
N^x'AjX (модифицированных так, чтобы они имели правильное
среднее и дисперсию) при нециркулярной гипотезе.
2. Полученный результат наводит на мысль, что предпочтитель-
предпочтительнее даже заменить функцию log ф@)=^*ф @) на интеграл, аппрокси-
аппроксимацией которого она является, и получить приближенное распреде-
распределение по этой новой функции вместо *ф @). В самом деле, если эта
проделать, то семиинварианты порядка выше второго будут отли-
отличаться от истинных на величины порядка О (N~2). Это рассуждение,
по-видимому, нуждается в более тщательном обосновании, однако
есть еще один неотразимый довод в пользу только что указанного
способа, а именно тот факт, что во многих случаях найденная таким

388 Гл. VI. Статистические выводы для рациональных спектров
способом характеристическая функция соответствует «хорошему»
распределению, которое заменяет «плохое», получаемое из C.6)
и C.9). По-видимому, первым эту идею применил Купменс [1942].
В примечании на стр. 372 читатель найдет ссылку на другие отно-
относящиеся сюда работы. Для иллюстрации рассмотрим следующий
пример.
Следуя Лейпнику [1947], рассмотрим распределение г A) без
какого-либо центрирования, но для циркулярной модели с q = 1.
Тогда
IV- 1
Эп + Э. cos (оi
2 °JX
О
где мы, как обычно, положили РA)= —р. Приближенно это равно
2я
4л J
0
2я 2л
= —-^- | f log{y— 2zcosX}dX— f log(l+p2 —
Вычисляя интегралы, получаем
VV-'«
2
так что совместная характеристическая функция равна
При 90 = Gi = 0 она, как и должно быть, равна единице. Довольно
очевидно, что это выражение является характеристической функцией,
так как переход от суммирования к интегрированию сохраняет
свойство положительной определенности. Во всяком случае мы
убедимся в этом, вычисляя обратное преобразование Фурье.
Итак, мы должны найти
(Подинтегральное выражение, очевидно, абсолютно интегрируемо
при 7V>3.) Этот интеграл
f f е-
-**2 \~1/a*
\~1/a*rfyrfzg-V2((i+P»K0-2p.i)

3. Статистические выводы. Некоторые точные результаты 389
вычисляется и равен
-l (o2 S2\V2(N-1)
'i4\
Теперь, интегрируя по sQ, получаем распределение гA) в виде
17 A/27V)! ^-г^^-^^ + р^гро-1^. C.16)
я
Если р = 0, то это является плотностью распределения коэффициен-
коэффициента корреляции для N + 3 пар наблюдений. Если, как в начале этого
параграфа, мы вычислим среднее и дисперсию г A) без центрирова-
центрирования и в предположении независимости, то получим Е (г A)) = О,
var (г A)) = (N + 2), что согласуется с настоящим результатом,
так как (N + 2) равно дисперсии коэффициента корреляции для
N + 3 пар наблюдений. Как отмечалось выше, в случае, когда про-
производится центрирование, мы должны прибавить (N + 2) к вели-
величине г A), после чего можем использовать ее как коэффициент кор-
корреляции.
Обобщение полученного результата на автокорреляции более
высоких порядков и частные автокорреляции затруднительно из-за
сложности обращения интегральной аппроксимации совместной
характеристической функции. Однако Даниэле [1956] получил неко-
некоторое приближение к распределению частного кругового коэффи-
коэффициента автокорреляции г (/ | 1, . . ., / — 1) в предположении, что
х (п) порождается описанным выше циркулярным процессом (с матри-
матрицей ковариаций TN). Определим здесь круговые частные коэффициен-
коэффициенты автокорреляции г (/ | 1, . . ., / — 1) как частные коэффициенты
корреляции между х (п) и х (п — /) после устранения посредством
регрессии величин х (п — 1), . . ., х (п — j + 1), где х (п — к) при
п — к ^ 0 считается равным х (N — п + к). Таким образом х),
Г(/|1, ..., /_1) = —
\Cj\
где Cj есть / X /-матрица с элементом с (и — и) = TV.
в и-й строке и v-м столбце, а Р — матрица, осуществляющая центри-
центрирование. Имеет место
Теорема б2). Пусть х A), . . ., х (п) — гауссовспие цир-
циркулярно коррелированные величины (с матрицей ковариаций TNi
Мы напоминаем читателю, что в этой главе | С^' ^ | обозначает минор,
нительный ]
Доказатель
гих параграфах.
дополнительный к элементу ?-й строки и у-го столбца матрицы Ck.
2) Доказательство этой теоремы сложно. Она не будет использоваться в дру-

390 Гл. VI. Статистические выводи для рациональных спектров
определяемой соотношением C.7)), и пусть $q = 8q = 0. Тогда
плотность распределения г (q \ 1, . . ., q — 1) с точностью до чле-
членов порядка o(N^) равна
при нечетном q,
{ВГ/2, ^N-^ + BWz, VzN + Vz^ii-riqlU ...,g-l)}2X
X{l-r2(g|l, ...,g-l)}1/2(JV) при четном q.
Мы видим, что это распределение не зависит от у (п) и, следова-
следовательно, распределение г (g | 1, . . ., q — 1)с указанной точностью
совпадает с распределением при нулевой гипотезе. Заметим также,
что, в силу теоремы 5, эти результаты дают аппроксимацию соответ-
соответствующих нециркулярно определенных статистик в нециркулярном
случае (т. е. с матрицей ковариаций TN, а не TN). Мы обсудим эти
вопросы подробнее после доказательства.
Доказательство. Можно считать, что Е (х (п)) = 0. Рас-
Рассмотрим сначала случай, когда центрирование не производится.
Для простоты мы будем использовать обозначения (только в этом
доказательстве)
однако сохраним обозначения г (у | 1, . . ., у — 1) для частных коэф-
коэффициентов корреляции, даже если они вычисляются без центрирова-
центрирования. Обозначим через Pj матрицу с элементом ru_v в и-й строке
и v-м столбце, где и, v = 1, . . ., у. Построим сначала преобразова-
преобразование Лапласа
т (so, su . . ., sq) = Е {exp j] sjCj\ = \ TN |/21 Г^1 -2 S sjWj \ "y\
о о
Теперь удобно выразить | Гдг |~1/2 через корни z1? z2, ...9zq урав-
уравнения 2 P (/) Z<1~*= 0, которые по предположению все по модулю
меньше единицы. В самом деле, Г]у имеет вид ВВ', где В — цир-
кулянтная матрица
Ее определитель равен
Д
Д d-

3. Статистические выводы. Некоторые точные результаты 391
В этом можно убедиться, рассматривая равенства
fl-zf)L=l={li П B-^-iWk)Ul =
5=1 fc=o
ft=0 О
откуда
Затем Даниэле вводит преобразование (см. C.7), где определя-
определяются bj)
я
80 — 2s0 = & 2 aj» a0 = 1,
о
я-з
п=0
Отсюда вытекает, что
ВВ' — S == Ы4',
где 5—циркулянт 2 2s,/W0» а А—циркулянт, построенный по с^
о
так же, как В строится по р (/). Так как ВВ' — S — циркулянт, то
ясно, что его можно записать в виде СС\ где С — циркулянт,
по крайней мере для определенных значений Sj. На самом деле это
можно сделать многими способами, ибо всякая факторизация функции
я
2 (fiJ — SJ) eij>" — S0, б7 = S-J , Sj = S-j,
-Of
дает одну из искомых факторизации (поскольку при X — 2nk/N,
к = 0, . . ., iV — 1 мы получаем собственные значения факторизуе-
мой матрицы). Так как это выражение положительно при веществен-
вещественных и достаточно малых Sj, то, как показывают рассуждения § 5
гл. II, оно может быть факторизовано по формуле
БЧ2
где корни многочлена 2 ajzJ лежат вне или на единичной окружно-
окружности. Множество значений Sj, для которых один из корней лежит
на единичной окружности, имеет нулевую (лебегову) меру в Bq -f 2)-
мерном пространстве вещественных и мнимых частей Sj 1). Таким
*) Переменные ау и к определяются (например, посредством аналитического
продолжения) как аналитические функции аргументов Sj вне этого произведения
интервалов вещественной прямой и, вообще, на всем произведении комплекс-
комплексных плоскостей, за исключением тех частей вещественной оси, на которых
2 — Sj) exp ijX} — s0 не положительно.

392 Гл. VI. Статистические выводы для рациональных спектров
образом,
где Wj по модулю меньше единицы (исключая особые значения Sj).
Мы можем также выразить к через г,- = CyCQ, поскольку
б0
= к {S «J
о
Вводя вектор г с компонентами г;-, вектор Р с компонентами C (/)
и вектор а с компонентами ay и обозначая и = У г^-, мы находим, что
2' '
Итак, окончательно наше преобразование Лапласа принимает вид
Q (a,
iN/2
C.17)
Теперь мы перейдем от переменных s0, sl4 . . ., sq к и, s^, . . ., sg,
а затем к и, аь . . ., ад. Якобиан этого преобразования равен
к, аь ..., aq) \ <?(а, г)) '
Первый множитель равен
ОЦ а2 ... OCq-i OLq
. + а2 ^ + а3 ... aQ_2 + а9 а^_!
0
0
О 1
Следуя Даниэлсу, обозначим его V2 (— if^WJ (a). Искомая плот-
плотность дается теперь обратным преобразованием Лапласа
П М - z^ 1 f f
{(>(a,
X exp ( —

3. Статистические выводы. Иепото])ые точные результаты 393
где da обозначает da{ da2 . . . daq. ]\[ы можем теперь произвести
обращение по и. Если ср (и, а) — функция, для которой мы ищем
обратное преобразование Лапласа, то совместная плотность вели-
величин Cj дается соотношением
с»
так что
Дифференцируя q раз по и и приравнивая и нулю, мы получаем
совместную плотность для г/:
FT(i-zN)
(ЧгЯ-1)\ 1 1 Г ... Г Q (*, гI'**'*-1 J {a) da^
Теперь деформируем контуры интегрирования так, чтобы они
проходили через седловые точки числителя Q (а, г); при больших N
значения числителя в этих точках существенно превышают по абсо-
абсолютной величине значения в остальных точках контуров, и таким
образом мы получим первый член асимптотического разложения для
совместной плотности гь . . ., rq. Седловые точки находятся из
уравнений
0Q (а, г) __ 0 1 т
ИЛИ
откуда1)
так что
IР I
Контуры интегрирования выбираются как линии наибыстрейшего
спуска из седловых точек. Эти кривые должны удовлетворять урав-
уравнению Im {Q (а, г)} = 0, в чем можно убедиться, полагая Q (а, г) =
= exp {log Q (а, г)} и замечая, что линии постоянного модуля —
это те, для которых log {Re (Q (а, г))} постоянен, т. е. Re (Q (а, г))
х) Легко видеть, что по крайней мере при больших N величины а, опре-
определяемые следующим соотношением, принадлежат области, в которой могут
изменяться а.

394 Гл. VI. Статистические выводы для рациональных спектров
постоянна. Так как линии наибыстрейшего спуска должны пересе-
пересекать их под прямым углом, то для линий наибыстрейшего спуска
Im (Q (а, г)) = const х). Но эти кривые должны также проходить
через точку а, в которой Q (а, г) вещественно, а значит, Im (Q (а,1/)) =
= 0. Если а = а + it], то это условие выполняется, поскольку
Таким образом, вдоль линий наибыстрейшего спуска Q (а, г) —
= | Pq+1 \/\ Pq | — T[Pqr[, очевидно, является убывающей функцией
от т), так как Pq положительно определенна. Затем Даниэле опускает
множители [] A — zf), [] A — wf). Очевидно, что первый из них
быстро сходится к единице; но это верно и для второго, так как а
является обычной оценкой наименьших квадратов для р, сходящей-
сходящейся к р с вероятностью 1 при возрастании N, а при а = Р все корни
по модулю меньше единицы. Мы доказали это в нециркулярном
случае, однако для циркулярного доказательство аналогично. Пре-
Пренебрегая этими множителями, мы вводим ошибку, которая экспо-
экспоненциально сходится к нулю при N -> оо. Что касается области
изменения г);-, то заметим, что Q (а, г) -> 0 при Im sj -> ± оо. Сле-
Следовательно, г] должно пробегать всю область, определяемую соот-
соотношением v)'Pqv) ^ | Pq+i \/\ Pq |. Таким образом, вновь обозначая
произведение дифференциалов через dr\, имеем
/(rlf ....^«-^--p^^
1f2N-q-\
X
j ...
Функция / (a) является многочленом от a;-, а значит, и от Т|;-. Заме-
Заменяя ее первым членом разложения Тейлора в точке а, т. е. / (а),
мы пренебрегаем членами типа
где Xj — новые переменные, получающиеся в результате линейного
преобразования, которое переводит {| Pq |/| Pq+i |} Pq в единичную
матрицу. Таким образом, ошибка, обусловленная заменой / (а)
на / (а), имеет порядок Л^. Однако, как замечает Даниэле, отбра-
отбрасываемый множитель имеет вид
где с зависит от г/. Следовательно, его можно записать в виде
См., например, Де Брёйн [1958], стр. 109.

3. Статистические выводы. Некоторые точные результаты 395
Таким образом, включая первый член в постоянный коэффициент
при плотности и замечая, что rj — р (у) = О (Ni/2) (в том смысле,
что такой порядок имеет стандартное отклонение), мы приходим
к формуле
J -
Более точная оценка не имеет большого смысла, так как в любом
случае / (•) является аппроксимацией нужной плотности с точностью
О (N'1), поскольку истинная система нециркулярна. Выполняя
интегрирование, мы получаем
|V2(#-g)-l
(где С —новая постоянная), так как интеграл равен
Мы не будем вычислять С, так как в виде C.18) эта плотность
не представляет практического интереса. Заметим теперь, что по тео-
теореме 6 гл. I
(Здесь по-прежнему .R2 (g | g — 1) обозначает сводный коэффициент
корреляции между х(п) и х (п— 1), ..., х (п — д), определяемый
в терминах г,.) По индукции получаем
г2(Л1, ..,/ -1))»-Я-1. C.19)
другой стороны,
где D — матрица в нижнем правом углу / (а). (Мы оставляем это
в качестве упражнения к этой главе.) Так как г — —Pqa, то мы
находим1), что якобиан | дг/да \ равен —\Pq \I\D |. Таким обра-
г) Поскольку a-\-D'r=0 = r-\-Pqa, мы имеем Pq = D'дг/да.

3?6 1л. VI. Статистические выводы для рациональных спектров
зом, переходя от ги . . ., rq к СЦ, . . ., а^, мы получаем плотность
iV2(iV-g)
+1i
С (О (б r))-lhN
Перейдем теперь от аь . . ., ад к частным круговым коэффициентам
автокорреляции г (/ | 1, . . ., у — 1), у = 1, . . ., д. Мы вновь
оставляем в качестве упражнения доказательство того, что якобиан
этого преобразования равен
П A—Г2(/|
нечетные з
X И {A-Г(/|1,...,/
четные j
где произведение берется по всем указанным у от 1 до д. Теперь,
используя C.19), мы получаем совместную плотность частных коэф-
коэффициентов автокорреляции (без центрирования) в виде
нечетные j
не
х П .{(l-
j
четные j
где Q (р, г) также должно быть выражено через г (у | 1, . . ., у — 1).
Если, однако, р (^) = 0, то () (р, г), как легко видеть, зависит только
от гь . . ., rq_u а значит, только от г (у | 1, . . ., у — 1), у = 1, ...
. . ., q — 1. Из результата Даниэлса следует, что плотность
r(g|l, ..., q — 1) при р (д) = 0 пропорциональна выражению
{1—Т2(д|1, . .., g— l)}V2(iv-i) при нечетном д, C.20)
{1 —Г2(д|1, ...,д —1)}1/2^-1|1_7(д|1, .. .,д— 1)} при четном д.
Теперь легко учесть эффект центрирования. При циркулярном
определении он сводится к замене с7- на Cj — Nx2. В соответствии
с этим имеем
m(sQ, Sl, .. .,^) = |rJV|- Jf)n
Второй член справа равен
0 0 0
Последний множитель учитывает все эффекты центрирования. Далее,
~ ~ ? _
1'(Fjv1 — ^^SjWj)'1! равно произведению N на сумму элементов
о

3. Статистические выводы. Некоторые точные результаты 397
первой строки матрицы рассматриваемой формы, а эта сумма являет-
является обратной к аналогичной сумме для обратной матрицы. Множитель,
учитывающий эффекты центрирования, принимает вид .'
-1/2
0 0
Теперь, вспоминая, что в преобразовании Лапласа C.17) мы опу-
опустили множитель
я iz^
и что
мы видим, что суммарный эффект центрирования сводится к замене
N па N — 1 и к введению множителя BаД (SP (/))• Включим
BР О)I в постоянный множитель, который может быть найден
позже; тогда нам остается распорядиться только Лаг Рассуждая
так же, как перед соотношением C.18), мы можем заменить эту
сумму на 2ау и вынести за знак интеграла при обращении преобра-
преобразования Лапласа. Имеем (см. упражнение 5 к этой главе)
S^ )) —7B| 1)) ... A—7(д| 1Ч ...,д-1)), C.21)
о
и мьГлолучаем из C.20), что плотности для г (q \ 1, . . ., q — 1)
пропорциональны величинам
{1 — r(q\ 1, . . . ,g— 1)}{1— r2(q\ I, ..., q—• l)}V2^-i При нечетном q4
{1 —Rg| 1 g—1)}2{1 — ^(91 1 g_l)>V»CiV-3) при учетном q;
для завершения доказательства теоремы остается вычислить
постоянные.
Конечно, включая множитель C.21) [в формулу, полученную для
случая без центрирования с заменой N на Аг — 1], мы получим
совместное распределение всех частных коэффициентов автокорре-
автокорреляции с той же степенью точности, однако, как отмечалось, такой
результат не столь полезен, как утверждение теоремы.
Простейший случай с нечетным q — это случай, когда q = 1, и мы
видели, что в этом случае использование гA) -f (N + 2) (сцен-

398 Гл. VI. Статистические выводы для рациональных спектров
трированием) как обычного коэффициента корреляции для (N + 3)
пар наблюдений дает очень хорошие результаты при N ^ 20
(а во многих случаях и при меньших N). Если q четно, то простейшей
статистикой является г B | 1). Согласно теореме, ее плотность при
четном q имеет среднее — 21 (N + 1) и дисперсию (Л^— 1) GV + 3) X
X {(N + 1J(N + 2)}-1. Последнее равно (N + 2) + О (TV). Это
наводит на мысль использовать гB | 1) + 2/(N + 1) как обычный
коэффициент корреляции для (N + 3) наблюдений. В случае нечет-
нечетного q, как легко видеть, среднее равно — (N — I), а дисперсия
(N — 2I (N — IJ. При q — 1 мы знаем точные результаты:
— (N — I) и (N2 — 3N)I{(N + 1)(N — IJ}. Последнее отличается
от того, что получается из C.20), на О (Лг), так что противоречия
нет. В следующей таблице сравниваются точки значимости, получен-
полученные по формуле C.20) для q = 2, и те, которые получаются при
использовании г B | 1) + 2/(N + 1) как обычного коэффициента
корреляции для (N + 3) пар наблюдений.
Таблица 2
Пятипроцентные точки для двустороннего симметрично
ограниченного критерия
Распределение
C.19)
Верхняя
Нижняя
Число
15
0,36
-0,62
наблюдений
20
0,32
-0,54
25
0,31
-0,46
7B|1) + 2/(ЛГ+1) как коэффициент Верхняя 0,35 0,32 0,30
корреляции для (iV + З) наблюде- Нижняя —0,60 —0,50 —0,46
ний
Согласие, очевидно, весьма хорошее.
Это подсказывает следующее правило: к r(q \ 1, . . ., q — 1)
нужно прибавить 21N в случае четного q или IIN в случае нечетного
q и использовать полученную статистику как коэффициент корреля-
корреляции для (N + 3) пар наблюдений. Однако интуитивно чувствуется,
что при возрастании q число «степеней свободы» не остается постоян-
постоянным, как при использовании N + 3, а будет уменьшаться. Впрочем,
для подтверждения этой догадки требуется более точная аппрок-
аппроксимация.
Итак, метод для проверки значимости р (q) в авторегрессионной
модели, а значит, и для определения порядка авторегрессии в прин-
принципе полностью описан. Мы не будем более подробно рассматривать
относящуюся сюда проблему множественного статистического реше-
решения. Следует, однако, сделать еще два замечания. Первое из них,

3. Статистические выводы. Некоторые точные результаты 399
принадлежащее Дженкинсу и основанное на соображениях, по-види-
по-видимому, недостаточно строгих, состоит в том, что C.20) дает луч-
лучшее приближение для распределений нециркулярных статистик,
чем для циркулярных х). Эти соображения основываются на сред-
среднем и дисперсии г A), которые равны —(N — I) и (N + I) +
-j- О (iV~3). Последняя с точностью до N~3 совпадает с получаемой
из C.19), а среднее отличается от получаемого из C.20) на члены
порядка TV, как и для г A). Второе замечание состоит в том, что
во многих приложениях при использовании критерия, основанного
на г A) или г A) (т. е. при проверке гипотезы, что р A) = 0 и что
данные в целом независимы), обычно применяется односторонний
критерий (что было отражено при построении таблицы 1). Это оправ-
оправдывается тем, что истинный первый коэффициент автокорреляции
на практике редко бывает отрицательным. Однако для автокорре-
автокорреляций более высокого порядка, по-видимому, нет оснований исполь-
использовать односторонний критерий.
Сверх того, что было сказано, известно относительно мало. Рас-
Распределение C.12) позволяет получить доверительный интервал для
р = Р A) в случае авторегрессии первого порядка; Даниэле [19561
и Дженкинс [1956] получили более точную аппроксимацию для соот-
соответствующего нециркулярного случая. Опираясь на эти результаты,
Дженкинс предложил использовать переход от г A), р к г/, 6 по фор-
формуле
г A) = sin г/, р = sin 0,
после чего (у — 0) используется как нормальная величина с нуле-
нулевым средним и дисперсией N'1. (Дженкинс показал, что в этом слу-
случае также аппроксимация для г A) лучше, чем для г A).) Это позво-
позволяет указать доверительный интервал для р.
Некоторые дополнительные исследования критериев согласия
типа обсуждавшихся в § 2 были предприняты Чандой [1962, 1964].
(См. соотношение C.11) и следующее за ним обсуждение критерия
Кенуя.) В последней из цитированных работ Чанда рассматривает
асимптотическое разложение распределения критерия, принадлежа-
принадлежащего Бартлету и Диананде [1950], которое требует априорного зна-
знания параметров авторегрессии при нулевой гипотезе. В более ранней
работе он вычисляет среднее и дисперсию статистики хи-квадрат
q+s
5=9+1
*) Подтверждение этому можно усмотреть в теореме 5, которая сравнивает
Циркулярные статистики для циркулярного случая с нециркулярными стати-
статистиками для нециркулярного случая. См. обсуждение, следующее за этой тео-
теоремой.

400 Гл. VI. Статистические выводы для рациональных спектров
(см. § 2). Он находит эти моменты с точностью до N'1 и строит моди-
модифицированную статистику
АШ В
где
которую затем использует как хи-квадрат с числом степеней свободы
А2/В. (Статистика %м, как и должно быть, имеет математическое
ожидание А2/В и дисперсию (А22В)/В2 = 2А2/В.) Разумеется, А ж В
зависят от неизвестных параметров гипотетического авторегрессион-
авторегрессионного процесса. Затем он сравнивает точки значимости для yj, полу-
полученные с помощью %м, с теми, которые получаются, если использо-
использовать %| как хи-квадрат с s степенями свободы; например, для гаус-
совских данных при N = 20, р — 1, 5 = 6, р = ±0,8 (где р —
параметр авторегрессии) 5%-я точка по %м равна 13,1, тогда как
для %1 5%-я, точка равна 12,6. При iV = 60, р = 1, s = 12, р =
= ±0,8 соответствующие точки значимости равны 21,3 и 21,0. Для
авторегрессии второго порядка исследовался случай с осцилляцией
(см. § 4 гл. I); используя обозначения а, 6, принятые в том пара-
параграфе, при п — 20, а = ±0,08, 9 = 1/4л, 5 = 6 получаем точки
значимости 15,2 против 12,6. (Это наибольшее обнаруженное рас-
расхождение.) При п = 60, s = 12, а = ±0,8, 6 = V4ft эти точки зна-
значимости равны 22,5 и 21,0. Чанда исследовал также влияние откло-
отклонений от нормальности.
Мак-Грегор [1962] применил метод, подобный методу Даниэлса,
для изучения распределения коэффициента корреляции между дву-
двумя гауссовскими простыми марковскими процессами:
Xi (п) = ptxL (п — 1) + 84 (п), х2 (п) = р2^2 (/г — 1) + 82 (/г),
где 82 (п) — независимые гауссовские величины с нулевым средним
и единичной дисперсией. Если не обращать внимания на отсутствие
центрирования, то такой выбор статистики для проверки независи-
независимости xt (n) и х2 (п) представляется естественным, хотя, конечно,
мощность критерия направлена против альтернатив, близких к авто-
авторегрессионной модели первого порядка для векторного процесса х (/г).
Мы не будем воспроизводить здесь весьма сложную формулу
для плотности (которая дает приближение с точностью до членов
порядка TV). Среднее значение распределения равно нулю, а дис-
дисперсия близка к N'1 A -f- pip2)/(l — р!р2), что равно дисперсии
предельного нормального распределения (см. гл. IV, упражнение 8).
Вид распределения наводит на предположение, что удовлетворитель-
удовлетворительные результаты даст использование г как обычного коэффициента
корреляции для N A — pip2)/(l + Р1Р2) наблюдений. (Конечно, р!
и р2 должны быть оценены по наблюдениям, и придется произвести
центрирование.) Эта процедура была предложена Бартлетом [1935].

4. Скользящие средние и смешанные модели. Введение 401
Однако, если р{ и р2 не равны нулю, то статистика г12 @) дает неэф-
неэффективный критерий для проверки независимости ху (п) и х2 (п);
на самом деле можно найти статистику, которая во многих слу-
случаях более эффективна, чем г12 @), и точное распределение которой в
гауссовском случае известно. (См. Хеннан [1955 Ь].) Для этого
надо построить регрессию х2 Bтг), п == 1, . . ., [V2 (N — 1)] на
{х2 Bп - 1) + х2 Bп + 1)}, ху Bп) и {х, Bп - 1) + х, B/г + 1)}
и использовать в качестве статистики критерия коэффициент при
Xi Bn). [Мы предполагаем при этом, что х2 (п) — гауссовский про-
простой марковский процесс, однако не нуждаемся в подобном предпо-
предположении относительно хг (п).] Мы обсудим этот и аналогичные точ-
точные критерии для сериальных корреляций в ряде упражнений к на-
настоящей главе, а также в заключительной главе. Во всяком случае
можно получить более эффективные критерии, чем эти точные. Мы
вновь сошлемся на только что цитированную работу, а также на по-
последнюю главу.
По-видимому, никаких других исследований асимптотических
свойств статистик, пригодных в случае р > 1, не предпринималось
даже для случая q ~ 1, и мы оставляем этот вопрос в этом малоудо-
малоудовлетворительном состоянии (что касается q > 1).
4. СКОЛЬЗЯЩИЕ СРЕДНИЕ И СМЕШАННЫЕ МОДЕЛИ АВТОРЕГРЕССИИ
И СКОЛЬЗЯЩЕГО СРЕДНЕГО. ВВЕДЕНИЕ
Как уже отмечалось, в последние годы весьма успешно применялись
модели, сочетающие авторегрессию со скользящим средним. Деталь-
Детальные разработки статистических процедур для подобных моделей,
особенно для случаев, когда число оцениваемых параметров неве-
невелико, можно найти в книге Бокса и Дженкинса [1970]. Мы не хотим
дублировать здесь работу этих авторов и рассмотрим вопросы не-
несколько иного рода. Начнем с обзора задач, связанных с пригонкой
таких моделей в случае р = 1.
Одним из главных доводов в пользу смешанных моделей является
их большая общность по сравнению с авторегррессионными, что может
быть существенным преимуществом при небольшом объеме данных,
когда важна экономия параметров. Основная проблема, связанная
с их применениями, обусловлена сложностью пригонки таких моде-
моделей. Все использовавшиеся до сих пор методы основываются, в ко-
конечном счете, на методе максимального правдоподобия. Для иллю-
иллюстрации рассмотрим простейший случай
х (п) = 8 (п) + аг (п - 1), | а |< 1, Е (е (т) г (п)) = 8^а2,
где х (п) — скалярный и г (п) — гауссовский процессы. Функция
правдоподобия равна

402 Гл. VI. Статистические выводы для рациональных спектров
где TN имеет о2{1-\-а2) на главной диагонали, ао2 на двух диаго-
диагоналях, ближайших к главной, а на остальных местах —нули. Опре-
Определитель AN = o~2Ndet (TN) удовлетворяет соотношению
Д^ = A +а2) Д^-а^-а, Ло= 1, А, = 1 + а2,
откуда получаем
~" 1-O2
Матрица IV имеет довольно сложный вид (см. Шеймен [1969]), но
она близка к матрице с элементами а~2 A — а2) (—а.у—к на пере-
пересечении /-Й строки и к-то столбца, так что логарифм функции прав-
правдоподобия близок к
N-1
N 1
-N+l
где
N-j
sj= S а:(п)а:(п + /).
Отсюда получаем уравнения для оценок максимального правдопо-
правдоподобия
N-1
" A_5с2)
JV— 1
-N+1
N- 1
-iV+1
Даже если мы отбросим первое слагаемое во втором уравнении
(основываясь эвристически на том, что оно есть О A), тогда как осталь-
остальные члены суть O(N)), решение полученного уравнения будет все еще
весьма сложной задачей. Если же мы переходим от простейшего
случая скользящего среднего первого порядка к рассмотрению,
например, смешанной модели авторегрессии и скользящего сред-
среднего, то осуществить решение задачи такими методами становится
чрезвычайно трудно. Бокс и Дженкинс [1970] производят по суще-
существу непосредственную оценку функции правдоподобия или по край-
крайней мере квадратичной формы под знаком экспоненты, опуская чле-
члены, аналогичные V2 log (I — а2), на основании соображений, подоб-
подобных приведенным выше.

4. Скользящие средние и смешанные модели. Введение
403
Для смешанной модели авторегрессии и скользящего среднего
встает проблема идентификации того же рода, что и возникавшая
ранее для чистой авторегрессии. Мы получим однозначное представ-
представление для спектральной плотности, которая должна иметь вид
a2
2л
s
0
я
2
0
a
P
(/с) «***•
(/) e'A
2
2 '
если # (д) удовлетворяет уравнению
я
D.1)
где е (п) — независимые одинаково распределенные величины с нуле-
нулевым средним и дисперсией а2. Мы требуем, чтобы все корни урав-
уравнения
лежали на или вне единичной окружности, все корни уравнения
== о,
лежали вне единичной окружности и чтобы g (z) и h (z) не имели-
общих корней. Если дана система вида D.1) (где 8 (п) обладают ука-
указанными свойствами) и если первое условие (касающееся корней
g (z) и h (z)) выполняется, то можно, конечно, потребовать еще, чтобы
g (z) и h (z) не имели общих корней. Однако если х (п) удовлетворяет
соотношению вида D.1), где h (z) не имеет корней на единичной
окружности, то в общем случае нельзя сделать так, чтобы удовле-
удовлетворялись и все остальные условия на корни h(z) и g (z) (с независи-
независимыми, а не просто ортогональными 8 (п)), за исключением гауссов-
ского случая, когда это верно.
Для модели вида D.1) Бокс и Дженкинс вычисляют аппроксима-
аппроксимацию к сумме квадратов
во всяком случае, если все корни g (z) также лежат вне единичного
круга. Эта сумма квадратов является основной компонентой в лога-
логарифме функции правдоподобия (в предположении гауссовости),
в чем можно убедиться, рассматривая D.1) как преобразование от
е (п), п = — s + 1, • • ., N, к х (п), п = 1, . . ., N. Для вычисле-

404 Гл. VI. Статистические выводы для рациональных спектров
ния суммы квадратов Бокс и Дженкинс вводят
S
е (п) = -Yia (к) е (п-к) + х (п), /i=-
1
1
начиная с некоторых начальных значений е (—q +1 — s), ...
. . ., е (—q). Затем находится 8 (п):
q
Если корни уравнения
достаточно далеки от единицы, то при больших N зависимость от
начальных значений будет весьма слабой, и в итоге мы получим
хорошую аппроксимацию к
Se(nJ,
т. е. к основной компоненте логарифма функции правдоподобия.
Затем минимум полученного выражения (которое, конечно, является
функцией от а A), . . ., а (s), C A), . . ., |3 (q) и начальных значе-
значений) находится перебором по достаточно мелкой сетке, и таким
образом мы должны получить хорошее приближение к оценкам
максимального правдоподобия. Очевидно, что при больших q + s
такой метод связан с очень большими вычислительными затратами
(если N также должно быть велико); например, при q = s = 5
и N = 200 перебор сетки в 30 точзк по каждому параметру потребует
более чем 1018 умножений, что, конечно, неосуществимо. Использо-
Использование методов, основанных на наибыстрейшем спуске, может сокра-
сократить объем работ, однако задача вычисления большого количества
лроизводных также является трудоемкой *).
Таким образом, применения этого метода, по-видимому, ограни-
ограничиваются случаями, когда q -f- s мало (возможно, не больше 3) или
когда невелико число неизвестных параметров, например, когда
g (z) или h (z) имеют множитель (z — 1), возможно кратный. Бокс
и Дженкинс действительно с большим успехом применяли такой
метод для пригонки моделей высоких порядков по q и s, используя
прием включения (z — 1) в качестве множителя 2)(т. е. представле-
х) Во всяком случае Бокс и Дженкинс подчеркивают, что их целью является
не только оценка максимального правдоподобия, но и изучение функции правдо-
правдоподобия в целом, так что вычисление ^ г (пJ для сетки значений параметров
является частью их методики. Несомненно, что это нуждается в серьезных
оправданиях.
2) Они рассмотрели также случаи, когда имеется множитель (z — exp iQ)
(Э известно), связанные, например, с сезонными вариациями.

4. Скользящие средние и смешанные модели. Введение 405
ния фильтра, описываемого, например, g (z), в виде произведения
двух сомножителей, один из которых — разностный оператор).
Читатель может найти дальнейшие подробности в указанной работе
этих авторов. Мы далее также обсудим некоторые проблемы, свя-
связанные с этими (и другими) методами в смешанном случае.
В этом параграфе мы будем работать с центрированными вели-
величинами, и поэтому можем предположить, что векторы х (п) и 8 (/г)
имеют нулевые средние.
Мы начнем с рассмотрения некоторых существующих методов
оценивания параметров рационального спектра, отличных от тех,
которые уже были затронуты. В § 5 мы предложим метод, основан-
основанный на принципе максимального правдоподобия (в предположении
нормальности), но для функции правдоподобия, выраженной, для
упрощения задачи, приближенно в спектральных терминах. Нашей
целью будет получение оценки, которая по крайней мере асимптоти-
асимптотически имеет такие же свойства, что и оценка максимального правдо-
правдоподобия. При доказательстве этих свойств мы не будем ограничи-
ограничиваться гауссовским случаем. (Так, мы докажем асимптотическую
нормальность оценок, предполагая только, что члены обновляющей
последовательности 8 (п) сериально независимы и имеют одинаковое
распределение с конечной дисперсией.) Наши оценки дают лишь
некоторое приближение к оценкам максимального правдоподобия
для гауссовского случая, так как используемое спектральное пред-
представление функции правдоподобия является приближенным и даже
сами уравнения правдоподобия существенно нелинейны и могут
быть решены лишь методом итераций. Эти оговорки не столь суще-
существенны, ибо, во-первых, они (первая, возможно, в меньшей сте-
степени) относятся и к тем методам, когда функция правдоподобия
не представляется в спектральной форме, и, во-вторых, на практике
данные обычно не являются гауссовскими, так что оценка макси-
максимального правдоподобия не имеет такого исключительного значения.
Мы начнем наши рассмотрения со случая скалярного скользящего
среднего, так как он является простейшим и дает основу для более
сложных рассуждений в смешанном случае. Таким образом, наша
модель имеет вид
S
х (п) = 2 а (к) 8 (n — k), a @) = 1,
о
где g (z) подчиняется оговоренному выше условию. На самом деле
мы будем считать, что g(z) не имеет корней внутри единичного круга,
а также на окружности. Трудно представить себе ситуацию, когда
имелся бы корень не единичной окружности, не известный a priori.
Исходя из общих соображений можно предположить, что подобные
случаи встречаются с нулевой вероятностью. Если расположение
такого корня известно, то предлагаемые далее методы могут быть
модифицированы (путем предварительной фильтрации данных) таким
образом, чтобы оценки для а (к) сохранили те свойства, которые мы

406 Гл. VI. Статистические выводах для рациональных спектров
далее установим. Мы не будем обсуждать этот вопрос более подробно.
Начнем с естественной оценки для спектральной плотности х (п),
а именно г)
Если мы предположим лишь, что 8 (п) — независимые одинаково
распределенные величины с параметрами @, а2), то эта оценка с веро-
вероятностью 1 будет сходиться к / (X). Ясно, что / (X) не обязана быть
неотрицательной, но это будет выполняться, если s достаточно вели-
велико, так как при s = N мы получаем периодограмму / (X). Впрочем,
последнее замечание не имеет большого значения, так как в предла-
предлагаемых далее методах s фиксировано a priori. Если / (X) положитель-
положительна, то мы получаем непосредственную процедуру для оценивания
а (к), которая заключается в нахождении единственной (в существен-
существенном) факторизации
(J2
(J2
2 «(*)«"* =-srl*W' «@) = i, D.3)
где а (к) таковы, что все корни g (z) лежат вне единичного круга.
Если, как мы предположили, g (z) не имеет корней на окружности,
то / (X) в самом деле будет положительна при достаточно больших N,
и мы сможем найти начальные оценки для а (к). Они, однако, могут
быть весьма неэффективными, как мы вскоре покажем, и при боль-
больших s вычисление таких оценок будет довольно трудоемким. Так
как в § 5 мы укажем эффективный метод (эффективный в смысле,
который будет там уточнен), то здесь мы рассмотрим лишь частный
случай, чтобы продемонстрировать неэффективность оценок а (к).
Мы рассмотрим случай s = 1, когда уравнение D.3) для a A), кото-
которую мы обозначим теперь а, принимает вид
это уравнение имеет вещественные решения лишь при | г A) | ^ V2.
В этом случае
Мы могли бы непосредственно найти (асимптотическую) дисперсию
а, но здесь достаточно заметить, что величина у N (а — а) асимпто-
асимптотически нормальна с дисперсией
1+a2|i-iy+~ • D-4)
г) В этом и следующем параграфе мы используем крышку для обозначения
неэффективных оценок, а тильду — для эффективных (в определенном смысле).

4. Скользящие средние и смешанные модели. Введение 407
Чтобы показать это, положим для упрощения записи {1 — 4гAJ}1/2 =
= ф(г), {1 — 4рAJ}1/2 = ф(р); тогда
VN {а — а) =
1 + ф(р) + {1 + ф(г)}{1 + ф(р)}
8гA)
•}•
Последний множитель с вероятностью 1 сходится к
а 1 2а2 -1 I а2 I 2а2A + а2)_ A + а2J
рA) ^ ф(р) -г -г 1 —а2 !_а2
Однако мы знаем (см. конец гл. V), что У N (г A) — р A)) асимптоти-
асимптотически есть N @, 1—ЗрAJ + 4рAL). Производя упрощения, мы
приходим к выражению D.4). В следующем параграфе мы укажем
оценку а, для которой У N (а — а) асимптотически есть
N @, 1 — а2), так что асимптотическая эффективность оценки а
относительно а равна A — а2K/A + а2 + 4а4 + а6 + а8), что
составляет 0,76 при а = V4 и 0,26 при a = V2. Если а не очень мала,
то эффективность будет неприемлемо низкой.
Первым более эффективную оценку (отличную от оценки макси-
максимума правдоподобия) предложил Дурбин [1959], указавший, что
в рассматриваемой ситуации можно использовать длинную авторегрес-
авторегрессию х(п) на х (п — 1), х (п — 2), . . ., х (п — т). Если т доста-
достаточно велико, то все дальнейшие коэффициенты авторегрессии прак-
практически равны нулю, и мы можем исходить из совместного распреде-
распределения первых т коэффициентов. Обозначим у-й из них через bj.
(Такое отклонение от наших прежних обозначений оправдано,
поскольку эта авторегрессия занимает особое место всюду в настоя-
настоящем параграфе.) Рассуждая эвристически (мы предпочли дать стро-
строгое обоснование для другого метода ниже), мы видим, что совмест-
совместное распределение величин bj нормально со средними Р7- (равными
«истинным» коэффициентам авторегрессии) и матрицей ковариаций
М-го2Г?. Как было указано в §3, матрица Г^1 имеет на пересече-
пересечении /-й диагонали ниже главной и k-то столбца элемент

408 Гл. VI. Статистические выводы для рациональных спектров
где суммирование ведется по и, O^u^min (к— 1, т — у, т — к — /).
Далее, учитывая, что
х(п)--- У. о: (у) 8 (/г — у),
о
имеем
так что, пренебрегая р_/ при />нг, получаем
отсюда
S
О
следовательно,
У. ее (у) 2 Р«Ра+л 7 -- О, Л = 1, 2, . . ., ш, D.5)
;=0 и
так как правую часть предыдущего соотношения можно разложить
в ряд по неотрицательным степеням ехр (—ik). Подставляя вместо
Р7- их оценки bj, мы получаем из D.5) оценки а (к) для а (к). Исполь-
Используя указанную выше матрицу ковариаций для bj, можно найти
матрицу ковариаций для а (к). Из-за сложности определения т трудно
доказать какую-либо асимптотическую теорему об этих оценках,
хотя, без сомнения, подобная теорема могла бы быть установлена.
Конечно, для того чтобы получить какой-либо асимптотический
результат, необходимо допустить, чтобы т неограниченно возрастало
вместе с N, ибо для фиксированного т этот метод не будет состоя-
состоятельным. Проблема заключается в определении иг, ибо подходящее
значение для т зависит от истинных а (у).
Мы обсудим еще один метод, принадлежащий Уолкеру [1962];
с асимптотической точки зрения он подобен методу Дурбина,
и асимптотическая теория получается для него довольно просто.
Недостаток метода Уолкера состоит в том, что он приводит не непо-
непосредственно к оценкам для а (&), а к оценками для р (у). Последние,
конечно, должны быть лучшими оценками, чем г (у). Затем для полу-
получения а (к) понадобится факторизация оценки для / (к), найденной
по этим улучшенным оценкам для р (у). Если s велико, то это потре-
потребует решения алгебраического уравнения высокой степени, что
довольно неприятно. Трудность состоит также в том, что / (к) может
не факторизоваться.
Метод Уолкера использует первые к + s автокорреляций, где к
заранее фиксировано. Впрочем, выбор к сказывается на эффектив-
эффективности метода, так что фактически необходимо оценивание к по наблю-

4. Скользящие средние и смешанные модели. Введение 409
даемым данным. Мы обсудим этот вопрос позже. Совместное распре-
распределение первых k + s величин У N (г (/) — р (/)) асимптотически
нормально с нулевым средним. Ковариация между 1-й и т-й из этих
статистик (которая может быть получена из упражнения 6 к гл. IV)
равна
t=—oo
Так как р (/) = 0 при | у | > s, то только первые s из г (у) непосред-
непосредственно пригодны г) для оценивания р (у). Можно рассмотреть раз-
разложение совместного распределения г (у) в произведение распреде-
распределения величин г (/), у = 1, . . ., s, при фиксированных значениях
г (/), У = s + 1» . . ., s + &, и совместного распределения последних
величин. Очевидно, что информация, касающаяся р (/), должна быть
извлечена из первого множителя. Это сразу приводит к рассмотре-
рассмотрению в качестве оценок для р (/) остатков регрессии г (j), j = I, ...
. . ., s, на остальные к из этих автокорреляций. Коэффициенты ре-
регрессии неизвестны и должны быть оценены по наблюдениям. Мы
не будем входить в подробности вычислений. Окончательная оценка
имеет вид
r^r-QMl1^ D.6)
где
(i) г —вектор с компонентами г(/), 7=1> •••>*;
(ii) Q имеет ji(/, s-\-m) в /-й строке, т-м столбце, j=l, . .-, s;
m=l, ...,/с, где [i получается из \i заменой р (/) на г(/);
(iii) Mk имеет jiE+Z, s-\-m) в Z-й строке, m-u столбце, I, m =
= 1, .. ., к;
(iv) rfe —вектор с компонентами r(s-\-j), j=l, ...,к.
Нетрудно показать, что величина У N (г — р), где р — вектор
с компонентами р (/), 7 = 1» • • ••> si асимптотически нормальна,
однако мы не будем выписывать ее ковариационную матрицу, так
как нам нужен не г, а оценка для а. Чтобы ее найти, необходимо
факторизовать оценку для спектральной плотности, или, другими
словами, факторизовать
*) Если бы ji (Z, т) были заданными числами, а р (у) неизвестными (что
в каком-то смысле противоречиво), то г (/), / >> .9, играли бы роль подчиненных
статистик. Это замечание существенно, так как на практике необходима итера-
итерационная процедура, в которой р, (/, т) оцениваются по предыдущей итерации.

410 Гл. VI. Статистические выводы для рациональных спектров
Ясно, что для больших s это будет не простой задачей. (Впрочем,
некоторый алгоритм для такой факторизации дается в работе Уил-
сона [1969].) Кроме того, теперь придется также преобразовывать
матрицу ковариаций г (у), / = 1, . . ., s, в матрицу ковариаций
оценок для а (у). Это приводит к еще более сложным выражениям,
содержащим якобиан преобразования от г (у) к оценкам для а (у).
Мы не будем обсуждать эти вопросы подробнее и перейдем к следую-
следующему параграфу, где рассмотрим некоторые асимптотически эффек-
эффективные оценки, получаемые с помощью спектральных методов.
5. ОЦЕНИВАНИЕ ДЛЯ СКОЛЬЗЯЩЕГО СРЕДНЕГО И СМЕШАННОЙ
МОДЕЛИ АВТОРЕГРЕССИИ И СКОЛЬЗЯЩЕГО СРЕДНЕГО
С ИСПОЛЬЗОВАНИЕМ СПЕКТРАЛЬНЫХ МЕТОДОВ
Методы, которые мы будем использовать, основаны на оценках
спектра. На первый взгляд это может показаться странным, так
как для оценивания параметров процессов с рациональным спек-
спектром по традиции следует применять «временные» методы, т. е. мето-
методы, основанные на автоковариациях (и для авторегрессионных про-
процессов они действительно дают хорошие результаты). Однако мы
уже знаем, что переход от х (п) к w (cofe) упрощает рассмотрения, ибо
он приближенно диагонализирует матрицу ковариаций. Можно
ожидать, что такой переход упростит уравнения для оценок и в на-
настоящем случае. По существу получаемые нами уравнения сводятся
к уравнениям оценивания для авторегрессий, рассмотренным ранее
в авторегрессионном случае.
Мы покажем, что предлагаемые нами методы оценивания асимпто-
асимптотически эффективны (это же относится и к методам §2) в следующем
смысле. Если данные гауссовские, то мы можем найти оценки мак-
максимального правдоподобия и получить их предельное распределение.
Эти оценки можно использовать независимо от того, являются дан-
данные гауссовскими или нет. Их асимптотическое распределение не за-
зависит от предположения о гауссовости, если только 8 (п) — незави-
независимые одинаково распределенные векторы с параметрами @, G).
Мы покажем, что при этом условии наши оценки имеют такое же
асимптотическое распределение, что и оценки максимального прав-
правдоподобия. Именно это мы имели в виду, когда говорили об асимпто-
асимптотической эффективности. Оценки максимального правдоподобия,
конечно, слишком сложны в вычислительном отношении, чтобы
применять их непосредственно; если бы это было не так, то их и сле-
следовало бы использовать.
(а) Скользящие средние. Случай р=1
Мы получим наши оценки с помощью эвристических рассуждений,
а затем докажем, что они имеют требуемые свойства. В гауссовском
случае, как было ранее указано, функция правдоподобия зависит

5. Оценивание для скользящего среднего и смешанной модели 411
в основном от квадратичной формы х'Г^х. Последняя имеет вид
где w — вектор с компонентами w (со7) (см. § 2 гл. V), а унитарная
матрица Р имеет элемент N~1/2 exp in со7- на пересечении у-й строки
и п-то столбца. Матрица РГNP* при больших N очень близка к диа-
диагональной с элементами / (со;) на главной диагонали, в том смысле,
что в каждом элементе пренебрегаемые члены имеют порядок
О (N'1) г). В самом деле, элемент на пересечении и-й строки и г;-го
столбца равен
-s m
где m пробегает значения от 1 до N — / в случае неотрицательного /
и от —/ + 1 до Л^ для отрицательного /. При соа ^со^ это выраже-
выражение, очевидно, имеет порядок Л*, тогда как при и = v оно равно
что отличается от 2я/ (?i) на величину порядка N~x. Таким образом,
с точностью до членов порядка TV мы должны минимизировать
Это приводит к уравнениям
Z=0 ;=0
где теперь
^S S (и)
о
Решить эти уравнения было бы весьма трудно. Поскольку / (со7),
очевидно, входит как весовая функция, мы можем попытаться заме-
заменить ее на / (со7), после чего наши уравнения оценивания примут вид
E.1)
См. в связи с этим теорему 7 гл. III.

412 Гл. VI. Статистические выводы для рациональных спектров
Здесь /((Оу) вычисляются по формуле D.2). (Лучше было бы заме-
заменить их на оценки, получаемые с помощью оценок Уолкера г (/)
[см. D.6)], если бы последние были известны. Однако в вычисли-
вычислительном отношении не сложнее получить асимптотически эффектив-
эффективную оценку для а, которую даст нам /, и основанная на ней вторая
итерация, вероятно, будет более предпочтительной, чем вычисление
величин г и использование их в качестве исходных данных.)
Индекс A) у а^ (I) указывает на отличие этой оценки от оценок
первого приближения a (Z), полученных по с (/), которые мы также
могли бы обозначить а^ (I).
Как мы покажем далее, соотношение E.1) не дает улучшенных
оценок. Несколько неожиданным является то, что мы получим асим-
асимптотически эффективные оценки, если образуем вектор
E.2)
[Конечно, если для получения с^1) мы используем оценки Уол-
Уолкера г (у), то мы должны также заменить а в E.2) на оценки Уолкера
для а.] Чтобы получить а, мы должны были бы факторизовать оцен-
оценку для / (X). Как мы далее покажем, можно обойтись без этой факто-
факторизации.
Соотношение E.1) можно записать в виде
-i-4 E.3)
где А — матрица с элементами au-i, к, 1=1, . ..,*, вектор а имеет
компоненты аи, к = 1, . . ., s, где
a N'1 У cosfccoj, fc = 0, 1,...,*. E.4)
В вычислительном отношении предпочтительно заменить ak на
/@) , о v ^)со5сэ; (-l)feJ(ji)
1W+ f +
f + /2 (л) ' E'5)
где последний член появляется лишь в случае четного N, а первый
равен нулю, если производятся центрирования (что почти всегда
будет иметь место). На самом деле мы можем также заменить / (со7) на
N N
B х (п) cos nidjJ -\- ( 2 х (п) sin ncojJ.
1 1
Исключение множителя iV в E.4) и BnN)~1 в / (со;), конечно,
не изменит E.3). Соотношение E.3) можно рассматривать как обыч-

5. Оценивание для скользящего среднего и смешанной модели 413
ную формулу метода наименьших квадратов для —а, однако с кова-
риациями, вычисляемыми по E.4).
Поучительно представить в таком виде формулу для авторегрес-
авторегрессии. Если с (п) заменяются на A — \ п \IN) с (п) (см. § 2, сразу
после доказательства теоремы 1), то при р = 1 формула § 2 переход
дит в
где bk, из которых состоят В и Ь, имеют вид
JV-1
bft = TV 2 I(<uj)cosk(Oj, k = 0, 1, . ..,g.
i=o
Деление на / (coy) в E.4) выполняется для того, чтобы спектр стал
пропорциональным | g (co7-) |~~2, т. е. спектру авторегрессии.
Введем матрицу Ф с элементами ф (к — I) в к-й строке и Z-m
столбце, &,/ = !, . . ., 5, где
л;
-— f
Имеет место следующая теорема, доказательство которой мы
поместили в приложении к этой главе.
Теорема 7. Пусть х (п) при р = 1 порождается скользящим
средним порядка s, для которого все корни g (z) лежат вне единичного
круга, а & (п) — независимые одинаково распределенные величины
с параметрами @, а2). Если аA) определены соотношением E.2),
то аA) сходятся почти наверное к а и Y~N (аA) — а) асимптоти-
асимптотически нормальны с нулевым средним и матрицей ковариаций Ф.
Состоятельная оценка матрицы Ф дается соотношением
где а получается в результате факторизации D.2) (см. 4.3), А опре-
определена ниже соотношения E.3) и а$ определены соотношением E.4).
В связи с этой теоремой необходимо заметить следующее.
1. Во-первых, во многих случаях будут полезны следующие
итерации этого процесса, когда | g |2 оценивается с помощью аA),
полученная оценка | gA)|2 подставляется в E.1) вместо /, в резуль-
результате чего получается оценка аA), которая дает следующее прибли-
приближение аB) = 2аA) — аA). Разумеется, аB) будет иметь те же асим-
асимптотические свойства, что и аA). Опыт (о котором мы скажем позже)
показывает, что в некоторых случаях достаточно совсем небольшого

414 Гл. VI. Статистические выводы для рациональных спектров
числа итераций.
Более подробно, мы получаем аA) из соотношения
а<1>= -IcD-iad), E.6)
где AM — матрица с элементами apli, /с, Z=l, ...,$» вектор аA) имеет
компоненты а?\
s S i^t-)H E>7>
(Величины a{k* и аи оценивают разные вещи, точнее, параметрыг
которые различаются множителем Bл) а4.)
Затем мы полагаем
Далее мы предположим, что уже выполнено г итераций.
2. Мы можем воспользоваться также следующим приемом, кото-
который позволяет обойтись без факторизации спектральной плотности*
(i) Строим о^1) точно так же, как в E.3).
(ii) Затем образуем а<2>. Для этого сначала определяем gM через
а^> так же, как g определялось через а^1) в E.7) Затем а^ опре-
определяются через gA) так же, как а^ определялись через gt1) в E.7).
Тогда мы получаем а<2) в виде
а<2>= ^i^
Окончательно
где, несколько непоследовательно, мы обозначили через аA) нашу
новую оценку. Все утверждения теоремы и все дальнейшие замечания
справедливы для любого из этих двух определений аA).
Теперь, как и в предыдущем пункте, мы можем производить
дальнейшие итерации, отправляясь от аA).
3. Оценка Ф асимптотически неэффективна, так как она осно-
основана на асимптотически неэффективной оценке а. Можно получить
асимптотически эффективную оценку, если использовать <х(Г)(/) для
оценивания | g |~~2 и, следовательно, ф (у) и Ф. Другой асимптоти-
асимптотически эффективной оценкой для Ф является
ф(г)-1= {2 5<г) (у) я*/)-1) i(r)-i. E.8)
о

5. Оценивание для скользящего среднего и смешанной модели 415
Если потребуется следующая итерация, то все необходимые вычис-
вычисления для Ф(г)~ уже будут проделаны.
4. Вычисления достаточно просты и приводят непосредственно
к оценкам для а (/). Если пригоняется скользящее среднее, то число
наблюдений вряд ли будет большим, так как для очень больших
выборок такие модели малопригодны, как уже объяснялось в нача-
начале гл. V. В ситуациях, когда, скажем, N ^ 500, вычисление / (со7)
не составляет большого труда. Если это сделано, то дальнейшие
вычисления равнозначны вычислению оценок регрессии на г пере-
переменных. Во всяком случае, если размеры выборки слишком велики
для непосредственного вычисления всех / (со7-), то в соотношении
E.4) величины / (со7-) и N можно заменить на / (coj), coj = 2nj/Nr,
N ^ N' = 2s < 27V, и N'. Из нашего доказательства видно, что
асимптотические свойства при этом не изменятся. На самом деле
суммирование можно производить по Xj = nj/M и вместо периодо-
периодограммы можно использовать сглаженные оценки спектра вида / (Xj),
обсуждавшиеся в гл. V. Мы, однако, будем по-прежнему работать
с / ((Oj) как для простоты изложения, так и потому, что для мень-
меньших объемов выборки такая процедура представляется наилучшей.
5. Мы покажем, что наша процедура приводит к асимптотически
эффективным процедурам оценивания. Для действительно малых
объемов выборки такие результаты представляют небольшую цен-
ценность. В таких случаях нужно более точное исследование распре-
распределений.
6. Довольно очевидно, что если во внутренней сумме выраже-
выражения E.1) опустить фиксированное конечное число членов, то асим-
асимптотические свойства оценок не изменятся. В самом деле, если а (I) —
оценка, полученная в случае, когда пропущено р значений со^, то
ч-i /(со/) cos (/с — I) со/
E.9)
{% /((;J
VN
где 2' — сумма по р пропущенным значениям. Правая часть схо-
сходится по вероятности к нулю, тогда как матрица с элементами
N-1
1 ^-^ / (со;) cos (к — I) со;
—
N
&, Z = 1, . . ., г, сходится с вероятностью 1 к невырожденному пре-
пределу, как мы покажем в приложении к этой главе. Таким образом,
У N (с^1) (I) — а (I)) сходится по вероятности к нулю. (Несомненно,
это будет и в том случае, когда множество пропущенных значений
зависит от N, если только правая часть в E.9) сходится по вероят-

41b Гл. VI. Статистические выводы для рациональных спектров
ности к нулю, однако мы не хотим останавливаться на этом вопросе.)
В частности, из этого замечания следует, что простое центрирование
не влияет на наши результаты, так как оно соответствует пропуску
слагаемого, отвечающего / = 0, во внутренней сумме выраже-
выражения E.9).
7. Легко видеть, что дисперсия предельного распределения
У~М (a<r) (s) — а (s)) равна {1 — a (sJ}, поскольку это есть диспер-
дисперсия s-то коэффициента авторегрессии для авторегрессии s-vo поряд-
порядка, если s-я константа авторегрессии равна a (s). [См. § 2 непосред-
непосредственно перед B.10).] Чтобы проверить гипотезу а (s) = 0, мы вы-
вычисляем статистику Y~N a(r> (s)/(l —а^г) (sJI/2 или, возможно,
^T) а(г)
и используем ее как ^-статистику с (N — s) степенями свободы. Ко-
Конечно, наша теория утверждает лишь, что если a (s) = О, то эта
статистика асимптотически будет N (О, 1), однако есть смутное пред-
предположение, что при небольших N лучше использовать t.
8. Величины а^) (/с), так же как, например, с^1*, дают оценку
для g (z), все нули которой лежат вне единичного круга. На самом
деле всякая оценка, полученная из уравнений вида E.1), обладает
таким свойством. Для доказательства воспользуемся упражнением 7
к этой главе, из которого следует, что это будет выполняться, напри-
например, дляо^1), при условии, что матрица с элементами ak_i, kf I =
= 0, . . ., 5, положительно определенна. Если последнее неверно, то
JV-1
iS /(w'J То
для некоторых ии, не равных одновременно нулю; однако функция
может обращаться в нуль не более чем для s значений со7- (если не все
uk равны нулю), поэтому рассматриваемая матрица может не быть
положительно определенной, только если N — s значений / (со7-)
равны нулю. Исключая этот тривиальный случай, получаем сфор-
сформулированный результат.
По-видимому, аA) не будет удовлетворять такому условию, одна-
однако если процесс итерируется, как было предложено выше в пунктах 1
и 2, то <хФ = 2<x<i~1> — a(i-1) будет в конечном счете сколь угодно
близка к оценкам a(i-1) и a » последняя из которых удовлетворяет
этому условию. В таком смысле оценки, даваемые нашей процедурой,

5. Оценивание для скользящего среднего и смешанной модели 417
приводят к оценке для g (z), все нули которой лежат вне единичного
круга.
Стоит, вероятно, подчеркнуть, что точки, в которых / (X) очень
мала, несут большое количество информации при оценивании сколь-
скользящего среднего, и важно, чтобы они участвовали в процедуре оце-
оценивания. В последнем параграфе этой главы мы обсудим критерии
согласия для моделей рассматриваемого здесь типа (и других).
Конечно, подобные критерии могут быть построены по критериям
для а(Г) (s + 1), . . ., а(Г) (s -f- к) при больших к по аналогии с авто-
авторегрессионным случаем. Заинтересованный читатель может обра-
обратиться также к статье Уолкера [1967], где рассматривается критерий
для сравнения авторегрессионных моделей и моделей скользящего
среднего.
(Ь) Скользящие средние. Случай р > 1
Обратимся теперь к случаю р > 1. Мы рассмотрим только обоб-
обобщение нашего метода в том виде, как он представлен в теореме 7.
(Исследование функции правдоподобия было бы теперь сложным
из-за большого числа участвующих параметров.) Итак, мы рас-
рассматриваем
х(п) = S А (/) 8(^ — /), А @) = /р, E.10)
о
где 8 (п) — независимые одинаково распределенные векторы с пара-
параметрами @, G). Может быть, конечно, и так, что х (п) имеет/? ком-
компонент, а 8 (п) — меньше. Этот случай заслуживает рассмотрения,
однако мы здесь не будем на нем останавливаться и будем считать,
что det {/ (Х)}фО. Тогда, как мы знаем, существует единственная
факторизация для / (к):
где требуется, чтобы det B^4 (у) zJ} = det {g (z)} не имел нулей
в единичном круге (и А @) = 1Р). На самом деле мы потребуем, чтобы
все нули лежали вне единичного круга. Наша процедура начинается
с оценки
-8
сходящейся с вероятностью 1 к /(^). Рассуждая эвристически, мы
должны минимизировать
S Tr {g (eie>J)-i I (wj) g* (е^Г1 G'%
j
где / (cOj) определены соотношением C.8) в гл. IV. Это выражение,
как и прежде, получается в результате применения финитного пре-

418 Гл. VI. Статистические выводы для рациональных спектров
образования Фурье к величинам xj (n). Производная по auv (к) —
типичному элементу матрицы А (к) — с точностью до постоянного
множителя равна
S Тг {/ (о),-) / Ы f (^Г1 EuvGg* (е1«3) eihaJ},
где матрица Euv имеет единицу на пересечении и-и строки и и-то
столбца и нули на остальных местах. Это приводит к уравнениям
2 B /(со;)/ (coy)/(co,.)-1^-^} Id) (Z) =0,
fc=l, ...,s, ЛA)@) = /р. E.11)
Тогда наша первая асимптотически эффективная оценка равна
), Z = 0, „,,s, E.12)
Чтобы получить A (Z), мы должны факторизовать / (X). Робинсон
[1967], стр. 190—200, дает описание программы для такой фактори-
факторизации. Однако такой путь может оказаться неприемлемым, и не толь-
только из-за большого объема вычислений, а в основном по той причине,
что мы можем не знать, является ли /( X) факторизуемой. (Было бы
трудно проверить неотрицательную определенность для всех X.)
Мы позже обсудим процедуру, позволяющую обойтись без факто-
факторизации.
Чтобы сформулировать нашу теорему, нам придется ввести неко-
некоторые специальные обозначения. Обозначим через as вектор с ком-
компонентой auv (к) в строке с номером (к — 1) р2 + (и — 1) р + vr
а через a(sly, a(sx\ . . .— соответствующие оценки. Обозначим через
Ф8 блочную матрицу, у которой в клетке (к, I) находится б ок
Ф (к — I) из р строк и столбцов, к, I = 1, . . ., s, где
3
В этом соотношении мы опустили аргумент со7- у функций / и /
(хотя, конечно, оставили в показателе экспоненты). Символ / в этой
формуле, обозначающий / (coy), не следует смешивать с обозначе-
обозначением для единичной матрицы /р, которое всегда снабжается индексом.
Наконец, q)s формируется из Ф (к) точно так же, как as из эле-
элементов A (Z), а именно как вектор-столбец с компонентой yuv(k)
в строке с номером
(к - 1) р2 + (и - 1) р + v.
Имеем
(Фз® /p)aS1}= — сря. E.13)

5. Оценивание для скользящего среднего и смешанной модели 419
Положим
ф(/с)=
-п
Тогда CDS формируется из Ф (к) так же, как Ф8 из Ф (к).
Мы предположим существование четвертых моментов для 8 (п),
хотя, казалось бы, можно обойтись без этого предположения, непо-
непосредственно перенеся доказательство теоремы 7 на случай теоре-
теоремы 7'. Частично это обусловлено появлением матрицы G.
Теорема 7'. Если х (п) порождается соотношением E.10)
и четвертые моменты е (п) конечны, то a(s1} сходятся почти навер-
наверное к as и У N (as1} — as) асимптотически нормальны с нулевым
средним и матрицей ковариаций (Ф^1 ® G).
Эта матрица ковариаций состоятельно оценивается посредством
Ф3 и оценки для G вида
W
{
1=0 3=0
Замечания. 1. Мы ввели индекс s, чтобы указать порядок
пригоняемого скользящего среднего. Можно было оценивать G
по формуле
з
однако это потребовало бы дальнейших операций обращения матриц.
Матрицы Ф (к) в теореме 7' не являются полными аналогами ф (к)
из теоремы 7, так как в последнем случае G — скаляр, и выраже-
выражение Ф<} ® G может быть преобразовано так, что G не возникнет.
На самом деле аналогом Ф из теоремы 7 является Ф8 ® G.
2. Если функция / не факторизуется, то мы действуем сле-
следующим образом. Находим а^ по формуле E.13) и вычисляем
1=0 j=0
Затем мы полагаем /A) = Bл) gA)GA)gA)* и решаем уравнения
У, {2/с1)'1//С1ГУ(г"'1)<в

420 Гл. VI. Статистические выводы для рациональных спектров
Окончательно
(Мы снова используем одни и те же обозначения для двух различ-
различных асимптотически эффективных оценок. Это оправдывается тем,
что сформулированная выше теорема верна для любой из них; вы-
вычисляться будет только одна оценка, и необходима некоторая эко-
экономия в обозначениях.) Конечно, полагая теперь
2яФA) (k) = N
PD
и определяя Ф^, (PsD через эти матрицы, имеем
3. Мы можем выполнить следующие итерации, используя АA) (I)
(при любом из двух определений) вместо АауA), как в предыдущем
замечании 2. В этом случае мы оцениваем Ф71 ® G~l посредством Ф(Р и
^Г)"Х = 2 { Т 2 Г'г1Г'геп^ } А^ (I).
4. Замечания 5, 6, 7 и 8 к теореме 7, модифицированные соот-
соответствующим образом, также распространяются на рассматриваемый
случай.
5. Приведем некоторые подробности вычислений. Пусть /(coj) =
= 1/2{c((oJ) — ?g((Oj)}, где с симметрична, a q кососимметрична,
причем с (ю^) = <:((¦);), q((oN-j)= — g(o)j). Пусть /(соi) = {Uj — iVj}.
Опуская для краткости аргумент со7- и используя упражнение 9
к гл. V, получаем
Uj = 2(c + q Г1 q)'1, Vj =
Полагая / (o)j) = (Xj — iYj), имеем
V-fiN]
b S -^У*7*-7Д^-F;r^) cos Л(о^
'jVj + UjYjUj + VjXjUj - VjYjVj) sin kaj},
где 8j равно 1/2 при / = 0, XI2N и единице в остальных случаях.
Обращение матриц Ф8, (bsD и т. д. представляет собой не столь
сложную задачу, как может показаться, особенно в случае, когда
скользящее среднее пригоняется путем последовательного увели-
увеличения 5. Положим
*.=г*~ d
ID' Ф(

5. Оценивание для скользящего среднего и смешанной модели 421
где D — столбец, состоящий из s—1 блоков, j-и из которых
равен Ф (/ — «). Матрица, обратная к Os, симметрична и имеет вид
г ф;_\+Ф;^п {Ф (8)-о'Ф-^ву1 о'ф;^ -ф-^d {Ф (^-zrdr^-n
L {Ф^-Я'Ф^Д}-1 J '
так что если Ф^-i известна по предыдущему шагу, то требуется лишь
обращение (р X р)-матрицы (и вычисление некоторых матричных
произведений).
6. Теорема 7' позволяет строить необходимые статистики и ста-
статистические процедуры для моделей скользящего среднего; в самом
деле, близкое соответствие между теоремами 1 и 7' достаточно ясно
указывает, какой характер должны иметь соответствующие стати-
статистики; например, для проверки гипотезы A (s) = 0 очевидной ста-
статистикой является квадратичная форма от элементов А^ с матри-
матрицей, равной обратной от матрицы ковариаций А^\ Наша оценка
ковариационной матрицы равна
так что соответствующая квадратичная форма принимает вид
N Тг {Аа} (s)' {Ф (s) - D'6-^D} Аа' (s) G). E.14)
Из теоремы 1' следует, что при возрастании N распределение этой
формы будет стремиться к f с р2 степенями свободы. Конечно, если
мы вычисляем A^r) (s), то оценки Ф<г> (s) и G<r> также будут вычисле-
вычислены, и мы можем использовать их вместо А^\ Ф, G.
7. В случае р > 1 возникают серьезные вычислительные труд-
трудности, связанные с многократным обращением матриц при больших
N [см. E.11)], что особенно затруднительно, если р не очень мало.
По этой причине может быть желательной замена выражений ти-
типа E.11) какими-либо более простыми в вычислительном отношении.
Так, 2яФ (к) можно было бы заменить на
М-1
2яФ<Р) (к) = ± 2 Г1 (h) I<F) (h) Г (h) е~Ш1, к = 0, 1, ..., s,
где /(F)(^j) — оценка финитного преобразования Фурье (пример 1 § 4
гл. V), вычисленная по т значениям /(со7-). Ясно, что различие
между Ф (к) и CP(F) (к) обусловлено только изменениями функций
/ (coj), exp j/ccoy на каждом «диапазоне» ширины 2nm/N, по которым
усредняются / (<oft) при вычислении /(F) (Xj). Если М^О (iV1/2~e), e>0,
то yrN/m = O(N~e), так что колебание любой из компонент Z (X)

422 Гл. VI. Статистические выводы для рациональных спектров
на любом диапазоне ширины 2nm/N, умноженное на V~N, есть
O(N~e), и аналогичное верно для ехр( — ikX). Отсюда
F %
Таким образом, мы можем заменить Ф на ф(р\ и аналогичное верно
для Ф^> и т. д.; тем самым мы сократим наши вычисления и число
операций обращения матриц. Другими словами, в любой сумме по /
мы можем заменить со;«, / = 0, 1, ...,7V — 1, на Я/, / = 0, 1, ...
. . ., М — 1, и/(со7.) на/**1)
(с) Смешанный случай скользящего среднего и авторегрессии
при р = 1
Предположим теперь, что имеет место соотношение D.1), где
g (z) и h (z), определенные после D.1), удовлетворяют сформулиро-
сформулированным там условиям относительно своих нулей 1). Сразу возникает
следующая проблема. Если мы пытаемся пригнать уравнение D.1)
в случае р (q) = a (s) = 0, то мы сталкиваемся с ситуацией, когда
наши ограничения недостаточны для однозначного определения
а (к) и р (/), так как, очевидно, мы можем ввести в числитель и зна-
знаменатель D.1) одинаковый множитель | 1 + а ехр iX |2, 0 ^ | а | <
< 1, причем все условия по-прежнему будут выполняться. Таким
образом, в гауссовском случае функция правдоподобия постоянна
вдоль следующих линий (каждому набору а (к), к = 1, . . ., s — 1;
Р (/)» )' = I* • • ч Ч — 1» соответствует своя линия):
а (к) + аа (к — 1), к = 1, . . ., s;
Р (/) + ар (/ — 1), / = 1 gr; 0 < а < 1; E.15)
Р (?) = а (s) = 0.
Поэтому если действительно р (q) = а (s) = 0, то можно ожидать
наличия максимумов вблизи одной из таких линий, а так как пре-
преобладание одного из локальных максимумов будет делом случая, то
оценки могут не сходиться при N -> оо к значениям а (к), Р (/),
удовлетворяющим условию a (s) = р (q) = 0. Это жэ замечание
относится к любому методу, основанному на вторых моментах, так
как / (X) постоянна вдоль указанных линий. Тот факт, что функция
правдоподобия близка к максимуму вдоль одной из линий вида E.15),
можно было бы вывести, исследуя функцию правдоподобия в целОхМ.
Однако это было бы трудно сделать в случае q + s > 2 (а в случае
g + s ^ 2 такая возможность не представляет реального интереса).
Надо полагать, что это не столь важно, так как вектор оценок р (у),
*) Мы потребуем дополнительно, чтобы многочлен g (z) не имел нулей
на единичной окружности. Этот случай рассматривается в работах Дурбина
[I960] и Уолкера [1962]; в частности, Уолкер устанавливает свойства оценок,
аналогичные тем, которые имеют место в случае q = 0.

5. Оценивание для скользящего среднего и смешанной модели 423
a (fc), полученных по методу, основанному на величинах второго
порядка, будет, по-видимому, приближаться к линии E.15) при N ->-
->- оо. Однако рассмотрение случая Р (q) = a (s) = О значительно
усложняет теорию, и поэтому мы его опустим. Это имеет один отри-
отрицательный аспект, совсем незначительный. Мы не сможем последо-
последовательно пригонять модель вида D.1), увеличивая q и s одновре-
одновременно на единицу. Дело в том, что мы не сможем построить критерий,
позволяющий решить, следует ли увеличивать q и s на единицу,
так как трудно будет найти распределение статистики при нулевой
гипотезе (что q и s оба на единицу меньше последнего проверяемого
значения); это потребовало бы рассмотрения эффектов, обусловлен-
обусловленных случайной локализацией набора оценок вблизи линии E.15).
Однако эти трудности не возникают, если на каждом шаге только q
или только s увеличивается на единицу. Хотя возможность того, что
Р (q) и a (s) обе в точности равны нулю, по-видимому, не представ-
представляет большого интереса с точки зрения приложений, тем не менее
неустойчивость, связанная с этой ситуацией, наводит на мысль, что
при малых значениях Р (q) и a (s) оценивание также будет затруд-
затруднено. Эта возможность (что a (s) = p (q) = 0) проявится в наших
асимптотических рассмотрениях в том, что оцененная матрица кова-
риаций для наших оценок будет близка к вырожденной.
Таким образом, в дополнение к требованию, что h (z) и g (z)
не имеют нулей в замкнутом единичном круге, мы предположим, что
Р (q) либо a (s) отлично от нуля.
Имеет смысл начать с оценивания а (/с), Р (у) по первым q + s
автоковариациям. Мы знаем, что
S с»
я(тг)= Ц а (к) 21 к(и)е(п — и — к)
(см. § 3 гл. I), где К (и) удовлетворяют уравнениям
2
2Р(М и=1, 2, ...,
о
и начальным условиям X @) = 1, X (и) = 0, и < 0. Величины К (и),
как и прежде, могут быть выражены через р (у). Имеем уравнения
0 0 0
&=1, 2, ..., q + s, E.16)
правые части которых равны нулю при к > s (так как I — т — к
в этом случае обязательно отрицательно). Таким образом, послед-
последние q уравнений
2

424 Гл. VI. Статистические выводы для рациональных спектров
могут быть использованы для определения Р (у), ибо при условии,
что a (s) или р (q) не равно нулю, матрица с у (у — к) на пересечении
(к — sj-й строки и /-го столбца невырожденна. (Мы оставляем это
в качестве упражнения.) Поэтому мы можем состоятельно оценить
Р (у) с помощью уравнений
= 0, & = *+!, ..., s + q.
о
Очевидно, что Р (у) сходится к р (у) с вероятностью 1, ибо, как мы
знаем, с (у) сходятся в этом смысле. Теперь для нахождения оценок
а (к) мы могли бы подставить р (у) в E.16), однако, чтобы получить
оценки, необходимые для нашей дальнейшей процедуры, мы долж-
должны поступить следующим образом.
Шаг 1. Образуем
@( + Л/) = ^(-п), л = 0, 1, ..., s,
ЛK2
k, 1=0
и для дальнейшего
h (e^i) = 2 Р (к) eikaJ, j = 0, 1, ..., N-1;
О
тогда
1
Если эта оценка не положительна для некоторых Я, то это означает
что либо наша модель неверна, либо объем выборки слишком мал.
При N -> оо оценка }у (к), очевидно, сходится с вероятностью 1 к
Если мы производим факторизацию fy, то получаем
Если мы не хотим факторизовать fy, то поступаем следующим
образом. Образуем х)
J Л = 0, 1, ..., 5, E.17)
х) Мы вновь опускаем аргумент со,- в/,Аи /у и напоминаем читателю, что
/ означает /(со;), а не единичную матрицу, обозначение которой всегда снабжает-
снабжается индексом.

5. Оценивание для скользящего среднего и смешанной модели 425
а затем А, а так же, как в случае q = 0. Тогда а= —А~га. Далее
мы определяем
h
Мы использовали здесь пару символов a, g для обозначения оценок
аналогичной пары величин (а, g), которые вычисляются разными спо-
способами. Это отличается от нашей процедуры в случае q = О, однако
здесь такие обозначения удобны, и мы надеемся, что они не приведут
к недоразумениям. Наконец, вычисляем
JV—1
b(k)=jjr 2 I\g\-2<nsk<oj, & = 0, 1 q. E.18)
3=0
Тогда
где матрица В имеет элемент Ъ (к — I) на пересечении к-ш строки
и Z-ro столбца, а вектор Ъ — компоненту Ъ (к) в к-и строке.
Шаг 2. Образуем теперь
^2 * = 0, 1, ..., в. E.19)
Затем из этих величин мы формируем Аа\ аа\ (На самом деле аа) (к)
оценивает нечто, отличающееся на константу от того, что оценивает
а (к), однако для простоты мы сохраним эти обозначения.) Затем
мы строим
Чтобы получить аA), мы должны составить комбинацию из аа) и а
(вычисленных по любой из двух процедур). Для этого нам нужна
матрица & с элементами со (к — I), к=1, ..., q\ I = 1, .. ., s;
я
«»(*) =1Г 2 ШГ1е-ЛеЧ = 4г J (gWMe^e-W'db. E.20)
j
j
Тогда
— A-tQ'В^Щ'1 (а-аA))] -на.
Наконец, мы строим g по аA) так же, как g строилось по а,
и J5, Ъ по g так же, как Ву Ъ строились по g. Тогда

426 Гл. VI, Статистические выводы для рациональных спектров
Введем матрицы Ф, 4я, Q, где Ф была определена ранее, а Т, Я
состоят из элементов ур(к—I), к, 1 = 1, ..., q; со(к—I), к=1, ...
..., q; 1 = 1, ..., s:
-я
я
В приложении к этой главе мы доказываем следующую теорему:
Теорема 8. /?с/ш х (п) порождается соотношением B.1), где
g (z) и h (z) не имеют нулей в замкнутом единичном круге, не имеют
общих нулей и a (s), p (q) отличны от нуля, то аA), |3A) сходятся
почти наверное к а, р, причем вектор
асимптотически нормален с нулевым средним и матрицей ковариаций
Ф —
Матрица Q (см. E.20)) дает состоятельную оценку для Q, тогда
как для Ф и W состоятельными оценками являются
ф={^а(к)а (к)}'1 А, * = {S рA) (к) Ъ (к)}'1 В.
о о
Сделаем ряд замечаний.
1. Мы покажем в приложении, что в случае a (s) — р (q) = 0
матрица ковариаций вырожденна. Это соответствует неоднозначности
в определении аир. То же происходит в случае, когда g (z) и h (z)
имеют общий нуль.
2. Заменяя в начале шага 2 аA), РA) на аA), РA), мы можем произ-
произвести дальнейшие итерации. Таким образом, h, вычисленное по РA),
заменяет h{1), a g (уже вычисленное) заменяет g. Если это продела-
проделано, то мы фактически вычислили взамен Ф, Ч?, & оценки Ф, Ч1*, Q,
которые будут теперь асимптотически эффективны в том смысле,
что они основаны на асимптотически эффективных оценках для аир.
3. Замечания 5, 6 и 8, относящиеся к случаю q = 0, в основном
применимы и к рассматриваемому случаю. В частности, центриро-
центрирования, которые обращают / @) в нуль, не влияют на асимптотические
результаты.

5. Оценивание для скользящего среднего и смешанной модели 427
4. Вычисления большей частью выполняются непосредственно
и подобны вычислениям в рассмотренном выше случае q = 0. Исклю-
Исключение составляет Ci. Здесь мы можем упростить выражение для
iv (к) следующим образом. Предположим, что q ^ s, и обозначим
через zh j = 1, . . ., q, нули h (z). Тогда
3 = 1 г=1
гфЗ
Если q<Cs, то мы обозначим через г#у нули g (z), / = 1, ..., 5,
ж получим
(fc) = a (s) 2 [hiwi1) щк~х Ц (г^ —
jl 1
Ц
г=1
Возможно, конечно, что практически будет проще разложить g и h
по степеням exp iX и ехр (— iX) и объединить коэффициенты при
expikX в произведении этих функций. В случае когда р = g = 1,
имеем i^ @) ^ {1 —ее A) р (I)}. Если нужны w(k), то мы заменя-
заменяем Zj (или Wj) на Zj — корни h (или Wj — корни g). Если h или g
имеет высокую степень, то, возможно, будет проще вычислять w(k)
или w(k) непосредственно как среднее выражение в E.20). Напри-
Например, полагая g = u-\-iv, h = y + iz (где g, А, и, и, у, z — функции
от Wj), имеем
w(k) = 2 У 8j {| g |21 h |2{{uy — vz) cos kwj -}-(uz — vy) sin kwj)},
i=o
где б7- определены в замечании 5 после теоремы 7', и в случае центри-
центрирования (которое почти всегда будет иметь место) слагаемое, отве-
отвечающее / = 0, опускается. Так как g, h уже найдены, то вычисление
этого выражения является несложной задачей.
5. По-видимому, нельзя найти столь же удачную форму критерия
для проверки гипотезы a (s) = 0 или р (q) = 0, какая была возмож-
возможна в случаях соответственно q = 0 и s = 0. Вопрос о подходящем
методе пригонки моделей типа смешанной авторегрессии и сколь-
скользящего среднего (т. е. о методе определения q и s) требует особого
рассмотрения, так как процедуры такого типа не имеют очевидного
аналога в случае, когда q или s считаются равными нулю. Можно,
например, последовательно увеличивать q и s на единицу, однако
при этом, очевидно, необходимо на каждом шаге пересматривать
предыдущие значения. По-видимому, имеет смысл производить про-
проверку значимости последнего пригнанного параметра, скажем |3A> (q),
и если он оказывается значимым, последовательно проверять значи-
значимость параметров скользящего среднего, начиная с последнего aA)(s).

428 Гл. VI. Статистические выводы для рациональных спектров
Это определенно следует проделать после того, как произведено
последнее увеличение q или s. Если с некоторого момента мы при-
принимаем решение не увеличивать более q и s, поскольку значимое
улучшение согласия модели не наблюдается, и если, скажем, q — по-
последнее значение, которое было целесообразно увеличить, то имеет
смысл проверить, дают ли аA> (s), аA) (s — 1) и т. д. какой-либо
вклад в объяснение зависимостей. Если подобная процедура не при-
применяется, то возникает значительный риск переопределения. Конеч-
Конечно, не всегда такое переопределение будет существенно снижать точ-
точность прогноза, основанного на оцененном уравнении.
Чтобы лучше понять ситуацию, обратимся к примеру авторегрес-
авторегрессии, в котором переопределение увеличивает дисперсии оценок иско-
искомых параметров. Для смешанной модели переопределение может
иметь столь же ощутимые последствия. Рассмотрим, например, слу-
случай, когда в действительности q = 1 и s = 0, а мы предполагаем?
что q = 1, s = 1. Если бы истина была нам известна, то мы оценили
бы Р A) с помощью авторегрессии и получили бы оценку р0 A), та-
такую, что У N (ро A) — р A)) асимптотически нормальна с диспер-
дисперсией A — Р (IJ). Если же мы считаем, что 5 = 1, то мы получаем
оценку Pi A), такую, что ]A/V (р4 A) — р A)) асимптотически нор-
нормальна с дисперсией, которая, согласно теореме 8, равна элементу
в нижнем правом углу матрицы
1 -1 "I-1
Таким образом, дисперсия равна Р (I) {1 — р (IJ} и эффектив-
эффективность Pi A) определяется величиной Р (IJ < 1. Неприятностей сле-
следовало ожидать в случае, когда а A) = 0 и р A) мало, ибо тогда мы
близки к неопределенной ситуации, однако беспокоит то, что эффек-
эффективность мала даже при вполне умеренных значениях р A). Конечно,
если а A) =7^=0, то р0 A) не состоятельна. Однако можно предполо-
предположить, что при малых а A) и не очень больших N роA) будет лучшей
оценкой для р A), чем Pi A). В подобных обстоятельствах исполь-
использование модели q = 2, s = 0 может дать даже лучшие результаты.
Эти замечания показывают, что смешанные модели, вероятно, пред-
представляют наибольший интерес в случаях, когда нули g (z) лежат
вблизи единичной окружности. К несчастью, это как раз тот случай,
когда для применимости асимптотической теории нужно, чтобы N
было очень велико. Подобные модели, по-видимому, следует при-
применять с осторожностью.
(d) Случай р > 1
Предложенные выше методы распространяются на случай р > 1,
q > 0, однако вычисления становятся весьма громоздкими, и мы
не будем здесь входить в подробности. Оцениванию должно пред-

5. Оценивание для скользящего среднего и смешанной модели 429
шествовать рассмотрение задачи идентификации, и мы отсылаем
читателя к работе Хеннана [1969 Ы, где обсуждается этот вопрос.
Хотя, несомненно, существуют ситуации, когда векторная сме-
смешанная модель скользящего среднего и авторегрессии дает гораздо
лучшее согласие при данном числе параметров, нежели просто сколь-
скользящее среднее или авторегрессия, вычисления усложняются настоль-
настолько, что приходится усомниться в применимости более сложной сме-
смешанной модели. На наш взгляд, эти методы сейчас не настолько
близки к практической применимости, чтобы включать их в эту книгу.
В завершение этого параграфа мы приведем результаты выбороч-
выборочных экспериментов для случая р = 1.Мы взяли 20 последовательно-
последовательностей из 100 наблюдений за процессом
х (п) _ 0,8 х {п — 1) = 8 (п) + 0,5е (п — 1)
и использовали описанный выше способ без факторизации матричной
спектральной плотности, хотя в настоящем случае факторизацию
нетрудно было бы осуществить, если только fy (К) вообще фактори-
зуется. Итерации продолжались до построения аE) и рD). Среднее
значение оценки аE) было равно 0,504, а дисперсия 0,011 (теорети-
(теоретическое значение 0,009). Среднее РD) было равно—0,768, а дисперсия
0,003 (теоретическое значение 0,004). Согласие обеих дисперсий
с теоретическими значениями вполне удовлетворительно для 20 выбо-
выборок. Однако РD), по-видимому, смещена к нулю. В 13 выборках из
20 значения аA), РA) «стабилизировались» в том смысле, что даль-
дальнейшие итерации почти не изменяли их. Значения аB), РB) стабили-
стабилизировались в 15, а аC), РC) — в 19 выборках. Исключение составила
последовательность
аA) аB) аA) SB) аC) аш аE)
0,985 0,998 0,962 0,917 0,828 0,666 0,498
р ра) рA) рB) рC> рD)
-0,725 0,897 0,519 -0,088 -0,514 -0,705
Возможно, что следовало бы выполнить еще одну итерацию. (Число
итераций было выбрано a priori. На практике следует руководство-
руководствоваться стабильностью значения.) Для иллюстрации процедуры
в более стабильном случае мы приводим следующую последователь-
последовательность (восьмую), номер которой был выбран случайно из чисел от 1
до 20. Для этой последовательности
аA) аB) аA) аB) аC) 5D) а<5)
0,441 0,520 0,338 0,329 0,329 0,329 0,329
р рA) рA) рB) рC) рD)
-0,756 -0,712 -0,752 -0,755 -0,755 -0,755

430 Гл. VI. Статистические выводы для рациональных спектров
6. ОБЩИЕ ТЕОРИИ ОЦЕНИВАНИЯ ДЛЯ МОДЕЛЕЙ
С КОНЕЧНЫМ ЧИСЛОМ ПАРАМЕТРОВ
Теперь мы обсудим некоторые весьма общие теории оценивания для
моделей с конечным числом параметров, предложенные Уиттлом
[1951] и Уолкером [1964]. Эти работы, на мой взгляд, имеют большое
значение. Однако они сложны технически, и мы приведем здесь
результаты без доказательств, ибо нигде в этой книге они непосред-
непосредственно не используются г). Интересующийся читатель может найти
доказательства в работе Уолкера [1964]. Книга Уиттла [1951] пред-
представляет большой интерес как первоисточник идей, относящихся
к статистике временных рядов. Общая теория статистических выво-
выводов для временных рядов к тому времени уже была рассмотрена Гре-
нандером [1950] в диссертации, оказавшей большое влияние на даль-
дальнейшее развитие предмета. Характерной чертой работы Уиттла
является глубокая взаимосвязь процедур классической статистики
со спектральной теорией, и именно поэтому мы придаем здесь ей
такое значение. Начнем с того, что рассмотрим скалярный гауссов-
ский процесс х (п) со спектральной плотностью / (X), непрерывной
и не обращающейся в нуль на [—я, я]. Тогда, конечно,
оо
я(и) = 2а(/)е(/г —у),
о
где 8 (п) — независимые одинаково распределенные величины с пара-
параметрами @, а2) (в качестве такого представления можно взять кано-
каноническое представление, фигурирующее в разложении Вольда).
Тогда
я
^ Jb. F.1)
Предположим, что, кроме а2, спектральная плотность / (К) зависит
от q параметров Qu . . ., 0д, совокупность которых мы обозначим
через 0. Тогда функция правдоподобия равна
llogdet(VN(Q))-±-Nlog2no*- xV"®X ,
2
' = (*(!), .... x{N)),
г) Эти результаты относятся к скалярному случаю, хотя, несомненно,
могут быть обобщены на векторный случай и нуждаются в предположениях
(например, таких, как существование четвертых моментов), которые не являются
необходимыми в нашем частном случае. Кроме того, метод максимального прав-
правдоподобия, применяемый непосредственно (даже в модифицированной форме,
которая обсуждается далее), приводит к сложным нелинейным уравнениям.
По этим причинам мы предпочли получать наши результаты непосредственно
в каждом случае, а не ссылаться на общие результаты этого параграфа.

6. Оценивание для моделей с конечным числом параметров 431
где VN(Q) = o~2TN, очевидно, зависит только от 0. Теперь, используя
результат Гренандера и Сегё типа теоремы 7 гл. III, имеем
¦i- logdet(VN (9)) = ± j log (-§• / (Я,)) dl + О (JV-i).
-Я
Так как [согласно F.1)] первый член является константой, не зави-
зависящей от 0, то мы вновь видим, что с точностью до О (N) первым
членом можно пренебречь. Так мы приходим к рассмотрению выра-
выражения
Применяя к нему метод максимального правдоподобия, получаем
где оценка 0 параметров 0 находится из условия минимума квадра-
квадратичной формы x'Vp?1 @) х. В таком виде это выражение исследовать
трудно из-за сложности нахождения явных формул для элементов
матрицы Fjv@). Следуя Уиттлу [1951], мы применим ранее исполь-
использованный прием и рассмотрим
N-1
где Р (тг, 0) — типичный коэффициент в лорановском разложении
функции {g (z) g (z)} (в предположении, что оно имеет место
в некотором кольце, содержащем единичную окружность), и
Мы будем обозначать эту функцию g (z, 0) в тех случаях, когда захо-
захотим подчеркнуть зависимость от 0. Здесь мы применили ранее исполь-
использованные рассуждения (см. § 5), а именно представили VN @) прибли-
приближенно в виде
vN @)« pdp;
где матрица D имеет элемент {2я/ ((Oj)/G2} на /-м месте главной диаго-
диагонали, а Р — унитарная матрица с элементами
\in№i, / = 0, 1, ...,ЛГ-1,
на пересечении п-й строки и /-го столбца. Тогда V}} @) да PD~XP* и
x>pD-ip*x = у | ?(№) |-2 / {@.):

432 Гл. VI. Статистические выводы для рациональных спектров
откуда следует требуемое соотношение. Таким образом, окончатель-
окончательно мы приходим к минимизации N log a2 + UN (х, 0)/а2 по 6 и а2.
Именно такая процедура и была использована в § 4.
Этот метод можно использовать и тогда, когда х (п) не является
гауссовским. Уолкер рассматривает случай, когда 8 (п) — незави-
независимые одинаково распределенные величины с параметрами @, а2)
и конечными четвертыми моментами, а параметр 0 пробегает замкну-
замкнутое ограниченное подмножество ^-мерного евклидова пространства.
Предполагается, что | g (z, 04) |2 не равно | g (z, 02) |2 почти всюду
в [—я, я], если 0! Ф 02, и, как прежде, что / (К) и /~х (X) непрерывны
в [—я, я]. Обозначим теперь через 0%, QN решения модифициро-
модифицированного уравнения максимального правдоподобия, получаемые
из соотношения
*+Ulfl? в). F.2)
Уолкер доказывает следующий результат, полученный впервые
Уиттлом [1951], [1962]:
1. @дг> <*&) сходится по вероятности к @, а2).
2. Если функция \g(z, 0)|~2 имеет непрерывные производные
по 0^ вплоть до 3-го порядка в некоторой окрестности истинного
значения 0о и
оо
^]п\а(п, 0о)|<оо,
и
__ Л in /ч
то распределение вектора N @iv~o) сходится при N-+oo к нор-
нормальному с нулевым средним и матрицей ковариаций W'1, где Wo
имеет элементы
<= 1 Г
13 4л J
F>3)
в предположении, что Wo невырожденна. (Индекс указывает, что
производные вычисляются в точке 0 = 0О.)
Выражение F.3) представляет несомненный интерес. Легко про-
проверить, что оно дает матрицу ковариаций для смешанной модели
скользящего среднего и авторегрессии из теоремы 8, и мы еще раз
убеждаемся в асимптотической эквивалентности наших результатов
и тех, к которым приводит процедура максимального правдоподобия.
7. КРИТЕРИИ СОГЛАСИЯ
Мы уже обсуждали критерии согласия, т. е. критерии для проверки
гипотетической модели при весьма общем классе альтернатив, для
некоторых моделей с конечным числом параметров, рассмотренных
в начальных параграфах этой главы. Одним из методов проверки

7. Критерии согласия 433
согласия авторегрессионной модели порядка q является, как мы
указали, сравнение ее с моделью порядка q + t для большого t,
основанное на проверке значимости матриц коэффициентов для запаз-
запаздываний, превышающих q, с помощью критерия типа частного
сводного коэффициента корреляции. Аналогичная процедура
может быть использована и в случае скользящего среднего. В сме-
смешанном случае возникают некоторые трудности, связанные с огра-
ограничением на истинные порядки авторегрессионной части и сколь-
скользящего среднего, однако и в этом случае, безусловно, можно
построить критерий для сравнения смешанных моделей порядка
(g, s) и порядка (q + t, s) или (q, s + t), если только есть уверенность
(например, в первом случае), что q-я матрица коэффициентов авто-
авторегрессии невырожденна. Так как подобные процедуры охваты-
охватываются рассмотрениями предыдущих параграфов, то мы здесь не бу-
будем на них останавливаться подробнее. Мы начнем с обсуждения
некоторого обобщения на случай/? ^1 процедуры Кенуя [1947],
кратко обсуждавшейся выше; это обобщение принадлежит Барт лету
и Раджалакшману [1953]. Таким образом, мы построим критерий
согласия для многомерной авторегрессии, который имеет тот же
характер, что и упомянутые выше, но более прост в вычислительном
отношении. Мы надеемся достичь этого, производя операцию сколь-
скользящего суммирования (с матричными коэффициентами) длины 2q
над матрицами С (я), которая даст нам последовательность матриц,
такую, что после подходящей нормировки корреляция между эле-
элементами разных матриц будет отсутствовать. Рассмотрим возможные
факторизации матричной спектральной плотности авторегрессии
где Ы^ (z) — многочлен от z степени q (q — порядок авторегрессии).
Конечно, существует только одна факторизация, для которой все
корни определителя h{h (z) лежат вне единичного круга, и ft<>) @) =
= 1р. Как и раньше, мы обозначим такой множитель через h (z).
Рассмотрим теперь последовательность
D(})(и) = ± 2 h(e™*)I(cofe)hi})(e<Ve~iua\ u>0. G.1)
k
Будем пока рассуждать эвристически, а несложное строгое обосно-
обоснование окончательных результатов дадим позднее. Тогда, заменяя
/ ((Оь) на его математическое ожидание, которое близко к /(со^),
и аппроксимируя сумму интегралом, мы видим, что ^среднее
значение Z)G) (и) в пределе равно
л
— С
2л J
¦ШЛЙХ = О, и>0.
- JT
Если мы применим формулу для ковариаций компонент / (coft) из
следствия 1 гл. V и вновь аппроксимируем сумму интегралом, то

434 Гл. VI. Статистические выводы для рациональных спектров
получим следующее предельное выражение для ковариаций:
-г Ка ЩЪгЖЬ (e~ix) jac1dbe-i{u-v)%) dk, G.2)
где использованы тензорные обозначения {суммирование по повторяю-
повторяющимся индексам) и аргумент функции указан в том единственном
случае, когда он равен ехр (—ik), а не exp i%. Легко видеть, что если
fo(i) = h, то это выражение равно нулю при и Ф и. При и = и,
и, v > 0 получаем oprosq. Этот случай не представляет большого
интереса, так как учесть эффекты оценивания функции h нелегко.
Однако существует и другой случай, в котором G.2) равно нулю
при и Ф v, а именно когда Ы3) (z) соответствует той единственной
факторизации, при которой все корни определителя h^(z) лежат
внутри единичного круга и {z~^h^(z)}z=00 = Iv. (Обозначим такой
множитель U^(z).) В этом случае матрицы коэффициентов для Ы^
также вещественны, так что Ы^ (ехр (—ik)) = №\ и мы получаем
для G.2)
Я
d^ f$ pTg™e-4»-**} dl = 0,
где g{sq—типичный элемент матрицы Ga\ f (к) = Bя)ЛA)~1(?A)/гA)*~1,
a hde — типичный элемент матрицы h* . Если u = v, то это выраже-
выражение равно
. G.3)
Этот второй случай мы и рассмотрим далее, поскольку он приводит
к обобщению критерия Кенуя. (Первый случай дает обобщение кри-
критерия Бартлета и Диананды [1950], однако он не так полезен, ибо
эффекты оценивания h (и Ы1^) плохо поддаются учету.) Имеем
о о
= 2 2 ВЦ)С (u + k-j)B^(k)' (l- ' Ц-Ь^-Я ) , G.4)
о о
где В^ — матрицы коэффициентов для Ш\
Теорема 9. Пусть х (п) порождается авторегрессией порядна
q и Z)A) (и) получается из D^ (и) подстановкой в G.4) оценок для
В (j) и В^ {к)', основанных на В (у) {которые даются соотношением
B.6)). Тогда для любого фиксированного d > 0 элементы всех матриц
N1/2Da)(u), 0 < и ^ d, асимптотически совместно нормальны с ну-

7. Критерии согласия 435
левым средним и ковариациями, равными нулю для несовпадающих
и o-prgsq в противном случае, если первый элемент находится на пере-
пересечении р-й строки и q-го столбца, а второй — на пересечении г-й
строки и s-го столбца. Здесь gl1^ — типичый элемент матрицы
G^\ входящей в факторизацию
где feA) (z) — матрица многочленов от z степени q с определителем,
все корни которого лежат внутри единичного круга, и такая, что
[z~qh^ (z)}z=oo = Ip. Таким образом, величина
d
N 2 Tr {G-Wa) (и) СA)ДA) (и)'}
1
имеет асимптотическое распределение %2 с dp2 степенями свободы
и может быть использована для проверки согласия модели авторегрес-
авторегрессии q-го порядка.
Доказательство. Имеем
Q q
О О
q N
где, как при доказательстве теоремы 1, мы добавили к первому сла-
слагаемому конечное число членов, чтобы привести его к простому виду.
Первое слагаемое равно
N
71=1
где 8A) (п) — последовательность, соответствующая 5A) (к), т. е.
2 5A) (к) х(п-к) = 8С1) (п), Е (8A) (п) 8а) (т)') = 6^'GA).
о
Так как х(п — к) не зависит от 8 (п + и), к ^ 0, и > 0, то, оче-
очевидно, 8A) (п) не зависит от 8 (п + и), и > 0. Конечно, 8A) (п)
можно также представить в виде линейной комбинации & (п — у),
/^0, с экспоненциально убывающими матричными коэффициентами.
Таким образом, выражение G.6) имеет точно такую же структуру,
что и etj (и) из теоремы 1, и асимптотическая нормальность доказы-
доказывается так же, как в этой теореме. Далее, типичная ковариация
между элементами G.6) имеет вид
N N
N-XE{ 2 гр(т + и)гр(т) 2 гг (п + v) 8<1} (и)}, и, v>0.
7П=1 71=1

436 Гл. VI. Статистические выводы для рациональных спектров
Так как &sl) (п) для т ^ п не зависит от гр (т + гг), гг (п + v)
и ортогональна к г^ (т) при m > п, то мы видим, что ненулевой
вклад в математическое ожидание дают только члены с т = п и и =
= у, откуда получаем
iV Zj °prgqs — °prgqs »
m=l
что и требуется.
Рассмотрим теперь, к чему приводит подстановка оценок для
В (/') и i?A) (Л), причем последние получаются путем факторизации
/ (Я), соответствующей факторизации / (Я), указанной в теореме.
Имеем
о о
_ q q
о о
Заметим, что {#(/) —Я (/)}, а значит, и {?A) (A:)' — J5A) (А:)'} сходится
с вероятностью 1 к нулю. С другой стороны, полагая u=u-{-q,
v^>q и ограничиваясь для простоты случаем, когда центрирование
не производится, имеем
2=0
2—0 П
Теперь, так же как при доказательстве теоремы 1, мы добавим к внут-
внутренней сумме конечное число членов и получим
N
? 2 e(n + v — k)x(n)', v-k>0.
Соображения, использованные при доказательстве теоремы 1, позво-
позволяют заключить, что эта величина асимптотически нормальна с нуле-
нулевым средним. Следовательно, второй член в правой части G.7) схо-
сходится по вероятности к нулю, и то же самое можно доказать анало-
аналогичным образом для первого члена. Таким образом, G.7) сходится

7. Критерии согласия 437
по вероятности к нулю и распределение элементов матриц
^NDA) {и), и > 0, имеет асимптотические свойства, указанные
в формулировке теоремы.
Теперь, записывая Ь{1) (и) в виде столбца dA) (и) так, что (и, v)-
элемент попадает в строку с номером (и — 1) р + у, мы видим, что
матрица ковариаций для YN dA) {и) равна G ® GA). Следовательно,
величины
iVdcl) (и)' (G ® GA)) dA) (и) = NTr (С-1ДA) (и) СA)Да) (и)')
асимптотически распределены как хи-квадрат с р2 степенями свобо-
свободы и асимптотически независимы при и = 1, 2, . . ., d, где d фикси-
фиксировано a priori. Поэтому величина
d
N 2 Tr (GZ)a) (и) GA)^A) (м)')
1
распределена как хи-квадрат с dp2 степенями свободы, что и требо-
требовалось доказать.
Остается проблема вычисления ВA) (к) и фактического построе-
построения критерия. В связи с первым вопросом заметим, что если } —
оценка для /, полученная с помощью В (/), то
так как подинтегральное выражение равно
q,u B ва> (к)' е-^У1 е^ = GM B 5A) (/с)' е1'?-"
и матричная функция B -В'1' (ft)z9"ft) голоморфна в единичном
круге1). Таким образом, мы получаем
хр,- f 0, v=—q+l, ...,0,
2 *"<*)<?<*+){ *
Эти уравнения можно переписать также в виде
что 5A) (^ — Л) соответствуют матрицам С (/) таким же
образом, как В{1) (к) соответствуют матрицам С (/). Далее мы
поступаем так:
г) Строго говоря, это верно лишь тогда, когда С (п) определяются с исполь-
использованием множителя JV, а не (Аг — | п \)~г.

438 Гл. VI, Статистические выводы для рациональных спектров
1. По формулам B.6), B.8) и G.8) вычисляем В (/), Ва) (k), G
и Ga\ Если проверяется согласие авторегрессии q-ro порядка, то
вполне вероятно, что перед этим была проверена значимость матри-
матрицы В (q + 1) для модели (q + 1)-го порядка. Тогда, как видно
из упражнения 8, величины B{1)(j) и GA) уже будут вычислены в про-
процессе обращения Cq+i.
2. Вычисляем величины
Ь (и) = Y(N-u) + q 2 2 В (/) С (j-к-и) В™ (к)'.
о о
(Мы заменили множитель A — | и + к — / \IN) на единицу и соот-
соответственно видоизменили множитель Y N. Опыт для случая р = 1
указывает на предпочтительность такой замены, хотя вопрос остается
спорным х).)
3. Вычисляем величину
d
2Tr G-W (и) G^Diu)',
1
которую следует рассматривать как хи-квадрат с p2d степенями сво-
свободы.
В случае р = 1 формулы несколько проще; они были приведены
в § 2 непосредственно перед соотношением B.12).
Как указывалось в примечании 2 на стр. 367, обобщенный крите-
критерий Кенуя может оказаться менее мощным, чем критерий максималь-
максимального правдоподобия, однако его преимущества — в сокращении объе-
объема вычислений и в простоте применения для любого d, после того
как В (/), #A)(У), G, GA) уже найдены. Чтобы понять причину пони-
понижения мощности критерия, рассмотрим выражение пункта 3, кото-
которое представляет собой сумму квадратов элементов матрицы
G~1/2D (u)G{1) 2. Эта сумма квадратов подобна сумме квадратов
регрессии, деленной на остаточную сумму квадратов. Для критерия
максимального правдоподобия в соответствующем месте будет исполь-
использоваться остаточная сумма квадратов авторегрессии порядка q + и,
и если нулевая гипотеза не верна, она будет значительно меньше,
чем в рассматриваемом критерии. Дело в том, что остаточная сумма
квадратов, используемая в настоящем критерии, основывается
на матрице G, возникающей из авторегрессии порядка всего лишь
д, и может быть слишком велика, если нулевая гипотеза не верна.
Сделаем два дальнейших замечания:
1. Можно показать, что этот критерий асимптотически эквива-
эквивалентен критерию типа частного сводного коэффициента кор-
См. примечание на стр. 437.

8. Процессы с непрерывным временем и дискретные аппроксимации 439
реляции, который рассматривался в § 2 после соотношения B.14).
Его преимущество — в некотором упрощении вычислений.
2. Можно, конечно, найти (нормированные) собственные векторы
<р7-, \|)fe матриц G и GA). Если Я/, \ik — соответствующие собственные
значения, то величины
асимптотически независимы и имеют нормальное распределение
с нулевым средним и единичной дисперсией.
Был предложен ряд других процедур проверки согласия. Обсуж-
Обсуждение некоторых из них читатель может найти в работах Бартлета
[1954], Бартлета и Диананды [1950], Гренандера и Розенблатта
[1957], Хеннана [1960] (особенно § IV.3).
8. ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ II ДИСКРЕТНЫЕ
АППРОКСИМАЦИИ
В § 3 гл. I мы обсуждали стохастические дифференциальные урав-
уравнения, а в § 4 гл. II — их связь с рациональными спектрами. Здесь
мы хотим рассмотреть такие спектры в связи с проблемами настоя-
настоящей главы, используя дискретизацию соответствующего непрерыв-
непрерывного явления. Ограничршся скалярным случаем. Итак, мы рас-
рассматриваем спектральную плотность вида
lf (8.1)
где степень многочлена в знаменателе по крайней мере на единицу
больше степени числителя. (В противном случае / (\х) будет неинте-
грируемой.) Мы можем разложить / (\х) в сумму простейших дробей
г Ч r qk
2
где zk — корень кратности qk многочлена q (i\x) = ^P №) (щУ^ имею-
имеющий отрицательную вещественную часть. (См. Ван дер Варден
[1949], стр. 123.) Так как
Y<*>= J*<
— oo
то мы получаем выражение

440 Гл. VI. Статистические выводы для рациональных спектров
Теперь, если мы производим отсчеты в точках t = 0, ±1, ±2, ...,
то получаем
г Ч . г
т(*) = °22 Sflfc.^nZfcipii)T = v(--«)f n>o.
fc=l j = l
Таким образом,
оо
Zi Zj (/-1)!
k=ij=i
ц
что, очевидно, является рациональной спектральной плотностью
с коэффициентами, определяемыми ak, j и zfe. В частности, при
Члены, для которых zfe невещественны, группируются в сопряжен-
сопряженные пары.
Таким образом, одним из способов оценивания параметров / (j.t)
может быть оценивание параметров /A) (Я) по методам § 4 и после-
последующее вычисление ak,j, zk, а затем и а (/), Р (к) для / (jji). Некото-
Некоторые трудности возникают в связи с тем, что число параметров авто-
авторегрессии и скользящего среднего для /A) (X) может превышать
число аналогичных параметров для / (jji), так что могут потребовать-
потребоваться какие-либо ограничения на них.
Пример 1.
Тогда а1=-1/2р, *i =
-агц-р-ч^Р' р<0'
2л
что является спектром авторегрессии с коэффициентом автокорреля-
автокорреляции ехрр. В этом случае процедура совершенно очевидна.
Пример 2.

Упражнения 441
Тогда п1= -2ft($l-$), a2=-2p22(p22-p?), Zl = pb z2 = $2. Поло-
Положим Ь1 = ехрр1, ^2 = ехрР2. Тогда
-bj) , ааA —Ь1)
°2 f «
2я \ 1 п-
—2bi cos X * 1 + bi —262 cos
и числитель /^) (Я), записанной в виде несократимой рациональной
дроби, вообще говоря, не будет постоянным. Таким образом, коэф-
коэффициенты процесса авторегрессии — скользящего среднего с ди-
дискретным временем являются функциями от меньшего числа пара-
параметров, и проблема эффективного оценивания становится чрезвы-
чрезвычайно сложной. Одной из возможных процедур может быть оценива-
оценивание /A) (Я) как рациональной спектральной плотности по методам
настоящего параграфа для малого выборочного интервала, соответ-
соответствующего временам запаздывания, для которых автокорреляции
исходного процесса существенны. (Таким образом, все корни
exp zk по модулю будут близки к единице.) Такую оценку для /A) (X)
мы можем рассматривать как оценку для / (\i) и получить по ней
оценки для а2, а (/), Р (к). При оценивании / (fx) с помощью /A)(^) возни-
возникает проблема идентификации. Этот вопрос требует дальнейшего иссле-
исследования. С другой стороны, мы можем пренебречь ограничениями,
налагаемыми из-за того, что на самом деле не известны только три
параметра (рь р2 и а2), и использовать авторегрессионные коэффи-
коэффициенты оценки /A)(^) Для оценивания Pi и р2.
Обсуждение соответствующего векторного случая (без рассмот-
рассмотрения только что затронутой проблемы) см. в работе Филлипса [1959].
УПРАЖНЕНИЯ
что если Ъ1 — оценка дисперсии е (и) ;\
ка q (р = 1), то
1. Доказать, что если а| — оценка дисперсии г (п) для авторегрессии поряд-
Q det(Cq) '
2. Доказать, что среднее и дисперсия отношения фон Неймана при нулевой
гипотезе, состоящей в том, что х (п) — независимые одинаково распределенные
величины с параметрами (ц, а2), равны соответственно 2 и 4(iV — 2)/(N2 — 1).
3. Пусть х (п) порождается авторегрессией порядка д, N > q, и а2 = 1;
показать, что элемент матрицы riv1 на пересечении /с-й строки и /-й диагонали
выше главной имеет вид
0, q<h
где суммирование по и от 0 до min {к — 1, q — /, N — j — к}.

442
Гл. VI. Статистические выводы для рациональных спектров
4. Доказать, что / (а) = {| Pq+i \ / \ Pq \) \ D \ в обозначениях формулы,
следующей за C.19). (Запишите / (а) в виде
/(?) =
1
D
п используйте соотношение а = —D'r.)
5. Вычислить якобиан преобразования от аь . . ., ая к
7(/11, ..., ;-1),
/ = 1, . . ., q, который использовался при доказательстве теоремы 6. (Для
этого обозначим оценки а7- через а^ q, где q — порядок пригоняемой авторегрес-
авторегрессии, н, используя соотношение rq = —Pqaq, покажем, что
aJ,q=aJ, q-l+aq-J, q-laq,q-
Это соотношение задает преобразование от а/,д, / = 1, •••»#? к aj,q_\,
/ = 1, . ..,# —1,и agg = r(g|l, ..., 9—1)- Легко получить, что якобиан этого
преобразования равен
Г {1 — г2 (д | 1, ..., q — l)}1/2(g—1)
I. {1 — г (д 1 1, ..., д —1)}{1 —га(д| 1, ..., q—
при нечетном q,
при четном g.
Повторяя теперь этот процесс с заменой q на g — 1, находим #g_i, и искомый
якобиан равен HqHq_± ... Н2.)
Показать также, что
6. Пусть х (п) — гауссовский процесс авторегрессии порядка q и
N = (М + 1) д. Рассмотрим условное распределение величины # (m)=»
— х ((q + 1) m) при фиксированных ж (/n (g + 1) + /), а; (ттг (g + 1) — ./),
/ = 1, . .., g, 77? = 1, ..., М. Показать, что условное математическое ожи-
ожидание у (т) является линейной функцией от
и что коэффициент при zq (m) равен нулю тогда и только тогда, когда авторегрес-
авторегрессия имеет порядок q. Получить отсюда точный критерий для проверки гипотезы
Р (q) = 0. Показать, что асимптотическая относительная эффективность (АОЭ)
этого критерия по сравнению с критерием, основанным на г (q \ 1, . . ., q — 1)
[т. е. р (?)], равна
(Относительно АОЭ см. Фрэзер [1957]. Дальнейшее обсуждение этого вопроса
см. в работе Хеннана [1969с] и цитированной в ней литературе.)
7. Пусть Pq+i — матрица с р (/ — к) на пересечении ;-й строки и к-то
столбца, и пусть р = —P~^pq, где pq — вектор с компонентами р (у). Для того

Приложение 443
чтобы все корни многочлена
2рto*;, p@)=if
о
лежали вне единичного круга, необходимо и достаточно, чтобы Pq+i была поло-
положительно определенна.
Указания. Определив Р (у) через Pq+i, используйте уравнение 2 Р (/) X
X Р (& — у) = 0 для построения последовательности р (п) = р (—гс) для всех д.
Из членов этой последовательности образуйте матрицы Pq+j и, установив соот-
соотношение det (Pq+j)/del (Pq+j^) = det (Pq+i)/det (Pq) > 0, покажите, что эти
матрицы являются положительно определенными. Выведите отсюда, что числа
р (п) образуют положительно определенную последовательность и являются
коэффициентами Фурье некоторой авторегрессионной спектральной плотности.
Факторизуя ее, получаем коэффициенты р (у), для которых ^ Р (У) zJ имеет все
корни вне единичного круга; покажите, что Р (у) определяются последователь-
последовательностью р (п), п = 0, 1, . . ., д, и, следовательно, совпадают с [3 (у).
8. Показать, что если положительно определенная матрица Aq представ-
представлена в виде
А ¦ D
D'
Е
где А и Е — квадратные блоки, то Л равна
— Л/) (E — Df.
Вывести отсюда, что для авторегрессии порядка q — 1 матрица Г^ содержит
1
в левом верхнем углу матрицу Г~2_1+ ЯA> G*1) БA)', где Z?A) состоит из блоков
В<1)(у—1)', в правом столбце блоков ~ матрицы В(-гУ (у) G!A)~1, у = 0, 1, . . ., q —2,
и в нижнем правом углу б^1), где БA> (у) и GA> — матрицы, определенные
в § 7. Обсудите приложения этого результата к вычислительным проблемам
настоящей главы.
ПРИЛОЖЕНИЕ
Доказательство теоремы 8
В этом приложении мы рассмотрим только теорему 8. В ней по существу
содержится и теорема 7. Мы не будем приводить отдельного доказательства тео-
теоремы 1'. Оно достаточно легко получается из доказательства теоремы 8, будучи,
однако, проще в одних отношениях и сложнее в других.
Мы дадим доказательство для случая, когда используются оценки а, осно-
основанные на факторизации }у. Доказательство для случая, когда а получается
из E.17), почти такое же, и мы обсудим его позже. Введем оценку р = —В'Ч,
где В и Ъ определяются так же, как В и 6, но с заменой g на g. Конечно, мы не
можем построить оценку р. Введем также а = —А~га, где А ж а определены
так же, как ЛA) и аA), однако с g и h вместо g и ^A> в E.19). Оценку а также
нельзя найти. Мы хотим выразить аA), РA> через а, р, для которых асимптоти-

444 Гл. VI. Статистические выводи для рациональных спектров
ческое распределение получается относительно просто. Заметим сначала, что
В, В сходятся с вероятностью 1 к (а2/2я) Т, тогда как 5, Ъ сходятся в этом же
смысле к (а2/2я) \\\ где г|) есть g-мерный вектор с компонентами if> (к). Для дока-
доказательства заметим, что х (п) — процесс с перемешиванием и, следовательно,
эргодический (см. гл. IV), так что с (п) сходятся почти наверное к у (п). Следо-
Следовательно, C (к) сходятся почти наверное к |3 (к) и 2я/у сходится почти наверное
к а2 | g |2. В свою очередь корни многочлена g сходятся почти наверное к кор-
корням g, значит, для достаточно больших N они лежат вне единичного круга.
Таким образом, при N > No
Конечно, No будет зависеть от реализации.) Кроме того,
и так как \ g \~2 равномерно ограничена при N > No, то 6 (и )для любого и
сходятся почти наверное к б (и) — коэффициентам Фурье функции | g |~2.
Мы по-прежнему будем обозначать через К положительные константы, не обя-
обязательно одинаковые. На пересечении /с-й строки и Z-ro столбца матрицы В
находится элемент
JV-1 оо
¦sr S «^l1—т1) 2 bv-k-v+jN). CD
V— — JV+1 j= —оо
Так как | с (и) A — | v \/N) | < с @) и б (I — к — v + jN) при N -+ оо схо-
сходится почти наверное к нулю при / Ф 0 и к б (I — к — v) при } = 0, то, в силу
теоремы о мажорированной сходимости, A) сходится почти наверное к
Но это равно произведению Bл;)-1 на (к — 1)~й коэффициент Фурье функции
/ I g I — Bя)~х а2 | h |-2, так что A) сходится почти наверное к (а2/2д) X
X if> (к — I). Следовательно, В, Ъ сходятся почти наверное соответственно
к (а2/2я) Т, (а2/2я) i|). Аналогичные, но более простые рассуждения доказывают
требуемый результат для В и Ъ.
Имеем
-\/W(P*1) — Р)= — УЖ{В~1 (В —В) В-Ч + В-1 (S —6)}, B)
где матрицы iV1/2 (В —В) и /V1/2 (b — b) состоят из элементов вида
%r\~g\-*g-le4hv)°i}. C)
j
Заметим, что второе слагаемое в фигурных скобках вещественно и, значит,
равно своему сопряженному; тогда, почти так же, как в случае Ь{к), можно

Приложение 445
показать, что выражение в фигурных скобках сходится почти наверное к
л л
(|fr|2grVvA(cos k'kd'k.
-л -я
С другой стороны, распределение у N (а — а) сходится к некоторому предель-
предельному (а именно к нормальному; см. § 4), так что правая часть соотношения C)
может быть заменена на
v=l —л
при этом члены, которыми мы пренебрегаем, сходятся по вероятности к нулю.
Теперь, поскольку —В^Ь сходится почти наверное к Р, а матрицы В~г
и В'1 обе сходятся почти наверное к Bл/а2) Ч*", мы можем заменить B) на
<2л/а2) Тш, где к-я компонента вектора w имеет вид
s
«7 (Л) =2 VN(a(v) — a(v))X
v=l
Л q
X <
—л
о
:(v) — a(v))—-(o(k — v).
Таким образом,
сходится по вероятности к нулю.
Точно так же мы можем показать, что
1>— а) — 2 VF(a — а) + Ф~^
сходится по вероятности к нулю. Мы предоставляем читателю подробное дока-
доказательство этого факта, которое без каких-либо существенных изменений повто-
повторяет доказательство для ~]/N (РA> — Р). Таким образом, пренебрегая вели-
величинами, которые сходятся по вероятности к нулю, мы имеем
—а) + 2 УЖ (а —а) —ф-iQ'ViVr(P<1) — P),
(а —а).
Следовательно,
УЖ(^1)~а)^-УЖ{/8-ф-1й/Т-1й}-Ч(а-а)-ф-1й/(Р-Р)}, D)
где вновь отброшены величины, сходящиеся по вероятности к нулю. (Здесь
использован доказываемый далее факт, что У N (а — а) и ~\/ N (Р — Р) асимпто-
асимптотически нормальны, а также то, что Ф, Ф, Q сходятся почти наверное к Ф, Т, Q.)
Так как aA) и а сходятся почти наверное к а (последняя в силу того, что А и а
сходятся почти наверное соответственно к Bя/а2) Ф, Bя/а2) ф), то аA> сходится

446 Гл. VI. Статистические выводы для рациональных спектров
почти наверное к а. Поэтому мы можем повторить все рассуждения, отправляясь
от ~\/N (РA> — Р) и используя D). Следуя тем же путем и пренебрегая аналогич-
аналогичными величинами, получаем
Q'}--i{(P —P) —V-iQ(a —а)}. E)
Остается исследовать асимптотическое распределение величин ~\/N (а — а),
У N (Р — Р) и, используя D) и E), преобразовать его в асимптотическое рас-
распределение для
>—а),
Заметим, что
(a —a)==—
и У N (а -\- Ла) имеет компоненты
ибо 1-f- 2 а @ ехР (— il(Hj)--=g (coj). Так как (а2/2л) Л сходится почти наверное
к Ф, то мы можем заменить l/N (а — а) на — Ф~ги, где и — вектор с компо-
компонентами U&. Аналогично мы можем заменить ~\/N (Р — Р) на —Y"^, где
v — вектор с компонентами
Положим
h __
о о
где последовательности fu и hu экспоненциально убывают. Тогда
N1/2
2 С W V1 F^
n=-JV+l
где суммирование производится по всем значениям j, и, v, для которых слагаемые
определены (или, эквивалентно, по всем и, у, / при условии, что fa = 0, а < 0;
дь = 0, Ъ < 0). Можно показать, что мы можем пренебречь членами с j Ф 0,
так как ^ ^r^v~k+n+jN сходится к нулю при любых фиксированных у, А*, л,
В
г > 0 и j Ф 0 (hu сходится к нулю экспоненциально). Таким образом, мы mohjm
рассматривать
"\ у c(n)(i—iii.\ у у
/I с у1) у1 у ] 7\ 7\
-JV+1 и v

Приложение 447
Преобразуя это, получаем
N
2 2 2
Z, m=i u v
iV
_a-2iV-l/2 ^
Z, m=l
2
Z
где суммированнс производится по всем /, ?, w, t, таким, что / и I неотрицательны,
t ^> к л w — Z, w — t — j пробегают значения от 1 до N включительно. Если
мы ограничим w значениями 1 ^ w ^ N, то математическое ожидание^модуля
отбрасываемых слагаемых будет ограничено сверху величиной
w=N t I m
(это видно из второго равенства предыдущей формулы), где aT~u, а~^и — экспо-
экспоненциальные скорости убывания fu и hu. Эта величина не превосходит
Итак, рассмотрим
iV
ги=:1
Имеем
что отличается от аналогичной суммы в v'^ на
оо
Z=iu
Стандартное отклонение этой величины не превосходит
Заменяя суммы по / и I на &(w) и е(м;-}-?), мы добавляем к ^величину,
стандартное отклонение которой не превосходит
^^7
W t
Нам остается рассмотреть
„-2^-1/2 |] 2^-й8(ш-0 8(ш) = а-2ЛГ-1/2 ^
го=1 t n=l

448 Гл. VI. Статистические выводы для рациональных спектров
где
оо
y(w — k)= ^hjB(w — k — j).
О
Последнее означает, что у (п) порождается авторегрессионным соотношением
2
о
Аналогично и с тон же точностью мы можем заменить ик па
N
о-2АГ-1/2 2 8 (и) z (/г —А;),
1
где z (п) порождается соотношением
Из доказательства теоремы 1 видно, что Ф-1м и ^F^ асимптотически совместно
нормальны с нулевым средним и матрицей коварнаций
г ф-1 ф-iQ'T-il
так как и и v имеют тот же вид, что и величины, рассматривавшиеся в этой тео-
теореме (с точностью до коэффициента а2).
Таким образом, остается лишь найти асимптотическую матрицу ковариаций
для ~\/N (сГA>— a), l/N (I?1) — р) из соотношений D) и E). Она равна
[-
Ф -
Из доказательства видно, что если бы мы начали с оценки, которая полу-
получается не в результате факторизации/^, а как — А~га [см. E.17)], то рассуждения
почти не претерпели бы изменений, ибо нам нужно лишь, чтобы а сходилась
почти наверное к а и ~\/N (а — а) была асимптотически нормальна, а это дока-
доказывается так же, как для Р A>.
Отметим теперь, что матрица ковариаций будет вырожденной, если и a (s)
и Р (q) равны нулю. В самом деле, обозначая через а вектор с (/ -|- 1)-й компо-
компонентой а (/), / = 0, . . ., s — 1, и через Р — вектор с (к -\- 1)-п компонентой
Р (к), к = 0, . . ., q — 1, мы видим, что
фа = ?УР, }?$ = Qa.
Тогда
и наше утверждение доказано. Близость оценки этой матрицы, а значит, и мат-
матрицы ковариаций оценок a, P к вырожденной будет указывать на то, что a (s) =
= р (q) = 0. Этот вопрос заслуживает дальнейшего исследования, однако здесь
мы не будем рассматривать его более подробно.

Глава VII
Методы регрессии
1. ВВЕДЕНИЕ
Одной из основных целей настоящей главы является рассмотрение
ситуации, в которой анализу векторной последовательности пред-
предшествует центрирование, возможно, зависящее от времени. Мы
хотим обсудить, каким образом следует производить такое центри-
центрирование и как оно влияет, например, на оценки спектра, вычисляе-
вычисляемые по центрированным величинам. До некоторой степени, значи-
значительной с практической точки зрения, эти исследования можно
рассматривать как учитывающие возможность того, что спектры
не являются абсолютно непрерывными, поскольку регрессия, оче-
очевидно, дает адекватный метод описания спектральных скачков.
Кроме того, применение линейных моделей, связывающих раз-
различные совокупности векторных временных рядов, имеет самостоя-
самостоятельный интерес; например, модели с «распределенным запаздыва-
запаздыванием» вида х)
оо
z(n)-=J\B(])'y(n-]) + x(n), A.1)
о
где матрицы В (/) «сходятся к нулю» с определенной скоростью,
а х (п) — стационарная последовательность, не зависящая в целом
от у (п), привлекли в последние годы значительный интерес в эко-
экономике. (Мы считаем, что z (п) — вектор с р компонентами, у (п) —
вектор с q компонентами, так что матрицы В (;')' имеют размер р X q,
а х (п) — размер р X 1.) Всюду в этой главе мы будем придержи-
придерживаться обозначений типа A.1). Таким образом, х (п) будет ненаблю-
ненаблюдаемым стационарным остаточным процессом, у (п) — «регрес-
сорной» последовательностью, a z (n) —«регрессируемой» наблюдае-
наблюдаемой последовательностью. Мы всегда будем предполагать, что
Е (у (т) х (п)') = 0, однако часто будем предполагать также, что
эти последовательности независимы в целом. Конечно, мы будем
делать и другие предположения.
х) Нам будет удобно обозначать матрицу коэффициентов при у (п — у) через
# (/)' в основном потому, что, в случае когда р = 1 и нет запаздывания, вектор
коэффициентов регрессии обычно выбирается как вектор-столбец. Эти обозна-
обозначения несколько расходятся с обозначениями для авторегрессии.

450 Гл. VII. Методы регрессии
Если мы хотим построить асимптотическую теорию, то мы долж-
должны по крайней мере сказать нечто о предельном поведении последо-
последовательности у (п). Можно было бы, например, предположить, что эта
последовательность стационарна и эргодична. Однако подобные
ограничения исключили бы слишком много важных случаев (напри-
(например, у (п) = п?). Мы примем ограничения, сформулированные в § 3
гл. IV, а именно условия (а), (Ь), (с) либо (а), (Ь)', (с). (См. также
§ 6 гл. II.) Мы будем называть первые из этих условий «условиями
Гренандера», так как впервые они появились в работе Гренандера
[1954].
2. ЭФФЕКТИВНОСТЬ ОЦЕНОК НАИМЕНЬШИХ КВАДРАТОВ.
СЛУЧАЙ КОНЕЧНОЙ ВЫБОРКИ
Мы начнем с рассмотрения регрессионного соотношения
z (п) = В'у (п) + х (п), п = 1, . . ., N, B.1)
которое перепишем в тензорных обозначениях
z = (Ip <8> Y) р + х,
где z — вектор с компонентой zt (п) в строке с номером (i — 1) р + пу
х — вектор с компонентой xt (п) в строке с номером (i — 1) р + пг
матрица Y имеет элемент yt (п) в п-й строке и i-м столбце, а вектор
Р — компоненту C^- в строке с номером (/ — 1) q + i (P состоит
из столбцов матрицы В, расположенных последовательно один
за другим, как в § 3 гл. IV). Мы по-прежнему будем обозначать
через Тр матрицу ковариаций вектора х, так как основное внимание
мы уделим случаю, когда х (п) порождается стационарным про-
процессом. Однако теперь Гр будет состоять из р2 блоков, каждый из кото-
которых имеет iV2 элементов вида у и (и — и), и, v = 1, . . ., N. Мо-
Модель B.1), очевидно, переходит в A.1), если матрицы В (/), начиная
с некоторой, равны нулю и не подчинены никаким ограничениям.
На самом деле представляет интерес и такая ситуация, когда имеют-
имеются линейные ограничения, и мы покажем, каким образом ее можно
включить в наши рассмотрения. Рассмотрим г линейных ограниче-
ограничений вида
Tv(BAj) =0, / = 1, . . ., г,
где Aj — вещественные (q X />)-матрицы. Раз и навсегда условимся
называть тривиальными ограничения, которые после некоторой
замены переменных сводятся к равенству нулю определенного столб-
столбца матрицы В'. (Если у (п) переходит в Су (п), а В' — в В'С~Х, то
нулю равняется некоторый столбец матрицы В'С.) Такое опреде-
определение, очевидно, разумно. Пусть а7- — столбец, получаемый из Aj
так же, как р из В, и пусть Е — проектор на ортогональное допол-
дополнение подпространства, порождаемого векторами а;- в рд-мерном

2. Эффективность оценок. Случай конечной выборки 451
вещественном линейном пространстве. Тогда все линейные ограни-
ограничения описываются соотношением Е$ = р, и мы имеем
z = AР ® У) Яр + х = С/Р + ж, С/ = GР ® У) Я.
Рассмотрим сначала общую модель z = С/р + ж, а затем перей-
перейдем к случаю, когда U = GР ® У) Е. Мы по-прежнему будем обозна-
обозначать через Гр матрицу ковариаций вектора х, хотя сначала и не тре-
требуем, чтобы она имела частныйвид, указанный после соотношения B.1).
Мы всегда будем считать, что Гр невырожденна. Будем обозна-
обозначать через А~г обобщенную обратную от симметричной матри-
матрицы А (см. § 2 математического приложения). Мы будем предпола-
предполагать, что Р принадлежит подпространству, порождаемому строками
U, ибо если Е проектирует на это подпространство, то С/р = UEfi
и можно заменить р на Е$. Конечно, если Y'Y невырожденна и U =
= AР ® У) Е, то это согласуется с нашими прежними обозначения-
обозначениями, и введенный ранее оператор Е проектирует на подпространство,
порождаемое строками U.
Обозначим через р наилучгиую линейную несмещенную оценку
(н. л. н. о.) для р, т. е. оценку, которая линейно зависит от z, имеет
математическое ожидание Р и наименьшую ковариационную матри-
матрицу в смысле естественного упорядочения симметричных матриц.
Хорошо известно х), что
^(UT'/UyW-^z, B.2)
а ковариационная матрица равна
E{(p-p)(p-p)'} = (^Tp1f/)-i. B.3)
Если бы Гр была скалярной матрицей (т. е. кратной единичной
матрице), то мы получили бы
Р= (U'Uy1 U'z. B.4)
В общем случае (т. е. для произвольной невырожденной Гр) такая
оценка имеет матрицу ковариаций
Е {(Р- Р) (Р - Р)'} = {U'Uy1 Ц'ГрЮ (U'U)-1.
Разумеется, если U = (Ip ® У), то оценка наименьших квадра-
квадратов р, записанная в виде матрицы В так же, как р записывается
в виде В (см. § 1), равна
B=(Y'Y)-1Y'Z,
где Z — матрица с элементом Zj (n) в п-й строке и /-м столбце.
х) См., например, Рао [1965], § 4а.

452 Гл. VII. Методы регрессии
Пусть utj и хк — типичные элементы матрицы U и вектора х
соответственно. Имеет место следующая теорема, при доказатель-
доказательстве которой мы следуем в основном Ватсону [1967].
Теорема 1. Пусть z = С/р + х, где Е (х) = О, Е (хх') = Тр,
причем Тр1\невырожденна и Е {и^хк) =0. Определим р, § соответ-
соответственно соотношениями B.2) и B.4), где (U'T^U) и (U'U)'1 —
обобщенные обратные от указанных матриц. Пусть оМ (U) — ли-
линейное подпространство, порождаемое столбцами U, и пусть °11 —
наибольшее подпространство оМ (С/), для которого Тр°11 си <М (U).
Тогда для того, чтобы а'Р = а'Р почти наверное, необходимо и до-
достаточно, чтобы U (С/'С/) а ? °IL. В частности, для того чтобы
Р = Р почти наверное, необходимо и достаточно, чтобы Tpo?(U) =
= о/И (U). Это эквивалентно тому, что о/М (U) порождается соб-
собственными векторами матрицы Тр.
Замечание. Легко видеть, что а'Р = а'Р почти наверное
тогда и только тогда, когда равны дисперсии этих величин; в самом
деле, из первого, очевидно, следует второе, а доказательство тео-
теоремы, из которой вытекает, что величина а'Р является н. л. н.о.
для а'Р, показывает также, что эта оценка единственна в сущест-
существенном. То же самое относится к Р и р, т. е. Р = Р п. н. равносильно
тому, что
(U'lTj-WTpU {U'UY1 = {U'TJU)-1.
Доказательство. Если Tv°ii cz Л (U), то для некоторого
вектора а
TPU (и'Щ^а = Uа.
Мы можем предположить, что (U''С/) С/'Ua — а и (U1'U)~XU'Ua =
= а. Таким образом, мы получаем
a' (U'U)-1 U'TpU (и'и)-га + a' (U'U)-xU'Ua = a'a.
Кроме того,
{U'U) (U'U)-1^ = U'T^Ua,
т. е.
(t/'iyt/)-^ = a,
поскольку Тр невырожденна и, значит, области значений U'T^U
и U' совпадают. Следовательно,
о/ (t/'iyc/)-^ = a'a.
Таким образом, а'Р и а'Р имеют одинаковые дисперсии и поэтому
совпадают почти наверное.
Чтобы доказать необходимость, заметим, что если TPU (U''С/) а
не ортогонален к ail (U)^-, то, выбирая с ? Л (С/)-Ц мы можем рас-
рассмотреть величину z' {U (С/'С/)а + е^Ь которая имеет математи-

2» Эффективность оценок. Случай конечной выборки 453
ческое ожидание Р'а + efJ't/V = Р'а и дисперсию
а' (U'U)-1 (UTPU) (U'U)-1* + 2sc'TpU (t/'t/) а + eVI>.
Если 8 достаточно мало и отрицательно, то это выражение меньше
первого слагаемого, что невозможно, поскольку тогда
z' {U (С//С/)~1а + с} будет несмещенной оценкой для а'Р с диспер-
дисперсией, меньшей дисперсии н. л. н. о. Таким образом, TPU (U'U)'1**
ортогонален к o/lt (U)-L, значит, ГрС7(С//С/)а ? Л (U), т. е.
U (С//С/)а ? °п, что и требовалось доказать.
Утверждение, что Р = Р почти наверное, эквивалентно тому, что
U {иги)~га ? °11 для всех а, поэтому °11 имеет ту же размерность,
что и оМ (U), а так как °11 а оМ (С/), то °ll = Jl (U), и равенство
ТроЖ (U) = o/it (U) является необходимым и достаточным условием
того, что Р = р почти наверное. Так как Гр симметрична, то отсюда
следует, что о/Я (U) порождается собственными векторами Г^, ибо это
верно для любого инвариантного подпространства симметричной
матрицы. Доказательство закончено.
Рассмотрим теперь случай, когда Гр = (G <8> /Л-), т. е. когда
х (п) есть последовательность некоррелированных случайных век-
векторов с постоянной матрицей ковариаций G, и Y'Y невырожденна.
Тогда матрица Гр коммутирует с GР ® YY'), а так как она симмет-
симметрична, то подпространства М (/р ® YY'), а значит, и М (Ip ® Y)
являются ее инвариантными подпространствамих). Но Гр GР ® Y)E =
= (G ® У) Е = GР ® У) (G ® Iq) Е, так что Ж (GР ® У) Е) может
быть неинвариантным относительно Гр лишь в том случае, если
М (Е) не инвариантно относительно (G ® Iq). С другой стороны,
пусть М (GР ® У) Е) инвариантно относительно Гр. Тогда для
всякого х найдется z/, такой, что
Г GР ®Y)Ex = GР ® У) Еу.
Но левая часть равна GР ® У) (G ® Iq) Ex. Если М (Е) не инва-
инвариантно относительно (G ® 7g), то мы можем найти х, такой, что
z = (G ® Iq) Ex $ ^ (Я) и GР ® У) z 6 ^? ((/Р ® У) Я), т. е.
Gр ® У) 2 = Gр ® У) Si/i. Полагая z = ?1/4 + zu мы видим, что
2j =?0 (так как z $ Ж (Е)) и GР ® У) zx = 0, а это невозможно,
так как 7Р ® Y'Y невырожденна. Таким образом, условие теоремы
переходит теперь в условие, что Ж (Е) инвариантно относительно
(G ® Iq), а поскольку Е — проектор, a G ® Iq — симметричная
матрица, то это эквивалентно требованию, что (G ® Iq) коммутирует
с Е, т. е. (G ® 7g) #Р = Я (G ® 7g) р, т. е. G5' удовлетворяет тем
же ограничениям, что и В'. Если это выполняется для всех неотри-
неотрицательных G, то это должно выполняться и для всех симметричных
G, поскольку любая симметричная матрица равна разности двух
неотрицательных матриц.
{А) обозначает область значений оператора А.

454 Гл. VII. Методы регрессии
Мы оставляем в качестве упражнения проверку того, что всякая
идемпотентная матрица Е, коммутирующая с G ® Iq для всех сим-
симметричных G, имеет вид /р ® F, где F— идемпотент. Таким обра-
образом, ограничения сводятся к тому, что (/р 0 F) р = 0, т. е. В' F =
= 0. Это означает, что наши линейные ограничения тривиальны.
Теорема 2. Если Тр = (G ® IN) и U = (Ip ® У) ?\ где
УУ невырожденна, а Е идемпотентна, то для того, чтобы Р = E
п. п., необходимо и достаточно, чтобы матрица G ® Iq коммути-
коммутировала с Е, т. е. GB' удовлетворяла тем же линейным ограничениям,
задаваемым матрицей Е, что и В'. Для того чтобы это выполня-
выполнялось для всех неотрицательно определенных G, необходимо и доста-
достаточно, чтобы эти ограничения были тривиальны.
Для иллюстрации этой теоремы рассмотрим пример z4 (n) =
= (it -f #1 {п), z2 (/г) = х2 (/г), где хх {п) и х2 (п) имеют единичные
дисперсии и все ковариации, кроме Е (xi (п) х2 (п)) = р фО, равны
нулю. В этом случае р = 2, q = 1, если взять у (п) == \. Линейное
ограничение состоит в том, что p2i = 0 (Ри = \х в настоящих обозна-
обозначениях). Оценкой наименьших квадратов для |i является zt с диспер-
дисперсией .V. Н. л. н. о. равна zx — pz2 с дисперсией A — р2) iV. Мож-
Можно заметить, что теорема тривиальна в случае р = 1, ибо тогда Гр
является скалярной матрицей, и поэтому любое линейное ограниче-
ограничение тривиально. Эта теорема показывает, что при изучении эффек-
эффективности оценок наименьших квадратов достаточно рассматривать
случай без линейных ограничений, так как эффективность может
иметь место только при тривиальных ограничениях, которые всегда
можно устранить путем переопределения у (п).
Рассмотрим сначала случай р = 1, q = 1. Мы хотим исследо-
исследовать, насколько неэффективными могут быть оценки наименьших
квадратов. Введем эффективность
равную отношению дисперсий Р и р. Здесь мы обозначили через у
матрицу У, состоящую из единственного столбца. Мы ищем мини-
минимум е по всевозможным векторам у. Другими словами, мы хотим
определить, насколько можно уменьшить эффективность оценок
наименьших квадратов при данном стационарном остаточном про-
процессе за счет выбора вектора регрессии. На первый взгляд может
показаться, что более интересно фиксировать у и минимизировать
эффективность по всевозможным Г. Однако мы всегда можем выбрать
Г так, что у = ац) + &г|), ГДе ф и гр — нормированные собственные
векторы Г, отвечающие собственным значениям \х и v, и а 0
Ъ ФО. Тогда эффективность р равна
(а2 + Ь2J {(а2\х + b2v) (аV1 + ^v)} =

2. Эффективность оценок. Случай конечной выборки 455
и может быть сделана сколь угодно малой за счет выбора достаточно
брлыпого fi/v. Таким образом, мы не получаем содержательных
выводов. С другой стороны, мы увидим, что, фиксируя Г и изменяя
вектор регрессии, мы получим полезные результаты. Следуя Ват-
сону [1955], мы покажем, что е минимальна при у = 2~1/2 (ф4 ± флО»
где ф7- — собственные векторы Г, занумерованные в порядке возрас-
возрастания собственных значений: Щ ^ |Д<2 ^S • • • ^ 1*>n- Соответствую-
Соответствующее минимальное значение е равно
Пусть в общем случае y=^jXj4>j» Тогда
Если некоторые из \ij совпадают, то мы объединим соответствующие
члены и запишем получившееся выражение в виде
где 2' — сумма по множеству несовпадающих собственных значе-
значений Г, a Wj — сумма х\ для одного и того же собственного значения
\ij. Если 2' состоит только из одного слагаемого, то, очевидно,
Г = у @) /Лг и е = 1. Если 2' состоит ровно из двух слагаемых, то
не составляет труда получить минимизирующие значения Wj и убе-
убедиться, что они дают величину е, определенную соотношением B.6).
Покажем теперь, что если имеется более двух слагаемых, то мини-
минимум может достигаться только в том случае, когда не более двух
из Wj отличны от нуля. Тогда доказательство будет завершено. Пусть
М — максимальное значение е, и пусть оно достигается при Wj =
= Wj, 0, где Wj, о =#=0, 7* = 1» 2, 3 (для определенности). Тогда, при-
придавая Wj, 7 =7^= 1» 2, 3, их оптимальные значения, мы приходим к сле-
следующим соотношениям (поскольку максимальное значение рассмат-
рассматриваемой теперь функции достигается во внутренней точке области
значений Wj, j' = 1, 2, 3):
Г—— ( М'1 ( У' wJ— У' U-W- У ' ^wW =0 к=\ 2 3.
Это дает нам
Определитель этой системы уравнений относительно неизвестных
/ | it/j( о, / i 1Д/О Wj, о? л_\ M'j^v» о равен
( М) ( - М-в) (М-2 - Нз) Ф 0,
так что единственным решением является 2 ^/. о—2
== S f^J1^/. о = 0, а так как ранг матрицы этой системы равен трем,

456 Гл. VII. Методы регрессии
то гг;;>0 = 0, что приводит к противоречию. Таким образом, полу-
получаем B.6).
Если р = 1, д>1, то мы можем рассмотреть произвольную
линейную комбинацию а'|3 компонент оцениваемого вектора и опре-
определить эффективность оценок наименьших квадратов как минимум
эффективности по Y и а. Мы можем предположить, что Y'Y = Р,
где Р — проектор на подпространство, порождаемое столбцами У;
тогда мы должны минимизировать отношение
е (а, У) - а' (УТ^У^а/а'УТУа, Ра = а.
Однако, если a'Y'Ya = 1, что всегда можно предположить х), то
в силу неравенства между средним арифметическим и средним гар-
гармоническим. В самом деле, если со у — собственные значения
УТ-ХУ, то
а' (УТ^У) а= S ^'> (S wfcoj, 2 и?= 1,
где мг- — компоненты вектора а в базисе из собственных векторов
УТ^У. Таким образом,
е (а, У) > {а'УТ^Уа-а'УТУа}-1.
Так как а'У'Уа = 1, то правая часть, как мы знаем, больше или
равна B.6). Однако легко видеть, что эта нижняя граница дости-
достигается, ибо мы можем взять в качестве Y матрицу из q столбцов,
из которых первый равен 2~1/2 {ф4 + q>N}, второй—
2~1/2 {ф2 + флг-i} и т. д., а в качестве а — вектор с единицей
на первом месте и нулями на остальных.
В случае р > 1 нелегко дать простую характеристику эффектив-
эффективности оценок наименьших квадратов.
Теорема 3. Пусть р = 1. Тогда достижимая нижняя гра-
граница эффективности (относительно н. л. н. о.) оценивания произ-
произвольной линейной комбинации а'Р дается соотношением B.6).
Эта нижняя граница эффективности обычно будет слишком стро-
строгой, и в большинстве случаев фактическая эффективность будет
гораздо выше. В заключение этого параграфа рассмотрим пример,
который должен пояснить значение этого результата.
Предположим, что истинной моделью для х (п) (в случае /; =
= q = 1) является скользящее среднее второго порядка
х (п) = 8 (п) + а A) 8 (п - 1) +у B) 8 (п- 2),
а мы считаем, что хв(п) есть скользящее среднее первого порядка, по
с тем же первым коэффициентом автокорреляции. Рассмотрим слу-
г) Так как ar|3 = ar {Y'Y)-1 У'Ур = а'Р$, то "мы можем считать, что-
Ра = а, и предположение а Ра — 1 сводится к изменению масштаба.

3. Эффективность оценок. Асимптотическая теория 457
чай, когда а A) = 0,2, а B) = —0,2, так что р A) - 0,15, р B) =
= —0,19. В этом случае е = 0,76. (Это есть предельное значение
при iV->oo, однако оно близко к правильному даже при весьма
малых значениях N.) Если же а A) = 0,8, а B) = —0,2, то р A) =
= 0,38, р B) — —0,12 и е = 0,00 (также предельное значение при
N -> оо). Удивительно то, что в этом случае коррелограммы согла-
согласуются несколько лучше, чем в первом! Объяснение, конечно, сле-
следует искать в характере спектра, ибо величины |i;, как мы знаем
из теоремы 7 гл. III, приближенно равны значениям 2л/ (X) (спек-
(спектральной плотности х (п)) в точках 2nk/N, k = 0, 1, . . ., [V2iV].
Во втором случае / (X) равна нулю (при X = я), так что е с необхо-
необходимостью стремится к нулю при возрастании N. Это дает порази-
поразительный пример силы методов Фурье как средства истолкования —
достоинство, которое наиболее очевидно проявляется в проблемах
настоящей главы.
Если р > 1, то нелегко найти характеристику эффективности
оценок наименьших квадратов, подобную данной в теореме 3 для
случая р = 1. В общем случае мы могли бы рассмотреть эффектив-
эффективность cp'Bty как оценки для ф'#ф. Это не самая общая линейная фор-
форма от элементов В. Кроме того, выражение для дисперсии tp'Bty
плохо поддается исследованию. Мы можем получить верхнюю гра-
границу для эффективности В, сравнивая дисперсию ц'Вхр с дисперсией
оценки, получаемой применением наилучшей несмещенной линейной
процедуры для оценивания Bty по наблюдениям ? (п) = i|/z (п),
причем остатки теперь равны | (п) = ^fx(n). Если Г^ — матрица
с элементами Е (J- (т) ? (т + п)) на п-й диагонали выше и ниже
главной, a \ij (я))) — ее собственные значения, (д^ (\р) ^ \х2 (Ф) ^ . . .
. . . < ]XN (Я|)), ТО
inf {eff (q/4(^ itL
Таким образом, мы получаем некоторое представление, насколько
плохими могут быть оценки наименьших квадратов. Так как спек-
спектральная плотность процесса ? (п) равна г|// (X) i|), то приближенная
оценка для эффективности может быть получена путем замены (л4 (\р)
и |1дг (г|)) на минимум и максимум функции г|// (X) г|? по всевозможным
г|з и X.
3. ЭФФЕКТИВНОСТЬ ОЦЕНОК НАИМЕНЬШИХ КВАДРАТОВ.
АСИМПТОТИЧЕСКАЯ ТЕОРИЯ
Рассмотрим теперь ситуацию, когда векторы у (я), п = 1, ...
. . ., JV, стоят в начале последовательностей, удовлетворяющих
условиям (а), (Ь) и (с) § 3 гл. IV. Таким образом, теперь мы будем
обозначать компоненты регрессорных] векторов через z/^ (n), n =
= 1, . . ., N; ] = 1, . . ., q. Во многих случаях индекс (N) можно

458 Гл. VII. Методы регрессии
опускать, так как y(.N) (n) от него не зависят. Мы обычно не будем
писать этот индекс, за исключением тех случаев, когда нужно под-
подчеркнуть зависимость от него. Если мы хотим получить асимптотиче-
асимптотические результаты, то какие-то условия типа условий Гренаидера необ-
необходимы, а если эти результаты должны быть выражены в спектраль-
спектральной форме, что представляется желательным, то условия Гренан-
дера. по-видимому, близки к минимальным. Как мы уже указывали,
они позволяют рассмотреть чрезвычайно широкий класс случаев.
В самом деле, любой эргодический стационарный процесс, как и лю-
любая последовательность, соответствующая полиномиальному тренду,
очевидно, удовлетворяет этим условиям. Определенный интерес
представляет случай, когда
И/< И = 2 hjVj (n)i & = 1, ..., Р,
i
являются решениями системы однородных разностных уравнений
2 В U)y(n-}) = О,
О
для которой все корни уравнения
det {2 5 (/')*')= О
о
лежат на единичной окружности. Этот случай выделяется по той
причине, что вклад, соответствующий корням вне единичного круга,
в конечном счете стремится к нулю, а вклад, соответствующий кор-
корням внутри единичного круга, возрастает слишком быстро, так что
ни тот, ни другой случай не укладываются в рамки условий Гре-
нандера. Подобные случаи всегда будут нуждаться в каком-то спе-
специальном рассмотрении. Если корнями являются числа exp iQj,
7=0, 1, . . ., s (мы обычно будем считать, что 0О = 0) и если /-й
корень имеет кратность ду, то среднее \ik (n) является линейной ком-
комбинацией членов вида
диcos9/rc, u = 0, I, ..., qj—l, 7=0, 1, ..., 5;
s
nusinQjn, u = 0, 1, ..., g; —1, qo + 2 2 qj = q.
Таким образом, эти q последовательностей играют роль уj (/г), а коэф-
коэффициентами при них в выражении для \ik (n) являются pfej-. Конечно,
если 9j = 0, ±я, то синусоидальная компонента отсутствует. Чтобы
определить характер М (к) (см. § 3 гл. IV), мы должны вычислить
N
2 [ти {т-\-пу cos (Qjm) cos {Qk (m + n)}]
lim m==1
N
I 2
2 ^ Qkm}
m=l 7n=l

3. Эффективность оценок. Асимптотическая теория 459
и аналогичные пределы, в которых cos Qjjn заменен на sin Qjm или
cos {Ofe (m + /г)} и cos Qkm — на соответствующие синусоидальные
члены. Мы оставляем читателю в качестве упражнения доказатель-
доказательство того, что этот предел равен нулю при 07- Ф Qk и следующим
выражениям при 07- = Qk и фиксированных и, v (для всевозможных
комбинаций косинусов и синусов):
sin 0;- (т + п) cos 0; (т + п)
а (и, v) cos 0;ft — а (и, v) sin 0;тг
а (ц, у) sin Qjii а (и, v) cos QjU
sin Qjm
cos Qjm
где
Таким образом, если мы составим из регрессорных переменных
{т. е. последовательностей вида пи cos Qj?i и /ги sin Qjri) вектор у (п)у
располагая их в порядке возрастания частоты, так что компоненты,
отвечающие одной частоте 07-, идут подряд по возрастанию и и для
любого и синус предшествует косинусу, то М (К) будет матричной
функцией, возрастающей только в точках ±Qj, причем скачок М
в этих точках равен матрице, элементы которой равны нулю,
за исключением элементов блока порядка 2д;- при 0;- =7^=0, я или д7-
при 0;- = 0, я на /-м месте диагонали. Для +0у @7- =И=0, п) этот блок
состоит из q) матриц размера 2x2, причем матрица, занимающая
клетку (и, и), и, v = 0, 1, . . ., qj — 1, имеет вид
а (и, у) Г
2 [-*
а для —Qj получается аналогичное выражение, но комплексно сопря-
сопряженное. При 0;- = 0, я этот блок состоит из элементов а (и, и), и, v =
= 0, . . ., qj — 1. Обозначая через Mj скачок в точке 0;-, мы видим,
что ненулевые блоки в Mj имеют вид
if1
где А — матрица с элементами а (и, и). Мы подробно остановимся
на этом случае, ибо он является центральным в нашем дальнейшем
рассмотрении.
Было бы нетрудно провести анализ в общей ситуации, когда р
может подчиняться линейным ограничениям, описываемым соотно-
соотношением Е§ = р, однако мы воздержимся от этого, чтобы не перегру-
перегружать изложение и без того сложного предмета. Однако в связи
с некоторыми дальнейшими результатами полезно вначале обобщить
теорему 2. Мы хотим теперь ввести YW вместо Y и доказать анало-
аналогичное утверждение о предельном поведении J3 и р при N -> оо (пред-

460 Гл. VII. Методы регрессии
полагая по-прежнему, что Гр = 7V ® G). Мы хотим доказать, что
ковариационные матрицы этих оценок, определенным образом нор-
нормированные, сходятся при N -> оо к одному и тому же пределу в том
и только том случае, когда ограничения инвариантны относительно
Е. Отсюда, как и раньше, будет следовать второе утверждение тео-
теоремы. Единственная трудность, которая здесь возникает, связана
с нормировкой, так как мы должны рассматривать
где DN — матрица, определенная в § 3 гл. IV. Мы теперь потребуем,
чтобы /р ® D N коммутировала с Е. Не налагая этого условия, по-ви-
по-видимому, трудно получить простой асимптотический результат. Само
по себе такое условие представляется естественным и, вероятно,
не ограничивает сколь-нибудь существенным образом применимость
результатов. В самом деле, утверждение, что Ip ® DN коммути-
коммутирует с /?, равносильно тому, что D NB удовлетворяет всем ограниче-
ограничениям, которым удовлетворяет В. Если ограничения относятся лишь
к определенной строке матрицы 5, то это, очевидно, будет выпол-
выполняться (так как D х диагональпа). Если же, например, ограничение
требует равенства двух элементов в разных строках В, то анало-
аналогичное условие будет выполняться и для D NB (если оно выполняется
для В) при условии, что соответствующие диагональные элементы
dj (N), dk (N) матрицы DN равны. Этого всегда можно добиться,
если только отношение этих элементов сходится к ненулевому конеч-
конечному пределу. Вряд ли условие типа равенства двух элементов
потребуется в ситуации, когда у?*\п), Ук*\п) не ведут себя соот-
соответствующим образом. Итак, предположим, что GР ® DN) комму-
коммутирует с Е; тогда мы легко получаем
lim GР ® DN) cov (P) (Ip ® DN) =
= {Е AР ® R @)) Eft (G®R @)) {Е (Ip ® R @)) Е)~\ C.1)
lim (Ip ® DN) cov (Pj GP ® DN) = {E (G ® R @)) E}. C.2)
N-+OO
Докажем, например, второе соотношение:
lim GР ® DN) (Е GР ® Y') (G ® IN) GР ® У) Еу1 GР ® DN) =
N-+00
= lim (E (G-1 ® D^Y'YDj}) E)~l = (E (G ® R @)) Еу1.
А'->оо
Разумеется, все обратные матрицы понимаются в обобщенном смыс-
смысле. Теперь доказательство того, что правые части соотношений C.1)
и C.2) совпадают, ничем не отличается от доказательства равенства
Р = р п. н. в условиях § 2, где роль Y'Y играет R @), и очевидно,
что необходимым и достаточным условием вновь будет перестано-
перестановочность (G ® Iq) и Е.

S. Эффективность оценок. Асимптотическая теория 461
Теорема 4. Пусть Yv = (G ® IN), i? @) невырожденна и
Ip ® Z)N коммутирует с Е; для того чтобы $ и $ асимптотически
имели одинаковые матрицы ковариаций, необходимо и достаточно,
чтобы G ® /(/ коммутировала с Е {т. е. GB' удовлетворяла всем
линейным ограничениям, которым удовлетворяет В'). Это выпол-
выполняется для всех G тогда и только тогда, когда линейные ограничения
тривиальны.
В частности, из этой теоремы следует, что для эффективности
оценок наименьших квадратов при произвольном спектре х {п)
необходимо, чтобы линейные ограничения были тривиальны. Это
же верно и в предположении, что х (п) может иметь произвольную
непрерывную спектральную плотность или, например, произволь-
произвольную непрерывную спектральную плотность / (X) > 0, X ? (—я, я];
в последнем случае, хотя мы и допускаем только Гр вида (G ® /Л-)
с G > 0, по-прежнему применимы заключительные рассуждения
доказательства теоремы 2, так как если G ® Iq коммутирует с Е
для любой G > 0, то это, очевидно, выполняется и для любой G ^ 0.
Таким образом, если нас интересует условие, при котором оценки
наименьших квадратов асимптотически эффективны для любого
х (п) с достаточно произвольной спектральной матрицей, то мы имеем
право ограничиться случаем, когда нет нетривиальных линейных
ограничений. (Конечно, остается проблема — что будет в промежу-
промежуточном случае, для фиксированной }х (X), и мы рассмотрим ее в слу-
случае без ограничений, однако при наличии ограничений она слишком
сложна и требует особого рассмотрения.)
Мы установили в теореме 8 гл. IV, что если / (X) кусочно-непре-
кусочно-непрерывна и не имеет разрывов в точках скачков М, то
lim (/„ ® ?>Л-) cov (Р) (/„ ® DN) =
Л7-*оо
= (/„ ® R (О)) j 2л/ (X) ® М' (dk) (Гр ® R (О)). C.3)
— 31
Данное там доказательство относилось к случаю, когда при вы-
вычислении р вместо z (п) используется х(п). Однако
где X имеет xj (n) в п-й строке и /-м столбце, так что теорема 8 гл. IV
охватывает и настоящий случай. Теперь мы докажем соответствую-
соответствующий результат для р.
Теорема 5. Пусть R @) невырожденна, а х (п) — стационар-
стационарный процесс с абсолютно непрерывной спектральной плотностью
/ (X) > 0, X 6 (—я, я], которая кусочно-непрерывна и не имеет, раз-

462 Гл. VII. Методы регрессии
ръгвов в точках скачков М (X); тогда
я
lim (/р <g> DN) cov (Р) (/р ® Я*) = { ( W^)} ® ЛГ (сД)}1. C.4)
Доказательство. Предлагаемое нами доказательство
является в основном модификацией доказательства Гренандера и
Розенблатта [1957] для случая р = 1. Заметим, что если / (X) > О,
X 6 I—я, я], и / (X) непрерывна, то мы можем найти спектральные
плотности скользящих средних х) t^KX)'1, i = 1, 2, такие, что
О < /A) (Х)-х</ (Х)-г^р2> (X)'1
Эти неравенства следует понимать в обычном смысле для эрмитовых
матриц; например, мы можем аппроксимировать / (X)'1 + 1/^г1р
и / (X)'1 — V4s/p равномерно (по X), используя чезаровские средние
рядов Фурье элементов матриц / (X)'1 ± V\г1р. Если мы возьмем
достаточно близкую равномерную аппроксимацию, то получим тре-
требуемый результат. Таким образом, мы аппроксимировали / (X)
сверху и снизу авторегрессионными спектральными плотностями,
удовлетворяющими указанным неравенствам. Покажем сначала, что
lim AР ® DN) {(Ip ® У) Г^) AР ® У)} (Ip ® DN) =
11
= [ j {2я/<{> (Я)} ® М' (ЙЯ)], i = 1, 2, C.5)
где Г(р соответствует /(г) (Я) так же, как Гр соответствует f(X).
Матрица, обратная к которой стоит в правой части C.5), невы-
рожденна, так как для любого pg-мерного вектора ифО
и* j /(i) (X)-1 ® М' (dX) u^a j u* (/ <g) Af# (dA,)) u>a^*a j (i (dX),
где a/p — нижняя граница для f^iX)'1, a >> 0, a (i (X) — наимень-
наименьшее собственное значение М (X), возрастающее при X -> оо к наи-
наименьшему собственному значению R @), которое положительно.
Таким образом, вместо C.5) можно рассматривать соотношение*
которое получается из него заменой матриц в обеих частях на обрат-
обратные. Пусть х (п) — стационарный процесс, удовлетворяющий соот-
соотношению
2
3=0
г) Другими словами, /(^) (к)'1 являются положительными матричными три-
тригонометрическими многочленами.— Прим. пер ев.

3. Эффективность оценок. Асимптотическая теория 463
где В (/) — авторегрессионные матрицы, отвечающие, напримерг
fv(k), а г| (лг) — независимые и одинаково распределенные слу-
случайные векторы с нулевыми средними и единичной матрицей кова-
риаций (удобно не накладывать ограничения В @) = /р). Пусть
х — вектор с компонентой х^ (п) на [(/г — 1) р -f- к]-м месте. Таким
образом, мы теперь переупорядочили элементы х, расположив их
сначала по возрастанию п, а затем по возрастанию к. Пусть
где В имеет (N — г) р строк и Np столбцов и состоит из блоков раз-
размера р X р, причем на пересечении к-й строки и /-го столбца блоков
матрицы В находится блок В (г -\- к — I) или нулевой блок, если
(г + к — /) не лежит в пределах от 0 до г (включительно). Матрица
Ai строится с помощью процедуры Грама — Шмидта г) так, чтобы
в первых гр строках вектора ?• находились ортонормированные слу-
случайные величины, ортогональные также ко всем остальным (N — г) р
компонентам, которые получаются из г] (г -f- 1), г] (г + 2), ...
. . ., г] (п), помещенных последовательно в столбец. Следовательно,
где ГA) не равна Т?\ но состоит из N2 блоков вида ГA)га — п. Таким
образом, Гр1} получается из ГA) переупорядочением элементов
у If (m — ri), так что они располагаются в строках в первую очередь
по возрастанию т, а затем — по / (а не наоборот), и в столбцах
в первую очередь по п, а затем — по /. Поэтому при вычислении C.5)
(точнее, обращенного соотношения) предпочтительно произвести та-
такую же перестановку элементов всех матриц. После вычисления мы
вернемся к прежнему порядку. Итак, рассмотрим
(D-J ® 1Р) (У ® /р) Д'Д (У
= { 2 {В^у{т)у{п)') 2
т, ?i=l t=-oo
где RN — остаточный член, выражающийся через элементы А и А',
принадлежащие Ai. Имеется всего 4г2 блоков в А'А, содержащих
элементы из Ai (те, которые находятся в первых 2г строках и столб-
столбцах блоков). Отсюда сразу следует, что RN сходится к нулю с ве-
вероятностью 1. Сумма по t в последнем соотношении, разумеется,
конечна, и мы записали ее в таком виде только для того, чтобы не ука-
указывать пределы суммирования для ненулевых слагаемых. Далее,
л
)= \
См. § 2 математического приложения.

464 Гл. VII. Методы регрессии
Остается оценить выражение
2 [Y^y{m)y'(m^u)Dit® 2 В'(t) В (t + и)},
1'Де 2 —суммирование по т, таким, что т и т — и лежат между 1
и .V. Оно сходится к
я
я
= С M (dX) ® {2я/A> (- Я)}'1 =
J
-Я
Я
= j M' (dX) <g> {2л/A> (Х)}-\
-Я
Еще раз обращая порядок тензорных индексов (так же как при пере-
переходе от ГA) к Гр}), мы получаем требуемый результат. Аналогичный
результат имеет место для /B) (X). Окончание доказательства для
случая / (X) > О, X ? [—я, л], и обобщение на случай, когда/ (X)
может быть кусочно-непрерывной, проходят почти точно так же,
как в теореме 8 гл. IV. Доказательство завершено.
Если / (X) 5^> 0, то мы можем заменить / (X) на / (X) + е/р, и
из C.5) (с Гр вместо Г<р) видно, что матрица ковариаций для
(/р ® DN) (Р — Р) получается как предел C.4) при е -> 0. Однако
этот предел, вообще говоря, не равен выражению, которое полу-
получается подстановкой обобщенных обратных в C.4). В самом деле,
рассмотрим случай р = 1 и q = 1, когда правые части соотношений
C.3) и C.4) равны соответственно
я я
\ 2nf(X)m(dX), | [ Bnf(X))-1m(dX)y1.
-я -я
Если / (X) равна нулю на множестве точек роста т (X), то второе
из этих выражений, если заменить в нем / (X) на / (X) + е, стремится
к нулю при е -> 0.
Рассмотрим связь этих результатов с результатами предыдущего
параграфа сначала для случая р = q = 1. Из рассуждений, при-
приведших к выражению B.6) для нижней грани эффективности оценок
наименьших квадратов, мы видим, что при р = 1 нижняя грань
асимптотической эффективности в стационарном случае достигается,
если т (X) возрастает лишь на двух множествах, а именно там, где
/ (X) достигает наибольшего (/и) и наименьшего (//) значений, при-
причем полные приращения на этих множествах должны быть одина-
одинаковы. Это можно показать, заменяя интегралы на аппроксимирую-

3. Эффективность оценок. Асимптотическая теория 405
щие суммы Римана — Стилтьеса и используя только что упомяну-
упомянутый результат предыдущего параграфа. (Можно, конечно, построить
т (к), возрастающую лишь в двух точках интервала @, я). Напри-
Например, такую т (X) даст нам у (п) = cos пХ{ + cos пХ2.) Таким обра-
образом, если
0)m j
есть сумма Римана — Стилтьеса для первого интеграла, то nij играют
роль (х]/Ух1) в B.6), а 2я/((о7) заменяют A7-. Оба интеграла с произ-
произвольной точностью могут быть аппроксимированы подобными сум-
суммами, и так как / (X) предполагается непрерывной (или не имеющей
разрывов в точках скачков т (X)), то справедливость высказанного
утверждения очевидна. При р = 1, q > 1 мы должны были бы рас-
рассмотреть сначала &'Р и 6'р. Однако их дисперсии стремятся к нулю.
Поэтому мы должны взять a'D N§ и а'/)л*р, т. е. рассмотреть после-
последовательность линейных комбинаций оценок с коэффициентами,
задаваемыми вектором D Аа, которые возрастают таким образом, что
дисперсия соответствующей линейной формы не стремится к нулю.
Дисперсии, которые нужно сравнить, равны теперь
я
а'Я (О) j 2л/ (Я,) М' (dk) R (О) а;
-1
а.
а' { j {2л/(k)}-iM'(dk)}~
Если мы положим а = Д@I/2с, то мы должны будем сравнить
л л
с' [ 2л/ (/.) N' (dk) с. с' { j {2nf(k)}-1N(dk)yic.
-Я -Л
где N (X) = R @)-V2M (X) R (О)2. Вновь заменяя интегралы
на аппроксимирующие суммы Римана — Стилтьеса и производя
сравнение, как в § 2, мы получаем следующую теорему:
Теорема 6. Пусть р = 1 и / (X) непрерывна или не имеет
разрывов в точках скачков М (X). Тогда асимптотическая эффектив-
эффективность оценивания линейной комбинации a'DNB no методу наимень-
наименьших квадратов (относительно н. л. н. о.) ограничена снизу величиной
4lfu /о ?\
(ТГТТ^- C-6)
Как было отмечено в § 2, мы не смогли найти аналогичный ре-
результат в случае р > 1. Почти точно так же, как и в конце § 2, мы
можем рассмотреть (ср ® D xty) p и соответствующие оценки
(ф ® DNty) р, (ф ® DNty) р! Вновь варьируя ф, а|), а также М (X),

466 Гл. VII. Метооы регрессии
мы получаем следующую верхнюю грань для минимально возможной
асимптотической эффективности оценок наименьших квадратов:
,nf
(fi (*) + fu №)J '
где /г (г|)) — минимальное, a /u (ty) — максимальное значения
Теперь мы займемся рассмотрением обратной задачи, а именно:
в каком случае оценки наименьших квадратов эффективны. Вновь
введем матричную функцию N (к) = R @)2М (X) R @)/2, так что
N (X) эрмитова, имеет неотрицательные приращения и удовлетворяет
соотношению
л
j N (dX) = Iq.
Имеет место следующая теорема (Гренандер и Розенблатт [1957]),
где носителем N (X) мы называем множество точек роста N (X):
Теорема 7. Существует разложение носителя N (X) на не бо-
более чем q непересекающихся множеств Sу, такое, что матрицы
- ( .V (dX)
образуют единственное в существенном максимальное семейство
взаимно ортогональных идемпотентов.
Замечание. Говоря, что Nj — взаимно ортогональные идем-
потенты, мы имеем в виду, что они удовлетворяют соотношениям
N* = Nj, NiNk = bhjNj, %Nj = Iq. C.7)
i
Это семейство максимально в том смысле, что невозможно дальней-
дальнейшее разбиение Sj, которое привело бы к более широкому семейству
с такими свойствами. Разложение единственно в существенном в том
смысле, что любому другому разложению с этими свойствами отве-
отвечают множества Sj, такие, что симметрическая разность между Sj
и Sj (т. е. множество точек, принадлежащих одному из этих множеств
и не принадлежащих другому) имеет нулевую меру относительно
функции распределения Tr {N (X)}.
Доказательство. Положим п (X) = q-1 Tr (N (X)). Допу-
Допустим, что (—я, я] разлагается на два множества S, S', такие, что
S[)S' = (-л, л],
N(S)= \N(dX), N(S')=\N(dX), N(S) + N(S') = Iq,
s s'
N (SJ = N (S), N (SfJ = N (Sf).

3. Эффективность оценок. Асимптотическая теория 467
Так как
N (S) = N (S) Iq= N EJ + .V (S) N (Sf) = N(S) + N (S) N E'),
то N E), N (S') — взаимно ортогональные эрмитовы идемпотентьт.
Далее, если это возможно, разложим аналогичным образом S или
S'. Этот процесс должен закончиться через конечное число шагов,
так как в g-мерном пространстве не может быть более q взаимно орто-
ортогональных эрмитовых матриц. Покажем, что окончательный резуль-
результат не зависит от способа разложения. Пусть Sj, j = 1, . . ., г ^ q,—
подмножества некоторого максимального разложения (которое
не может быть разложено далее), a Sj, j = 1, . . ., г' ^ q,— под-
подмножества другого такого же разложения. Очевидно, что мы можем
привести все N(Sj) к диагональной форме одним и тем же унитарным
преобразованием N (Sj) ->- UN(Sj)U*. Кроме того, мы можем
выбрать U таким образом, что N(S{) будет иметь единицы на первых
г4 местах диагонали и нули на остальных, N (S2) будет иметь единицы
на диагональных местах с гх + 1 по ^ + г2 и нули на остальных,
и т. д. Преобразованные матрицы вновь обозначим через N (Sj),
а матрицы UN(Sj)U* — через .V (Sj). Теперь N (Я), Я ? ?,-, не имеет
ненулевых элементов вне строк и столбцов с номерами от
ri + г2 + ... + 0-1 + 1 до ^ + г2 + . . . + г,-, во всяком слу-
чае это верно почти всюду относительно п (X) (или, точнее, относи-
относительно соответствующей меры на (—л, я]). Допустим, что S^ пере-
пересекается с двумя Sj, например Sh Sm, так что пересечения имеют
ненулевую меру относительно п (Я). Если
Nh, г = J N
= J
— идемпотент, то интеграл от N (dX) по дополнению S'k в St также
должен быть идемпотентом; это можно доказать приведением Nh, г
к диагональной форме унитарным преобразованием. Но Nk, i не ра-
равен нулю, так как S^ f) SL имеет ненулевую меру относительно п (X).
Таким образом, мы получаем противоречие, ибо А7 E,;) является
прямой суммой N (Sk П Sj) *). Следовательно, разложение единствен-
единственно в существенном, и теорема доказана.
Множества Sj называются элементами спектра регрессорных век-
векторов, однако мы для краткости будем называть их просто элемента-
элементами спектра. Может возникнуть вопрос — каков смысл этих Sj? Для
иллюстрации рассмотрим случай q = 2. Предположим, что имеется
1) Точнее, N Ei) = ^ (Sk fl St) + N (S'h fl St), где TV {S'k fl St) N {S'k П Sj) = O,
так как N (%) N (fx) — 0, h^Si, \i?Si в силу сказанного выше. Но, поскольку
N (Sk) — эрмитов идемпотент, отсюда легко следует, что N (Sk П Si) и N (Sk f]~Si)
также идемпотенты. Их нетривиальность противоречит максимальности раз-
разложения {N(S})}. —Прим. перев.

468 Гл. VII. Методы регрессии
два Sj (максимально возможное число). Если S cz Su то N (S) =
= \ N (dX) ^ Ni. Следовательно, N (S) N2 = 0, и мы можем разло-
s
жить двумерное комплексное векторное пространство, в котором
действуют N (S), на два ортогональных одномерных подпростран-
подпространства, таких, что если S cz St, то N (S) является нулевым оператором
во втором подпространстве и оставляет инвариантными оба подпро-
подпространства. Если S cz S2, то N (S) оставляет инвариантным второе
подпространство и равен нулевому оператору на первом. Следова-
Следовательно, N (X) для любого X является диагональным, причем носитель
первого элемента содержится в*?!, а второго — в S2. Таким образом,
взамен исходных последовательностей ух (п), у2 (п) мы эффективно
построили две новые комплексные комбинации (с коэффициентами,
не зависящими от п), так что эти новые последовательности не просто
некогерентны на любой частоте, но, более того, имеют спектральные
массы, сосредоточенные на непересекающихся подмножествах. (Эти
утверждения о спектрах и когерентности относятся к обобщенным
спектрам, введенным в связи с условиями Гренандера.) Эти после-
последовательности соответствуют двум сигналам, посылаемым по каналам
без интерференции.
Теперь мы докажем основную теорему, которая обобщает на слу-
случай р > 1 результат Гренандера и Розенблатта [1957], стр. 244.
Теорема 8. Пусть f (X) непрерывна и det { / (X)} > 0,
X ? (—я, я]. Оценки р и р имеют асимптотически одинаковые мат-
матрицы ковариаций г) в том и только в том случае, когда f (X) постоянна,
на элементах спектра.
Равенство матриц ковариаций эквивалентно тому, что
л
{1Р ® R (О)} j 2л/ (X) ® М' (dX) {Ip ® R (О)} X
X
-я
После умножения слева на матрицу {Ip ® R @)}1/2 и справа на об-
обратную к ней, получаем
я л
\ f (k) <g> N' (dX) j / (л) <g> N' (dk) .--= Ipg. C.8)
-п - л
Если условие теоремы выполняется, то левая часть последнего соот-
соотношения равна
х) Эта формулировка несколько неточна. Мы, конечно, имеем в виду, что
после нормировки посредством DN эти матрицы имеют один и тот же предел.

3. Эффективность оценок. Асимптотическая теория 469
где fj — постоянное значение f (X) на Sj. В силу C.7), это равно
что и требовалось доказать.
Для доказательства необходимости снова введем п (X) =
= #~1ТгЛг(Х). Тогда п (X) задает распределение вероятностей
на (—я, я]. Диагональные элементы rijj (X) матрицы N (X), очевидно,
абсолютно непрерывны относительно п (X), и то же справедливо для
внедиагональных элементов п^ (X). Таким образом, мы можем поло-
положить .V (dX) = р (X) п (dX) и переписать C.8) в виде
{/ (ty ® Р (^} w (dX) {/ (Я) ® р (а)} п (dX) = Ipq.
j
I -Л
Если мы возьмем след от обеих частей, то получим
я
J J Тг {/ (К) f ((X)} Тг {р (К) р (ц)} п (dX) n (dp) = pq. C.9)
-Я
Но
Тг {/ (X) / (jx) + f(\i)f (Xy1}^2p,
причем равенство достигается тогда и только тогда, когда f(X)=f([i).
В самом деле, левая часть равна
где vj — собственные значения матрицы / (\i)~1/2 f (X) f (jx)-1^. Так
как х + х'1 ^ 2, причем равенство имеет место только при х = 1,
то отсюда вытекает наше утверждение. Таким образом, левая часть
C.9) больше или равна
p^Tv{p(X)p(ii)}n(dX)n(dli) =
причем равенство достигается тогда и только тогда, когда
Тг {р (X) р ((х)} =0 при / (X) Ф} ((х), за исключением, быть может,
множества нулевой меры относительно п (dX) n (d[i). Матрицы р (X)
являются элементами д2-мерного векторного пространства со скаляр-
скалярным произведением Тг (р (X) р (jx)*) = Тг (р (X) р (jx)). Поэтому
может быть лишь конечное число взаимно ортогональных р (X).
Таким образом, пренебрегая множеством нулевой меры относительно
п (dX) n (djLt), можно утверждать, что / (X) принимает лишь конечное
число различных значений. Обозначим через Sj j-e множество,
на котором/ (X) постоянна (с точностью до множества нулевой меры),

470 Гл. VII. Методы регрессии
И ПОЛОЖИМ
Nj= [ p(X)n(dX).
Тогда Nj эрмитовы, неотрицательны, взаимно ортогональны и в сум-
сумме составляют Iq. Следовательно, они являются также идемпотента-
ми, так как Nj = Njlq = Nj 2 Nk = N]. Таким образом, теорема
k
доказана.
Отсюда вытекает следующая теорема, которая также является
обобщением результата Гренандера и Розенблатта [1957]:
Теорема 9. Для того чтобы C и р имели асимптотически
одинаковые матрицы ковариаций для любой непрерывной х) / (X) с
det {/ (X)} > 0, X ? (—я, я], в случае р = 1 необходимо и достаточ-
достаточно, чтобы элементы спектра являлись точками или парами точек
(в (—я, л]), расположенных симметрично относительно нуля, а в слу-
случае р > 1 — чтобы они были изолированными точками в (—я, я].
Доказательство очевидно; различие между случаями р = 1 и р >
> 1 обусловлено тем, что / (X) = f (—X) при р = 1, тогда как при
р > 1 это не обязательно так.
Рассмотрим подробнее случай, когда имеет место результат теоре-
теоремы 9. Если Qj^O — точка спектра регрессорных векторов, то
— Qj (Qj ф я) также должна быть точкой спектра, и скачки N (X)
в точках ± Qj обязательно должны быть комплексно сопряженными.
Если 67- = 0, я, то Nj — вещественная симметричная идемпотентная
матрица. Если 9у=^=0, я, то скачок N (X) в точке Qj имеет вид Uj +
+ iVj, где Uj симметрична, a Vj кососимметрична. Если р = 1, то
2Uj есть идемпотент, отвечающий множеству {97-, —Qj}. Если Uj 4-
+ iVj — идемпотент, как должно быть в случае р > 1 и может быть
при р = 1, то мы обозначим его через Nj и заметим, что Nj — также
эрмитов идемпотент, причем NjNj = 0. Отсюда U) = —V), UjVj —
— VjUj. Кроме того, 2U) = Uj, откуда 2UjVj = Vj. Таким образом,
2Uj также является идемпотентом. Матрицы 2Uj (отвечающие Qj ?
6 @, я)) взаимно ортогональны. В самом деле, NjNk = 0 =
= NjNh (j фк). (Конечно, Nj = Nj, если {Qj, —Qj} является эле-
элементом спектра, однако если элементом спектра является {Qj}, то это
не верно.) Отсюда следует, что UjUk = 0 (j фк). Вместе с Uj для
97- = 0, я (если они имеются) матрицы 2Uj образуют множество вза-
взаимно ортогональных идемпотентов, составляющих в сумме Iq. Та-
Таким образом, мы можем разложить векторное пространство 2С, в ко-
х) Теорема остается справедливой, если в ее формулировке слова «для
любой непрерывной / (X)» заменяются словами «для семейства / (А,), разделяю-
щего точки интервала (—я, я] при р > 1 и [0, я] при р = 1». Например, при
р = 1 это семейство может состоять из единственной спектральной плотности
авторегрессии первого порядка с р A) Ф 0.

3. Эффективность оценок. Асимптотическая теория
471
тором они действуют, на взаимно перпендикулярные подпростран-
подпространства 3%j, причем 2Uj будет единичным оператором Ej в /-м из них
(и нулевым в остальных), и то же верно для Uj при 07- = 0, п. Так
как Uj -j- iVj — эрмитова неотрицательная матрица, то Vj также рав-
равны нулю вне Я'j (и кососимметричны на 3?j). Если Uj + iVj = Nj
(т. е. р > 1 или {Qj} является элементом спектра в случае р = 1),
то, как показывают полученные выше соотношения, мы можем боль-
больше сказать о структуре Vj. В самом деле, тогда BF,J = — BС/уJ,
так что BVjJ есть — Ej. Таким образом, 2Vj удовлетворяет соотно-
соотношению 2VjBVj)f = — BVjJ = Ej и 2Vj является ортогональной
матрицей на 3'j. Следовательно, 2Vj как оператор в &*j является
прямой суммой вращений в двумерных взаимно перпендикулярнБ1х
подпространствах и, возможно, единичного оператора в одномерном
подпространстве (см., например, Бернер [1963], стр. 13, теорема 5.2е).
Так как BF/J ¦= —Ej, то такого одномерного подпространства быть
не может, и углы вращепия должны равняться 1/2п. Следовательно,
Sj четномерно и в соответствующем базисе
Г 0 1 О О
-10 0 0
0
о
о о
0 -1
1
о
0
1
C.10)
-1 0,
Итак, мы доказали
Следствие 1. Если выполняются условия теоремы 9, то мы
можем разложить q-мерное (вещественное) пространство 3", в кото-
котором действуют Uj, Vj, на взаимно перпендикулярные подпространства
??j с единичными операторами Ej, отвечающие каждой точке 0у ^ 0
спектра регрессорных векторов. При этом Uj, Vj действуют в 5Vj
(и равны нулю в &ь, кф]) и Uj = Ej, 07- = 0, л; 2Uj = Ej, 0у ф
ф0, л, тогда как Vj кососимметричны. Если {Э7-} является элемен-
элементом спектра (как должно быть в случае р > I, но может быть и в слу-
случае р = 1), то 3*j четномерно и Vj имеет вид C.10).
Мы предоставляем читателю убедиться, что семейство векторов
регрессии, описанное в начале этого параграфа, удовлетворяет
условиям следствия (при р > 1), причем размерность JTy. равна 2pj,
где Pj — кратность корня exp iQj характеристического многочлена.
Таким образом, в случае р > 1 асимптотическое спектральное пове-
поведение любого семейства векторов регрессии, удовлетворяющего тео-
теореме 9, совпадает с поведением семейства решений некоторого разно-
разностного уравнения, для которого все корни характеристического много-

472 Гл. VII. Методы регрессии
члена лежат на единичной окружности. Конечно, могут быть и дру-
другие последовательности с такой же М (л). Интересно отметить, что
в случае р > 1, для того чтобы имела место теорема 1, необходимо,
чтобы Ж] было четномерным. В частности, если среди г/; (п) есть
cos nQj, то должен быть и sin /г9/. В случае р = 1, как указал Ро-
зенблатт [1959], это не обязательно так.
Условия, при которых оценки наименьших квадратов являются
асимптотически эффективными, очевидно, весьма ограничительны.
Кроме того, мы должны подчеркнуть асимптотический характер
результата. В случае когда имеются только cos nOj или sin nQj
(а не пи cos nQj с w>0, например), асимптотическая теория, по-ви-
по-видимому, дает хорошую аппроксимацию даже при не очень больших
N. В связи с оцениванием сезонных колебаний Террел и Такуэл
[1969] исследовали эффективность оценок наименьших квадратов
в случае, когда jjj (п) имеют вид cos 2njnl\2, sin 2л/ш12, / = 1, ...
. . ., 6 и р = 1, а х (п) порождается уравнением
х (п) — 1,1 х (п — 1) -f 0,3 х (п — 2) = е (и),
для которого корни характеристического многочлена
z2 - 1,1 z+ 0,3
равны —0,6 и —0,5. Данные преобразовывались путем вычитания
из z (п) центрированного 12-членного скользящего среднего. Это,
конечно, не сказывается на регрессорных переменных yj{ri), но при-
приводит к появлению довольно резкого пика вблизи л, 6 для нового
остаточного процесса. Фактические эффективности оценок наимень-
наименьших квадратов для а7-, / = 1, . . ., 6, и Р7-, j' = 1, . . ., 5, относитель-
относительно н. л. н. о. указаны ниже. Здесь а7- — коэффициент при cos 2я//12,
a P7- — при sin 2jt;712. В таблице приведены четыре значения N.
(Здесь .V — число наблюдений, фактически используемых в регрес-
регрессии, т. о. на 12 меньше числа наблюдений, имевшихся перед фильтра-
фильтрацией.)
Таблица 1
Относительные эффективности для авторегрессионных остатков
N 1 Pi а2 02 аз Рз а4 р4 а5 Рз а6
36 0,9453 0,9236 0,9323 0,9038 0,9366 0,9366 0.8934 0,9556 0,8632 0,9865 0,9166
48 0,9523 0,9318 0,9458 0,9223 0,9495 0,9495 0,9137 0,9648 0,8882 0,9895 0,9331
60 0,9584 0,9395 0,9549 0,9351 0,9582 0,9582 0,9279 0,9710 0,9060 0,9914 0,9444
72 0,9634 0,9460 0,9614 0,9443 0,9644 0.9644 С,9382 0,9753 0,9191 0,9927 0,9525
Представляет некоторый интерес сравнение истинных дисперсий
н.л.н.о. с теми, которые даются асимптотическими формулами.
Например, для оц отношение первой дисперсии ко второй равно 0,86;
0,89; 0,91; 0,92 для четырех значений N, приведенных в табл. 1,

3. Эффективность оценок. Асимптотическая теория 473
так что даже при N = 72 фактическая дисперсия заметно меньше той,
которая дается асимптотической формулой.
Розенблатт [1956b] исследовал случай, когда р = 1, q = 2,
ух (п) = 1, у2 (п) = п и х (п) — рх (п — 1) + е (п). Оценки наимень-
наименьших квадратов в этом случае также асимптотически эффективны.
Таблицы Розенблатта весьма подробны и охватывают значения N =
= 10, 15, 20, 50, причем р = —0,8 @,2) 0,8 для каждого N. Мы при-
приводим из них три выдержки. В каждом случае (а) указывает матрицу
ковариаций для оценок наименьших квадратов, (Ь) — для н.л.н.о.
и (с) — матрицу ковариаций для н. л. н. о., получаемую из асимпто-
асимптотической формулы. Три столбца соответствуют трем элементам мат-
матрицы, а именно A,1) — для постоянного члена, B, 2) — для коэффи-
коэффициента при п и A, 2) — для ковариаций между этими двумя оценками.
Таблица 2
(a)
(b)
(с)
(a)
(b)
(c)
(a)
(b)
(l, i)
3,48
3,17
10,00
0,15
0,13
0,10
0,22
0,21
0,22
¦ A, 2)
-0,36
-0,32
-1,50
Л' = 15, p=—0,6
-0,15
-0,13
-0,10
;V=:50, p--0,04
-0,006
-0,006
-0,007
B, 2)
0,07
0,06
0,30
0.002
0,002
0,001
0,0003
0,0002
0,0003
Очевидно, что данные этой таблицы свидетельствуют о лучшем согла-
согласии между оценками наименьших квадратов и н.л.н.о. при больших
значениях N и меньших значениях | р |. При N = 50 все результа-
результаты достаточно хороши. Наибольшее расхождение обнаруживается
при ^V = 10, р = 0,8. Как и можно было ожидать, согласие с асимпто-
асимптотической теорией относительно ухудшается в третьем столбце.
Еще одно исследование было предпринято Чипменом и др. [1968].
Они рассмотрели оценки среднего ju в случае, когда р = q = 1
и х(п) = рх (п— 1) + е (п). Мы можем считать, что х (п) имеет еди-
единичную дисперсию. Оценка наименьших квадратов z имеет дисперсию
-iV-fl -JV+1
1 лгA_р2)_2р(
Л** A-РJ

474 Гл. VII. Методы регрессии
Так как новые переменные z A), A — р) {z (п) — pz (п — 1)}
некоррелированы, имеют среднее \л и дисперсии, равные соответствен-
соответственно единице и A + р)/A — р), то дисперсия \\, равна
1 + Р
Следовательно, эффективность оценки z равна
iV2(l+p)(l-pJ
e = ¦
В цитированной работе показано, что при 0 ^ р ^ 1 эффективность
е всегда больше, чем 0,87769. Разумеется, для любого р, —1 < р <
<С 1, е стремится к единице при возрастании N.
На этом мы заканчиваем обсуждение эффективности оценок наи-
наименьших квадратов и переходим в следующем параграфе к более
важной проблеме практического нахождения эффективных оценок
в такой часто встречающейся ситуации, когда оценки наименьших
квадратов неэффективны, а Гл неизвестна. Одновременно мы докажем
асимптотическую нормальность наших оценок. Мы уже рассмотрели
этот вопрос для оценок наименьших квадратов в § 4 гл. IV (теоремы
10 и 10') и отсылаем читателя к указанному параграфу. Некоторые
из полученных там результатов будут вновь использованы в следую-
следующем параграфе.
4. ЭФФЕКТИВНОЕ ОЦЕНИВАНИЕ РЕГРЕССИЙ
Один из способов, который может быть использован для более
эффективного оценивания регрессии, состоит в следующем. Начнем
с того, что примем простую модель для процесса х (п), например
модель авторегрессии. Затем с помощью метода наименьших квадра-
квадратов оценим В и получим оценку х (п) для остаточного процесса. Далее
с помощью х (п) оцениваются характеристики процесса, порождаю-
порождающего х(п). На основе этого вычисляется Гр и получается некоторая
аппроксимация для н.л.н.о. Если х(п) на самом деле порождается
параметрической моделью предполагаемого типа, то довольно оче-
очевидно, что такой метод приведет к асимптотически эффективной про-
процедуре. В случае р = 1 подобное использование авторегрессионной
модели эквивалентно использованию преобразования
* (п) -> 2 Р (/) z (n-j), yk (n) -> 2 Р (у) yk (n-j)\
о о
где р (/) — оценки параметров авторегрессии, полученные по остат-
остаткам регрессии наименьших квадратов. (Мы обозначили порядок авто-
авторегрессии через а, так как q используется в этой главе для другой

4. Эффективное оценивание регрессий 475
цели.) Во многих случаях, конечно, имеет смысл начать с фильтра-
фильтрации данных, например посредством разностного фильтра первого
порядка (который применяется ко всем рассматриваемым последо-
последовательностям), с тем, чтобы привести остаточный процесс к виду,
по возможности близкому к реализации последовательности некорре-
некоррелированных случайных величин.
Ясно, что при р > 1, вообще говоря, мы не сможем действовать
как в предыдущем абзаце и что основная трудность связана с обра-
обращением Тр. Здесь есть возможность проявить изобретательность в ре-
решении этой задачи и в комбинировании ее с процедурой оценивания
для В, однако мы не пойдем таким путем г).
Конечно, мы всегда можем непосредственно рассмотреть функцию
правдоподобия в предположении гауссовости. Это в конечном счете
сведется к методам двух предыдущих абзацев, если только мы не про-
производим подробные вычисления для нахождения истинного макси-
максимума функции правдоподобия. Если N действительно мало, то, воз-
возможно, следует принять именно такую процедуру с простой, но прав-
правдоподобной моделью для остаточного процесса х (п). В подобной ситу-
ситуации общее число участвующих параметров, сверх параметров регрес-
регрессии, невелико, и точная максимизация функции правдоподобия может
оказаться осуществимой.
Дальнейшую часть этого параграфа мы посвятим методам, которые
по существу относятся к большим выборкам (хотя диапазон их при-
применимости достаточно широк). Следует обратить внимание на ряд
проблем, возникающих в связи с регрессией, и особенно, пожалуй,
для временных рядов. Во-первых, уравнение регрессии может удо-
удовлетворительно выполняться лишь для части диапазона частот.
Таким образом, z (n) может состоять фактически из двух компонент,
одна из которых содержит, например, промежуточные частоты,
а другая — низкие и высокие, причем только первая компонента
связана с г/7- (п). С этим связана возможность шумовых эффектов, осо-
особенно в i/j (n). Хорошо известно, что мы не можем состоятельно оце-
оценить матрицу В, пользуясь только величинами второго порядка,
если на процессы г/7- (п), прежде чем мы их наблюдаем, налагается
шум; в этом случае нужна дополнительная информация. Мы обсудим
далее этот вопрос более подробно, но сейчас отметим, что вполне воз-
возможна ситуация, когда шумовые эффекты доминируют на определен-
определенных частотах, так что п здесь требуются гибкие методы, допускающие
исключение каких-то частот. Представляется естественным исполь-
использовать методы, основанные на оценках спектров, и именно такие мето-
методы мы и опишем далее. Стоит подчеркнуть, что в принципе мы будем
делать то же, что было предложено в начале этого параграфа, однако
г) В п. b § 5 мы рассмотрим еще один метод, который в случае х (п) =
= В A) х (п — 1) + г (п) сводится к нахождению регрессии наименьших
квадратов z (п) на z (п — 1), у (п) и у (п — 1), так что матрицы коэффициентов
первых двух регрессорных векторов оценивают В A) и В.

476 Гл. VII. МетоОы регрессии
будем работать с преобразованием Фурье от исходных данных и вме-
вместо авторегрессионных процедур для оценивания структуры процесса
х (п) будем использовать спектральное оценивание. Поскольку вычис-
вычисление спектров всегда является первым шагом при исследовании вре-
временного ряда, то последующие расчеты будут достаточно простыми
в вычислительном отношении и, как всякая стандартная регрессион-
регрессионная процедура, они дают сразу и оценку для В, и оценку для мат-
матрицы ковариаций этой оценки. Мы покажем, что при определенных
условиях наши оценки асимптотически нормальны, и тем самым
в асимптотическом смысле статистическая процедура будет полностью
определена.
Будем обозначать через }х оценку матрицы спектров и взаимных
спектров остатков, полученную по остаткам х (п) регрессии наимень-
наименьших квадратов. Мы можем, конечно, выписать ее явное выражение
через оценку В:
fx = fz + B'fyB-f2yE-e'fyz; D.1)
здесь и далее мы предполагаем, что матрицы fz (матрица спектров
и взаимных спектров для z (n)), fy (матрица спектров и взаимных спек-
спектров для у (п)) и fzy (матрица взаимных спектров между Zj (n) и
уk (п)) оцениваются с помощью одной и той же процедуры из тех, кото-
которые обсуждались в гл. V 1). Здесь требуется некоторое пояснение в свя-
связи с тем, что ijj (n) по предположению удовлетворяют лишь условиям
Гренандера и не обязаны порождаться стационарным процессом,
так что fy и fzy могут быть не определены. Даже если fy, например,
интерпретируется в терминах М (X), введенной в § 3, то мы теперь
не можем требовать, чтобы М (X) была абсолютно непрерывной (ибо
главной целью регрессии может быть устранение источника спек-
спектральных скачков). Тем не менее величины fzy, fy могут быть вычис-
вычислены в любом случае, и мы далее покажем, что величина }х в настоя-
настоящем контексте является удовлетворительной оценкой для fx.
Существует и другой способ оценивания fx. Он заключается в вы-
вычислении
кЧг-ПуШуг. D.2)
В случае р = q = 1 это сводится к стандартной оценке для
fz A — о\у). Основной довод в пользу оценки fx — то, что при неко-
некоторых ограничениях она действительно будет хорошей оценкой для
остаточного спектра после устранения влияния у (п), даже если зави-
зависимость z (п) от у (п) не является «мгновенной». С другой стороны,
если справедлива наша модель, то эта оценка, очевидно, хуже, чем
D.1). Более того, эта оценка, по-видимому, имеет смысл лишь в том
х) Это ограничение можно было бы ослабить, однако оно представляется
несущественным и упрощает доказательство.

4. Эффективное оценивание регрессий 477
случае, когда у (п) также порождается стационарным процессом. Мы
ограничимся рассмотрением fx.
Предлагаемая нами оценка для р (смысл которой мы обсудим не-
несколько позже) имеет вид х)
w 2
-М+1
где е2у — вектор-столбец, получаемый из матрицы /22/ путем после-
последовательного (по строкам) размещения ее элементов в столбец. (Заме-
(Замена nklM на —пк!М во втором тензорном сомножителе первой матри-
матрицы диктуется теми же соображениями, которые заставляют нас брать
М' (к) вместо М (X) в C.3) и C.4).) Подробности вычислений мы обсу-
обсудим позже.
Предположим, что
det (/х (X)) > а > О, а 6 (- я, я], D.4)
и что fx (к) непрерывна. Эти условия могут быть ослаблены при опре-
определенных ограничениях на М (X), однако подробное рассмотрение
этого мы оставим читателю. Отсюда следует, что матрица
невырожденна.
Предположим, что у (п) удовлетворяет условиям (а), (Ь) и (с) § 3
гл. IV (условиям Гренандера) и что
оо оо
х(,1)=2А(])г(п-}), 2||4(/)||<оо, D.5)
— ОО —ОО
где 8 (п) — независимые одинаково распределенные величины с ну-
нулевым средним и матрицей ковариаций G. Несомненно, что резуль-
результат формулируемой ниже теоремы 10 можно было бы обобщить на
ситуацию § 4 гл. IV (теорема 10'), однако мы не будем это делать.
Предположим также, что
Coo. M-*oo, Л//Лг1/2-*0, D.6)
edef (к) обозначаетневычисляемую оценку для! (к), построенную по нена-
ненаблюдаемому процессу х (п) (согласно тому же правилу, что и для вычис-
г) С этого момента мы обозначаем через р оценку, определенную соотноше-
соотношением D.3), хотя ранее мы обозначали так н. л. н. о., которая, как правило, не
может быть вычислена.

478 Гл. VII. Методы регрессии
ляемых спектров). Таким образом, мы, в частности, предполагаем, что
смещение fx (X) имеет порядок не выше стандартного отклонения.
Отсюда, конечно, следует, что М не может возрастать слишком мед-
медленно. С другой стороны, из условия M/|/0V -*¦ 0 следует, что М воз-
возрастает не слишком быстро. Таким образом, эти условия налагают
некоторые ограничения на гладкость/ (X) сверх непрерывности, кото-
которая следует из D.5).
Подобные ограничения необходимы, чтобы исключить влияние
характера / (X) на предельное распределение оценки для fx (X). Наши
условия представляются весьма умеренными, хотя к ним можно отне-
отнести все обычные возражения по поводу асимптотических результатов.
Эти условия могут быть еще ослаблены за счет ограничений на про-
процесс у (п) — например, предположения, что у (п) также порождается
соотношением типа D.5).
Теорема 10. Если х (п) порождается соотношением D.5),
fx СО удовлетворяет условию D.4) и выполняются условия D.6), то рас-
распределение величин Aр ® D х) (Р — Р), где Р определена соотношени-
соотношением D.3), стремится при N -> сю к многомерному нормальному с нуле-
нулевым средним и матрицей ковариаций, которая дается правой частью
C.4). Эта матрица ковариаций состоятельно оценивается по формуле
м
-Af+1
Доказательство теоремы мы поместили в приложении к этой главе.
Можно заметить, что вычисления, необходимые для нахождения
D.7), будут выполнены уже в процессе нахождения р, так что ника-
никаких дополнительных вычислений не потребуется. Укажем также, что
объем вычислений при определении матрицы ковариаций оценки р
имеет тот же порядок, так что если мы хотим найти оценку матрицы
ковариаций в обоих случаях, то потребуются лишь незначительные
дополнительные вычисления сверх вычислений для р. Конечно,
использование параметрических моделей могло бы привести к сокра-
сокращению вычислений, однако в любом случае объем вычислений по фор-
формулам D.3) (или D.7)) по современным стандартам является незна-
незначительным.
По-видимому, стоит пояснить смысл оценки D.3). Легче всего
это сделать в случае р = q = 1. Тогда
м
A/2Л/) ^ /V/x
я- -Jtf+1
н м '
A/21/) 2 hlfx
-Af + l
где для упрощения записи мы опустили аргумент nk/М. Это есть взве-
взвешенное среднее от р (пк!М) (т.е. комплексных коэффициентов регрес-

4. Эффективное оценивание регрессий 479
сии в области частот с весовой функцией, равной (fy/fx). Отношение
сигнал-шум для z на частоте X равно fi2fy/fx (в предположении, что
у (п) стационарен и fy имеет смысл), так что по существу мы оце-
оцениваем р с помощью взвешенного среднего оценок в диапазоне частот,
причем вес равен оценке отношения сигнал-шум. Формула D.3) явля-
является обобщением этого простейшего случая.
Прежде чем перейти к подробностям вычислений, обсудим «центри-
«центрирования». Введем модель
z (п) = В'у (п) + Д' (w (п) - D'y (п)) + х (и), ~ D.8)
где и (п) = w (n) — D'y (n) также порождается соотношением вида
D.5) (разумеется, с другими А (/) и е (/г)), причем и (т) не зависит
от х (п) для всех т, п. Предположим, что у (п) удовлетворяет услови-
условиям (а), (Ь)' и (с) § 3 гл. IV и условиям теоремы 8 по отношению к спек-
спектрам х (п) и и (п)ч играющим роль / (Я) в этой теореме. Мы, конечно,
имеем в виду тот случай, когда у (п) удовлетворяет теореме 9 и, в ча-
частности, когда у (п) имеет вид, описанный в начале § 3 (см. следствие
1), так что устраняются тренд и периодические компоненты (а также
периодические компоненты с трендом) г).
Таким образом, мы заведомо охватываем случай, когда у (п) —
скалярный процесс, тождественно равный единице. Тогда почти
точно так же, как при доказательстве теоремы 9 § 3 гл. IV, получаем,
что
N
^ и(т) у (т + п)
1
почти наверное, так что вектор
и{п);
также удовлетворяет условиям Гренандера, причем
Му (X) О
и ji/u(<a)-T.@)-v,.(X)<a.
Рассмотрим теперь следующую регрессионную процедуру 2):
(i) Выполняя регрессии наименьших квадратов w (n) на у (п)
и z (п) на у (п)ч получаем оценку D для D и оценку В для В.
х) В оригинале: trending periodic component. Очевидно, автор имеет в виду
регрессоры типа пи cos //со, пи sin /гсо.— Прим. перев.
2) К оцениванию D.8) применима теорема 10. Мы предпочли выполнить
регрессию в два шага, причем на первом шаге — регрессию наименьших квадра-
квадратов, чтобы уменьшить объем вычислений.

480 Гл. VII. Me mod ы регрессии
(ii) Затем образуем z (n) = z (п) — В'у (п), и (п) = w (п) —
— D'y (п) и оцениваем Д по формуле D.3) с z (п) вместо z (п) и и (п)
вместо у (п) (fx вычисляется по формуле D.1) с аналогичными замена-
заменами). Результирующую оценку обозначим Д.
Теорема И. Оценки матриц В, Д, D из D.8), полученные
по .методу, описанному выше, при условиях, сформулированных после
D.8), асимптотически эффективны в том смысле, что асимптотиче-
асимптотические свойства их распределений такие же, как у наилучших линейных
несмещенных процедур, примененных (в отдельности) к z (n) —
= В'у (п) + Д'м (п) + х (п) и w (п) = D'y (n) + и (п).
Мы опускаем доказательство этой теоремы х). Первая из регрес-
регрессий, о которых говорится в конце теоремы, не может быть практи-
практически выполнена, так как и (п) — ненаблюдаемый процесс. Суть
этой теоремы в том, что асимптотическая эффективность не теряется,
если тренд и периодические компоненты (или периодические компо-
компоненты с трендом) устраняются сначала посредством регрессии наи-
наименьших квадратов и В' оценивается затем по остаточному процессу.
Такой метод в некоторых случаях приводит к значительному сокра-
сокращению вычислений. Было бы хорошо доказать теорему 11 для более
общего и (п), однако некоторые ограничения, близкие к условиям тео-
теоремы, по-видимому, необходимы для получения общего результата.
В частных случаях, например, когда у (п) = 1, такие ограничения
на и (п) не нужны. Однако мы оставим результат в таком виде и при-
приступим к обсуждению подробностей вычислительной процедуры для
D.3). В случае р = 1 вычислительная процедура очевидна. Здесь
и часто в дальнейшем мы будем полагать
6k- 1, кфО. М; бА =у, к -0, Л/.
Мы строим матрицу и вектор
м м
где суу — матрица коспектральных оценок для у (п), a czy — вектор
коспектров между z и у (п). Все это вычисляется, во всяком случае
после центрирования. Тогда
Р = W-1 w,
и мы можем рассматривать этот вектор как (асимптотически) нормаль-
нормальный со средним р и матрицей ковариаций
Весьма близкие рассмотрения см. в § 5.

4. Эффективное оценивание регрессий 481
При р > 1 этот метод не является полным аналогом классической
процедуры наименьших квадратов, так как обращаемая матрица
имеет размер pq X pq, а не q x q. К тому же теперь в расчетах появ-
появляется квадратурный спектр. Сначала мы должны построить (также
после центрирования)
М М
4t 2 ГЛу-=^-
-M-fl О
Если мы запишем fx в виде г/2 (с — iq)(k=?O, M), то, как мы знаем,
fx1 соответствует 2 (и—iu), где
с я Т1 Г и v
=
-q с\ L — v и
и
и — (с + qc'^-qy1, v = — c~xq (с -\
Таким образом,
м м
4-
м м
4- 26"Re (/«i/z»)=4- s
где сгу и qzy — коспектральные и квадратурные спектральные ком-
компоненты.
Обозначим через w вектор-столбец, который получается путем
последовательного (по строкам) размещения в столбец элементов мат-
матрицы D.9).
Далее мы образуем
м
2 l^1
2 l^1 уж) ® fy \ """лг)|=
м
о
После обращения этой матрицы мы применяем полученную матрицу
к вектору w и находим
Р = W1 w.
Теперь р можно рассматривать как нормальный вектор со средним Р
и матрицей ковариаций N^W'1.
По поводу этой процедуры можно сделать следующие замечания.
1. Как видно из формулировки теоремы, такой метод подходит
для тех случаев, когда у (п) является детерминированной последо-

482 Гл. VII. Методы регрессии
вательностью. Если р = 1 и все j/j (n) имеют вид cos пк или sin nk,
то подобные вычисления вряд ли будут иметь смысл, так как едва ли
можно ожидать, что их результат будет заметно отличаться от непо-
непосредственного применения регрессии по методу наименьших квадра-
квадратов. Это согласуется с результатами теоремы 9 § 3. Как показывает
наше обсуждение в предыдущем параграфе, для малых N существует
некоторый запас эффективности. Методы настоящего параграфа по су-
существу не способны дать этот выигрыш в эффективности, поскольку
это потребовало бы преобразования формы спектра внутри диапазона
ширины 2л/N. Существуют, однако, другие случаи, когда оценки
наименьших квадратов асимптотически эффективны и р = 1 и когда
методы настоящего параграфа могут оказаться полезными. Напри-
Например, так будет в случае полиномиальной регрессии при не очень боль-
больших N (по сравнению со степенью многочлена). В этом случае fy {%)
может иметь значительную величину достаточно далеко от X = О,
хотя асимптотически вклад в дисперсию дается только точкой к = 0.
В такой ситуации, возможно, имеет смысл ограничиться при суммиро-
суммировании множеством значений вида як/М, для которых fy(X) имеет замет-
заметную величину, и опустить остальные значения. Об этом можно судить
с помощью соотношения
N ~
Использование полной формулы (без пропуска значений) в принципе
не приведет к потере эффективности и практически также не должно
сказаться на результатах, однако потребует излишних вычислений.
2. На практике может возникнуть осложнение, связанное с тем,
что линейное соотношение B.1) будет выполняться лишь для части
всего диапазона частот, например вследствие существенных ошибок
наблюдений [в величинах yj (n)] на остальной части диапазона. Тогда
естественно ограничить суммирование в D.3) теми значениями ку
для которых соотношение B.1) выполняется. Результат теоремы 10
по-прежнему будет иметь место при разумных предположениях, при-
причем интегрирование в C.4) будет производиться теперь по части диа-
диапазона, участвующей в процедуре оценивания. Статистическая про-
процедура, конечно, остается неизменной, так как W'1 по-прежнему
получается из матрицы, используемой для оценки р, только сумми-
суммирование распространяется на часть диапазона *).
3. Критерии значимости и доверительные интервалы для эле-
элементов Р могут быть получены непосредственно из результатов
х) Более подробное рассмотренке ошибок наблюдения см. в работе Хенна-
на [1963].

4. Эффективное оценивание регрессий 483
теоремы 10. Конечно, если pq велико, то мы сталкиваемся с обычной
проблемой многократных сравнений, так как мы можем использо-
использовать разные, не независимые, критерии. Мы не будем обсуждать этот
вопрос в общем случае, так как здесь нет ничего нового по сравне-
сравнению с классической ситуацией (см. Шеффе [1959], гл. 3). Однако есть
одна ситуация, связанная с рассматриваемой, которая требует пояс-
пояснений: это ситуация, когда регрессоры имеют вид cos 2nkn/N
и sin 2nkn/N, но к выбирается после просмотра данных. Такая ситуа-
ситуация действительно возникает на практике, когда исследователь про-
просматривает данные и решает, что он обнаружил периодическую ком-
компоненту (т. е. скачок в спектре). После этого он исследует периодо-
периодограмму и замечает очень большое значение на частоте, обнаруженной
в результате первичного исследования данных, или вблизи нее. Тогда
конечно, выбирается максимальная из большого количества величин
/ (о);), и статистическая процедура требует осторожности. Мы обсу-
обсудим этот вопрос более подробно в § 6. Однако прежде (в § 5) мы рас-
рассмотрим влияние регрессионных процедур на дальнейшую обработку
данных (которая обсуждалась в предыдущих главах), так как это
потребуется для § 6.
4. Наши методы можно использовать также для эффективного оце-
оценивания B.1) при линейных ограничениях, рассмотренных в § 2,
а именно
а-р = Tr (BAj) = 0, / = 1 г. D.11)
Вновь введем матрицу Е, которая проектирует на ортогональное
дополнение части pg-мерного вещественного векторного простран-
пространства, порождаемой векторами а;. Рассмотрим теперь н.л.н.о. для
B.1) при ограничениях D.11). С этой целью введем
Р = (EWE)'1*», D.12)
где W и w определяются соответственно формулами D.10) и D.9).
Обратная матрица является обобщенной обратной, и мы обсудим ее
вычисление ниже. Имеет место довольно очевидное следствие тео-
теоремы 10:
Следствие 2. Пусть выполнены условия теоремы 10 и, кроме
того, В подчиняется ограничениям D.11), где Е коммутирует
с Ip ® DN. Если Р дается соотношением D.12), то распределение
величин AР <g) D N) (P — Р) сходится при N ->- оо к многомерному
нормальному с нулевым средним и матрицей ковариаций
я
Bя/ (A))"* <g> M' (<&)] Е)'\
которая состоятельно оценивается посредством
N-1 AР & DN) (EWE)-1 GP ® DN).

484 Гл. VII. Методы регрессии
Предположение о том, что Е коммутирует с Ip ® DN, обсужда-
обсуждалось непосредственно перед соотношением C.1). Следствие утвер-
утверждает, что оценка р, даваемая соотношением D.12), при больших N
может рассматриваться как нормальная с нулевым средним и мат-
матрицей ковариаций N (EWE)*1.
Вычисление W и w обсуждалось выше. Ортонормируем ау, так
чтобы получить новое семейство фу, удовлетворяющее соотношениям
фуф^ — б;. В ряде случаев, охватываемых настоящим следствием,
это можно сделать довольно легко, так как векторы ау в основном,
вероятно, будут состоять из нулей. Тогда
г
F=-Ipq — E= S ф/Pj
и
{EWE)-1 = (EWE + F)-1 - F.
Здесь (EWE + F) невырожденна.
Это следствие хорошо иллюстрирует полезность методов Фурье;
в этом можно убедиться, рассматривая решение такой задачи, полу-
полученное непосредственным применением процедуры наилучших несме-
несмещенных оценок.
Можно сделать еще одно замечание. Предположим, что фу разбиты
на два подмножества: для / = 1, . . ., г4 и / = rt + 1, . . ., г =
= 7*1 + 7*2. Имеется в виду тот случай, когда мы требуем выполнения
первых г{ ограничений и хотим проверить остальные, так что фу,
/ = 1, . . ., гь получается путем ортонормирования а,-, / = 1, . . .
. . ., ri. Пусть р0 вычисляется по формуле D.12), однако с использо-
использованием
вместо Е. Чтобы проверить выполнение остальных ограничений, мы
используем
N-ifo (F2 (EiWE^Fz)-^ F2 = F-FU
как хи-квадрат с г2 степенями свободы.
Конечно,
(F2 (E.WE^F^ = (F2 (E.WE^F, + (Ipq - F2))~i - (Ipq - F2).
5. ВЛИЯНИЕ РЕГРЕССИОННЫХ ПРОЦЕДУР НА АНАЛИЗ
ОСТАТОЧНОГО ПРОЦЕССА
Заголовок не вполне точно отражает содержание этого параграфа,
так как мы охватим случай смешанной регрессии, простейшим при-
примером которой является
z (п) = pz (п — 1) + р# (п) + х (#г),

5. Влияние регрессионных процедур на остаточный процесс 485
а также такие модели, как
(z (п) - рг/ (п)) = р {z (и - 1) - ру (и - 1)} + х (п).
В первом из этих случаев z (п — 1) и у (п) более или менее равноправ-
равноправны, тогда как во втором простая авторегрессия связывает остаток
линейного соотношения между z (n) и у (п). Мы вернемся к задачам
такого типа позже, а сейчас обсудим спектральные методы. В этом
параграфе мы предполагаем, что }х (X) непрерывна, хотя это условие
может быть значительно ослаблено.
(а) Мы, конечно, будем рассматривать такие случаи, когда у^ (п)
удовлетворяют условиям Гренандера. Прежде всего мы хотим обсу-
обсудить последствия, к которым приводит использование х (п) вместо
х(п) при анализе остаточного процесса (х(п) — наблюдаемый вектор
остатков регрессии). Рассмотрим соотношение
N-j ^ ^ N-j
(N — j) buv Ц) = ^ хи (п) xv (п + j)— 2 хи (п) xv (n + ]') =
1 1
N-j
N-j
- 2 Ми) {?*(*+/)-м*+/)}+
1
+ 2 {Vu(n) — \lu(n)}{{lv(n + j) — llv{n + j)},
где \iu(n) — регрессионная оценка для \iu(n) — среднего значения
процесса zu(n). Используя оценки наименьших квадратов для коэф-
коэффициентов регрессии, мы можем записать, например, первый член
в виде
я N-j
- 2 {fU-Pi*} 2
k=i n=l
% yk(n)xv
k=i n=l
(Мы рассматриваем здесь только оценки наименьших квадратов,
однако результат, как мы увидим, имеет общий характер, и мы огра-
ограничились настоящим случаем только для простоты обозначений.)
Легко видеть, что дисперсия последнего выражения (в квадратных
скобках) ограничена максимумом fv (X) на (—я, я]. С другой сторо-
стороны, дисперсия величины dh (N) {$uh — Р^^}, как мы знаем, есть
О A). Таким образом, первый член есть О A) равномерно по / в том
смысле, что его среднеквадратичное отклонение ограничено постоян-
постоянной, не зависящей от у, для всех | / | < N. (На самом деле среднеквад-

486 Гл. VII. Методы регрессии
ратичное отклонение ограничено величиной
N-j
°
где с не зависит от у.) То же самое, очевидно, верно и для второго чле-
члена. Третий имеет вид
fc, l=\ 1
это выражение оценивается аналогично, и его средний квадрат
ограничен величиной
N \ 1/2
Заметим теперь, что ошибка в оценке fuv (к) общего вида D.2) из
гл. V, обусловленная использованием х{п), равна
N-1
^%)-^ S kne-™±-buv(n). E.1)
В случае когда кп = к (п/М) и функция \ к (х) \ интегрируема
(т. е. в случаях D.3), D.4), D.5), D.6), D.7) и D.9) § 4 гл. V), легко
получаем, что корень из среднеквадратичного отклонения величины
E.1) есть О (M/N). В случаях D.1), D.2) и D.8) § 4 гл. V мы видим,
что корень из среднеквадратичного отклонения ограничен сверху
величиной
N-1
Мы не установили асимптотическую формулу для дисперсии оценки Р
(вычисленной согласно D.3)), но мы знаем, что величина
dh (Ю (Р — Р) асимптотически нормальна, так что для любого 8 > О
max {(M/N) & (N — j) \ buv (j) | } сходится по вероятности к нулю.
j
Теорема 12. Пусть fx (X) непрерывна, а у$ (п) удовлетворяет
условиям Гренандера. Пусть fx (к) вычислена по любому из методов
§ 4 гл. V с использованием остаточного процесса х (п), полученного под-
подстановкой в B.1) оценки для В'. Если для нахождения этой оценки
используется метод наименьших квадратов или метод наилучших
несмещенных оценок, то для ошибки е (К), обусловленной использова-
использованием х (п) вместо х (п) (см. E.1)), имеем Vvar (max e (X)) = О (MIN)

5. Влияние регрессионных процедур на остаточный процесс 487
для всех процедур § 4 гл. V, кроме D.1), D.2) и D.8), и
O({M/N)log(N/M)) для этих трех. Если для В используется оценка
В, полученная по формуле D.3), то max {e (X)}/{M/N}1~e сходится
по вероятности к нулю для любого е > 0.
Этот результат следует интерпретировать в свете величины сред-
среднеквадратичного отклонения оценки, вычисленной по х (п). Мы знаем,
что ее дисперсия равна О (MIN), так что если квадрат смещения имеет
порядок не выше среднеквадратичного отклонения, то смещение есть
О {УМIN) и влиянием регрессии асимптотически можно пренебречь.
Это в свою очередь означает, что при малых M/N можно пренебречь
также влиянием регрессии и на все последующие статистические про-
процедуры, использующие / {%).
Однако в некоторых случаях, когда эффекты регрессии концен-
концентрируются на отдельных частотах или в отдельном диапазоне частот,
устранение таких эффектов может оказаться целесообразным и до-
достаточно несложным. Примером является центрирование, которое
переводит / @) в 0, не изменяя / (со^), / Ф 0. В этом случае представ-
представляется разумным заменить /@), вычисленную по х (я), на
A — 1/т)~1/@), ибо если для вычисления /@) по методу ФПФ
используются т диапазонов ширины 2nlN, из которых один дает нуле-
нулевой вклад, то мы, конечно, должны делить на т — 1, а не на т. Так
как га = 2MIN, то теорема 12 остается в силе, однако поправка
настолько проста, что вполне может быть использована. Здесь нас
в основном интересует ситуация, когда обобщенный спектр г/;- {п)
является скачкообразным; тогда, как видно из теоремы 9, скорее
всего имеет смысл использовать просто оценки наименьших квадра-
квадратов, поэтому мы рассмотрим только тот случай, когда регрессия вычи-
вычисляется с использованием р. Обозначим через / {%) периодограмму,
вычисленную по х {п), и рассмотрим
Iuv {Ц - hv (Ь) - Z* (К) Y {YfY)^Y'xax'v I {%) -
- ^ {%) xvx'uY{YfYy1Yfl{%) +
+ Z* {К) Y (Y'YyWxux'vY' {YfY)-xYfl {X), E.2)
где вектор I {%) имеет на п-м месте компоненту {2nN)~^2exp {—i)
а вектор хи — компоненту хи {п). Математическое ожидание второго
члена равно
- 2nN J /* (k) Y {Y'Y)-lY'l F) /* @) / (Я,) fuv @) dQ.
* (k) Y {Y'Y)-lY'l
— Л
Обозначая через w (?t, у) вектор с к-й компонентой
N
S У (») «"*. E-3)

488 Гл. VII. Методы регрессии
получаем, что это математическое ожидание сходится к
-w (I, y)*R (О) w (X, »)/„„(*)•
Математическое ожидание третьего члена сходится к такому же зна-
значению. Математическое ожидание последнего члена сходится к
я
w (I, y)*R (О) J fuo @) М (dQ) R (Oy^w (l, у).
-Я
Мы рассмотрим случай, когда N F) = R (О)/* М F) R (О)^ возра-
возрастает только в некоторых точках Хр скачками величины Np. (Легко
было бы рассмотреть смешанный случай, однако это, по-видимому,
не представляет достаточного интереса.) Таким образом, последнее
выражение равно
w(K y)*R{0yi/2 (^fuvaP)Np) R@yi/2w(K у).
Предположим, что w (X, y)*w (X, у) сходится к нулю во всех точкахг
кроме тех, в которых N (G) имеет скачок; для полиномиальной или
тригонометрической регрессии это выполняется. Тогда последнее
выражение сходится к
fuv(b)w(K y)*R (О)-1 w (К у),
так что суммарное математическое ожидание последних трех членов
в E.2) равно
-W {К y)*R@)-*w(K y)fuv№.
Рассмотрим теперь оценку
L W= J KN(X-Q)IUV(Q) dQ. E.4)
Ее математическое ожидание сходится к
j KN (Я - 8) /uo @) d F) - J KN (I - 6) w (8, y)*R @)-% @, y) fuv @) dQ.
E.5)
Нас интересует тот случай, когда fuv (G) является достаточно глад-
гладкой относительно КN (к — G), так что мы можем записать E.5) в виде
Lv М {l - \ Kn (Я, - в) и; @, y)*R (О) w @, y)d%). E.6)
Разумеется, как мы уже знаем, поправка, отвечающая выражению
E.6), имеет меньший порядок, чем корень из среднеквадратичного
отклонения fuv. Однако на практике эффект от E.6) может быть
значителен вблизи некоторых точек, как в силу характера исполь-
используемой регрессиии (например, пригонка полиномиального тренда
высокого порядка), так и потому, что М может быть сравнимо по по-

5. Влияние регрессионных процедур на остаточный процесс 489
рядку с N. Так как второй множитель в E.6) является известной
величиной, то мы можем судить, стоит ли использовать это выраже-
выражение. Таким образом, наш окончательный вывод заключается в сле-
следующем. (Мы предпочитаем не формулировать его в виде теоремы.)
Пусть построена некоторая спектральная оценка вида E.4), в ко-
которой I (X) вычисляется по х (п), где х (п) — остаток регрессии наи-
наименьших квадратов на регрессорные векторы у (п). Пусть их спектр
М (X) имеет лишь конечное число скачков и не возрастает в других
точках, fuV (X) — достаточно гладкая функция [см. E.5) и E.6)],
a w (9, X) — вектор, к-я компонента которого дается соотношени-
соотношением E.3); тогда E.6) с хорошей точностью описывает эффект смещения,
обусловленного использованием х (п) вместо х (п).
Пример. Важным является случай, когда регрессия имеет вид
i cos n 6j + Pj sin n ®j) •
Мы предоставляем читателю показать, что тогда второй множитель
в E.6) с точностью до членов более высокого порядка имеет вид
E.7)
например, для оценки ФПФ KN (X) = М/п, | X | ^ п/М, и #дг (к) =
= 0 при остальных X, так что 2nKN (k)/N = 2MIN = т~г, | X \ <С
<С п/М, и 2nKN (X) = 0 при остальных X, откуда следует, что цен-
центрирующим множителем будет A — т~г), как подсказывают и наши
предыдущие рассмотрения. Множитель E.7) будет очень близок к еди-
единице вдали от точек X = 0 или 97-. При X = 0 он отличается от едини-
единицы на величину порядка (дч + \Iт, которая на практике может быть
значительной. Разумеется, для получения нужной поправки мы дол-
должны разделить / (X) на E.7).
(Ь) В ходе доказательства теоремы 12 мы показали, что сериальные
ковариациисаи(/), вычисленные по остаткам хи (п) регрессии на век-
векторы у (п), удовлетворяющие условиям Гренандера, отличаются от
от См {])•> вычисленных по ненаблюдаемому х (п), на величины поряд-
порядка (N — у). Следовательно, У N (cav (/) — cuv (/)) во всяком слу-
случае сходится по вероятности к нулю. Мы можем рассмотреть теперь
модель
^A){{1)у{-])}^г(п), В@)-=1р, E.8)
где у (п) по-прежнему удовлетворяют условиям Гренандера. Есте-
Естественная процедура оценивания состоит в том, чтобы построить
регрессию z (n) на у (п) по методу наименьших квадратов (или н. л. н. о.)

490 Гл. VII. Методы регрессии
или с использованием асимптотически эффективного метода теоремы
10 и, обозначив через х (п) остаток этой регрессии, вычислить оцен-
оценки для В (/) по формуле B.6) гл. VI, но с х (п) вместо (х (п) — х) при
вычислении cuv(j). Непосредственно получаем следующий резуль-
результат *):
Теорема 13. Если коэффициентные матрицы В (/) в E.8)
оцениваются по формуле B.6) гл. VI с использованием вместо х (п) — х
остаточного процесса х (п), вычисленного с помощью процедуры наи-
наименьших квадратов, наилучшей несмещенной регрессионной проце-
процедуры или процедуры теоремы 10, то У N ($q — Р9) по-прежнему имеет
асимптотическое распределение теоремы 1 гл. VI.
Теперь мы] приступим к обсуждению другой модели, широко
используемой в экономике. Модель имеет вид
J!>B{j)z(n-j) + by(n)=e{n), В@) = 1р. E.9)
В примечании на стр. 475 мы уже указывали одну из причин,
побуждающих рассматривать модели такого типа. Так, первоначаль-
первоначально мы можем иметь дело с моделью
z (п) = Aji/ (и) + х (и),
где постулируется, что
%(])(]) () () р
о
Тогда мы приходим к модели
S S
2 В (/) z («-/)- S В (/) А^(п - j) = г (п),
о о
которая сводится к E.9), если у(п) является вектором из q (s + 1)
компонент с уи (п — /) в строке с номером jq + и и
д = [ д4: в A) Aj • . . . ¦ В (s) AJ.
Если мы проигнорируем ограничения, налагаемые на элементы Л, то
мы, очевидно, рискуем допустить потерю асимптотической эффек-
эффективности. Чтобы этого избежать, можно воспользоваться методом
теоремы 10. Во всяком случае E.9) дает модель, позволяющую полу-
получить некоторую процедуру оценивания для А{ и В (у).
Прежде чем продолжить обсуждение, мы свяжем E.8) и E.9).
Следующая теорема доказывается просто (и поэтому мы опускаем
ее доказательство) 2):
г) Более тщательный анализ, несомненно, показал бы, что во всяком случае
при использовании регрессии наименьших квадратов и при выполнении усло-
условий (а), (Ь)' и (с) (§ 3 гл. IV) Pq сходится почти наверное к Рд.
2) См. упражнение 4.

5. Влияние регрессионных процедур на остаточный процесс 491
Теорема 14. Пусть у (п) удовлетворяет условиям Гренан-
дера; для того чтобы E.9) при любых В (/), А было представимо в виде
E.8), необходимо и достаточно, чтобы у$ (п) имели вид nv cos Qjn,
nv sin Qjn, v = 0, 1, . . ., qj — 1,7=1, . . ., г, причем синус и ко-
косинус присутствуют или отсутствуют одновременно.
Это не означает, что E.8) применимо только тогда, когда yj (n)
имеют вид, указанный в теореме, но если это выполняется, то E.8)
заведомо применимо. Во всяком случае теорема 14 побуждает нас пре-
преобразовать E.9) аналогично тому, как было предложено в § 4
[см. D.8)], к следующему виду:
E.10)
Теперь предполагается, что и (п) = w (п) — D'y (n) порождается
линейным процессом, т. е. процессом вид?
где т] (п) — независимые одинаково распределенные величины с пара-
параметрами @, Н), не зависящие от г(т) для всех т, п. Мы имеем в виду
ситуацию, когда регрессия w (n) на у (п) устраняет тренды и периоди-
периодические компоненты (обусловленные, например, сезонными влияния-
влияниями), однако нам нет необходимости ограничиваться таким специаль-
специальным видом у (п). Можно было бы рассмотреть более общий случай,
ослабив ограничения на х (п) (мы могли бы допустить, чтобы сумма
квадратов для каждой компоненты возрастала быстрее JV), однако
это, по-видимому, привело бы к довольно трудной задаче, особенно
в векторном случае. Разумеется, q может равняться единице, и един-
единственная компонента у (п) может быть тождественной единицей.
Мы будем обозначать через г число компонент х (п). Нам придется
также наложить некоторое несущественное ограничение на спектр
х (и), а именно, пересечение нулевых подпространств матриц fx (k)
(для разных X) должно быть нулевым; это выполняется, например,
в случае, когда матрица ковариаций х (п) для нулевого запаздывания
невырожденна.
Метод оценивания, который мы обсудим, основывается на регрес-
регрессии z (п) и w (п) на у (п), которая дает оценки В, D для В, Z), и на по-
последующем использовании
z (n) = z{n) — By (w), x (n) = w (n) — by (n). E.11)
Начальная регрессионная процедура может быть выполнена по мето-
методу наименьших квадратов (его мы и будем преимущественно иметь
в виду), однако это может быть, например, и асимптотически эффек-
эффективная процедура предыдущего параграфа. Затем мы определяем

492 Гл. VII. Методы регрессии
В (]') и А с помощью простой регрессии наименьших квадратов z (n)
на z (п — j), j = 1, . . ., s, и х (п). При этом мы, конечно, заменяем
такие выражения, как
выражениями вида
N-u+v
N_JU + V S zj(n)?k(n + u-vL 0<u-v. E.12)
Вычисления весьма громоздки, особенно в векторном случае. Матри-
Матрица, которая должна быть обращена, имеет вид
? 1, E.13)
Cxz CX(O)J
где Cs есть ps x ps-матрица, состоящая из s2 блоков Cz (и — v),
содержащих всевозможные сериальные ковариации для процесса
z (п) с запаздыванием (и — v), a Czx есть ps х r-матрица, содержащая
s блоков из р х r-матриц, типичная из которых Сгх (к) состоит из эле-
элементов E.12) при (и — v) = к. Наконец, Сх есть г х r-матрица, эле-
элементами которой являются ковариации процесса х (п) с нулевым
запаздыванием. Обращение матрицы E.13) может быть сведено к об-
обращению Cs, Сх @) и [Сх @) — СХ2С^гС2Х]. Таким образом, основная
работа будет связана с обращением Cs. Как мы показали, это можно
выполнить путем итераций, которые в любом случае потребуются,
если s будет определяться путем последовательной пригонки членов
все более высокого порядка.
Что касается свойств оценок В, D, то они уже рассматривались
в предыдущих параграфах этой главы. Поэтому мы рассмотрим только
В (j) и А. Вместо того чтобы давать развернутую формулировку,
ограничимся следующим утверждением:
Теорема 15. Совместное распределение элементов матриц
У N {В (]) — В (/)},/= 1, . . ., 5, и УШ {А — А}, полученных по ме-
методу, описанному выше, сходится к многомерному нормальному.
Вследствие этого асимптотическое использование оценок В (/), А
будет таким же, как в случае классической линейной регрессии, когда
векторы х (п), z (п — /), / > 0, считаются состоящими из фиксиро-
фиксированных чисел.
Доказательство. Доказательство почти такое же, как
для теоремы 1 гл. VI. Полагая сначала В и D в E.10) равными нулю,

5. Влияние регрессионных процедур на остаточный процесс 493
мы вводим уравнения оценивания
z(j-k) + ACwz(-k) = O, k = i, ..., 8,
E-14)
где Cz (n) на (и, и)-м месте имеет выборочную сериальную ковариацию
cuv(n) для z, Cwz (—к) на этом же месте имеет выборочную сериаль-
сериальную ковариацию между w;i (n) и zv (n — А;), а элементами матрицы
¦Cw (которую можно было бы обозначить Cww @)) являются ковариа-
ции wu (n) для нулевого запаздывания. Мы оцениваем G по формуле
s
@) = &. E.15)
\^z
0
Уравнения E.14) можно записать в виде
с)E)(
wz C
ИЛИ
Здесь матрица Cz имеет s строк и столбцов блоков с Cz (и — и) на
(и, и)-м месте (она соответствует Cq из § 2 гл. VI). Матрица Czw
имеет s строк и один столбец блоков с C'wz (—А:) в /с-й строке. (Мы
можем положить C'zw (—А:) = Czw (к).) Конечно, Czw = C'wz. Столбец
cz имеет cuv (п) в строке с номером (и — 1) ps + (п — 1) р + и, тогда
как cwz в строке с номером (и — 1) г -f- v имеет ковариацию между
zu (п) и wv (п); р — такая же, как в § 2 гл. VI, а б имеет б^ в строке
с номером (и — 1) г + v. Теперь, точно так же, как в доказательстве
теоремы 1 гл. VI, (Ip ® С) сходится с вероятностью 1 к невырожден-
невырожденной матрице /р (g) Г, а с сходится с вероятностью 1 к у, где Г и у опре-
определяются через истинные ковариации и
ft
\б
Соответственно G сходится с вероятностью 1 к G. Вновь, как при дока-
доказательстве теоремы 1 в гл. VI, мы можем добавить краевые члены,
так что, например, сериальная ковариация cuv (т — п) в блоке (т, п)
матрицы Cz заменится на
N
л
-дГ 2 Zu(l — rn)zv A — п).

494 Гл. VII. Методы регрессии
Все матрицы, в которых производится такая замена, мы отмечаем
«крышками».
Соответственно, мы можем заменить р, б на Ь, d, так что
сходится к нулю по вероятности. Затем мы образуем
YN (Iv ® С) I , ~ I = — е\
замечая, что
является тензорной записью выражений
N N
N
N N
IT {2 В 0") ( 2*(n-j)w* И) + А ^ w{n) w' (n)} =
1
мы видим, что ? построено, как тензор, из элементов матриц
N N
^s(n)Z(nk), 2 8 («)"»•
1/ 1 ^ ' 1
Легко видеть, что Е (е) = О, Е (??') = (G ® Г) и что последняя мат-
рица состоятельно оценивается посредством G ® С. Асимптотическая
нормальность е может быть доказана так же, как в теореме 1 гл. VI.
Это доказывает теорему 12 в случае, когда В и D равны нулю. Если
они не равны нулю, то их можно оценивать как было указано перед
этой теоремой. Тот факт, что это оценивание не повлияет на справед-
справедливость теоремы 12, доказывается так же, как в пункте (а) этого пара-
параграфа. (См. теорему 13.) Мы опускаем подробности.

5. Влияние регрессионных процедур на остаточный процесс 495
(с) Рассмотрим теперь задачу проверки остатков регрессии на не-
независимость в случае р = 1. Некоторый способ для этого дают наши
предыдущие исследования, поскольку результаты пункта (а) насто-
настоящего параграфа показывают, что эффекты регрессии асимптоти-
асимптотически не влияют на критерии независимости остатков х (п), отвечаю-
отвечающие альтернативе, что х (п) порождается авторегрессией первого
порядка. Аналогично, можно проверять независимость 8 (п) в модели
E.10) путем включения в эту модель запаздывания s + 1 и проверки
значимости В (s +1). Мы хотим здесь получить более точные резуль-
результаты, и именно поэтому ограничимся случаем р = 1. Рассмотрим снача-
сначала модель B.1) при р = 1 с нулевой гипотезой, что х (п) — незави-
независимые одинаково распределенные величины с параметрами @, а2).
Естественной статистикой при альтернативе, что х (п) = рх (п — 1) +
-f- e (тг), является
гл = ^, E.16)
X X
где х — вектор остатков регрессии z (п) на у$ (я), А — матрица типа
рассмотренных в § 3 гл. VI, для которой гА является первым коэф-
коэффициентом автокорреляции процесса х (п) или чем-то близким к этому.
Теорема 16. Пусть гА определен соотношением E.16), где
х — Qx, Q = IN — Y {YfY)~xYf, a x есть N-мерный вектор, компо-
компоненты которого являются независимыми одинаково распределенными
величинами с параметрами (О, 1). Обозначим ненулевые собственные
значения QAQ через v{ ^ v2 ^ . . . ^ v^-^,
N-q
x'QAQx _ i 3 3
ГА —
x'Qx N-q
где ?у — независимые одинаково распределенные величины с параметра-
параметрами @, 1). Распределение гА может быть найдено по формуле C.6)
гл. VI; оно имеет плотность
^f^2 (vp-r^<"-«-4> ^^'""(vp-v,); vk+i<rA<vh.
P=l 3 = 1
E.17)
Доказательство. Очевидно, QAQ и Q коммутируют, ибо
Q — идемпотент. Поэтому они могут быть одновременно приведены
к диагональной форме одним и тем же ортогональным преобразова-
преобразованием. Пусть Р — соответствующая ортогональная матрица. Диаго-
Диагональные элементы PQP' равны единице или нулю, и мы условимся,
что единичные элементы расположены на первых N — q местах.

496
Гл. VII. Методы регрессии
Тогда, полагая ? = Рх, немедленно получаем указанную формулу
для гА. Подробности вывода E.17) мы опускаем.
Таким образом, в принципе проблема решена. На практике,
по-видимому, нет никаких причин, по которым не стоило бы вычис-
вычислять собственные значения QAQ, а значит, и вероятность получить
значение гА, превышающее наблюдаемое. До сих пор, однако, не имеет-
имеется соответствующих программ. Конечно, какая-либо промежуточ-
промежуточная процедура, требующая меньше вычислений, была бы предпочти-
предпочтительнее; например, с помощью методов §3 гл. VI легко найти среднее
значение и дисперсию гА. Рассмотрим их в случае, когда
" 1 -1 0 ... О О"
-1 2 -1 ... О О
0
0
0
0
0 ..
0 ..
. 2
. -1
-1
1
как было предложено Дурбином и Ватсоном [1950], [1951]. (При этом
гА пропорциональна отношению фон Неймана.) В этом случае мы
используем для статистики гА обозначение d, введенное Дурбином
и Ватсоном. Пользуясь методами теоремы 2 гл. VI и вводя обозначе-
обозначения
R = 2 (N - 1) - Tr {Y'AdY (ГУ)-1},
S = 2 (N - 4) - 2 Tr {Y'A2dY (ГУ)-1} + Tr [{Y'AdY (У'У)-1}2],
получаем
E(d) =
R
2{S~RE(d)\
N-
var(rf)= * -
(При вычислении/? иSможно не производить центрирования, посколь-
поскольку Ad выбрана так, что 1 является ее собственным вектором с нуле-
нулевым собственным значением.) Дурбин и Ватсон предлагают исполь-
использовать V4d как бета-величину, т. е. величину с плотностью
. E.18)
(Конечно, 0 <С d <C 4, поэтому используется V4d-) Так как эта плот-
плотность имеет среднее р/(р + q) и дисперсию pq/{(p + qJ {p + q + 1)}
(Крамер [1946], стр. 270), то мы можем найти р и q, подбирая их так,
чтобы плотность E.18) имела среднее и дисперсию величины 1/4d.
Альтернатива, предложенная Хеншо [1966] (см. также Тейл и Нагар
Ц961]) состоит в следующем. Рассмотрим
i — vN_q
E.19)
Эта величина изменяется в интервале [0, 1],так как максимальное
и минимальное значения d равны v1? vN_q. Если бы она была бета-

5. Влияние регрессионных процедур на остаточный процесс 497
величиной (что на самом деле неверно) и если бы бета-параметры р и
q могли быть найдены из каких-то других соображений, то мы могли
бы определить Vi и v^.^, так как
Мы можем найти подходящие оценки для р и q из коэффициентов
асимметрии и эксцесса для d, которые равны соответствующим коэф-
коэффициентам для х, так как не зависят от масштаба и начала отсчета.
Пригнанное таким образом бета-распределение будет, очевидно, иметь
правильные среднее и дисперсию, а также правильные асимметрию
и эксцесс, однако неправильный размах. Очевидно, что эта процеду-
процедура вполне удовлетворительна, но мы предоставляем читателю разоб-
разобраться в подробностях по работе Хеншо. Можно было бы действовать
иначе: найти vt и vN_q и использовать х, определенную по формуле
E.19), как бета-величину с правильным средним и дисперсией. Тогда
d будет иметь правильный размах, среднее и дисперсию. Фактически
данные не будут в точности нормальными, и описанная ранее простая
процедура Дурбина и Ватсона, вероятно, будет приемлемой. Крите-
Критерий значимости, использующий d, широко (но не всегда правильно)
применялся экономистами, главным образом на основании одного
остроумного соображения, высказанного Дурбином и Ватсоном, кото-
которое мы сейчас обсудим. Пусть в{ > 92 > . . . > ®n-i — собствен-
собственные значения матрицы А& кроме нулевого. Тогда
бя-з-1 < vy < Qj E.20)
(имеется q регрессорных векторов i/7-, один из которых 1). Это вытекает
из того *), что /-е собственное значение %$ квадратичной формы
х'Вх является наименьшим из максимальных значений, которые
может принять эта форма (при условии х'х = 1), когда х подчинен
j — 1 линейным ограничениям (минимум берется по всевозможным
таким наборам ограничений). Если налагаются к дополнительных
ограничений, то Xj, очевидно, не может возрасти, однако оно не может
стать меньше \/+ь, так как к из у + к — 1 ограничений фиксированы.
Полагая В = Ad, к = q — 1 и беря в качестве линейных ограниче-
ограничений те, которые налагаются требованием х = Qy, мы получаем E.20).
Таким образом,
2V — q N-q
5 S
q
У
См. Като [1966], стр. 81.

498 Гл. VII. Методы регрессии
Заметим теперь, что распределения ограничивающих статистик
dt и du зависят только от q и N и не зависят от конкретных г/у (?г),
так что их точки значимости могут быть затабулированы раз и навсег-
навсегда. Это было сделано для 1%-, 2,5%- и 5%-х точек для односторон-
одностороннего критерия при N = 15AL0EI00 и q — 1 = 1AM. (Дурбин
и Ватсон обозначают через к' наше q — 1 и через п наше N.) Неболь-
Небольшие значения d отвечают полояштельным коэффициентам автокорре-
автокорреляции (так как d « 2 A — г A))), и поэтому обычно применяется
односторонний критерий с критической областью, содержащей неболь-
небольшие значения d. Если величина d ниже точки значимости для dh то
она определенно является значимой при выбранном уровне, а если
она выше точки значимости для du, то она определенно не будет зна-
значимой при этом уровне. Если она лежит меяеду указанными точками,
то определенного вывода сделать нельзя. В этом случае для более
точного нахождения точки значимости может быть использована
одна из ранее предложенных процедур. Таким образом, дальнейшие
вычисления требуются только в том случае, когда критерий не дает
определенного ответа.
Было замечено, что если (обобщенный) спектр ijj (n) концентри-
концентрируется в нулевой частоте, то точка значимости, полученная с помо-
помощью du, близка к истинной. (См. Хеннан и Террел [1968] и указанную
там литературу.) В частности, это верно для у}- (п) вида п3~1. Объяс-
Объясняется это, грубо говоря, тем, что регрессионная процедура в спек-
спектральных терминах подобна регрессии на собственные векторы мат-
матрицы Ad для нижних собственных значений. Этот момент заслужива-
заслуживает внимания, так как если спектр yj(n), как часто сличается в эко-
экономике, сильно сконцентрирован на нулевой частоте, и наблюдаемое
значение d близко к точке значимости для dt и несколько превышает
ее, то d почти наверное значимо. Мы, однако, не хотим преувеличи-
преувеличивать значение этого замечания и не будем входить в подробности,
так как достаточно точное нахождение истинной точки значимости
не составляет большого труда и предпочтительнее вычислить истин-
истинный уровень, при котором наблюдаемое значение становится значи-
значимым, нежели знать лишь, что он превышает (например) уровни 0,05
или 0,01.
Мы уже говорили, что этот критерий иногда использовался эко-
экономистами неправильно, и это действительно так. В частности, его
применяли в случае, когда остатки вычисляются по регрессии, вклю-
включающей в качестве регрессоров запаздывающие значения z (n), т. е.
по регрессии типа E.9), но прир = 1. Ясно, что в этом случае распре-
распределение d отличается от того, на котором основывались предыдущие
рассуждения. Более того, такая статистика вообще непригодна.
Для простоты рассмотрим модель E.8). Будет ясно, что если рассмат-
рассматриваемая статистика непригодна для E.8), то она непригодна и для
E.9). Заменим d на г A) — первый коэффициент автокорреляции для
остаточного процесса, эквивалентный d с точностью до «краевых

5. Влияние регрессионных процедур на остаточный процесс 499
эффектов». Имеем
N
- c'^cs (+ 1) + c's C^KsCj1^ E.21)
где с A), Cs, cs определены, как в § 2 гл. VI (без крышек), однако
теперь, вместо исходного х (п), вычисляются по наблюдаемым остат-
остаткам х (п) регрессии z (п) на у (п). Вектор cs (—1) имеет с (у — 1)
на /-М месте, и, аналогично, cs ( + 1) имеет c(j + 1) в том же месте.
Матрица Ks имеет с (i + 1 — у) в i-ш строке и у-м столбце. Легко про-
проверить, что второй член равен —с A) и, следовательно, сокращается
с первым. Последний член равен
(с B), сC), ..., c(s) \^С-8Ч8)С7гс8,
где ds есть cs с компонентами, взятыми в обратном порядке. Так
как третий член равен
то мы получаем для E.21) выражение
(О, 0, ..., 0 | - с (s + 1) + c'sCfds) Cfcs
Мы предоставляем читателю проверить, что
. Л det {C}±s9+2\
-с (8+1) + CSC;4S = \ +2
det {c;s}
и что элемент в 5-й строке матрицы C^Cs равен
det{C*jJ+1f
d
Так как (см. B.9) в гл. VI)
N
то мы видим, что гA) равен
det(Cs)
P(e|l, . ..,*—!). E.22)

500 Гл. VII. Методы регрессии
Здесь, например, г (s | 1, . . ., s—1) есть5-й частный коэффициент
автокорреляции между z (п) и z (п — s) после устранения
z (п — 1), . . ., z (п — 5 + 1) с учетом эффектов регрессии. Из ска-
сказанного в пункте (а) следует, что эффекты регрессии асимптотиче-
асимптотически пренебрежимы, так что фактически мы имеем дело с z(n) — §'у{п).
Во всяком случае E.22) показывает, что статистика непригодна,
так как, даже если г (s + 1 | 1, . . ., s) велик, можно получить
незначимый результат, когда
r(s |1, . . ., S- 1)
мал. Пусть, например, s = 1, р = 0 и
z (п) + р B) z (п - 2) = е (и), р B) Ф0
Тогда р A) = р A | 0) = 0, но р B | 1) - р B) ф 0. Таким обра-
образом, если после пригонки авторегрессии первого порядка мы проверя-
проверяем сериальную связанность остатков, то с большой вероятностью мы
можем обнаружить, что они сериально независимы, в противо-
противоречие с действительностью. Подходящей статистикой является
?(S + 1 |1, . . ., 5).
Представляет некоторый интерес более точное нахождение распре-
распределений таких статистик, как г (s + 1 | 1, . . ., 5), вычисляемых на
основе модели E.8), по крайней мере для р = 1. Как показывает
обсуждение в гл. VI, эта задача трудна уже в случае простого цен-
центрирования даже для циркулярных моделей, когда 1 является соб-
собственным вектором матриц, участвующих в определении квадратич-
квадратичной формы. Точные результаты могут быть получены только в пред-
предположении циркулярности. Наряду с обобщением методов получе-
получения асимптотических разложений для распределения (таких, как
метод Даниэлса) возможно нахождение подобных разложений для
младших моментов. В принципе это делается просто, однако на прак-
практике задача оказывается очень трудоемкой. Некоторые шаги в этом
направлении сделаны в работе Хеннана и Террела [1968].
6. ВЫДЕЛЕНИЕ ПЕРИОДИЧНОСТЕЙ
Мы уже упоминали ранее, что существует одна задача проверки
гипотез, которая требует особого внимания. Она возникает, когда
мы наблюдаем временной ряд и делаем предположение, что он содер-
содержит одну или несколько чисго периодических компонент. Такая ситу-
ситуация достаточно распространенна и заслуживает специального иссле-
исследования; в то же время здесь требуется подход с точки зрения стати-
статистической проверки гипотез, ибо если не удается найти убедитель-
убедительный априорный довод в пользу такой периодичности, то имеются
весьма серьезные основания сомневаться в ее существовании.

6. Выделение периодичностей 501
Впервые эта задача была исследована Фишером [1929], который
рассмотрел модель
z (п) = \х + р cos (w9 + ф) + 8 (п), F.1)
где 8 (п) — независимые нормальные величины с параметрами
@, ст2). Нулевая гипотеза состоит в том, что р = 0, альтернативная
в том, что р > 0, но |i, р, 9, ф, а2 не известны. При фиксированном 9
максимум функции правдоподобия достигается при и, р, ф, получае-
получаемых посредством регрессии z (п) на единичную константу и cos пО,
sin гс9. Абсолютный максимум находится затем путем варьирования
9. Соответственно отношение правдоподобия становится функцией
от отношения максимума (по 9) регрессионной суммы квадратов для
cos пв, sin nQ после центрирования к центрированной сумме квад-
квадратов для z (п). Последнее отношение очень близко к
2я/ (л) max
F.2)
maxj- __, у*п_-2\, ЦХ) =
причем погрешность обусловлена только тем, что ]>] cos rik, 53 sin иЯ,,
2 cos rik sin rik не равны в точности нулю и У] cos2 rik, 2 siR2 n^
не равны в точности N12. Ошибки имеют порядок произведения N*1
на максимизированное выражение F.2). Позднее мы увидим, что это
максимизированное выражение имеет порядок log N, так что прене-
пренебрежение членами типа 2 cos n^ не влияет на асимптотические резуль-
результаты. Более того, при X = 2nj/N,j = 1, . . ., [ V2-W]» погрешность
равна нулю. Во всяком случае получить распределение F.2), по-ви-
по-видимому, чрезвычайно трудно. (Некоторые подробности см. в работе
Уолкера [1965].) Взамен было предложено рассматривать величину
4я/ Bji//iV) (п оч
в которой исключена частота я. (Исключение частоты 0 несуществен-
несущественно, так как обязательно будет производиться центрирование.) Исклю-
Исключение я преследует цель избежать небольшого дополнительного усло-
усложнения, вносимого этой особой частотой, для которой фаза лишена
смысла и с которой связана только одна степень свободы (вместо двух).
В этом параграфе мы будем иметь дело в основном с некоторыми асим-
асимптотическими результатами, и предельное распределение при нуле-
нулевой гипотезе не будет зависеть от того, включаем мы я или нет. Соот-
Соответственно в случае четного N мы могли бы выбрать статистику наше-
нашего критерия как наибольшее из F.3) и 2я/ (я)/2 {% (и) — ^}2, что
не влияет на справедливость асимптотического результата. Однако
чтобы упростить вывод точных результатов, которые мы получим
сначала, предположим, что N = 2Р + 1 и максимум в F.3) равен
max

502 Гл. VII. Методы регрессии
Сначала мы получим распределение этой статистики в предположе-
предположении, что р = 0 (см. F.1)). Мы следуем Уиттлу [1951]. Другой вывод
читатель может найти в работах Фишера [1929] и Феллера [19661.
Положим
_ /((о;) yj
Х7 — —р — >П '
2/(со,) SW
1
где j/j — независимые одинаково распределенные величины с экспо-
экспоненциальным распределением (т. е. с плотностью ехр (—х)). Таким
образом, yj = {2л/N (co7)/a2}. Пусть случайные величины gj опреде-
определяются как Xj, расположенные в порядке возрастания, так что
gi > g<L > • • • > gr > • • • > gp-
Мы получим распределение gr, в предположении что z (n) = jli +
-f- 8 (п). Основной интерес представляет g^. Однако, если, например,
gi и g2 оба велики и очень близки друг к другу, то может быть инте-
интересным проверить g2 на значимость как второе по величине; если,
скажем, gi и g2 отвечают соседним со7-, то это может дать лучший кри-
критерий по сравнению с 8, находящимся посередине между этими двумя
частотами. (Конечно, такой критерий содержит элемент субъективно-
субъективности, и на самом деле требуется рассмотрение абсолютного максимума
/(9).)
Мы получим характеристическую функцию для grl по формуле
Первый множитель появляется из-за того, что любая из Р величин yj
может дать максимальное значение Xj и существует (."",.) способов
выбора (г — 1) из (Р — 1) остальных г/7-, которые должны быть больше
г-го по величине значения. Последнее выражение равно
р\ V 0 0
При Р>>2 эта функция от 6, очевидно, является абсолютно инте-
интегрируемой, так что плотность распределения gr1 равна
оо
Ш (Р-г)Цг-1I 1 ехр (-%-1)фг @)^9 =
P-r
p

6. Выделение периодичностей 503
Рассмотрим интеграл
A-Я/У)
р-1
Он равен нулю при / + г > gv\ так как полюс 6 = — iy лежит
в нижней полуплоскости. При 7 + г <С gr1 этот интеграл равен
так что мы получаем плотность для gy1 в виде
0
-1* 2 (-i)ft-r(rz
ft=r
Домножая на якобиан gy2 и интегрируя от х до г, получаем
(Чтобы получить этот результат, мы интегрируем A—kgr) от х
до к'1, так как этот член входит в сумму, определяющую плотность
для gr, только тогда, когда gr^k'1.) Для г =1 5%- и 1%-е точки
значимости затабулированы Фишером [1950], стр. 16.59а, при Р =
= 5AM0. Для г = 2 5%-е точки затабулированы при Р =
-3AI0EM0 в работе Фишера [1940].
Мы можем рассмотреть асимптотику
Pgr-logP~y?— log Л
где s = Р'1 ^ yj и г-е по величине из уj обозначено теперь через г/(Г).
Так как (log P) (s'1 — 1) сходится по вероятности к нулю, то мы мо-
можем рассматривать (y(r) — log P)ls и по той же причине можем в кон-
конце концов рассматривать (yin — log P). Так как (yj — log P) имеет
распределение
то
lim P {gr > Р-1 (х + log Р)} = Km Р (у1Г) - log P > х)
iV N
iV-хэо
г-\
b2
.V-.00

504 Гл. VII. Методы регрессии
При г = 1 и Р = 50 5%- и 1%-е точки для точного распределения
равны 0,160 и 0,131. Соответствующие значения для х равны 2,9702;
4,6002, следовательно, точки значимости для gr, полученные из асим-
асимптотической формулы, равны 0,170; 0,137, что является довольно
посредственной аппроксимацией.
Мы резюмируем эти результаты в следующей теореме г):
Теорема 17. Пусть г (п) — независимые нормальные вели-
величины с параметрами @, а2) и
I (б, СО/) =
1
N
2nN
1
2 е и*
гто
2
Тогда если
/(в, со;)
= r-e по величине из
то Р (gr > я) дается формулой F.4). При N ->- оо вероятность
Р (gr > Р (л: + log Р)) сходится к 1 — ехр (— ^~х), и в эташ слг/-
ча^ мы можем считать, что 0 ^ ;'^ f1^ ^Vl.
Тот факт, что значения / = 0 и 1/2N (при четном 7V) могут быть
включены в асимптотической результат, непосредственно следует
из того, что / (е, 0), / (е, я) пропорциональны хи-квадрат величи-
величинам с одной степенью свободы, так что с вероятностью, сколь угодно
близкой к единице, они ограничены некоторой постоянной.
В таком виде критерий имеет ограниченную ценность, так как
предполагалось, что е (п) гауссовы и имеют равномерный спектр.
Первый недостаток был в основном устранен Уиттлом [1951]. Мы
следуем Уолкеру [1965], который показал, что предположение о нор-
нормальности также является несущественным.
Предположим, что
z (п) = \i + p cos (nQ + ф) + х (/г),
где2)
оо оо
х(п)= 2а(/)е(»-/), 2|а(/)|1Лв<°°. 6>°- F-5)
Тогда, поскольку г (п) нормальны, мы можем применить результаты
§ 2 гл. V, из которых следует, что &-й абсолютный момент величины
rN(X) =I(\)-^f(l)I(e, I)
х) Мы переходим от обозначения I (к) к I (е, К), чтобы подчеркнуть отличие
формулировки этой теоремы от последующих.
2) Так как мы здесь считаем х (п) гауссовским, то предположение, что х (п)
порождается линейным процессом, не обременительно. Ограничение на а (/)
представляется слабым, однако оно, несомненно, могло бы быть еще ослаблено.

в. Выделение периодичностей 505
имеет порядок N~6k при б ^ V2; N~1/2h при б ^ V2 равномерно по X.
Тогда
P{max ^6
ljM
а при б ^ V2 имеет место аналогичная оценка с V2 вместо б. (Мы
использовали здесь неравенство Маркова.) Таким образом, для
любых а > 0, б > 0, выбирая достаточно большое к, мы видим, что
lim Р { max | гд (со7) | ^ а} = 0.
Положим Я (X) = / (X)// (X). Предположим теперь еще, что / (X)
^ а> 0; X 6 (— я, я], и рассмотрим
Заметим, что
max | Н (со;) — / (е, со7-) |,
j
как только что было показано, сходится по вероятности к нулю.
Таким образом, мы доказали следующую теорему:
Теорема 18. Если х (п) порождается соотношением F.5)у
где е (п) такое же, как в теореме 17, и f (К) ^ а > 0, X 6 (—я, я],
то для любого х > 0
Km Р { max Н (со7-) — log Р > х) = 1 — ехр (— е~х),
N 0^j^[l/iV]
HmP/ max f „У ] -log P> z] = 1 -exp (-
о
Второе утверждение теоремы следует из того, что
[1/2л-]
± /, П. (СО 7) =
о
Так как последний член, очевидно, сходится по вероятности к нулю,
а первый сходится к единице с вероятностью 1, то 1 — Р'1 2 Н (со7)
сходится по вероятности к нулю, откуда и следует утверждение.
Вторая форма статистики критерия в этой теореме введена по той
причине, что она представляется наиболее естественным аналогом
статистики теоремы Фишера (теорема 17). Таким образом, мы заме-
заменяем / (coy) на величины / (со7-)// (со7-), приближенно равные / (е, со7-),
и используем их так, как если бы они в точности равнялись / (е, со7-).
Как отмечалось выше, эта идея принадлежит Уиттлу [1951].

506 Гл. VII. Методы регрессии
Остается сделать еще два шага. Первый — заменить / (со7) на не-
некоторую оценку и второй — ослабить требование нормальности
8 (п). Первое выполнить легко. Рассмотрим, например, случай,
когда х (п) — авторегрессионный процесс порядка р. Тогда
= Е { max -±- 2 У, {Р (/) р (Л) - р (/) р (к)} е^-т I} ^
% о о
р р
<^2 2 E{|P(;)P(A:)-PG)P(A)|} = O(p27V-i). F.6)
О О
Таким образом, в силу аналогичных соображений мы можем заме-
заменить / (со7) на / (со7) в случае, когда х (п) порождается авторегрессией.
Обозначаем полученную статистику через Н (со7). Теоремы, обсуждав-
обсуждавшиеся в § 5 гл. VI, позволяют обобщить этот результат на другие пара-
параметрические модели. Мы не будем обсуждать здесь этот вопрос под-
подробнее по следующей причине. Если спектр х (п) имеет скачок в точке
8, то весьма вероятно, что мы получим оценку для спектра авторегрес-
авторегрессии, которая будет велика в окрестности 9. (См. обсуждение в одном
из упражнений в этой главе.) Это, конечно, приведет к снижению
мощности критерия. По этой причине, прежде чем оценивать / (X),
необходимо устранить из х (п) эффекты скачка с помощью регрессии
(на sin пЬ, cos пЪ, где 6 — оцененная частота). Это, конечно, приво-
приводит к итерационной процедуре. Предположим, что мы находим (авто-
(авторегрессионную) оценку спектра / (со7) для максимального / (соу) после
устранения влияния cos n(Dj, sin ncoj с помощью регрессиии и затем
вычисляем Н (со7). Тогда вероятно, что найденное теперь значение
Н (coj) не будет максимальным. Для полной уверенности придется
описанным выше способом построить Н (со7) для каждой точки со7-.
Это потребует отдельной авторегрессионной процедуры оценивания
в каждой точке г). Такая вычислительная процедура отнюдь не явля-
является невыполнимой, особенно если учесть, что авторегрессионные
модели (или другие модели с конечным числом параметров) исполь-
используются в основном тогда, когда N не очень велико.
Другая процедура состоит в использовании сглаженной оценки
для / (X), причем естественно использовать ФПФ или процедуру
Кули — Тьюки (см. гл. V). Если N лежит в пределах, допускающих
вычисление ФПФ, то почти наверняка следует использовать ФПФ,
так как в принципе / (со7-) нужны для критерия в любом случае. Мы
х) Следует проверить, что F.6) остается справедливым, если Р (у), а значит,
л / (к) получаются после устранения cos nk, sin nk из х (п) посредством регрес-
регрессии. Легко видеть, что это так.

в. Выделение периодичностей 507
обсудим сначала процедуру, основанную на ФПФ, а затем и исполь-
использование других процедур в случае, когда N настолько велико, что
вычисление всех / (со7) становится неэкономным. Предположим, что
с каждым Лг связано число т (или М = [N/2m]), которое определяется
не только по N, но и по предполагаемой «полосе частот» спектра
/ (X) остаточного процесса х (п) в соотношении z (n) = jli +
+ р cos (nQ + ф) + # (тг). Число т имеет, конечно, тот же смысл, что
и в гл. V. Ясно, что нет смысла проверять гипотезу р = 0 без каких-
либо априорных предположений о полосе частот / (^), так как на ос-
основе конечного числа данных невозможно отличить скачок в спектре
от достаточно высокого и узкого пика абсолютно непрерывной ком-
компоненты. Наше предположение, касающееся полосы частот, заклю-
заключено в выборе т. Мы предполагаем, что т -»¦ оо и mlN -»¦ 0 при N -»¦
—>¦ оо. Рассмотрим оценку
' ^ = ~^Г Zj (^-ft)» (G.7)
k
где 2'— сумма по т значениям /с, таким, что со7_? расположены сим-
симметрично х) вокруг coj, однако со7- в сумму не включается.
Заметим теперь, что
max I / (@;)-
сходится по вероятности к нулю. В самом деле,
lim max I E {f (со/) — / (со;)} | = lim max E { — У, I (coj_^) — / (соj) ) ,
N-*oo j N-*oo j k
где сумма уже содержит / (со;). По теореме 10 гл. V последнее выра-
выражение есть О (M~q), где 2тМ = N и q = min (б, 1). Далее, вместо
/ (coj_k) — Е (/ (<jL>j_k)) мы можем рассмотреть
П / ч / ч 2
>j a (p)exp (ipa)j-k)
так как мы знаем, что
max { 2 а(р)ехр (ip(Oj-k) /(е, со7-_л) — / (со;
сходится по вероятности к нулю. Легко показать, что
max | /" (е, со j) —|—
сходится по вероятности к нулю, так как(—^-j i (е, со j) независимы
и имеют показательное распределение. Так как | 2 а (/?) exp (ipX) |2—
х) Для нечетного т в наших теоретических рассмотрениях мы можем при-
принять произвольное соглашение, например, что слева от со7- имеется на одну
co^-k больше, чем справа.

508 Гл. VII. Методы регрессии
непрерывная функция X, то отсюда следует, что
max \J((Oj)
сходится по вероятности к нулю, и мы можем использовать эти
/ (со7) вместо / (coj) в теореме 18, заменяя Н (coj) на Н (со7) =
Не входя в подробности, отметим, что то же самое фактически
относится к любой оценке / (со7-), полученной по любому из методов
гл. V. Это, очевидно, верно для оценки Кули — Тьюки, для кото-
которой доказательство почти такое же, как в настоящем параграфе;
оценки других типов из гл. V могут быть рассмотрены аналогичным
образом с помощью формулы D.3) гл. V, а именно
N (X-Q) I(Q)dQ.
В такой ситуации мы придем к оценкам
и к построению с их помощью Нк (со7) = / (со7-) Ifк (со у). Такая
поправка не повлияет на асимптотическое распределение при нуле-
нулевой гипотезе, однако мощность критерия возрастет *). Сформули-
Сформулируем результат в следующем виде:
Теорема 19. Пусть х (п) порождается соотношением F.5),
где г(п) такое, как в теореме 17, / (со7-) вычисляется по F.7) или,
более общим образом, по F.8) и М-^оо, M/N ->¦ 0 при N-^oo.
Тогда имеет место утверждение теоремы 18 с заменой Н на Н =
= IIf {или, более общим образом, на Нк = ///я).
Если вычисления периодограммы оказываются слишком доро-
дорогостоящими, то нам, конечно, придется действовать иначе. Мы
можем поступить следующим образом. Вычислим величины / (coj),
со- = 2nf/N, N < TV' = 2s < 27V, / = 0, 1, . . ., 2s, и оценку
Кули — Тьюки
где по-прежнему в сумме 2' пропускается член с к = 0. Затем
найдем максимальное из / (coj)//(C) (со}). Пусть со' — максимизирую-
максимизирующее значение со}, и пусть со — число вида 2nj/N, ближайшее к со'.
х) Эффективность поправки, состоящей в замене / на 7, в отношении увели-
увеличения мощности будет зависеть от расположения скачка 9. Если он находится
посередине между точками со,-, соу+ь то снижение мощности может оставаться
значительным даже при использовании 7- Более подробно см. Ничолс [1967].

6. Выделение периодичностей 509
Тогда мы можем образовать / (со)//(С) (со') и использовать это вместо
максимума величин Н = ///. Такой критерий будет неточным лишь
постольку, поскольку со не совпадает со значением, максимизирую-
максимизирующим Н', однако это означает просто, что мы более осторожно выбираем
уровень значимости для наших результатов, и мы можем не слиш-
слишком об этом беспокоиться.
Вывод теоремы 19 является чрезвычайно общим, так как наши
предположения относительно х (п) были весьма незначительными,
с одним исключением, а именно, что х (п) гауссов. Следуя Уолкеру
[1965], мы теперь покажем, что это предположение также малосу-
малосущественно и полученные результаты с достаточной точностью рас-
распространяются на случай, когда 8 (п) независимы и одинаково
распределены, но не нормальны. Мы покажем (в случае теоремы 17),
что при условии существования моментов 8 (п) достаточно высокого
порядка вероятность, вычисленная в (неверном) предположении
нормальности, будет очень близка к истинной вероятности при
обстоятельствах, соответствующих проверке значимости. Конечно,
теоремы 18 и 19 также используют нормальность, однако лишь
постольку, поскольку нормальное распределение имеет моменты
произвольного порядка. Мы не будем переформулировать теоремы
18 и 19, но они, конечно, остаются справедливыми в таком же при-
приближенном смысле (в том смысле, что / (е, со7) можно заменить
на / (coj)// (co7-) без изменения асимптотического распределения),
если существуют моменты достаточно высокого порядка или нала-
налагается некоторое более сильное условие на а (п), как, например,
Рассмотрим
Р | max о2п1 (со7-, е) > log — | .
Пусть A j — событие, состоящее в том, что р~22я/ (со7-, е) > log Pip.
Тогда (Феллер [1957], стр. 105)
Однако если некоторый абсолютный момент порядка ^6 величин
г(п) конечен, то небольшое обобщение одной теоремы из книги
Крамера [1937], стр. 101, показывает, что равномерно по /
NzLe*V(-log(P/p))
и, аналогично, что
lim
"Л exp(-21og(P/p))

510 Гл. VII. Методы регрессии
Таким образом, для достаточно больших N мы имеем
<P I max o~22nl(со,-, e) > log — } <Pexp ( — log— ) = P, F.9)
так как, например,
lim P { max о~22я1 (со/, e) > log — ) ^ p.
N-*oo { j P >
Соотношение F.9) и дает искомую аппроксимацию.
Этот результат показывает, что нарушения нормальности при-
приведут к незначительным последствиям (при условии, что существуют
соответствующие моменты), ибо р будет малым числом (например,
0,05 или 0,01), так что V2p2 заведомо будет очень мало. Таким обра-
образом, если, например, применяя теорему 19, мы находим, что уровень
значимости для нашего наблюдавшегося max Я (со7) равен р (в том
j
смысле, что асимптотическая теория дает нам такую вероятность
превышения наблюдаемого значения), то мы имеем право считать,
что истинный уровень значимости лежит между р — V2/?2 и р (с обыч-
обычными оговорками, касающимися использования асимптотических
результатов). Для практических целей знание того, что истинный
уровень значимости лежит в таких пределах, будет достаточным.
Предлагались и другие процедуры для проверки периодично-
стей, в частности, в работе Пристли [1962]. Метод Пристли, который
мы не будем описывать подробно, основывается на применении
разности между двумя сглаженными спектральными оценками,
одна из которых использует значительно более высокую степень
сглаживания (т. е. меньшее М и большее т), чем другая. Пусть Mi
и М2, Mi^>M2, — соответствующие константы и Р (X) — разность
между двумя спектральными оценками (вычитается та, которая
соответствует меньшему М2). Тогда статистика критерия имеет вид
h
max С (Mi, M2, TV) 2 1
^ "—1
где С (Mi, M2, TV) — подходящая числовая последовательность.
В работе Пристли [1962] произведены некоторые сравнения мощ-
мощности такого критерия и критерия, обсуждавшегося выше, в пред-
предположении, что скачок приходится на точку Bя//М2). Если поло-
положить М2 = [log TV], Mi = [V2 TV], то критерий Пристли оказывается
наиболее мощным (но только в этом случае). Однако даже в этом
случае сравнение является неправомочным, так как если бы было
известно, что скачок происходит в такой точке, то / (X) можно было
бы вычислить только в точках 2я//М2 и критерий, основанный
на этих значениях / (X), был бы еще более мощным. Пристли предла-

6. Выделение периодичностей 511
гает при практическом применении своего критерия сначала нахо-
находить точку к0, в которой Р (к) принимает наибольшее значение,
а затем использовать
k
Однако оценить эффект использования такой наиболее подходящей
сетки точек к0 + 2я//М2 было бы, по-видимому, столь же сложно,
сколь найти распределение max / (к) (максимум по всем к ? (—я, я]).
Более того, в случаях, когда М2 велико (близко к 1I2N), т. е. в тех
случаях, когда критерий Пристли оказывается более мощным по срав-
сравнению с критерием, основанным на / (к) (или когда можно этого
ожидать), по-видимому, нет оснований рассчитывать, что эффект
от такого выбора сетки будет другого порядка, чем эффект использо-
использования max / (к) вместо max / (co7) в описанном нами критерии.
Мы закончим этот параграф кратким обсуждением многомер-
многомерного случая. Этот случай значительно более сложен по двум причи-
причинам. Во-первых, трудно найти точное распределение статистики
отношения правдоподобия (в условиях теоремы 17), и, во-вторых,
ситуации становятся более разнообразными, так что может быть
использован более широкий класс статистик. Последнее объясняется
тем, что наблюдаемая периодичность может проявляться различны-
различными способами. Она может наблюдаться, например, в двух компонен-
компонентах векторного ряда или в коэффициенте когерентности между ними
(скажем, в ситуации, когда нормальной можно считать нулевую
когерентность). Сюда относятся также фазовые соотношения между
двумя рядами, так как если некоторая сила порождает периодич-
периодичность, скажем, в двух рядах, то в определенных обстоятельствах
разумно ожидать, что эти два колебания будут синфазны.
В первую очередь мы приходим к ситуации, когда предполагаемая
модель имеет вид
Zj (п) = \lj + pj COS (и6 + ф.;) + &j (п), 7 = 1» ..-,?,
где р7-, ср7-, jli7-, а также 9 неизвестны. Мы считаем, что е7- (п) — неза-
независимые нормальные величины с параметрами (О, G), где G невырож-
денна. Если предположить, что 6 имеет вид 2якШ, N = 2Р + 1,
то критерий отношения правдоподобия для гипотезы р7- = 0 будет
основываться на статистике
det {У]/(©;)-/(©л)-/(©-ft) j
min{A,BP, p, 2)Hmin 1— ,
ft ft det B) /(со/)}
j
где суммирование по / распространяется от 1 до Р = V2 (N — 1).
Известно, что статистика
BР, р, 2) Аг — р— 2
-\/Ah BP, р, 2)

512 Гл. VII. Методы регрессии
имеет /"-распределение с 2р и 2 (TV — р — 2) степенями свободы.
Однако распределение минимального значения этой статистики полу-
получить нелегко. При возрастании N распределение величины
xh = - (N - 3 - У2р) In {Ak BP, р, 2)}
стремится к хи-квадрат распределению с 2р степенями свободы.
На этом, несомненно, можно основать асимптотическое рассмотрение
настоящей проблемы. Конечно, чтобы прийти к полезному результа-
результату, необходим какой-либо аналог теоремы 19. Он вновь может быть
основан на теореме 2 гл. V. Если G предполагается диагональной
(что соответствует некогерентности ряда при нулевой гипотезе в си-
ситуации, аналогичной теоремам 18 и 19), то подходящей статистикой
критерия будет произведение индивидуальных статистик для всех
компонент вектора. В случае р = 2 некоторые исследования этой
ситуации были проведены Ничолсом [1969]. В такого рода задачах
фазовый угол также представляет определенный интерес, так как
согласие фаз на частоте, для которой периодограммы максимальны,
является лишним доводом в пользу наличия скачка. Этот аспект
проблемы также исследовался Ничолсом.
7. УРАВНЕНИЯ С РАСПРЕДЕЛЕННЫМ ЗАПАЗДЫВАНИЕМ
В экономике, особенно в последние годы, значительное внимание
уделялось моделям типа
t
z(n) = a+ 2 B(j)'y(n-j)+x(n), G.1)
5
где z (ri), х (п) — векторы с р компонентами, у (п) — вектор с q ком-
компонентами. Более подробное описание их вероятностной структуры
31Ы дадим позже. Фактически модели являются обычно более специаль-
специальными, чем G.1), которая на самом деле укладывается в рамки теории,
развитой в § 1—5 настоящей главы. Типичный пример скалярной
модели г):
оо
z(n) = a'0 + al?1py(n-i) + x(n), G.1)'
О
так что коэффициенты определяются через три постоянные о^, аА, C.
Такие модели, где коэффициенты В (/), которых, возможно, бесконеч-
бесконечное количество, являются функциями лишь сравнительно немногих
параметров, обладают очевидными достоинствами в ситуациях, когда
размер выборки невелик, так что вклад (с сопутствующим риском)
б частную модель может принести значительный доход (если модель
адекватна). Литература, относящаяся к таким моделям, к настоящему
времени весьма обширна (см. обзор Гриличса [1967], а также некото-
х) Мы используем здесь обозначение а'о, чтобы сохранить а0 для другой
цели в конце этого параграфа.

7. Уравнения с распределенным запаздыванием 513
рую дополнительную литературу в работе Амемии и Фуллера [1967]*).
Поэтому, учитывая объем, которым мы здесь располагаем, мы не бу-
будем стремиться к конкретности при изложеьии этого вопроса. Обсуж-
Обсуждаемые нами методы широко применимы, и их приложения не ограни-
ограничиваются эконометрическим контекстом. Так, в практике автора они
возникали из рассмотрения океанографической статистической про-
проблемы.
Мы начнем с обсуждения G.1). В этом параграфе мы ограничимся
использованием простого центрирования для z (n) и у (п), хотя изла-
излагаемые методы, а также, несомненно, и теорема обобщаются на случаи
более сложных поправок. Прежде всего предположим, что х (п)
и у (т) независимы при всех т, п и что х (п) порождается линейным
процессом
оо сю
х(п)=%А(к)г(п-к), ^ || А (к) ||< оо, G.2)
— оо —оо
где 8 (п) — векторы с р компонентами, независимые и одинаково рас-
распределенные с параметрами (О, G). Как мы уже сказали, модель G.1)
можно рассматривать как частный случай B.1), ибо достаточно взять
в качестве у (п) в B.1) вектор, составленный из s + t + 1 векторов
у (п — /), фигурирующих в G.1). Однако, если s или t велико, подоб-
подобный способ может оказаться весьма сложным в вычислительном
отношении; к тому же он приводит к достаточно сложной и громоздкой
процедуре, если sat должны определяться путем последовательного
добавления новых членов к регрессии. Конечно, можно использовать
процедуру наименьших квадратов, однако если нужно измерить точ-
точность оценок, то, как мы уже отмечали, объем вычислений будет
не меньшим, чем для асимптотически эффективного метода, обсуждав-
обсуждавшегося в § 4. По этим причинам была предложена другая процедура
(Хеннан [1963], [1967с]). Для того чтобы лучше пояснить суть метода,
мы рассмотрим сначала случай р = q = 1. После того как будут оце-
оценены р (/), мы оценим а по формуле
Если мы предположим, что у (п) — стационарный процесс с абсолют-
абсолютно непрерывным спектром, то получим следующее соотношение между
спектрами:
Это наводит на мысль использовать для оценивания |3 (/) приближен-
приближенное соотношение
t
См. также Драймс [1969], Фишмен [1969].

514 Гл. VII. Методы регрессии
где, как мы уже говорили, fzyi f y вычисляются по центрированным
данным. Важные условия, которые должны быть наложены на про-
процедуру спектрального оценивания и на у (я), мы сформулируем далее
в теореме 20. Таким образом,
м
= W 2 Tff «¦"**• G-3)
Так как fzy = -^{czy — iqzy), то эта формула сводится к
1_ V Я °гУ ^*) cos ftb — qzy (Щ sin Aft
- 2Af 2J °*
Преимущества такой процедуры очевидны. Каждая р (/) получает-
получается отдельно, и s или ? могут быть увеличены без пересчета ($ (/'), полу-
полученных ранее. Кроме того, мы увидим, что при подходящих условиях
матрица ковариаций величин У N (Р (/) — р (/')) равна
2я J
где указан элемент на пересечении /-й строки и /с-го столбца. (В тео-
теореме 20 мы сформулируем условия, при которых C (/) асимптотиче-
асимптотически нормальны с указанной матрицей ковариаций.) Ее следует срав-
сравнить с
т. е. с асимптотической матрицей ковариаций для YN ф (/) — C (/))>
где 'р (/) — наилучшая линейная несмещенная оценка. (Это легко
получается из C.4).) Эти две матрицы совпадают при всех s, t тогда
и только тогда, когда fy (k)/fx (X) постоянно почти всюду. Таким обра-
образом, можно ожидать, что метод будет достаточно эффективен, если
fy (h)/fx (X) не изменяется слишком сильно. Для сравнения напоми-
напоминаем, что процедура наименьших квадратов эффективна, если fx (X)
постоянна. Таким образом, все три метода совпадают, если оба спект-
спектра постоянны. Матрицу G.5) (или, если угодно, G.6)) можно в насто-
настоящем случае легко оценить еще до оценивания р (/), так как она равна
где снова указан элемент в ;-й строке и k-и столбце. (Ситуация носит
частный характер, так как регрессорные переменные являются запаз-

7. Уравнения с распределенным запаздыванием 515
дывающими значениями одной и той же переменной.) Эту матрицу
можно оценить посредством
м
м
{^}} G.7)
где на любой диагонали стоят одинаковые элементы. Отметим еще
одно обстоятельство, заслуживающее дальнейшего исследования.
Мы имеем
м м Л
\2_ * V
Ш 2
Нельзя, конечно, рассчитывать, что обсуждаемый метод может
быть использован для любых s и t. Для справедливости асимптотиче-
асимптотической теории, очевидно, необходимо, чтобы s и t были фиксированы
(что мы и потребуем) или по крайней мере чтобы s + t возрастало
медленнее М. Однако G.8) дает некоторые указания о том, насколько
велики могут быть остальные Р (/). Так, если s и t малы и сумма квад-
квадратов вычисленных J3 (/) равна а, тогда как G.8) равно 6, то нам изве-
известно, что сумма квадратов по крайней мере нескольких следующих
Р (/) не должна превышать (Ъ — а). Более того 2),
м
1
-м-и
(Ъ-а) (Ь-а)
r-J-
c~ 2M
так что, зная а, Ь, с, а ^ Ь ^ с, мы можем судить, стоит ли вклю-
включать следующие члены в процедуру оценивания. Ясно, что здесь
нужен (и возможен) «критерий согласия», однако мы не будем рас-
рассматривать этот вопрос подробнее.
Численный пример с р — q — 1, где z (n) — уровень моря,
а у (п) — атмосферное давление (в г. Сиднее, Австралия), дает сле-
следующие результаты. Здесь N = 548, М = 30, s = t = 3
/= —3—2—1 0 1 2 3
0(/) = 0,068 0,068 0,111* —0,646* 0,069 -0,304* 0,021
2) Крышка за скобками в следующем выражении означает, что мы имеем
дело с оценкой для var ф (/)).

516 Гл. VII. Методы регрессии
При 7 = & G.7) принимает значение @,041J, так что величины со
звездочками значимо отличаются от нуля. Правая часть G.8) равна
0,624. Сумма квадратов семи вычисленных Р (/) равна 0,537, так что
учет величин у (п — /)> —3 ^7^3, дает удовлетворительное объя-
объяснение вариациям z (n). В данном случае отношение fjfy оказывает-
оказывается близким к постоянной, но fx очень далека от этого. Если бы fjfy
в точности равнялось постоянной, то р (/) были бы асимптотически
независимы (при условиях, которые мы обсудим ниже). Таким обра-
образом, мы можем проверить несколько следующих р (/) с помощью вели-
величины
где 2' — сумма по добавочным значениям j (в количестве v, напри-
например). Приближенно эта величина имеет распределение хи-квадрат
с v степенями свободы. Мы знаем, что числитель не превосходит 0,087.
Знаменатель равен 0,0017, так что отношение (приближенно) не пре-
превышает 50. Напрашивается использование этого отношения как %2
с 53 степенями свободы, так как остается 53 коэффициента и есть
основания полагать, что эти оставшиеся коэффициенты представляют
случайные отклонения от нулевых значений. Законность такой про-
процедуры, конечно, требует обоснования. Разумеется, нетрудно было
бы найти и гораздо большее количество коэффициентов р (/).
К сожалению, с этим методом связана немаловажная проблема сме-
смещения. Она возникает из-за того, что фильтрация процесса с последу-
последующей спектральной оценкой дает не тот же самый результат, что
вычисление спектра нефильтрованного процесса с последующим умно-
умножением на квадрат коэффициента усиления фильтра.
Рассмотрим только тот случай, когда у (п) — стационарный чет-
четвертого порядка процесс с абсолютно непрерывным спектром
оо оо
fy М = 4г 2 ту (») е~ЫХ' 2 I" П г» М IK °°» det if у
— оо —оо
G.9)
Кроме того, у (п) имеет четвертый семиинвариант, удовлетворяющий
условию
оо
2 2 2 I KiJhi @, Щ, п2, га3) |< оо. G.10)
П1, П2, Пз=-оо
Впрочем, нам потребуется также ограничение на спектраль-
спектральную оценку, контролирующее упомянутый выше эффект смещения,
а именно
т. / — i ?\ т. / —\
;оо. G.И)

7. Уравнения с распределенным запаздыванием 517
Введем уравнения оценивания
м t
Ё'Ы = Ш 2 1гу{К)иО*Г1е-«\ a = I-2E'(j)y. G.3)'
ft=-M+l -s
Таким образом,
м
В' (j) = -^ 2 6fe {(<?zy (Л*) uy (A*) — gzy (Л*) yy (kk)) cos /Л* —
о
— (Qzy (K) Uy (h) + czy (kk) vy (Xk)) sin/Aft}, G.4)'
где
Щ = {cy + qycfqyY1, Уу = — cyqv (cy + qycfqy)'1,
как в § 4. Если р=1, то Br (j), czy, qy — векторы-строки. В общем
случае это матрицы из р строк и q столбцов.
Введем векторы-столбцы Р(у), ($(/), которые связаны с B(j), В (j)
так же, как |3, р с J5, Б в § 2, а именно Р(/) имеет рии (/) в строке
с номером (и—i)q-\-u. Конечно, в случае р = 1 мы имеем Р (у) =
= B(j). Теперь мы покажем, что коварнации между элементами
У N (Р (У) — Р (;)) и У N (Р (к) — р (к)) асимптотически даются матрицами
± j
п
} e-W-
Ux Q) ® f'v (Я)} e-W-**dX, G.5)'
-Я
которые можно оценить посредством
м
77- 2 8k {(а ® иг/ + & ® уг/)cos (/ ~
о
+ (а® уу — &® иу) sin (] —к) К}, G.7)'
где в a, b, uy, vy опущен аргумент Хи и
Л == сгуиусуг QzyVyCyz ЯгуиуЯуг ~Т czyVyQyzi
Ъ = qZyUyCyZ + czyVyCyz — czyuyqyz + qzyvyqyz.
Аналогом соотношения G.8) является
м м
2 Тг0(/)'Б(/)) = ^- 2 Tr(/W/yz); G-8)'
подробную запись этого выражения в терминах вещественных и мни-
мнимых частей fy и/2у мы опускаем.
Имеет место х)
х) В гауссовском случае значительно более сильный результат был доказан
в работе Вахбы [1969].

518 Гл. VII. Методы регрессии
Теорема 20. Пусть z (п), у (п) и х (п) связаны соотношением
G.1), где х (п) порождается процессом G.2), а у (п) — стационарный
четвертого порядка процесс со спектральной плотностью, удовлетво-
удовлетворяющей G.9), и четвертым семиинвариантом, удовлетворяющим
G.10). Пусть lira M2/N = 0, и пусть спектры оцениваются посред-
ством процедуры, удовлетворяющей одному из следующих условий:
(i) f —оценка типа D.2) гл. V с кп, удовлетворяющими условию
D.4) гл. V, где к(х) = 0 при | я | > 1 и к(х) удовлетворяет G.11)
при и^г-\- [г], и
G.12)
N-VOO ШЧ "
(ii) / получены по усеченной формуле, где
(iii) / получены по методам ФПФ, Кули —Тьюки или Даниэля
{см. примеры Л, 2 и 8 в § 4 гл. V) и г^1, тогда как
^ = 0. G.14)
Пусть В (/) гг а оцениваются по формуле G.3)', гг пусть р (/), |3 (у)
определены через В (/), 5 (/), «:а«: указано перед формулой G.5)'.
Тогда при N -->- оо совместное распределение векторов Y^N ф (/) —
— Р (/)) сходится к многомерному нормальному с нулевым сред-
средним и матрицей ковариаций, для которой (/, /с)-й блок элементов,
соответствующий ковариациям между р (у) и р (/с), имеет вид G.5)'.
Состоятельная оценка для него дается формулой G.7)'.
Мы поместили доказательство этой теоремы в приложении к на-
настоящей главе, так как оно довольно утомительно; к тому же оно тесно
связано с доказательством теоремы 10, которое также дается в прило-
приложении.
С асимптотической точки зрения наиболее удовлетворительным
результатом является, вероятно, (ii), так как здесь не привлекается
G.11) и, следовательно, теорема имеет место при условии, что M2/N -->-
—>- 0 и г в G.9) достаточно велико. Из процедур, приведенных
в качестве примеров в § 4 гл. V, условию (i) удовлетворяют только
процедуры Тьюки — Хэннинга и Парзена, для которых и не может
быть больше единицы, так что G.9) должно выполняться при г = 1
и N = о (М4). Последнее относится и к процедурам Кули — Тьюки
и ФПФ. Таким образом, во всех этих случаях М должно возрастать
в довольно узких пределах между M2/N -> 0 и M4N ->¦ оо. Про-
Процедура Бартлета (пример 4 § 4 гл. V) не удовлетворяет условиям
теоремы. Мы повторяем, что эти результаты, конечно, являются асим-
асимптотическими и должны применяться с обычными для подобных

7. Уравнения с распределенным запаздыванием 519
результатов предосторожностями. Основной вывод состоит в том,
что настоящий метод должен быть удовлетворительным для оцени-
оценивающих процедур 1, 2, 3, 5, 6, 8 (§ 4 гл. V) при условии, что fy (к)
достаточно гладка, а М достаточно велико, чтобы гарантировать
незначительность эффектов смещения, и достаточно мало, чтобы
гарантировать необходимое убывание дисперсий.
Так как случай р = 1, q > 1, вероятно, представляет особый инте-
интерес, то ниже мы приводим для него некоторые подробности вычисли-
вычислительной процедуры. Формулы имеют вид
м
о
- (izy fik) иу (h) + cZJ/ (h) Vy (h)) sin A,}, G.4)"
где
у — \ у ~i Qy у Чу) i у — уЧу \ у "I Ну у Чу) '
Мы оцениваем матрицу ковар наций между У N ([3 (/) — р (/))
и V~N (р (к) — Р (к)) по формуле
м
1 ^-1 л л
-гт /, 8uw (Хи) (ии (ku) cos (/ — к) Хи -\- Ujj (ku) sin (/ — к) Хи\. G.7)"
где
w (к) = U (к) - fzy (К) fy (X)-1 fyz (К) -
Uy fi) — Qzy
+ bv fi) "y fi)) bz fi)•
= U fi) — Y {Czy (X) Uy fi) — Qzy (X) "у (Щ Cyz (X) —
Имеем также
м м
-м+i -м+i
м
= -M-2i*u{fz(K)-w(K)h G.8Г
о
так что /z (ки) и w (ки) могут быть использованы для суждения
о величине остальных р (/).
В завершение этого параграфа мы вернемся к соотношению G.1)'.
Его можно привести к следующему простому виду:
z (п) = а0 + сзд (п) + pz (n— 1)+и (л), G.15)
и(п) = х (п) — рх (п— 1), а0 = а'о A — Р).

520 Гл. VII. Методы регрессии
Если и (п) независимы, то, как нам уже известно, мы можем удо-
удовлетворительно оценить G.15) по методу наименьших квадратов (см.
теорему 15). Поэтому такой случай малоинтересен. По-видимому,
нет достаточно хороших доводов в пользу того, чтобы исходить
из G.1), а не сразу из G.15). (Если бы спектр х (п) был известен, то
пренебрежение этой информацией в G.15) привело бы к некоторой
потере информации, однако такая ситуация представляется не очень
вероятной.) Если и (п) нельзя считать независимыми, то представ-
представляется естественным включить дальнейшие запаздывающие значе-
значения (z (п) и у (п)) в правую часть G.15) в надежде, что G.15) вновь
приведется к виду, охватываемому теоремой 15. Во всяком случае
существует простая процедура оценивания для G.15), предложенная
Ливиатаном [1963]. Для простоты записи мы положим а0 = 0 (и опу-
опустим индекс у а4), однако если бы ниже использовались центрирован-
центрированные суммы квадратов и попарных произведений, то в этом не было бы
необходимости. Мы вводим уравнения
N N N
N л N~ N-l GЛ6>
У{ z (п) у (п-1) =а^ у (п) у (п—1) + 2 z(n)y(n).
2 2 1
Пределы суммирования выбраны так, что, комбинируя G.16) и G.15),
мы получаем
(a-a)^1y(n)Z + W-$)yZ(n-l)y(n) = yiu(n)y(n)J
G 17)
(a-a)S»(ra)y(«-l) + (p-PJz(»)»(n) = »(»)»(«-l).
Впрочем, окончательные выводы нисколько не изменятся, если мы
будем считать, что суммы квадратов и попарных произведений содер-
содержат максимальное число членов; поэтому мы заменим, например,
первое из уравнений G.16) на
Подобную замену, вероятно, стоит производить на самом деле.
Предположим, что
где е (п) сериально независимы и, как обычно, одинаково распре-
распределены; кроме того, предположим, что у (п) удовлетворяет условиям
Гренандера. Тогда этим же условиям удовлетворяет и последова-
последовательность

7, Уравнения с распределенным запаздыванием 521
где предполагается, что у (п) равны нулю при п<С0.
Полагая
) 2
мы можем представить G.17) в виде
/(а —а)\ . .
d(N)[\ f) = A-1Bd(N)b,
\(Р-Р)/
где
Ъу{п)у{п-\) Si/И2
а Ь — вектор коэффициентов регрессии и (п) на 1/(^г) и у (п — 1).
Но А'1 В сходится по вероятности к
Г 1 aSp^O-l)]"^" d р^AI
LPy(l) «SP^O") J Lpy(l) 1 J
при условии, что А невырожденна (что мы и предположим). С другой
стороны, известно, что распределение d(N)b сходится к нормальному
с нулевым средним и матрицей ковариаций
л
B~x2n \ /и (X) М (dX) В-1. G.18)
-Я
В самом деле, это непосредственно вытекает из теоремы 8 гл. IV, если
мы учтем, что в этом случае В = R @). Здесь М (X) — спектральная
функция для корреляционной последовательности векторов с компо-
компонентами у (п), у (п — 1). Она равна
1 е*1
где
9у (п) =
так что совместное распределение d(N) {ai — c^), d(JV)(J3 —13) асимп-
асимптотически нормально с нулевым средним и матрицей ковариаций
я

522 Г л, VII. Методы регрессии
Если fu (X) = уи/2п, то это равно уиА~х. Мы не будем обсуждать этот
метод более подробно и предоставляем читателю разобраться, каким
образом можно оценить G.18) (см. Хеннан [1965]). Очевидно, под-
подход Ливиатана можно обобщить на более сложные модели. В самом
деле, если мы предположим, что р (/) удовлетворяют условиям
О 0 0
где q(z) не имеет нулей в замкнутом единичном круге, то получим
Разработку оценивающей процедуры Ливиатана и асимптотическое
исследование ее статистических свойств, подобное проведенному нами,
мы также предоставляем читателю.
Процедура Ливиатана не является асимптотически эффективной.
В простых случаях, например, когда х (п) предполагаются сериально
независимыми, мы можем применить в этой задаче метод максималь-
максимального правдоподобия (в предположениях гауссовости). Даже в таких
простых случаях уравнения максимального правдоподобия нелиней-
нелинейны и решить их нелегко. Для простой модели G.2) без узких ограни-
ограничений на х (п) применение метода максимального правдоподобия
к преобразованию Фурье от исходных данных по (приближенному)
методу § 4 гл. VI приводит к приемлемой вычислительной процедуре
{см. Хеннан [1965]), которая дает оценки, асимптотически более эффек-
эффективные, чем оценки Ливиатана. Однако этот случай слишком специа-
специален и подробности слишком утомительны, чтобы обсуждать их здесь.
Если мы предполагаем, что х (п) порождается моделью скользящего
среднего (или смешанной моделью скользящего среднего — авторе-
авторегрессии с производящей функцией г (z)/q (z)), то, считая, что произво-
производящая функция для 2 Р (/) z* равна р (z)/q (z), мы, очевидно, сводим
проблему к некоторому обобщению смешанной схемы скользящего
среднего и авторегрессии, изучавшейся в гл. VI, с добавочным членом
вида 2 Г]У (п — У) (ГД6 r (z) = S rj zJ)- В таком виде проблема пред-
представляется разрешимой, однако здесь мы не будем заниматься ее ре-
решением.
В заключение отметим, что модели этого параграфа можно обоб-
обобщить так, чтобы они допускали средние, зависящие от времени. Так,
вместо G.1) мы можем рассмотреть
t
{z A1)^^A1)} = ^ В(j){w(n-j)^A2y(n-j)} + x(n),
—s
где у (п) удовлетворяет условиям Гренандера. В этом случае мы сна-
сначала находим регрессию z (п) на у (п) и w (n) на у (п) и производим
дальнейшие операции над остатками. Регрессия может быть выпол-

Упражнения 523
нена по методу наименьших квадратов или, например, по эффектив-
эффективному методу § 5. Так же как в § 5, можно показать, что эффекты
регрессии асимптотически не будут влиять на процедуру оценива-
оценивания В (/).
УПРАЖНЕНИЯ
1. Показать, что следующие утверждения эквивалентны:
(a) d$ — линейное подпространство конечномерного пространства X', такое,
что A^h CZ <Ж, где А симметричен;
(b) ^ порождается собственными векторами А.
2. Показать непосредственно, что величина
f / (к) т (dk) [ f (?u)-i m (dkL
где т (к) такое, как в § 3, достигает минимума, если вес, задаваемый т (к), пол-
полностью сосредоточен на двух подмножествах интервала (—л, я], на которых
/ (к) минимальна*и максимальна (по половине веса на каждое подмножество).
3. Пусть Р и Р такие, как в теореме 9, и / (к) — спектральная плотность
стационарного процесса, порождаемого уравнением
х (л) = рх (п — 1) + 8 (л),
где е (и) удовлетворяют обычным условиям, а [ р | < 1 — число, отличное
от нуля. Показать, что [3 и [3 имеют асимптотически одинаковые матрицы кова-
риаций тогда и только тогда, когда элементы спектра являются точками либо
парами точек, расположенных симметрично относительно начала координат.
4. Доказать теорему 14.
5. Найти коэффициенты асимметрии и эксцесса статистики х из E.19)
и дать подробное описание намеченной там процедуры приближенного нахож-
нахождения точки значимости для d.
6. Пусть
z (п) = \i + р cos (гс9 + ф) -f 8 (п).
Найти вклад в Е {/ (<?/)} и в Е {/ (9)} от слагаемого р cos (лгв + ф). Опи-
Опираясь на это, обсудить последствия использования максимума по сетке со^ вместо
действительного максимума I (к) в § 6.
7. Хеннан [1961b]. Пусть
z(n) = y (n)+x(n),
q v
2P(/)*(*-/) = eW. P @) = 1; 0(n) = 2att* . au = a_u, ви=-9.И|
О -v
Е (е(л)) = 0, E(e(rcJ) = G2, E (х (т) х (#ц + л)) = у (л),
где е (л) удовлетворяют обычным условиям. Пусть р — оценка g-мерного век-
вектора Р с компонентами р (/), полученная с помощью обычных уравнений авто-
авторегрессии без какого-либо центрирования. Показать, что [3 сходится по вероят-
вероятности к
где

524 Гл. VII. Методы регрессии
Tq имеет у (т — п) в т-тк строке, п-м столбце, //?, п = 1, . . ., д, Аи имеет на
том же месте exp i (m — п) 9W, a au есть g-мерный вектор с exp imQu на пг-м
месте. Чтобы это доказать, покажите сначала, что
2 Т }
j=0 m=i
сходится по вероятности к некоторой случайной величине (с конечным средним
и дисперсией) плюс
Выведите отсюда, что h (Х) — оценка h (X), полученная с помощью $(/), — схо-
сходится по вероятности к
где ах имеет на п-м месте exp ink.
Пусть теперь Р (У) = 0, 7>?о и Я^>Яо- Примените аппроксимацию
V (») = ( ein4 (к) dl « ^L 2 eUXJf (М-
2л/ ^
—<я.
Считайте, что 9U —это одно из А,у. Используя эти приближения, покажите,
что предел по вероятности h (kj) равен
2/v@)} ' ' а'
Принимая во внимание, что спектральная плотность равна (о2/2д) [ h (к) [~2
и что в присутствии у (п) порядок авторегрессии, порождающей х (п), с боль-
большой вероятностью будет сильно завышен, обсудите в свете этого результата
использование авторегрессионной процедуры для оценивания спектральной
плотности х (п) в связи с критерием наличия у (п).
ПРИЛОЖЕНИЕ
1. Доказательство теоремы 10
Мы докажем эту теорему в предположении, что х (п) порождается линейным
процессом с 2 II А (/) II < °°«
Рассмотрим сначала сумму
м
-M-f-1
которую для простоты перепишем в виде

Приложение
525
То же самое мы будем делать и с другими суммами такого вида. Заметим,
что eZy = (Ip(g)f'y)$-{-eXy, где еху получается из fxy, как егу из fzy. Таким
образом, мы видим, что
} {
h h
л нужно рассмотреть только второе слагаемое. Рассмотрим сначала
N'1 AР ® DN) { JL ^ /? ®
B)
Чтобы не повторять доказательство, мы рассмотрим только тот случай,
зшгда используемые оценки для спектров имеют вид
м
Ъ — S? hi п \ ( \ I \ 1 п 1
Juv— 2л \~Ж )Cuv W \ N
-М+1
Процедура Кули — Тьюки, например, может быть рассмотрена аналогично.
Мы взяли нижний предел равным —М+1 Для упрощения дальнейших формул.
Последствиями этого можно пренебречь.
Заметим сначала, что
max |
где || Л || — норма А, сходится по вероятности к нулю. В самом деле, обозначая
через fx (к) оценку для fx (к), построенную по истинным х (п), а не по их оцен-
оценкам, согласно D.1) имеем
Однако последние три члена сходятся по вероятности к нулю равномерно по к.
Запишем, например, третий член в виде
(I-р ® fxy) (Р — Р) = (^"р ® ixyD'N') (I-p ® &n) (Р —Р)«
Типичный элемент матрицы ]xyD-^- имеет вид
м
1 1
JLJL V hi —
N 2л ^ \ М
-М+1
dk(N)
-}.-**.
Теперь
Е | max
2nN
м
-М+1
1
к ( п
м
2
-М+1
J
к -т-г
xi(m)
dk(N)
так как ^ xj (m) yk (m + n)/dk (N) имеет нулевое среднее и стандартное откло-
отклонение, не превышающее supremum спектральной плотности процесса xj (n).

526 Гл. VII. Методы регрессии
Так как распределения величин (/р ® DN) (|3 -~ |3) сходятся, то
max || fxyF—B) ||
А.
сходится по вероятности к нулю, что и требовалось. Два других члена можно
рассмотреть аналогично, и мы видим, что max \\fx (к) — fx (к) || сходится по
вероятности к нулю, если это имеет место для
max|TijW-/i;-WI, *, 7 = 1, .-., Р,
К
где /^, /^, конечно, отвечают последовательности х (/г). Опуская для удобства
индекс (г, у), рассмотрим, например, случай, когда
м
Тогда
max \J(K)-f (A) |< max | 7 (ty —E G (Я,)) | + max | E G (Я,)) — / (X) |.
ЛЯ Я
Второй член в правой части сходится к нулю по теореме 10 гл. V, Первый
ограничен величиной
м
-м-и
математическое ожидание которой не превышает
м
так как стандартное отклонение с (п) есть О ((N—п) 1/2). Так как M/~]/N -+0,
то результат установлен.
Таким образом, вне некоторого множества S в выборочном пространстве
траекторий х (п), вероятность которого можно сделать произвольно малой за счет
выбора достаточно большого 7V, имеем
Но
w2 ii/V-/?ii2} [ш2
w 2 <» ^ H2 H /*-/ II2 H & H8} w 2 Tr №n%d№
ft
Вне S это ограничено величиной

Приложение 527
так как
где К — вновь некоторая конечная положительная постоянная, не обязательно
одинаковая во всех случаях. Но
к 2II /х- /* II2 < к ^ н /х+7* \\*+к 21| 7*-/* II2-
k h k
Поскольку || Jx— Jx ||2 < Tr {Ox— 7ocJ}, где правая часть, как легко видеть,,
есть О (N'1), а математическое ожидание величин Tr{(/X—~fxJ} есть О (M/N)r
и поскольку M2/N—^ О, мы видим, что математическое ожидание выраже-
выражения C), взятое по всему выборочному пространству, есть оA). Таким обра-
образом, мы свели B) к виду
p{ 2 ^р D)
/г
Однако
ею оо
f? (*) = ^ 2 А (Л *'Л, 2 II А (/) I' < ет-
— ОО —ОО
Это следует из того, что ряд Фурье для fx сходится абсолютно и det fx нигде
не обращается в нуль. Таким образом, каждый элемент матрицы fx1 является
рациональной функцией от функций, ряды Фурье которых абсолютно сходятся,,
и его знаменатель нигде не обращается в нуль. Из известной теоремы Винера
(см., например, Наймарк [1968], стр. 265) следует, что fa1 (к) также разлагается
в абсолютно сходящийся ряд Фурье. Выражение D), таким образом, равно
где через R (/) мы обозначили матрицу с элементами
N-J
2 Уи(™>) Vvi
1 1
По теореме о мажорированной сходимости это стремится к
-Л
Таким образом, мы установили, что B) сходится по вероятности к

528 Гл. VII. Методы регрессии
Поэтому нам нужно рассмотреть
к
Мы вновь прибегнем к замене }х на fx и, таким образом, рассмотрим
вновь норма этого выражения вне S ограничена величиной
([*?3,?.-/.|Р].[?21е,®»-'Яадг.«.]Р
k
Второй множитель под знаком квадратного корпя равен
q V Л/
"~Х2 2 2 ^Ш{-
где ^' — суммирование по 1 ^ n, n-\-j^N. Его математическое ожидание
ограничено величиной
v и з
Таким образом, F) сходится по вероятности к нулю, ибо
* 2 н/*-/* н2,
h
как мы уже видели, сходится к нулю.
Нам остается доказать центральную предельную теорему для
Аг (/р (8) ^iv)-1 { 2^ 2 {fxl
h
Эта тензорная величина равна
где вектор с^ (у) построен по матрице Сху (у), элементами которой являются
ковариации между хи (п) и #и(и + /)» так же, как еху строится по fxy, и мы
считаем, что с^ (j -\-21М) = сХу (у) для всех целых L Далее, эта величина
равна
к (if ) 4" 2' х <и) ® 2/ («+/), (8)
где суммирование распространяется на все п такие, что п и n-\-j лежат
в пределах от 1 до N включительно. Но

Приложение 529
ограниченно сходится к
при любых фиксированных /, к. Таким образом, дисперсия величины G) схо-
сходится к
^5 2 2 (Д У) ® 7«>- 2 г (м)
— оо —оо — оо
оо оо
= B?)Г 2 [ 2 Д(/)Г(и + /-
П= — оо /г, ,7 =— оо
оо JT
=(djs- 2д (")' ®л (">=BSj5" J 2
Это равно
ибо
Отсюда следует, что мы можем заменить (8) на
р
-P n
так что остальные отбрасываемые члены имеют норму, математическое ожидание
которой может быть сделано сколь угодно малым за счет выбора достаточно
большого Р. Из леммы Бернштейна (см. доказательство теоремы 14 в приложении
к гл. IV) следует, что достаточно доказать эту центральную предельную теорему
лишь для фиксированного конечного числа членов в (9), а это уже было сделано
при доказательстве теоремы 10 гл. IV. В самом деле, добавляя асимптотически
пренебрежимый член, мы можем считать, что внутреннее суммирование произво-
производится по 1 ^ п ^ N, и свести задачу к доказательству совместной нормаль-
нормальности элементов матрицы
N
где Ъу = I2p+i
(У(п-Р)
У
Эту матрицу можно представить в виде
~ N
Dx1 53 У(п)х(п)',
71=1

530 Гл. VII. Методы регрессии
и тогда доказательство асимптотической нормальности сводится к соответствую-
соответствующей задаче для вектора коэффициентов регрессии наименьших квадратов в усло-
условиях теоремы 10 гл. IV.
2. Доказательство теоремы 20
Для простоты обозначений мы рассмотрим случай, когда у (п) и z (n) имеют
нулевые средние. Просматривая доказательство, можно будет убедиться, что
использование центрированных данных не повлияет на результаты. Рассмотрим
{
к I
A0)
Мы опустили здесь аргумент Xk = як/М (кроме показателей экспонент), а также
пределы суммирования для к и I, а именно —М-\- 1 ^ к < М и s < Z < ^
Вектор-столбец егу получается из /zy, как C (/) из В (/). Мы хотим показать
сначала, что выражение в фигурных скобках в A0) можно заменить на еху в том
смысле, что допускаемая при этом ошибка сходится по вероятности к нулю.
Это выражение получается из
1гу-У)ВAу/уеп^
I
так же, как егу из fzy, и, таким образом, мы должны рассмотреть
VN | fyz- Jyx- У }„В (I) e-i
XN'1 %y(m)y(m-l + n)'} В (I) e~U^ J + R9 A1)
m
где у1/ — сумма по 1<;/тг, т-{- п ^N. Мы взяли сумму по всем значениям п,
чтобы не писать отдельно пределы для двух членов, хотя кп = 0 при \n\^>N.
Остаток R равен
{
I -оо
где 2" "" сУмма п0 * ^ т' ттг + дг — Z < 7V. Таким образом, разность этих
двух сумм содержит не более I членов, и стандартное отклонение R есть, оче-
очевидно, О (Mil/N), так что его вкладом в A1) можно пренебречь. Так как мы
знаем из доказательства теоремы 10, что max || fy (к) — fy (к) \\ сходится по веро-
вероятности к нулю, то мы, очевидно, можем заменить A0) на
где d соответствует D, как р (/) соответствует B(i), a D' дается правой частью
A1) без R. Мы хотим теперь показать, что первым членом можно пренебречь.

Приложение 531
Пусть D'-E(D'), так что
и пусть d соответствует D так же, как d соответствует D. Рассмотрим сна-
сначала
Но
и, следовательно, почти так же, как при нахождении дисперсии спектральной
оценки, мы можем показать, что стандартное отклонение ~\/(N/M) {M (d — d)}
ограничено постоянной, не зависящей от N. Используя сделанное ранее заме-
замечание относительно /у, мы получим, что A3) сходится к нулю по вероятности,
и теперь мы должны рассмотреть
WS h-fv^de^K A4)
к
Второй член сходится по вероятности к нулю. В самом деле, он равен
к
Заметим теперь, что вне некоторого множества S в выборочном пространстве
всех траекторий процесса, имеющего сколь угодно малую вероятность при доста-
достаточно большом N, имеют место неравенства \\ fy || ^ Ъ > 0, \\ fy \\ ^ b > 0.
С другой стороны, элементы (N/MI'2 (fy — fy) имеют стандартные отклонения,
ограниченные постоянной. Кроме того, элементы ~\/Md сходятся к нулю, так
как ~\/М (кп — kn_i) сходится к нулю, а ряд
заведомо сходится. Таким образом, остается лишь доказать, что первый член
в правой части A4) сходится к нулю, после чего в A2) останется лишь второй
член. Переписанный в виде матрпны, этот первый член имеет вид
I к
Так как det (fy) ^ с > 0 и ряд Фурье fy абсолютно сходится, то это же верно
и для fy1 (в силу рассуждений, использованных при доказательстве теоремы 10).
Более того, поскольку

532 Гл. VII. Методы регрессии
то fy непрерывно дифференцируема [г] раз и ее [г]-я производная разлагается
в абсолютно сходящийся ряд Фурье. Следовательно, это же должно выпол-
выполняться и для Z. Положим
/-i=S L(u)etu\
— ОО
Тогда
Теперь, если использовать свойства ортогональности exp {~in\k), то A5)
примет вид
2
и мы должны рассмотреть типичное слагаемое
Если кп = 0, | п | > М, то оно равно
М
-м
и, следовательно, ограничено величиной
,- м
-м
|io(^l|reN|r*(n-Z)i
сходящейся к нулю в силу предположений G.9), G.11) и G.12).
Для усеченной оценки внешняя сумма в A6) содержит лишь 21 членов,
из которых типичный имеет вид
-i) {Ь (n-j
Это есть о (~\/NM~(r^rV) и, значит, сходится к нулю в силу G.13).
Для процедур ФПФ, Кули — Тьюки и Даниэля мы разобьем внешнюю
сумму в A6) на две суммы, одну — по 2/М < п < Bу + 1) М, } = 0, ±1, . . .,
и другую — по B/ + 1) М ^ п < B/ -\- 2) М, у = 0, ±1, .... Первая из них
может быть представлена в виде A7) при q — 1 (но с я, пробегающим все
значения в первом диапазоне суммирования), так что
и, следовательно, ею можно пренебречь в силу условия G.14), если G.9) выпол-
выполняется при г = 1. Оставшаяся компонента ограничена величиной
K-K-i I II Г„ (в-0 ||, A8)

Приложение 533
где С — конечная постоянная. (Мы не можем теперь утверждать, что внутрен-
внутренняя сумма асимптотически мала, так как она всегда будет содержать члены
порядка О {!).) Однако теперь [ кп — kn-i I — О (М~3), так как, например, при
М < п < 2 Л/, полагая п = 2М — и, мы имеем для оценки Даниэля
__ sin 1/2я (ц/Л7) sin
п ?г"г A1/
Следовательно, если G.14) выполняется, то A8) есть О(М~1).
Таким образом, в любом случае остается выражение
Его асимптотическая нормальность доказывается точно так же, как в тео-
теореме 10.

Математическое приложение
1. ВВЕДЕНИЕ
Если бы мы назвали книгу «Свойства второго порядка случайных
функций», то это в равной мере отражало бы ее содержание. По су-
существу мы имеем в ней дело с семействами случайных величин {х {?)}
с конечными средними квадратами, где t ? R (вещественная прямая).
Это означает, что мы имеем дело с семействами функций, определен-
определенных на пространстве с мерой и квадратично интегрируемых по этой
мере. Таким образом, аппарат гильбертова пространства должен
быть существенным элементом нашего математического вооружения.
Поэтому в следующем параграфе мы рассмотрим гильбертовы про-
пространства. Мы не собираемся выводить и строго доказывать все пред-
предложения, которые будут сформулированы, и ограничимся доказатель-
доказательством тех свойств, которые необходимы и которые нелегко найти
в стандартных учебниках.
Центральное место в теории, составляющей предмет этой книги,
занимают стационарные случайные функции. В их изучении основ-
основную роль играют методы Фурье; в § 3 мы введем необходимые понятия,
обозначения и определения, также не претендуя на полные доказатель-
доказательства, которые легко найти в литературе. В теории прогнозирования
случайных функций теория гильбертовых пространств (и банаховых
пространств) переплетается с методами Фурье при изучении функций,
квадратично интегрируемых на границе единичного круга и голомор-
голоморфных внутри него, и эти вопросы мы также обсудим в § 3.
В § 4 мы даем обзор, также в основном без доказательств, поня-
понятий теории обобщенных функций. В этой книге обобщенные функции
используются мало, и разделы, требующие применения этих понятий,
читатель может опустить без ущерба для понимания основного содер-
содержания. Однако понятие обобщенной функции приводит к понятию
обобщенного случайного процесса, которое, по-видимому, должно
играть весьма важную роль в дальнейшем развитии теории случайных
процессов. В будущем более полное включение этих концепций в рас-
рассматриваемую теорию будет и более желательным и более осуществи-
осуществимым, но в настоящей работе нам придется ограничить обсуждение
этих вопросов.
Наконец, в § 5 мы рассматриваем некоторые, главным образом
самые элементарные, свойства тензорных произведений векторных

2. Гильбертово пространство и банахово пространство 535
пространств. Многие семейства параметров, возникающие в много-
многомерных временных рядах (такие, как матрицы коэффициентов регрес-
регрессии), имеют по существу тензорную природу, и это наиболее отчетливо
проявляется при изучении свойств их ковариаций и распределений.
2. ГИЛЬБЕРТОВО ПРОСТРАНСТВО И БАНАХОВО ПРОСТРАНСТВО
Классический пример гильбертова пространства возникает сле-
следующим образом. Мы рассматриваем пространство Й, на а-алгебре Л
подмножеств которого определена мера х) ц, и класс всех комплексно-
значных измеримых функций х (со) на Й, для которых
oo. B.1)
Этот класс функций мы обозначим L2 (\i) (или L2, если не нужно
указывать, какая мера имеется в виду). Введем обозначение
< У)= \ Х
так что || х ||2 = (х, х). Мы не различаем два элемента хи х2 простран-
пространства L2, которые эквивалентны в том смысле, что || х{ — х2 ||2 = 0.
Таким образом, элементами L2 можно считать классы эквивалентных
функций. Хорошо известны (см., например, Халмош [1950]) следую-
следующие свойства L2:
(A) Ь2 — векторное (линейное) пространство, т. е. вместе с хх,
Х2 6 L2 это пространство содержит также любую линейную комбина-
комбинацию а&1 -f- a2x2, где а7- — комплексные числа.
(B) «Скалярное произведение» (х, у) удовлетворяет соотношениям
(i) (х, у) = (ущ х); (ii) (ах, у) = а (х, у), (х + у, z) --- (х, z) +
+ (у, z), и определяемая им величина || х || является нормой, т.е.
(i) || х || ^ 0; || х || = 0 тогда и только тогда, когда х — 0, (ii) || x +
+ У II ^ II х II + II У II (неравенство треугольника), (iii) || ах \\ =
(C) Пространство L2 полно по норме || х ||. Это означает, что если
хп g L2, n = 1, 2, . . ., и lim || хд — хт || =0 (т. е. хп является
последовательностью Коши), то существует элемент х ? L2, такой,
что lim || х — хп || = 0.
В общем случае назовем гильбертовым пространством любое
пространство 3? элементов х, которое является линейным простран-
пространством над полем комплексных чисел (т. е. удовлетворяет условию (А)),
х) Мы предполагаем знание теории меры и интегрирования в объеме, содер-
содержащемся в большинстве современных курсов по чистой теории вероятностей»
Все, что нам нужно, есть в книге Халмоша [1950].

536 Математическое приложение
в котором определено скалярное произведение, удовлетворяю-
удовлетворяющее условиям (В), и которое полно в смысле (С). Если предполагается,
что а принадлежит полю вещественных чисел и (х, у) = (z/, х), то
мы называем $? вещественным гильбертовым пространством. Про-
Пространство вещественнозначных измеримых функций, удовлетворяю-
удовлетворяющих условию B.1), является примером вещественного гильбертова
пространства. Очевидно, что скалярное произведение является непре-
непрерывной функцией своих аргументов, так как если хп -+¦ х, уп ->• г/,
то | (х, у) — (хп, уп) | = | (х — хп, у) + (хп, у — уп) | и, по не-
неравенству Шварца | (х, у) | ^ || х \\ \\ у || (которое легко вытекает
из свойств скалярного произведения), | (х, у) — (хп, уп) | сходится
к нулю при возрастании п.
Замкнутым подпространством &К гильбертова пространства $?
мы называем подмножество элементов $?, которое замкнуто относи-
относительно образования линейных комбинаций, а также топологически
замкнуто в том смысле, что предел всякой последовательности Коши
элементов из vli принадлежит а/Л Таким образом, о/К само по себе
является гильбертовым пространством. Ортогональным дополнением
о/К в $?, которое обозначается з#-Ц мы называем множество всех г/,
таких, что (г/, х) = 0, х ? с/Л Оно также является подпространством,
и всякий элемент z ? Si может быть однозначно представлен в виде
z = х -\- у, х ? аи, у 6 ^^-- Тогда мы говорим, что Ж есть ортого-
ортогональная прямая сумма о/Ж и ©#-J- и пишем St = q/K @ о/К^-. Очевид-
Очевидно, || z ||2 = || х ||2 + || у ||2. Это определение распространяется на лю-
любую последовательность попарно взаимно ортогональных подпро-
подпространств $?. Таким образом, если оМj, /' = 1,2, . . ., — последо-
последовательность подпространств $?, для которой (xj, xk) = 0, Xj f Л^
%и 6 Mh для всех пар (/, /с), то мы можем построить подпространство
о/К, которое является ортогональной прямой суммой подпространств
а>1( у. о К = 2ф ^Ч в том смысле, что (Ж состоит из всех х вида У! Xj,
Xj 6 q/Kj, Для которых 2 II xi || 2 < оо. В частности, oil может совпа-
совпадать со всем $?. Более общим образом, мы можем сказать, что $f
является прямой (не обязательно ортогональной) суммой подпро-
подпространств оЦи 2!12, если всякий элемент $? может быть однозначно
представлен в виде суммы элемента из &Н^ и элемента из з//2, и это
определение непосредственно обобщается на любое конечное число
слагаемых. Наконец, мы скажем, что подпространство о К порождает-
порождается множеством своих векторов S (или что S плотно в о//), если для
любого элемента х из о/К и любого 8 > 0 найдется элемент хп вида
п
*n=lLiajyj, yjtS, B.2)
i
такой, что || хп — х || < е. Конечно, (Xj будут, вообще говоря, зави-
зависеть от выбора подмножества п элементов из S.
Всюду в этой книге мы имеет дело только с сепарабельными гиль-
гильбертовыми пространствами, т. е. с пространствами $6, в которых суще-

2. Гильбертово пространство и банахово пространство 537
ствует.счетное множество элементов г/л у = 1, 2, . . ., плотное в Si',
например, если Q есть JV-мерное евклидово пространство RN, a jj, —
мера Лебега — Стилтьеса, так что [i может быть задана посредством
функции распределения F на Q (не обязательно с конечной полной
вариацией), то L2 (ji) (которое мы обозначаем также L2 (F)) всегда
будет сепарабельным. В сепарабельном пространстве мы всегда
можем ввести ортонормированный базис (полную ортонормированную
систему), т. е. счетное плотное множество элементов фл таких, что
(фл Фй) = ^i» гДе $ = 0' если у Ф /с, и 6j = 1 в противном случае.
Этого можно добиться с помощью ортогопализационной процедуры
Грама — Шмидта, которая состоит в замене последовательности
г/л у = 1, 2, . . ., на ортонормированную последовательность
П— х
{Уп— У, {Уп, фу) ф;}
™ _ J/1 . „ ~1 „ -^ л
, гс ^> 1.
^—P7F' Vn-- ^ -. '
|| Уп— 2j ^п' ф./) Ф-/ II
1
Если мы исходим из плотного множества г/л то, поскольку уп может
быть линейно выражен через срл у = 1, . . ., п, ясно, что фу также
плотны, и мы видим, что наше утверждение о существовании ортонор-
мированного базиса в сепарабельном пространстве справедливо.
Представление B.2) можно упростить, так что для любого х ? Si
и любого 8 > 0 найдется п0, такое, что
п
II у / v || . /2 о\
*-.
коэффициенты ал которые теперь можно считать равными (х, ф;),
не зависят от п. Возможность представления B.3) опирается на почти
очевидный факт, который мы приведем здесь для дальнейшего исполь-
использования: из (х, у^ == 0, где yj — плотная в Si последовательность,
следует, что х = 0. Из B.3) вытекает, что мы можем записать
Необходимо уяснить смысл представления B.4); например, если ср7- —
функции на вещественной прямой, квадратично интегрируемые относи-
относительно ц, то отсюда не следует, что правая часть первого из соотно-
соотношений B.4) сходится в каждой точке. Рассматриваемая сходимость
описывается соотношением B.3), и в случае функций, квадратично
интегрируемых на Q относительно ji, ее можно было бы назвать сред-
среднеквадратичной сходимостью с весом \i (dX), или ({^-среднеквадратич-
({^-среднеквадратичной сходимостью. Если иметь это в виду, то представление B.4)
дает нам интуитивно ясную картину сепарабельного гильбертова
пространства. Очевидно, если выбран ортонормированный базис, то
всякий элемент х 6 Si может быть однозначно представлен как после-

538 Математическое приложение
довательность {а7} = {(х, еру)}, удовлетворяющая второму из соот-
соотношений B.4), и обратно, для любой последовательности {а7}, удов-
удовлетворяющей условию 2 I &j I 2 < °°> ^.1 OLj(pj является элементом $?.
Это соответствие между элементами Ж и последовательностями {а7-}
является взаимно однозначным, и если определить естественным обра-
образом алгебраические операции над последовательностями как
<* Ы + Р {РЛ = {оса, + рру},
а скалярное произведение последовательностей — по формуле
(К). 2
то это взаимно однозначное соответствие становится изоморфизмом
между ЗЕ и гильбертовым пространством таких последовательностей,
обычно обозначаемым Z2. Пример пространства /2, которое является
очевидным обобщением конечномерного комплексного векторного
пространства с обычным скалярным произведением, наглядно пока-
показывает, что понятие сепарабельного гильбертова пространства отнюдь
не является непостижимо сложным. Примером счетного плотного мно-
множества в случае пространства L2 с мерой Лебега — Стилтьеса \i на
Rn являются «простые» или «ступенчатые» функции, принимающие
конечное число различных рациональных значений на прямоуголь-
прямоугольниках, вершины которых имеют рациональные координаты.
Теперь мы обсудим пример, дающий еще одну иллюстрацию рас-
рассматриваемых понятий, который используется всюду в этой книге.
Рассмотрим р х р-матрицу F (X) с элементом Fjk (X) на пересечении
/-й строки и к-то столбца. Будем считать, что Fjk (X) — комплексная
функция ограниченной вариации г) на R. Это означает, что Fjk =
— U jh + iVjhi гДе Ujk и Vjk — вещественнозначные функции
ограниченной вариации. Таким образом, мы можем положить, напри-
например, Ujk = Щъ. — U]k, где U*k и Ujh — верхняя и нижняя вариа-
вариации Ujk — суть неубывающие функции с конечным полным прираще-
приращением на R. Более того, носители этих двух компонент Ujk (т. е. множе-
множества, на которых эти функции возрастают) не пересекаются. Кроме
того, мы потребуем, чтобы для любого X 6 R матрица F (X) была эрми-
эрмитова и имела неотрицательные приращения, т. е. F (?ц) — F (Х2) ^
^ 0, Xi ^ Х2 (мы будем постоянно использовать запись А ^ 0 для
обозначения того, что эрмитова матрица А неотрицательно определен-
определенна). Положим m (X) = Tr F (X), где Tr A — след матрицы А. Тогда
каждый элемент F (X) абсолютно непрерывен (а. н.) относительно
m (X), так что Щк, Ujk, Vjk, Vjk (для всех /, к) приписывают нулевую
меру любому измеримому множеству 2), которое имеет нулевую меру
относительно m (X). Это очевидно для диагональных элементов F (X),
так как они заведомо будут вещественными неубывающими функция-
х) Для дальнейшего несущественно, чтобы полная вариация Fjk (к) была
конечна, однако в этой книге нам понадобится только такой случай.
2) То есть измеримому относительно обычной борелевской а-алгебры на Л.

2. Гильбертово пространство и банахово пространство 539
ми, сумма которых равна т (к). Имеем также
| FJk (XJ-Fjb (Х2) \2<{Fjj (К) ~ Fjj (fa)} {Fkk (L) -Fkk (
в силу свойств эрмитовости и неотрицательности F (X). Принимая
во внимание выражение для Fjk (X) и то, что носители ее верхней
и нижней вариаций не пересекаются, имеем
UU (К) - Ujk (fa)^т(Х1)-т (fa)
и аналогичные соотношения для всех других компонент. Отсюда
следует требуемый результат. Таким образом, согласно теореме
Радона — Никодима, мы можем положить
F (dX) = f (X) т (dX),
где / (X) — матрица с элементами fjk (X) = ujk (X) + ivjh (X), веще-
вещественные и мнимые части которых являются производными Радона —
Никодима от Fjk по т. Матрица / (X), очевидно, эрмитова и неотри-
неотрицательна почти всюду относительно меры т (X) (сокращенно — п. в.
(т)). Значит, мы можем считать, что она всюду эрмитова и неотрица-
неотрицательна.
Определим теперь L2 (F) как пространство всех /^-мерных векторов
х (X), компоненты которых являются измеримыми комплекснознач-
ными функциями и для которых
\ x*(X)f(X)x(X)m(dX)<oo.
(Конечно, под А* мы понимаем транспонированную и комплексно
сопряженную к А, причем мы часто будем применять это обозначение
и в тех случаях, когда А вещественна.) Мы также будем записывать
интегралы такого типа, когда это удобно, в виде
с»
J x*(X)F(dX)x(X).
Ясно, что множество всех таких векторов х является линейным про-
пространством, причем ах обозначает теперь вектор, получаемый умно-
умножением каждой компоненты х (X) на комплексное число а. Для х, у,
принадлежащих L2 (F), определим скалярное произведение формулой
(х, у) = [ x*(l)F(dX)y(K).
4 —оо
Чтобы доказать, что L2 (F) — гильбертово пространство, необходимо
проверить лишь свойство полноты (С). Для этого факторизуем эрми-
эрмитову неотрицательную матрицу / (X) как ]/ / (X) -Vf (X). Здесь и всюду

540 Математическое приложение
в этой книге У А обозначает квадратный корень из эрмитовой неотри-
неотрицательной матрицы А, который можно получить, приводя эту матри-
матрицу к диагональной форме D посредством унитарного преобразова-
преобразования Q:
QAQ* = D
и полагая ] А = Q* YDQ, где \fD получается извлечением квадрат-
квадратного корпя из всех (заведомо неотрицательных) элементов D. Тот
факт, что J// (X) — измеримая функция (относительно обычной боре-
левской а-алгебры на i?), вытекает из элементарных свойств измери-
измеримых функций, и его доказательство предоставляется читателю. Если
теперь хп (X) — последовательность, такая, что
lim \\xm — xn\\2 = 0,
то У f (X) хп (X) является последовательностью векторов, у которых
каждая из компонент в отдельности образует последовательность
Коши относительно т (X), а значит, существует вектор у (X) с ком-
компонентами, квадратично интегрируемыми относительно т (X), такой,
что компоненты векторов ]/"/ (X) хп (X) сходятся в среднеквадратичном
(с весом т (dX)) к у (X). Если / (X) невырожденна почти всюду, то,
полагая х (X) = {]/~f (X)}'1 у (X), мы видим, что этот вектор удовле-
удовлетворяет соотношениям || х || 2 < сю и
оо
lim \ {xn(k)-x(X)}* F (dk){xn(k)-x(k)} = 0,
п->оо «
— оо
откуда следует полнота L2 (F). Если / (X) вырожденна на множестве
ненулевой меры, то мы можем действовать следующим образом.
Во-первых, два элемента х^ (X) и х2 (X) пространства L2 (F) следует,
конечно, рассматривать как эквивалентные, если || xi — х2 || = 0г
так что, в частности, мы не изменим элемент х пространства L2 (F),
если прибавим к определяющей его функции х (X) векторную функцию
у (X), равную нулю вне того множества, где / (X) вырожденна, и како-
какому-либо собственному вектору / (X) с нулевым собственным значением
на этом множестве. Мы назовем обобщенной обратной х) А'1 эрмито-
эрмитовой матрицы А матрицу А'1 = Q*D~l Q, где D'1 получается заме-
заменой всех ненулевых элементов определенной выше матрицы D на об-
обратные. Тогда, если у (X) принадлежит области значений ]// (X)
[п. в. (т)], то вектор x(X) = {\/rf (X)}-1 у(Х) удовлетворяет соотношению
{ V7 (^) } х (ty = У (^) tn- B- (m)h так что L2 (F) полно, как и в не-
невырожденном случае. То, что у (X) принадлежит области значений
Vf (^) п- в- (m)i следует, во-первых, из очевидного факта, что
1) Мы используем обобщенную обратную только для эрмитовых матриц,
когда ее свойства достаточно близки к свойствам обычной обратной, так что
специального обозначения не требуется.

2. Гильбертово пространство и банахово пространство 541
]/"/ (к) хп (к) принадлежит этой области и, во-вторых, из хорошо
известного факта *), что любая последовательность, сходящаяся
в среднеквадратичном, содержит подпоследовательность, сходящуюся
к тому же пределу почти всюду; так как область значений У f(k),
будучи векторным подпространством р-мерпого комплексного про-
пространства, замкнута, то предел у (к) должен принадлежать этой
области.
Полученный результат допускает довольно тривиальное, но полез-
полезное обобщение на случай пространства всех р х р-матриц X (к), для
которых
Tr { j X* (к) F (dk) X (к) }
<оо.
Из предыдущих результатов легко следует, что при естественном опре-
определении линейных операций и скалярного произведения по формуле
оо
(X, У) = Тг{ j X*(X)F(dk)Y(X)}
это пространство будет гильбертовым. На самом деле оно есть не что
иное, как прямая сумма q экземпляров только что определенного
L2 (F).
В этой книге мы не используем существенно спектральную теорию
операторов в гильбертовом пространстве, хотя спектральная теория
стационарных процессов, рассматриваемая в гл. II, могла бы быть
целиком изложена на этой основе. Однако нам требуется понятие
оператора проектирования в гильбертовом пространстве, к определе-
определению которого мы и приступаем.
Ограниченным линейным оператором А в гильбертовом простран-
пространстве Ж мы называем правило, которое сопоставляет любому вектору
х 6 Ж вектор (в $? ), обозначаемый Ах, так что
А (ах + jfy) - аАх + §Ау
и
|| Ах ||<М \\х ||, х?3?,
где М — положительное вещественное число. Наименьшее М, удо-
удовлетворяющее последнему условию, мы обозначаем || А ||. В конечно-
конечномерном векторном пространстве \\ А \\ равно max ]/\/, где kj — соб-
собственные значения А*А. (Определение А* дается ниже.) Легко
видеть, что || А \\ удовлетворяет требованиям для нормы, сформули-
сформулированным в пункте (В) определения гильбертова пространства. (Мно-
(Множество .98 (Н ) всех таких ограниченных операторов в Ш, однако,
не является гильбертовым пространством, хотя оно, конечно, линейно
х) См., например, Монро [1953], стр. 226.

542 Математическое приложение
и на самом деле является банаховым пространством.) Понятие неогра-
неограниченного оператора используется лишь в некоторых разделах этой
книги, и мы приводим следующий пример главным образом для того,
чтобы пояснить смысл условия ограниченности. Рассмотрим все
квадратично интегрируемые функции *) на интервале [0, 1] и опера-
операцию дифференцирования. Эта линейная операция переводит вектор
7J1 Bп + 1)х/2 (имеющий единичную норму) в вектор с нормой
п {Bп + 1)/Bп — 1)}х/2 и, следовательно, не ограничена. Она
определена не на всех элементах гильбертова пространства, а лишь
на некотором множестве функций, плотном в этом пространстве.
Обратимся теперь к рассмотрению ограниченных операторов. Каждо-
Каждому ограниченному оператору А сопоставим сопряженный ему А*,
определяемый однозначно соотношением
(Ах, у) = (х, А*у).
Оператор А* также ограничен. В случае конечномерного простран-
пространства, когда А задается матрицей в некотором базисе, матрица сопря-
сопряженного оператора А* равна транспонированной комплексно сопря-
сопряженной к А 2). Если А = А*, то А называется эрмитовым. Если
единственным решением уравнения Ах — О является х = 0, то можно
определить обратный оператор А ~г. В общем случае А ~г не ограничен,
как показывает пример оператора А в пространстве функций, ква-
квадратично интегрируемых на [0, 1], который задается соотношением
Af (X) = X f (X). Необходимым и достаточным условием для того, что-
чтобы А'1 был ограниченным, является условие || Ах || ^ т || х || для
некоторого т > 0. Однако если А'1 = А*, то А'1 обязательно огра-
ограничен, и в этом случае А называется унитарным.
Как мы уже говорили, неограниченные операторы фигурируют
лишь в некоторых параграфах со звездочками, которые могут быть
опущены. Если линейный оператор А не ограничен, то его область
определения 3' (А), т. е. множество тех х ? Si, для которых А опреде-
определен, не может составлять все Si 3). Среди неограниченных операто-
операторов особый интерес представляют замкнутые операторы. Оператор
называется замкнутым, если из хп ? 3е и хп -> х, Ахп -> у следует,
что х 6 S (А) и Ах = у. Разумеется, любой ограниченный оператор
замкнут.
Пусть оЛ1 — подпространство в S?\ представим произвольный
элемент х ? Si в виде х = Xi + х2, хх ? о/К, х2 6 ^-L- Тогда оператор
Е, определенный соотношением Ех = х^, является линейным опера-
оператором с || Е || = 1; он называется ортогональным проектором на о/К.
х) Если мы не уточняем термин «квадратично интегрируемые функции»,
то мы имеем в виду функции, квадратично интегрируемые по мере Лебега. То же
относится к терминам «почти наверное», «абсолютная непрерывность» и всем
выражениям, например || х ||«>, которые через них определяются.
2) Речь идет об ортонормированном базисе.— Прим. перев.
3) Это утверждение верно лишь при дополнительном условии замкнутости
А, когда оно следует из известной теоремы о замкнутом графике.— Прим. перев.

2. Гильбертово пространство и банахово пространство 543
(В этой книге мы имеем дело только с ортогональными проекторами.)
Легко видеть, что Е2 = Е = Е*, и можно также показать, что
всякий оператор, обладающий последними двумя свойствами, являет-
является проектором. Если о/М порождается единственным вектором х, то
Еу = { (у, хI || х ||2} х, а в общем случае проекция на конечномер-
конечномерное подпространство получается посредством «регрессии» на базис
этого подпространства. Легко устанавливаются следующие свойства
проекторов (во всех случаях Et проектирует на о/Н{):
1. Если Е проектирует на <#, то (/ — Е) проектирует на с//А.
2. Ei + Е2 есть проектор (на Шi © Л2) в том и только в том
случае, когда ЕХЕ2 = Е2ЕХ = 0, т. е. тогда и только тогда, когда б//,
и оМ2 ортогональны.
3. Если oMi а оМ2, то ЕХЕ2 = Е2ЕХ = Е{ и Е2 — Z?4 проекти-
проектирует на ортогональное дополнение g/f i в о/Н2.
В заключение этого параграфа отметим, что норма в векторном
пространстве не обязательно должна задаваться скалярным произ-
произведением (так что понятие ортогональности может быть лишено смыс-
смысла), и существуют векторные пространства, полные относительно
таких норм. Они называются банаховыми пространствами. Важным
примером является пространство Lp (ji), p > 1, функций х (со) на про-
пространстве с мерой Q, для которых
1/р ^
< оо.
Для пространств Lp, р ^ 1, имеют место важные неравенства
Гёльдера и Минковского. Вот эти неравенства соответственно-.
Последнее, конечно, показывает, что функция || -||р является нормой,
так как она, очевидно, обладает другими необходимыми свойствами.
Пространства Lp, р ^ 1, полны относительно своих норм, и, следо-
следовательно, являются банаховыми пространствами. Наконец, опреде-
определим норму || х ||оо как essential supremum x, т. е. наименьшее число,
большее чем^|#(со) | для |ы-почти всех со. Пространство Zoo всех
функций, для которых эта норма конечна, также является банаховым.
Одним из центральных результатов теории банаховых пространств
является теорема Хана — Банаха, которая относится к ограниченным
линейным функционалам, т. е. к отображениям $^x-^F(x) в мно-
множество комплексных чисел, таким, что F {ах +[§у) = aF (x) + $F (у)
и '\ F (х) | ^ || F || || х ||, где || F \\ — наименьшее^положительное
число, для которого выполняется это неравенство (ограниченность
F означает, что || F \\ конечно). Число || F \\ называется нормой F.
Теорема Хана — Банаха утверждает, что если ^Г — подпростран-

544 Математическое приложение
ство в $ и F — ограниченный линейный функционал на SC, то F
может быть продолжен до линейного функционала на всем i? с той
же нормой.
В заключение отметим, что пространство L* (сопряженное про-
пространство) всех непрерывных линейных функционалов на Lp (р ^ 1)
может быть отождествлено с Lq, Ир -(- 1/д = 1, посредством фор-
формулы
F(x)=
в том смысле, что норма || F || (определяемая как для линейных функ-
функционалов на Lp) совпадает с нормой || у \\q элемента у ? Lq, определяю-
определяющего F. Таким образом, Lp также банахово пространство. В частно-
частности, так как у + у = 1> пространство $t* всех линейных функци-
функционалов на Si можно отождествить с самим Si1).
3. МЕТОДЫ ФУРЬЕ
Мы называем рядом Фурье интегрируемой функции / (X), А, ? [—я, я],
формальный ряд
сю
/ Щ ~ S (an cos пХ + р?г sia nk),
и
где
я я
1 (* 1 (*
ап = — \ / (k)cosn'kd'k, пф§; ао = -^— \
-я
я
1 Г
п = — \ / (X) sin nX дХЛ
Конечно, можно считать, что C0 равно нулю. Этот ряд может
быть записан в виде
сю
2 (a + ip) пфО, 7о = ссо, T-n = Tn, C.1)
где теперь
г) Наши рассуждения доказывают это только для сенарабельных гильбер-
гильбертовых пространств (в силу замечания, что всякое такое &€ изоморфно некото-
некоторому L2, например, пространству функций, квадратично интегрируемых на
[О, 1]). Однако результат верен для всех гильбертовых пространств, как сепа-
рабельных, так и несепарабельных.

3. Методы Фурье 545
Если, например, / (к) непрерывна и имеет ограниченную вариа-
вариацию на [—я, я], то C.1) сходится в каждой точке к / (к) (за исключе-
исключением, возможно, к = я). Однако нас не очень интересует вопрос о по-
поточечной сходимости такого ряда. Вместо этого мы рассмотрим дру-
другие способы, которые позволяют по заданным коэффициентам уп
определить / (к); в частности, отметим, что коэффициенты действи-
действительно определяют эту функцию (п. в.), независимо от того, сходится
ряд поточечно или нет. Мы начнем с применения некоторых резуль-
результатов предыдущего параграфа и рассмотрим пространство L2 ква-
квадратично интегрируемых функций на [—я, я], которое содержит
функции ехр ( — ink), п — О, ±1, . . ., ортонормированные отно-
относительно скалярного произведения
[я
На самом деле они образуют полную ортонормированную последо-
последовательность. Предположим, что это доказано; тогда, как мы знаем,
^, C.2)
где первое соотношение понимается в смысле среднеквадратичной
сходимости
Мы рассмотрим два способа нахождения / (к) по уп Первый из них
заключается в замене частичной суммы
N
SN-^Упе^
-N
чезаровской суммой oN = N'1 (s0 + Si + .. . + Sn-i) и изучении сходи-
сходимости oN к /. Имеем
-N
я N
-я -N
я
= ^ jf(Q)LN(K-Q)dQ,
где
N N-i N-l
^ ... 2
) |
-N 3. h=0 0
__1_ / SJn
"~ N \ si

546 Математическое приложение
Функция LN (X), называемая ядром Фейера, обладает следующими
свойствами: (i) она, очевидно, положительна, (ii) интеграл от нее
равен 2л (что видно из первого выражения для нее) и (ш) она сходит-
сходится равномерно к нулю при N -+¦ оо вне любого интервала, содержа-
содержащего начало координат.
Последнее свойство вытекает из того, что
Очевидно, oN(X) равномерно ограничены, если ||/||оо<оо.
Рассмотрим выражение
я
<% (*)-/ (Я) = i j {/ (9) LN (Я.- 6) -/ (Я,)}40 =
-я
где мы продолжили f (X) вне интервала [ — я, п] по периодичности.
Тогда
iei<6
где /е обозначает /(X — 9), рассматриваемую как функция от
Последнее выражение не превосходит
sup | /е (X) -1 (к) | + 2 sup | / (X) | sup L* F).
!в|<б X, |9|^б
Если / ограничена в существенном и непрерывна в замкнутом интер-
интервале, содержащем X, а ^ X ^ а + 6, то последнее выражение, оче-
очевидно, сходится к нулю равномерно для всех X в этом интервале.
Таким образом, oN(X) равномерно сходится к f (X) в любом интервале
непрерывности этой функции; в частности, если / (X) непрерывна
и / (—я) = / (я), то о v равномерно сходится к / (X) в [—л, я]. Итак,
мы построили последовательность, для которой выполняется утвер-
утверждение известной теоремы Вейерштрасса. Если / ? Lp, то для g ? Lqy
р'1 + Q'1 = 1? имеем
я
—
2я J
— я
я я
BяJ J J
-я -я

3. Методы Фурье 547
я л
2я J
-я
я
в силу неравенства Гёльдера, где мы вновь обозначили через /е
функцию / (к — 0), рассматриваемую как функция от к.
Теперь мы воспользуемся теоремой Хана — Банаха. В качестве
подпространства пространства Lp в этой теореме мы возьмем под-
подпространство, порождаемое функцией {oN (X) — / (X)}, а в качестве
линейного функционала на этом подпространстве — тот, который
сопоставляет значение || oN (X) — / (к) \\ р функции oN (X) — f(X).
Такой функционал имеет, конечно, единичную норму на этом (одно-
(одномерном) подпространстве, и теорема утверждает, что он может быть
продолжен на все Lp с сохранением нормы. Тогда, полагая в преды-
предыдущих рассуждениях g равной той функции из Lq, которая опреде-
определяет продолженный функционал, мы получаем
44
i J Ve-
sup ||/е-/||р+ 2 ||/||р sup ^F). C.3)
iei<6 lei^a
Однако ||/e-/||p < II /e — 7e Up + II/e-/lip, где /е (Х) равна
/e (к), если | /e (X) \ < А, и равна А в противном случае. Выбирая А
достаточно большим, мы можем, согласно теореме Лебега о мажориро-
мажорированной сходимости, сделать первую норму меньше V2e (равномерно-
по 0). По этой же теореме вторая норма сходится к || / — / ||р при
0—^0, где / определяется через / так же, как /э через /е- Таким обра-
образом,
lim || /е — / ||р <: i/2e + V2e = в.
е->о
Мы показали, что || oN — f \\ р стремится к нулю при N ->- с», т. е.
что чезаровские суммы ряда Фурье функции из Lp сходятся по норме
Lp к этой функции. Тем самым установлена и полнота системы
exp (m0), п = 0, ± 1, . . ., в Lp.
Другой метод «суммирования» ряда Фурье / (к) получается из рас-
рассмотрения функции
Так как уп заведомо ограничены, то этот ряд сходится и определяет
функцию, голоморфную в единичном круге. Это же верно и для

548 Математическое приложение
Это приводит нас к предположению, что при г ->- 1 функция
в каком-то подходящем смысле сходится к / (к). Перепишем это
последнее выражение (абелеву сумму ряда Фурье) в виде
uT(ei%)=
Я
= -k j f (Q) 2 rWe^-V dd = ± j / (9) Pr @ -
— оо
Я
j ± j
- Я - оо -ТС
где
оо
1_Г2
— оо
a Re z обозначает вещественную часть z. Эта функция называется
ядром Пуассона. Нетрудно показать, что оно обладает теми же тремя
основными свойствами, что и ядро Фейера, с заменой TV ->- оо на
г-^1. Поэтому наши рассуждения о суммировании ряда Фурье
в смысле Чезаро непосредственно переносятся на суммирование
в смысле Абеля. Таким образом, мы установили, что чезаровские
{абелевы) суммы ряда Фурье непрерывной функции (такой, что
/ (я) = / (—я)) сходятся равномерно к этой функции при N —>¦ оо
(г->- 1), что эти суммы сходятся к / (к) по норме Lp, если / ? Lp,
р ^ 1, и что оба семейства сумм равномерно ограничены, если / ? Leo.
Значительно сложнее доказывается (важная) теорема о том, что
как чезаровские, так и абелевы суммы сходятся почти всюду к / (к),
если / (к) интегрируема. Нам не приходится использовать эту теоре-
теорему, однако мы используем тот факт, что если / (к) — ограниченная
измеримая функция, то можно выделить подпоследовательность чеза-
ровских (или абелевых) средних, которая сходится ограниченно п.в.
Это доказать гораздо проще, так как при сформулированных усло-
условиях чезаровские (и абелевы) средние сходятся по мере и ограниченно
и легко доказать, что из последовательности, сходящейся по мере,
можно выделить подпоследовательность, сходящуюся п. в. (см. Хал-
мош [1950], стр. 94).
В заключение этого обзора рядов Фурье упомянем функциональ-
функциональные классы Харди Нр (мы имеем дело только с Hi и Н2)\ Нр состоит
из функций, голоморфных в единичном круге и таких, что их Lp-
нормы ограничены при г-*- I1). При р^1 это определение эквива-
эквивалентно следующему (хотя для р = 1 доказательство сложно) 2), кото-
г) Точнее, Lp-нормы абелевых средних иг (ех ).— Прим. перев,
2) Этот результат доказан в гл. III.

3. Методы Фурье 549
рое мы только и используем: пространство Нр, р ^ 1, есть класс
функций, принадлежащих Lp на единичной окружности и таких, что
уп равны нулю при тг<0. Очевидно, что Нр является банаховым
пространством относительно 1/р-нормы на единичной окружности
и замкнутым подпространством в Lp. Более узкий класс А состоит
из функций, непрерывных на единичной окружности и таких, что
уп = 0, п <С 0. Так как равномерный предел последовательности
непрерывных функций есть непрерывная функция, то А есть бана-
банахово пространство относительно «равномерной» нормы ||/||ос, где
.= sup I
-п^Х^л |z|<l
(Второе равенство следует из принципа максимума модуля.) Про-
Пространство А обладает тем важным дополнительным свойством, что
оно замкнуто относительно перемножения функций, а не только отно-
относительно образования линейных комбинаций.
Обратимся теперь к рассмотрению интегралов Фурье. Мы заменя-
заменяем интервал [—я, п] на (—оо, оо) и относим все термины, такие,
как п. в., Lp и т. д., к функциям на (— оо, оо) с мерой Лебега. Для
/ ? Li преобразование Фурье определяется как
/ (t) еш dt,
где t теперь обозначает «свободную переменную» в ( — оо, оо). Такое
преобразование хорошо известно в теории вероятностей, где / (t)
является плотностью вероятностей, а ее преобразование Фурье назы-
называется характеристической функцией. Конечно, это понятие обобща-
обобщается затем так, что оно включает в себя и преобразование Фурье
от неубывающей функции F конечной полной вариации (например,
функции распределения), для которой преобразование Фурье
eiMF (dt)
определенно существует. Мы будем считать известной классическую
теорему, называемую теоремой непрерывности для характеристиче-
характеристических функций (или функций распределения), которая утверждает,
что последовательность функций распределения сходится во всех
точках непрерывности к (собственному) предельному распределению
тогда и только тогда, когда последовательность характеристических
функций сходится в каждой точке к предельной функции, непрерыв-
непрерывной в начале координат. Предельная функция распределения опре-
определяется тогда однозначно, если потребовать, чтобы она была непре-
непрерывна справа, и ее характеристическая функция равна пределу после-
последовательностей характеристических функций. В книгах по теории
вероятностей эта теорема формулируется и доказывается для функ-

550 Л1атематическое приложение
ций распределения, однако она, конечно, имеет место и для любой
последовательности неубывающих функций, имеющих одно и то же
конечное полное приращение, которое может и не равняться единице.
Мы хотим рассмотреть функции / ? Z2- Для них интеграл
может расходиться, однако интегралы
т
*udt C.4)
f f(t)ei
21
заведомо сходятся, ибо / интегрируема на любом конечном интер-
интервале. Положим
где правая часть определяется как среднеквадратичный предел после-
последовательности интегралов по [ — Г, Т] при Т -+¦ оо. Мы должны
обосновать корректность этого определения. Одновременно рассмот-
рассмотрим преобразование
оо
определяемое аналогичным образом. Мы покажем, что U и V —
унитарные преобразования Ь2 и, более того, что U = F* = V'1.
Таким образом, мы покажем, что определенное выше преобразование
Фурье отображает L2 на себя, причем
(/, g) = (f, 8),
т. е.
(формула Планшереля), и, кроме того, что
(формула обращения преобразования Фурье для функций из L2),
т. е. F = U. Эти соотношения, очевидно, аналогичны соотношени-
соотношениям между уп и / (I), когда / (Я) — квадратично интегрируемая функ-
функция на [—it, n] (см. C.2)).

3. Методы Фуръе 551
Обозначим через ек (t) функцию, равную sgn X при t ? (О,
и нулю в противном случае, и положим
Легко проверить, что
1 г» (eiKt — l)(e~i)XX — i) 1 7
— oo —ос
oo
1 /I > I ¦ I I I > n Г si]
f 0, если X|.i<0,
~~\ min{|X|, ||x|}, если
ибо
F еш \)(е-^г — 1) 1 7 cos(X — ц)/ — cos Xt
Преобразования Z7, V продолжаются по линейности на множество
линейных комбинаций функций вида ех, т. е. на ступенчатые функции.
На этом линейном пространстве они изометричны (сохраняют ска-
скалярное произведение) и сопряжены друг другу. Как мы отмечали в § 2,
ступенчатые функции плотны в L2. Поэтому указанные свойства
сохраняются при продолжении U и V по непрерывности на все про-
пространство L2. Именно, если fn —* f (в Z2), то Ufn, очевидно, является
последовательностью Коши (ибо || Ufn — Ufm \\ = \\ fn — fm \\)
и сходится к некоторому элементу, который мы обозначим Uf.
Тогда если gn-*g, то мы имеем (Uf, Ug) = lim (Ufn, Ugn) =
n
= lim (/n, gn) = (/, g), и U изометрично в L2. Остальные свойства
п
доказываются аналогично: U*U = V*V = I и U = V*, так что
U имеет ограниченное обратное V и унитарно. Из самого определе-
определения U имеем
(Uf, e%) =\uf(t)dt = rj=\ ^-^ / @
0 —оо
Следовательно, дифференцируя, получаем

552 Математическое приложение
однако
i Um I f eW*-e^n Л= 1 ]im f sj
~1/2я h-*o h •> li 1/2я Л->0 J
— 0 — 0
и,
причем подинтегральное выражение ограничено по модулю функцией
| / (t) |. В силу теоремы о мажорированной сходимости мы можем
перейти к пределу под знаком интеграла и получить
е
)=\ e»*-f{t)dt. C.5)
Функции /е (t), равные / (t) при | t | < Э и нулю в противном слу-
случае, очевидно, сходятся в L2 к / (?). Так как последнее выражение
равно ?7/е (?) и f/ унитарно, то мы видим, что
оо
где правая часть есть предел последовательности выражений C.5)
при 9 ->- сх> (в L2). Таким образом, наши утверждения доказаны.
Конечно, мы можем заменить среднеквадратичную сходимость
выражения C.4) относительно меры Лебега на среднеквадратичную
сходимость относительно какой-либо другой меры на R и рассматри-
рассматривать только такие функции f{t), для которых эта сходимость имеет
место. Такой класс может быть шире или уже, чем L2, однако никако-
никакого аналога теоремы Планшереля, разумеется, уже не будет, ибо эта
теорема опирается на использование меры Лебега при определении
среднеквадратичной сходимости выражений C.4).
Раз или два нам придется использовать некоторые факты,
касающиеся связи между гладкостью периодической функции / (X),
Я 6 t—я, я], и скоростью убывания ее коэффициентов Фурье. Глад-
Гладкость выражается в терминах модуля непрерывности /, а именно
w (б, /) - sup | / (А,0 - / (Х2) |, | A,t - Х2 |< б (mod 2я).
Если w (б, /) ^ с8а для некоторых с и а > 0, то говорят, что /
удовлетворяет условию Липшица порядка а (записывается как
/ 6 Lip а). Конечно, если/ непрерывна, то w (б, /) должен стремиться
к нулю при б ->- 0. С другой стороны, если а > 1, то производная
/ (X) существует и равна нулю, так что / постоянна. Только случай
0 ^ а < 1 представляет интерес (и при а = 0 это условие означает
просто, что / ограничена). Можно показать (см. Зигмунд [1959]),
что из / ? Lip а следует, что | у (п) \ = О {п~а), а < 1; \у (п) | =
= О(п~1), а = 1. Кроме того, / 6 Lip а влечет за собой | / — оп | =
= О {п~а), а< 1; | / — оп | = О (log n/ri), a = 1, в обоих случаях
равномерно по X.
В завершение этого параграфа мы отметим, что понятие суммируе-
суммируемости по Чезаро распространяется на преобразование Фурье. Мы

4. Обобщенные функции 553-
ограничимся непрерывными интегрируемыми функциями / (t), так
как этого достаточно для наших целей. Итак, полагая
оо
/(*,)= j f(t)e™dt,
— оо
мы надеемся восстановить / (t) как предел
—л
Доказательство того факта, что этот предел равен / (t) при всех t
и что сходимость равномерна и ограниченна по t, не отличается сколь-
нибудь существенно от доказательства, приведенного для случая
функций на конечном интервале, ибо мы можем положить
Л оо Л
-Л -оо -Л
где внутренний множитель, как легко видеть, равен
sin2 1/2 (s— t) Л
и обладает основными свойствами, необходимыми для доказательстваг
т. е. положителен, имеет интеграл, равный единице, и сходится рав-
равномерно к нулю вне любого открытого интервала, содержащего t.
4. ОБОБЩЕННЫЕ ФУНКЦИИ
Введение обобщенных функций начинается обычно с пояснения
необходимости придать строгий смысл понятию дельта-функции
Дирака б (t), которая «равна нулю при всех t фО и равна бесконеч-
бесконечности при t = О, так что
В таком виде это определение, конечно, бессмысленно, однако край-
крайние члены вытекающего из него соотношения
р0N(О<й = ф(О) D.1)
имеют смысл, и с помощью именно такой идеи Лоран Шварц придал
строгий смысл понятию дельта-функции и других обобщенных функ-
функций. Обобщенная функция определяется как непрерывный линейный
функционал ф ->- Ф (ф) на подходящем пространстве основных (или
пробных) функций. Конечно, мы должны теперь сказать, что это
за пространство и что мы понимаем под непрерывностью. Мы будем
следовать Гельфанду и Шилову [1959]. Мы будем иметь дело с тремя
пространствами: К, Z и S.
К — это (линейное) пространство всех бесконечно дифференцируе-

554 Математическое приложение
мых функций на R с компактным носителем, т. е. равных нулю вне
некоторого ограниченного множества. Последовательность функций
фп ? К сходится к функции ф тогда и только тогда, когда носители
всех функций последовательности содержатся в одном и том же ком-
компактном множестве, а сама последовательность функций и последо-
последовательности всех их производных равномерно сходятся. Тогда, как
хорошо известно, предельная функция ф также принадлежит К.
Под непрерывностью линейного функционала Ф мы понимаем, что
*Ф (ф?г) —*¦ Ф (ф)> если фп —>- ф в смысле сходимости в К. Пространство
таких обобщенных функций мы обозначим К'. Очевидно, D.1) опре-
определяет некоторый элемент пространства К', и, таким образом, D.1)
позволяет дать определение дельта-функции Дирака. Любая локаль-
локально интегрируемая функция, т. е. функция / (t), интегрируемая на
каждом конечном отрезке, задает обобщенную функцию по формуле
(O*. D.2)
Таким образом, локально интегрируемые функции могут быть вло-
вложены в К' по этой формуле. В то же время ясно, что это определение
«обходит стороной» некоторые функции, такие, как / (t) = t'1. Обсу-
Обсуждение проблем такого рода читатель может найти в цитированной
книге. Одно из основных преимуществ обобщенных функций связано
с их дифференцируемостью. Определим Ф' — производную Ф —
по формуле Ф' (ф) = — Ф (ф'), происхождение которой можно
понять, интегрируя по частям D.2) с /' вместо / в предположении, что
/ дифференцируема. Тогда Ф' тоже принадлежит К*, так что любая
Ф ? К' бесконечно дифференцируема.
Z — это линейное пространство, состоящее из всех целых анали-
аналитических функций ф (z), таких, что для любого г
| 2гф (z) |<сеа^, z = x+iy,
где а зависит от ф, а с от ф и г. В этом случае также говорят, что ф —
функция экспоненциального типа (| ф | ^ с exp a \ z | ); она быстро
убывает на вещественной оси. Значение пространства Z обусловлено
тем, что Z является образом К относительно преобразования Лапла-
Лапласа х), причем возникающее соответствие взаимно однозначно. Схо-
Сходимость последовательности фп к нулю в Z определяется требованием
где а не зависит от /г, и
lim max | A -f | х |2)г ф?? (х) \ = О
П-ЮО X
для любых q и г. Такое определение сходимости мотивируется тем,
что оно в точности равносильно следующему: последовательность
х) Для элементов пространства К преобразование Фурье определяет пре-
преобразование Лапласа, так что мы можем говорить о ф, функции от 2, как о пре-
преобразовании Фурье.

5. Тензорные произв едения 555
элементов Z сходится тогда и только тогда, когда последовательность
их прообразов относительно преобразования Фурье сходится в К.
Теперь Z', подобно К', определяется как пространство непрерывных
линейных функционалов на Z. Определим преобразование Фурье от
Ф ? К' по формуле
Ф (ф) = 2яФ (ср).
Это определение мотивируется теоремой Планшереля, в чем можно
убедиться, выбирая в качестве Ф функционал, определяемый, напри-
например, другой функцией ф ? К по формуле D.2). Заметим, что образом
ц>' относительно преобразования Фурье является ??ф, так что
Ф (Щ) = 2яФ (<р') = —2яФ' (ф).
S: Пространство S несколько шире пространства К и состоит
из всех функций на /?, которые бесконечно дифференцируемы
и быстро убывают вместе со всеми производными, т. е. для любого
г > 0 и q
lim
Сходимость в S определяется так: фп —>- 0 тогда и только тогда, когда
для любых г^Ои g
lim max | A + \ х |2)r q>U> (х) | - 0.
П->оо X
Значение линейного пространства S объясняется тем, что S взаимно
однозначно и взаимно непрерывно отображается на себя при пре-
преобразовании Фурье. Вновь определим S' как пространство непре-
непрерывных линейных функционалов на S; преобразование Фурье и про-
производные от элементов S' определяются по тем же формулам, что
и выше.
5. ТЕНЗОРНЫЕ ПРОИЗВЕДЕНИЯ
Пусть SC и 2/ — конечномерные векторные пространства размерно-
размерности р и q над полем комплексных чисел. Мы хотим определить тензор-
тензорное произведение 4L = № ® 6У этих векторных пространств. Оно
определяется как пара DL, ф), где 41 — векторное пространство
над полем комплексных чисел, а ф — отображение произведения
X X °У на °И, обладающее следующими свойствами 1):
(i) ф билинейно, т. е. если хг 6 %'» У% 6 ^ и ati ^t — комплексные
Подробнее см. Грейб [1967].

556 Математическое приложение
числа, то
Ф (uiXi + а2х2, у) = а4ф (хи у) + а2ц> (х2, у),
ф (ж, Ь1у1 + &2г/2) = &1ф (я, г/i) + Ь2ф (я, */2);
(ii) если #ь . . ., хр образуют базис в jZT, а г/ь . . ., yq — базис
в 2/, то ф (xh yj) образуют базис в °IL.
Образ (х, у) при отображении ф мы идем записывать как х ® у.
Нетрудно показать, что если J и 2/ реализованы как простран-
пространства всех столбцов из р и q комплексных чисел соответственно, то
ЗС ® У может быть реализовано как векторное пространство /^-мер-
/^-мерных столбцов комплексных чисел, и если х имеет компоненты xt,
а у — компоненты г/у-, то эта реализация может быть выбрана так, что
х ® у будет иметь компоненту xtyj в строке с номером (i — 1) ? + /•
Другая реализация SC ® У задается отображением пары (х, у)
в ху', так что Зу ® °У реализуется как пространство всех комплекс-
комплексных матриц из р строк и q столбцов.
Если А и В — линейные операторы в Ж и 2/, то мы определим тен-
тензорное произведение А ® В как оператор в Э? ® У, действующий
по формуле
(А <8> В) (х ® у) = Ах <8> By.
Тогда
(А, ® В,) (А2 ® В2) (х®у) = (А, ® SO (Ло* ® Я2у) =
так что
(Л4 ® 50 (Л2 ®
Кроме того,
В =
и аналогично для Ь1В1 + Ь2Л2.
Если J и2/ реализуются как векторные пространства наборов
соответственно из р и q комплексных чисел, то А и В реализуются
матрицами соответственно из р и q строк и столбцов. Тогда, если
Ж® У реализуется как пространство наборов из pq чисел, то А® В,
как легко видеть, реализуется блочной матрицей
" апВ а12В . . . а1рВ
.. а2рВ
ар2В . . . аррВ_
т. е. матрицей с элементом atjbki на пересечении строки с номером
(i — 1) q -{- к и столбца с номером (/ — 1) q + I- Такую матрицу
часто называют кронекеровским произведением матриц А и В. С дру-
другой стороны, если ЗС ® У реализуется как пространство матриц
из р строк и q столбцов, то (А ® В) (х ® г/), очевидно, реализуется

5. Тензорные произведения 557
как
Аху'В\
и линейное отображение А ® В элементов х ® у задается преобразо-
преобразованием С ->- АСВ1, С 6 2С ® У.
Если фг — собственный вектор оператора А с собственным значе-
значением Xif a tyj — собственный вектор В с собственным значением |я7-,
то, например, из второй реализации следует, что фг ® г|O- — собствен-
собственный вектор А ® В с собственным значением Xt\ij. Если Хг имеет крат-
кратность mi, а |ы7- — кратность rij, то ^[х7- имеет кратность т(п^ Это
можно показать, реализуя А, В в виде матриц и приводя их
к жордановой форме посредством преобразований А ->- РАР~1,
В ->- QBQ'1. В этой канонической форме матрицы РАР~г и QBQ*1
имеют ниже главной диагонали нулевые элементы, а на главной диа-
диагонали — собственные значения с соответствующей кратностью.
Таким образом, если А ® В берется в первой матричной
реализации, то преобразование А ® В ->- (PAP'1) ® (QBQ'1) =
= (Р ® Q) (А ® В) (Р ® 0 также приводит А ® S к верхнему
треугольному виду и A^jij, очевидно, является собственным значением
А ® В кратности т(п^
Отсюда, в частности, следует, что det (A ® В) =
= {det (A)}q { det (S)}p и Tr (A ® 5) = Tr Л Tr S.
Данные определения можно обобщить на случай произвольного
числа тензорных сомножителей, так что мы можем построить про-
пространства а?± ® Xч ® . . . ® аСТ, Их можно определить по индук-
индукции. Аналогично определяется А{ ® А2 ® . . . ® Аг, где Aj дей-
действует как линейное преобразование в a?j. Мы не будем перечислять
обобщения на случай г > 2 всех приведенных выше свойств, так как
они достаточно очевидны. Например, если Kj, t — собственные зна-
значения Aj кратностей rij, t то собственные значения и их кратности для
Ai ® А 2 ® . . . <8> Аг даются формулами
г г
il il
ih
где допускаются всевозможные наборы i A), . . ., i (r).
Из первоначального абстрактного определения вытекает изомор-
изоморфизм между аС ® У и У ® аС как линейными пространствами,
и, аналогично, существует изоморфизм между ЗС± ® ЗС2 ® . . . ® аСт
и тензорным произведением этих же ас$, взятых в любом другом
порядке. Если аС® У (и У ® а?) реализованы как пространства
р х q (и дх /?)-матриц, то изоморфизм между ЭС ® У и У ® ЗСу
очевидно, задается отображением С ? ЗС ® У ¦++ С' ? У ® ЗС.
Этот изоморфизм определяет соответствующий изоморфизм между
алгеброй линейных операторов в ЗС ® У и алгеброй линейных
операторов в У ® Ж, и ясно, что при этом соответствии А ® В *->-
¦*->- В® А. Обобщение на случай большего числа сомножителей оче-
очевидно.

СПИСОК ЛИТЕРАТУРЫ
Абрамовиц и Стегун (Abramowitz M., Stegun I. A.)
[1964] Handbook of Mathematical Functions, Nat. Bur. Standards, App. Math.
Ser. No. 55, Washington, U.S. Govt. Printing Office.
Амемия и Фуллер (Amemiya Т., Fuller W. A.)
[1967] A comparative study of alternative estimators of a distributed lag model,
Econometrica, 35, 509—529.
Андерсон Р. (Anderson R. L.)
[1942] Distribution of the serial correlation coefficient, Ann. Math. Statist.,
13, 1—13.
Андерсон Р. и Андерсон Т. (Anderson R. L., Anderson T. W.)
[1950] Distribution of the circular serial correlation coefficient for residuals from
a fitted Fourier series, Ann. Math, Statist.. 21, 59—81.
Андерсон Т. (Anderson Т. W.)
[1948] On the theory of testing serial correlation, Skand. Aktuarietidskr., 31,
81 — 115.
[1958] Introduction to Multivariate Statistical Analysis, New York, John Wiley.
[Русский перевод: Андерсон Т. У., Введение в многомерный статисти-
статистический анализ, Физматгиз, М., 1963.1
[1970] Time Series Analysis, New York, John Wiley.
Андерсон Т. и Уолкер (Anderson Т. W., Walker A. M.)
[1964] On the asymptotic distribution of the autocorrelations of a sample from
a linear stochastic process, Ann. Math. Statist., 35, 1296—1303.
Арато (Arato M.)
[1970]* Точные формулы для плотностей мер элементарных гауссовских про-
процессов, Studia Scint. Math. Hung., 5, 17—27.
Арато М., Колмогоров А. Н., Синай Я. Г.
[1962]* Об оценках параметров комплексного стационарного гауссовского
марковского процесса, ДАН СССР, 146, № 4, 747—750.
Ахиезер Н. И.
[1965] Лекции по теории аппроксимации, «Наука», М.
Бартлет (Bartlett M. S.)
[1935] Some aspects of the time correlation problem in regard to tests of signi-
significance, /. R. Statist. Soc, 98, 536—543.
[1954] Problemes de Tanalyse spectrale des series temporelles stationnaires, Publ.
Vlnst. Statist. Г Univ. Paris, III-3, 119—134.
[1955] An Introduction to Stochastic Processes, Cambridge University Press.
[Русский перевод: БартлеттМ», Введение в теорию случайных процессов,
ИЛ, М., 1958.]

Список литературы 559
[1963] The spectral analysis of point processes, J.R. Statist. Soc, 25, 264—296.
Бартлет и Диананда (Bartlett M. S., Diananda P. H.)
[1950] Extensions of Quenouille's test for autoregressive schemes, J.R. Statist.
Soc, Ser. B, 12, 108—115.
Бартлет и Медхи (Bartlett M.S., Medhi J.)
[1955] On the efficiency of procedures for smoothing periodograms from time
series with continuous spectra, Biometrika, 42, 143—150.
Бартлет и Раджалакшман (Bartlett M. S., Rajalakshman D. V.)
[1953] Goodness of fit tests for simultaneous autoregressive series, J.R, Statist.
Soc, Ser. B, 15, 107—124.
Бернер (Boerner H.)
[1963] Representations of Groups, Amsterdam, North Holland.
Бернштейн (Bernstein S.)
[1926] Sur Г extension du theoreme limite du calcul des probabilites aux sommes
de quantites dependantes, Math. Ann., 97, 1—59.
Биллингслей (Billingsley P.)
[1965] Ergodic Theory and Information, New York, John Wiley. [Русский пере-
перевод: Биллингслей П., Эргодическая теория и информация, «Мир», М.,.
1969.]
[1968] Convergence of Probability Measures, New York, John Wiley. [Готовится
русский перевод.]
Блэкмен (Blackman R. В.)
[1965] Linear Data Smoothing and Prediction, Reading, Mass., Addison-Wesley.
Блэкмен и Тьюки (Blackman R. В., Tukey J. W.)
[1959] The Measurement of Power Spectra, New York, Dover.
Бонне (Bonnet G.)
[1965] Theorie de reformation — sur Interpolation optimale d'une fonction
aleatoire echantillonee, C.R. Acad. Sci. Paris, 260, 784—787.
Бокс и Дженкинс (Box G. E. P., Jenkins G. M.)
[1962] Some statistical aspects of adaptive optimization and control, J.R. Statist.
Soc, 24, 297—343.
[1970] Time Series, Forecasting and Control, San Francisco, Holden-Day. [Гото-
[Готовится русский перевод.]
Бохер (Bocher M.)
[1907] An Introduction to Higher Algebra, New York, Macmillan.
Бриллингер (Brillinger D. R.)
[1965] An introduction to polyspectra, Ann. Math. Statist., 36, 1351 — 1374.
Бриллингер и Розенблатт (Brillinger D. R., Rosenblatt M.)
[1967a] Computation and interpretation of k-th order spectra, pp. 189—232 in
Advanced Seminar on Spectral Analysis of Time Series (ed. B. Harris),
New York, John Wiley.
[1967b] Asymptotic theory of estimates of k-th order spectra, pp. 153—188 in
Advanced Seminar on Spectral Analysis of Time Series (ed. B. Harris),
New York, John Wiley.

560 Список литературы
Вайнштейн Л. А. и 3убаков В. Д.
{1962] Выделение сигналов на фоне случайных помех, «Советское радио», М.
Ван-дер-Варден (van der Waerden В. L.)
fl949] .Modern Algebra, New York, Frederick Ungar. [Русский перевод: Ван-
дер-Варден Б., Современная алгебра, Гостехиздат, М., 1947.]
Ватсон (Watson G. S.)
[1955] Serial correlation in regression analysis I, Biometrika, 42, 327—341.
11956] On the joint distribution of the circular serial correlation coefficients,
Biometrika, 43, 161 — 168.
J1967] Linear least squares regression, Ann. Math. Statist., 38, 1679—1699.
Baxoa (Wahba Grace)
11968] On the distribution of some statistics useful in the analysis of jointly
stationary time series, Ann. Math. Statist., 39, 1849—1862.
11989] Estimation of the coefficients in a multidimensional distributed lag model,
Econometrica, 31, 398—407.
Вияенкин Н. Я.
[1965] Специальные функции и теория представлений групп, «Наука», М.
Винер (Wiener N.)
[1923] Differential space, /. Math. Phys., 2, 131 — 174.
A933] The Fourier Integral, New York, Dover. [Русский перевод: Винер Н.,
Интеграл Фурье и некоторые его приложения, Физматгиз, М., 1963.]
[1958] Nonlinear Problems in Random Theory, Cambridge, Mass., M.I.T. Press.
[Русский перевод: Винер Н., Нелинейные задачи в теории случайных
процессов, ИЛ, М., 1961.]
Винер и Мазани (Wiener N., Masani P.)
[1957] The prediction theory of multivariate stochastic processes, I, Ada Math.,
98, 111 — 150.
[1958] The prediction theory of multivariate stochastic processes, II, Ada Math.,
99, 93-137.
Вольд (Wold H.)
[1938] A Study in the Analysis of Stationary Time Series, Uppsala, Almqvist
and Wiksell.
[1965] Bibliography on Time Series and Stochastic Processes, London, Oliver
and Boyd.
Вудруф и Ван Hecc (Woodroofe М. В., Van Ness J. W.)
[1967] The maximum deviation of sample spectral densities, Ann. Math. Statist.,
38, 1559-1569.
Гаек (Hajek J.)
[1962]* On linear statistical problems in stochastic processes, Czech. Math. J.,
12 B7), 404—464. [Русский перевод: Гаек Я., О линейных статистиче-
статистических задачах для случайных процессов, сб. Математика, 7 : 3 A963),
97—139.]
Гельфанд И. М. и Виленкин Н. Я.
[1961] Обобщенные функции, вып. 4. Некоторые применения гармонического
анализа. Оснащенные гильбертовы пространства, Физматгиз, М.
Гельфанд И. М. и Шилов Г. Е.
[1958] Обобщенные функции, вып. 1. Обобщенные функции и действия над
ними, Физматгиз, М.

Список литературы 561
Гнеденко Б. В., Колмогоров А. Н.
[1949] Предельные распределения для сумм независимых случайных величин,
ГИТТЛ, М.
Гофман (Hoffman К.)
[1962] Banach Spaces of Analytic Functions, Englewood Cliffs, N.J., Prentice
Hall. [Русский перевод: Гофман К., Банаховы пространства аналити-
аналитических функций, ИЛ, М., 1963.]
Грейб (Greub W.)
[1967] Multilinear Algebra, Berlin, Springer-Verlag.
Гренандер (Grenander U.)
[1950] Stochastic processes and statistical inference, Ark. Mat., 1, 195—277.
[1951] On empirical spectral analysis of stochastic processes, A rk. Mat., 1, 503—531.
[1954] On the estimation of regression coefficients in the case of an autocorrelated
disturbance, Ann. Math. Statist., 25, 252—272.
Гренандер и Розенблатт (Grenander U., Rosenblatt M.)
[1957] Statistical Analysis of Stationary Time Series, New York, John Wiley.
Гренандер и Сегё (Grenander U., Szego G.)
[1958] Toeplitz Forms and Their Applications, Berkeley, Univ. California Press,
lРусский перевод: Гренандер У., Сегё Г., Теплицевы формы и их при-
приложения, ИЛ, М., 1961.]
Гренджер и Хатанака (Granger С. W. J., Hatanaka M.)
[1964] Spectral Analysis of Economic Time Series, Princeton University Press.
[Русский перевод: Гренджер К., Хатанака М., Спектральный анализ
временных рядов в экономике, «Статистика», М., 1972.]
Гриличс (Griliches Z.)
[1967] Distributed lags: a survey, Econometrica, 35, 16—49.
Гровс и Хеннан (Groves G. W., Hannan E. J.)
[1968] Time series regression of sea level on weather, Rev. Geophysics, 6, 129—174.
Гудмен (Goodman N. R.)
[1963] Statistical analysis based on a certain multivariate complex Gaussian
distribution (an introduction), Ann. Math. Statist., 33, 152 —177.
Гурса и Хедрик (Goursat E., Hedrick E. R.)
[1904] A Course in Mathematical Analysis, Boston, Ginn.
Даниэле (Daniels H. E.)
[1956] The approximate distributions of serial correlation coefficients, Biomet-
rika, 43, 169—185.
Де Брёйн (De Bruijn N. G.)
[1958] Asymptotic Methods in Analysis, Amsterdam, North Holland. [Русский
перевод: Де Брёйн Н. Г., Асимптотические методы в анализе, ИЛ, М.,
1961.]
Дейч (Deutsch R.)
[1962] Nonlinear Transformations of Random Processes, Englewood Cliffs, N.J.,
Prentice-Hall.

562 Математическое приложение
Джеймс (James А. Т.)
[1964] Distributions of matrix variates and latent roots derived from normal sam-
samples, Ann. Math. Statist., 35, 475—501.
Дженкинс (Jenkins G. M.)
[1954a] Tests of hypotheses in the linear autoregressive model. Null hypothesis
distributions in the Yule scheme, Biometrika, 41, 405—419.
[1954b] An angular transformation for the serial correlation coefficient, Bio-
metrika, 41, 261—265.
[1956] Tests of hypotheses in the linear autoregressive model. Null distributions
for higher order schemes; non-null distributions, Biometrika, 43, 186—
199.
Дженкинс и Ватте (Jenkins G. M., Watts D. G.)
[1968] Spectral Analysis, San Francisco, Holden-Day. [Русский перевод: Джен-
Дженкинс Дж., Ватте Д., Спектральный анализ и его приложения, «Мир»,
М., 1972.]
Диананда (Diananda P. H.)
[1954] The central limit theorem for m-dependent variables asymptotically sta-
stationary to second order, Proc. Camb. Phil. Soc, 50, 287—292.
Диксон (Dixon W. J.)
[1944] Further contributions to the problem of serial correlation, Ann. Math.
Statist., 15, 119—144.
Драймс (Dhrymes P. J.)
[1969] Efficient estimation of distributed lags with autocorrelated errors, hit
Economic. Rev., 10, 47—67.
Дуб (Doob J. L.)
[1953] Stochastic Processes, New York, John Wiley. [Русский перевод: Дуб Дж.,
Вероятностные процессы, ИЛ, М., 1956.]
Дурбин (Durbin J.)
[1959] Efficient estimators of parameters in moving average models, Biometrika,
46, 306-316.
[1960] The fitting of time series models, Rev. Int. Statist. Inst., 28, 233—244
Дурбин и Ватсон (Durbin J., Watson G. S.)
[1950] Testing for serial correlation in least squares regression, I, Biometrika, 37,
409-428.
[1951] Testing for serial correlation in least squares regression, II, Biometrika,
38, 159-178.
Зигмунд (Zygmund A.)
[1959] Trigonometric Series, Vol. I, Cambridge University Press. [Русский пере-
перевод: Зигмунд А., Тригонометрические ряды, т. I, «Мир», М., 1965.]
Ибрагимов И. А., Линник Ю. В.
[1965]* Независимые и стационарно связанные величины, «Наука», М.
Ибрагимов И. А., Розанов Ю. А.
[1970]* Гауссовские случайные процессы, «Наука», М.
Иосида (Yosida К.)
[1965] Functional Analysis, Berlin, Springer-Verlag. [Русский перевод: Иоси-
Иосида К., Функциональный анализ, «Мир», М., 1967.]

Список литературы 563
Калман (Kalman R. Е.)
[1960] A new approach to linear filtering and prediction problems, Trans. Amer.
Soc. Mech. Eng., J. Basic Engineering, 82, 35—45.
[1963] New methods of Wiener filtering theory, pp. 270—388 in Proc. First Symp.
on Eng. Applications of Random Function Th. and Prob. (Eds. J. L. Bo-
ganoff and F. Kozin), New Ycrk, John Wiley.
Калман и Бьюси (Kalman R. E., Bucy R. S.)
[1961] New results in linear filtering and prediction theory, Trans. Amer. Soc.
Mech. Eng., J. Basic Engineering, 83, 95—108.
Като (Kato T.)
[1966] Perturbation Theory for Linear Operators, Berlin, Springer-Verlag. [Рус-
[Русский перевод: Като Т., Теория возмущений линейных операторов, «Мир»,
М., 1972.]
Кендалл и Стюарт (Kendall M. G., Stuart A. S.)
[1966] The Advanced Theory of Statistics, Vol. 3, London, Griffin. [Готовится
русский перевод.]
Кенуй (Quenouille M. H.)
[1947] A large-sample test for the goodness of fit of autoregressive schemes, J.R*
Statist. Soc, Ser. A, 110, 123—129.
Кокс и Лыоис (Cox D. R., Lewis P. A. W.)
[1966] The Statistical Analysis of Series of Events, London, Methuen. [Русский
перевод: Кокс Д., Льюис П., Статистический анализ последовательно-
последовательностей событий, «Мир», М., 1969.]
Кокс и Миллер (Сох D. R., Miller H. D.)
[1965] The Theory of Stochastic Processes, London, Methuen.
Крамер (Cramer H.)
[1937] Random Variables and Probability Distributions, Cambridge University
Press. [Русский перевод: Крамер Г., Случайные величины и распределе-
распределения вероятностей, ИЛ, М., 1947.]
[1946] Mathematical Methods of Statistics, Princeton University Press. [Русский
перевод: Крамер Г., Математические методы статистики, ИЛ, М., 1948.J
Крамер и Лидбеттер (Cramer H., Leadbetter М. R.)
[1967] Stationary and Related Stochastic Processes, New York, John Wiley.
[Русский перевод: Крамер Г., Лидбеттер М., Стационарные случайные
процессы. Свойства выборочных функций и их приложения, «Мио» М
1969.] '
Кули и Тьюки (Cooley J. W., Tukey J. W.)
[1965] An algorithm for the machine calculation of complex Fourier series, Mathe-
Mathematics of Computation, 19, 297—301.
Купменс (Koopmans T. C.)
[1942] Serial correlation and quadratic forms in normal variables, Ann Math
Statist., 13, 14—33.
Кхатри (Khatri С G.)
[1966] A note on a large sample distribution of a transformed multiple correlation
Ann. Inst. Statist. Math., 18, 375—380.

564 Список литературы
Лейпник (Leipnik R. В.)
[1947] Distribution of the serial correlation coefficient in a circularly correlated
universe, Ann. Math. Statist., 18, 80—87.
Леонов В. П.
[1964]* Некоторые применения старших семиинвариантов к теории стацио-
стационарных случайных процессов, «Наука», М.
Ливиатан (Liviatan N.)
[1963] Consistent estimation of distributed lags, Intern. Economic Review, 4,
44-52.
Лоренц (Lorentz G. G.)
[1966] Approximation of Functions, New York, Holt, Rinehart and Winston.
Лоэв (Loeve M.)
[1960] Probability Theory Bnd ed.), Princeton, Van Nostrand. [Русский перевод:
Лоэв М., Теория вероятностей, ИЛ, М., 1962.]
Мазани (Masani P.)
[1959а] Cramer's theorem on monotone matrix valued functions and the Wold
decomposition, in Probability and Statistics, the Harald Cramer volume
(Ed. U. Grenander), Stockholm, Almqvist and Wiksell.
[1959b] I. Sur la fonction genera trice d'un processus stochastique vectoriel; II. Iso-
morphie entre les domaines temporel et spectral d'un processus vectoriel,
regulier; III. Sur les fonctions matricielles de la classe de Hardy H2\
IV. Sur les fonctions matricielles de la classe de Hardy #2, C.R. A cad.
Sci., Paris, 249, 360—362, 496—498, 873—875, 906—907.
[1960] Une generalisation pour les fonctions matricielles de la classe de Hardy
#2 d'un theoreme de Nevanlinna, C.R. Acad. Sci., Paris, 251, 318—320.
Мак-Грегор (McGregor J. R.)
[1962] The approximate distribution of the correlation between two stationary
linear Markov series, Biometrika, 49, 379—388.
Макдаффи (Macduffee С. С.)
[1956] The Theory of Matrices, New York, Chelsea.
Макки (Mackey G. W.)
[1968] Induced Representations of Groups and Quantum Mechanics, New York,
Benjamin.
Манн (Mann H. B.)
J1953] Introduction to the Theory of Stochastic Processes Depending on a Con-
Continuous Parameter, Nat. Bur. Standards, App. Math. Ser. No. 24, Washing-
Washington, U.S. Govt. Printing Office.
Манн и Вальд (Mann H. В., Wald A.)
[1943] On the statistical treatment of linear stochastic difference equations, Eco-
nometrica, 11, 173—220.
Монро (Monroe M. E.)
[1953] Introduction to Measure and Integration, Reading, Mass., Addison-Wesley.
Моран (Moran P. A. P.)
[1947] Some theorems on time series I, Biometrika, 34, 281—291.

Список литературы 565
Мунк и Картрайт (Munk W. Н., Cartwright D. Е.)
[1966] Tidal spectroscopy and prediction, Phil. Trans., 259, 533—581.
Мэдоу (Madow W. G.)
[1945] Note on the distribution of the serial correlation coefficient, Ann. Math.
Statist., 16, 308-310.
Наймарк М. A.
[1958] Линейные представления группы Лоренца, Физматгиз, М.
[1968] Нормированные кольца, «Наука», М.
Нейман Е. (Neyman J.)
[1954] Discussion on Symposium on Interval Estimation, J.R. Statist. Soc.r 16,
216—218.
фон Нейман (von Neumann J.)
[1941] Distribution of the ratio of the mean square successive difference to the
variance, Ann. Math. Statist., 12, 367—395.
Нерлов (Nerlove M.)
[1964] Spectral analysis of seasonal adjustment procedures, Econometrica, 32,
241-286.
Ничолс (Nicholls D. F.)
[1967] Estimation of the spectral density function when testing for a jump in the
spectrum, Aust. J. Statist., 9, 103—108.
[1969] Testing for a jump in co-spectra, Aust. J. Statist., 11, 7—13.
Олшен (Olshen R. A.)
[1967] Asymptotic properties of the periodogram of a discrete stationary process,
/. App. Prob., 4, 508—528.
Оркутт (Orcutt G. H.)
[1948] A study of the autogressive nature of the time series used for Tinbergen's
model of the economic system of the United States, 1919—32, J.R. Statist.
Soc, Ser. B, 10, 1—45.
Оуэн (Owen D. B.)
[1962] Handbook of Statistical Tables, Reading, Mass., Addison-Wesley. [Рус-
[Русский перевод: Оуэн Д., Сборник статистических таблиц, ВЦ АН СССР,
М., 1966.]
Парзен (Parzen E.)
[1957] On consistent estimates of the spectrum of a stationary time series, Ann.
Math. Statist., 28, 329 — 348.
[1961] An approach to time series analysis, Ann. Math. Statist., 32, 951—989.
[1969]* Multiple time series modelling, in Multivariate Analysis II, Academic
Press, New York, 389—409.
Потапов В. П.
[1955] Мультипликативная структура /-нерастягивающих матриц-функций,
Тр. Моск. матем. об-ва, 4, 125—236.
Пристли (Priestley M. В.)
[1962] Analysis of stationary processes with mixed spectra — II, J.R. Statist. Soc.%
Ser. B, 24, 511—529.

566 Список литературы
Пэли и Винер (Paley R. Е. А. С, Wiener N.)
[1934] Fourier Transforms in the Complex Domain, Providence, Amer. Math. Soc.
Pao (Rao G. R.)
[1965] Linear Statistical Inference and its Applications, New York, John Wiley.
[Русский перевод: Pao С. Р., Линейные статистические методы и их
применения, «Наука», М., 1968.]
Рисе и Секефальви-Надь (Riesz F., Sz-Nagy В.)
[1956] Functional Analysis, London, Blackie. [Русский перевод: Рисе Ф., Секе-
Секефальви-Надь Б., Лекции по функциональному анализу, ИЛ, М., 1954.]
Робертсон (Robertson J. В.)
[1968] Orthogonal decompositions of multivariate weakly stationary stochastic
processes, Canad. J. Math., 20, 368—383.
Робинсон (Robinson E. A.)
[1962] Random Wavelets and Cybernetic Systems, London, Griffin.
[1967] Multi-Channel Time Series Analysis, San Francisco, Holden-Day.
Розанов Ю. A.
A963] Стационарные случайные процессы, Физматгиз, М.
Розенблатт (Rosenblatt M.)
[1956а] A central limit theorem and a strong mixing condition, Proc. Nat. Acad.
Sci., U.S.A., 42, 43—47.
[1956b] Some regression problems in time series analysis, Proc. of Third Berkeley
Symp. on Math. Statist, and Prob., 1954, 1, 165—186, Berkeley, Univ.
of Calif. Press.
[1959] Statistical analysis of stochastic processes with stationary residual, in
Probability and Statistics, the Harald Cramer volume (Ed. U. Grenander),
pp. 246—275, Uppsala, Almqvist and Wiksell.
[1961] Some comments on narrow band-pass filters, Quart. Appl. Math., 18,
387—393.
Рубин (Rubin H.)
[1945] On the distribution of the serial correlation coefficient, Ann. Math. Statist.,
16, 211-215.
Тейл и Нагар (Theil H., Nagar A. L.)
[1961] Testing the independence of regression disturbances, /. Amer. Statist.
Assoc, 56, 793—806.
Террел и Такуэлл (Terrel R. D., Tuckwell N. E.)
[1969] The efficiency of least squares in estimating a stable seasonal pattern,
Research report available from Stats. Dept. SGS, ANU, Canberra, Australia.
Тинтнер (Tintner G.)
[1940] The Variate Difference Method, Cowles Comm. Monograph No. 5, Evanston,
111., The Principia Press.
Тэйт и Клетт (Tate R. F., Klett G. W.)
[1959] Optimal confidence intervals for the variance of a normal distribution,
/. Amer. Statist. Assoc, 54, 674—682.
Уилсон (Wilson G.)
[1969] Factorization of a covariance generating function, SI AM /. Numerical
Analysis, 6, 1 — 7.

Список литературы 567
Уиттекер и Ватсон (Whittaker E. Т., Watson G. N.)
[1946] A Course of Modern Analysis, Cambridge University Press. [Русский пере-
перевод: Уиттекер E., Ватсон Г., Курс современного анализа, Физматгиз,
М., ч. 1, 1962; ч. 2, 1963.]
Уиттл (Whittle P.)
[1951] Hypothesis Testing in Time Series Analysis, Thesis, Uppsala University,
Almqvist and Wiksell, Uppsala, Hafner, New York.
[1962] On the convergence to normality of quadratic forms in independent vari-
variables, Теор. вероятн. и ее примеч., 9, 113—118.
Уолкер (Walker A. M.)
[1962] Large sample estimation of parameters for autoregressive processes with
moving average residuals, Biometrika, 49, 117—132.
[1964] Asymptotic properties of least-squares estimates of parameters of the spec-
spectrum of a stationary non-deterministic time-series, /. Aust. Math. Soc,
4, 363—384.
[1965] Some asymptotic results for the periodogram of a stationary time series,
/. Aust. Math. Soc, 5, 107—128.
[1967] Some tests of separate families of hypotheses in time series analysis, Bio-
Biometrika, 54, 39—68.
Феллер (Feller W.)
[1957] An Introduction to Probability Theory and its Applications, Vol. I Bnd
Ed.), New York, John Wiley. [Русский перевод: Феллер В., Введение
в теорию вероятностей и ее приложения, т. I, «Мир», М., 1964.]
[1966] An Introduction to Probability Theory and its Applications, Vol. II, New
York, John Wiley. [Русский перевод: Феллер В., Введение в теорию
вероятностей и ее приложения, т. II, «Мир», М., 1967.]
Филлипс (Phillips A. W.)
[1959] The estimation of parameters in a system of stochastic differential equations,
Biometrika, 46, 67—76.
Фиш (Fisz M.)
[1963] Probability Theory and Mathematical Statistics, New York, John Wiley.
Фишер (Fisher R. A.)
[1929] Tests of significance in harmonic analysis, Proc. Roy. Soc, Ser. A, 125,
54—59.
[1940] On the similarity of the distributions found for the test of significance
in harmonic analysis, and in Steven's problem in geometrical probability,
Ann. Eugenics, 10, 14—17.
[1950] Contributions to Mathematical Statistics, New York, John Wiley.
Фишмен (Fishman G, S.)
[1969] Spectral Methods in Econometrics, Santa Monica, Rand Corporation.
Фримен (Freeman H.)
[1965] Discrete Time Systems, New York, John Wiley.
Фрэзер (Fraser D. A. S.)
[1957] Non Parametric Methods in Statistics, New York, John Wiley.
Халмош (Halmos P. R.)
[1947] Finite Dimensional Vector Spaces Bnd Ed.), Princeton University Press.
[Русский перевод: Халмош П., Конечномерные векторные пространства,
Физматгиз, М., 1963.]

568 Список литературы
[1950] Measure Theory, New York, Van Nostrand. [Русский перевод: Халмош П.,
Теория меры, ИЛ, М., 1953.]
Хассельман, Мунк и Макдональд (Hasselmann К. F., Munk \V. H.,
Mac Donald G. J. F.)
[1963] Bispectra of ocean waves, Proc. Symp. on Time Series Analysis (ed. M. Ro-
Rosenblatt), New York, John Wiley.
Хебл (Heble M. P.)
[1961] A regression problem concerning stationary processes, Trans. Amer. Math.
Soc, 99, 350-371.
Хелгасон (Helgason S.)
[1962] Differential Geometry and Symmetric Spaces, New York, Academic Press.
[Русский перевод: Хелгасон С, Дифференциальная геометрия и сим-
симметрические пространства, «Мир», М., 1964.]
Хелсон (Helson H.)
[1964] Lectures on Invariant Subspaces, New York, Academic Press.
Хелсон и Лауденслагер (Helson H., Lowdenslager D.)
[1958] Prediction theory and Fourier series in several variables, Ada Math., 99,
165-202.
Хеннан (Hennan E. J.)
[1960] Time Series Analysis, London, Methuen. [Русский перевод: Хеннан Э.,
Анализ временных рядов, «Наука», М., 1964.]
[1961а] A central limit theorem for systems of regressions, Proc. Camb. Phil.,
Soc, 57, 583-588.
[1961b] Testing for a jump in the spectral function, J.R. Statist. Soc, 23, 394—404.
[1963] Regression for time series, Proc. Symp. on Time Series Analysis (ed. M. Ro-
Rosenblatt), New York, John Wiley.
[1963] Regression for time series with errors of measurement, Biometrika, 50,
293 — 302.
[1965a] Group representations and applied probability, /. App. Prob., 2, 1—68.
(Also issued as Vol. 3 of Methuen's Review Series in Applied Probability,
London, Methuen.) [Русский перевод: Хеннан Э., Представления групп
и прикладная теория вероятностей, «Мир», М., 1970.]
[1965b] The estimation of relationships involving distributed lags, Econometrica,
33, 206—224.
1967a] The concept of a filter, Proc. Camb. Phil. Soc, 63, 221—227.
1967b] Measurement of a wandering signal amid noise, /. App. Prob., 4, 90—102.
1967c] The estimation of a lagged regression relation, Biometrika, 54, 409—418.
1969a] Fourier methods and random processes, Bull. Int. Statist. Inst., 42, 475—
496.
[1969b] The identification of vector mixed autoregressive-moving average systems,
Biometrika, 56, 223—225.
[1969c] A note on an exact test for trend and serial correlation, Econometricat
37, 485-489.
Хеннан и Террел (Hennan E., Terrell R. D.)
[1968] Testing for serial correlation after least squares regression, Econometrica,
36, 133—150.
[1970] The seasonal adjustment of economic time series, Int. Ec Rev., 11, 1—29.
Хеншо (Henshaw R. C.)
[1966] Testing single-equation least squares regression models for autocorrelated
disturbances, Econometrica, 34, 646—660.

Список литературы 569
Хзу (Hsu P. L.)
[1941] On the limiting distribution of the roots of a determinantal equation, /.
London Math. Soc, 16, 183—194.
Хилле и Филлипс (Hille E., Phillips R.S.)
[1957] Functional Analysis and Semigroups, Providence, American Mathematical
Society. [Русский перевод: Хилле Э., Филлипс Р., Функциональный
анализ и полугруппы, ИЛ, М., 1962.]
Холево А. С.
[1969]* Об оценках коэффициентов регрессии, Теор. вероятн. и ее примел., 14,
№ 1, 78—101.
[1971]*Об асимптотической нормальности оценок коэффициентов регрессии,
16, № 4, 724—728.
Хьюитт и Стромберг (Hewitt E., Stromberg К.)
[1965] Real and Abstract Analysis, New York, Springer-Verlag.
Чанда (Chanda K. C.)
[1961] Comparative efficiencies of methods of estimating parameters in linear
autoregressive schemes, Biometrika, 48, 427—432.
[1962] On bounds of serial correlations, Ann. Math. Statist., 33, 1457 — 1460.
[1964] Asymptotic expansions for tests of goodness of fit for linear autoregressive
schemes, Biometrika, 51, 459—465. ¦'
Чипмен, Кадияла, Мадански и Пратт (Chipman J. S., Kadiyala К. R.,
Madansky A., Pratt J. W.)
[1968] Efficiency of the sample mean when residuals follow a first-order stationary
Markoff process, /. Amer. Statist. Assoc, 63, 1237—1246.
Шапиро и Сильвермен (Shapiro H. S., Silverman R. A.)
[1960] Alias-free sampling of random noise, /. Soc. Indust. Appl. Math., 8, 225—
248.
Шеймен (Shaman P.)
[1969] On the inverse of the covariance matrix of a first order moving average,
Biometrika, 56, 595—600.
Шеффе (Scheffe H.)
[1959] The Analysis of Variance, New York, John Wiley. [Русский перевод:
Шеффе Г., Дисперсионный анализ, Физматгиз, М., 1963.]
Эйкер (Eicker F.)
[1967] Limit theorems for regressions with unequal and dependent errors, Proc.
Fifth Berkeley Sympos. Math. Statist, and Probability (Berkeley CaliL
1965/66), v. 1: Statistics, pp. 59—82, Berkeley, Univ. California Press.
Эмос и Купменс (Amos D. E., Koopmans L. H.)
[1963] Tables of the Distribution of the Coefficient of Coherence for Stationary
Bivariate Gaussian Processes, Washington, Office of Technical Services,
Dept. of Commerce.
Яглом А. М.
[1952] Введение в теорию стационарных функций, УМН, VII, вып. 5 E1),
3—168. . i
[1961] Second order homogeneous random fields, Fourth Berkeley Symposium
on Mathematical Statistics and Probability, v. 2, pp. 593—622/Berkeley,
Univ. California Press.

АЛФАВИТНЫЙ УКАЗАТЕЛЬ
Абелевы суммы 548
Абрамовиц 216
Автокорреляции коэффициент 31
для остатков 496
круговой 372—398
сводный 32, 33, 367
частный 32, 33, 364, 365, 372—398
Авторегрессия 20, 24, 32, 354—400
скользящие средние, смешанная мо-
модель 20, 24, 401—429
с регрессией 490
Алгебра 61, 250
Амемия 513
Андерсон Р. 372
Андерсон Т. 237, 255, 286, 328, 372
Ахиезер Н. И. 77
Банахово пространство 453
Бартлет 86, 314, 399, 439
Белый шум 26, 37, 74
чистый 26
Бернштейна лемма 268
Биллингслей 14, 224
Блэкмен 217, 337
Бляшке произведение 163
Бокс 23, 372
Бонне 185
Бриллингер 105, 322
Броуновское движение 26, 37
Бьюси 203
Вайнштейн Л. А. 95
Вальд 354
Ван Несс 320
Ватсон 377, 452, 496
Вахба 517
Взаимная спектральная плотность 49
Виленкин Н. Я. 36, 122
Винер 35, 91, 122, 172, 179, 527
Винера — Хопфа метод 192
Внешняя функция 162
Внутренняя функция 162
Вольд 156
Временная область 354
Временной ряд 13
Вудруф 320
Гармонизуемость 94
Гёльдера неравенство 543
Гельфанд И. М. 35, 553
Гильберта преобразование 90
Гильбертово пространство 535
Гнеденко Б. В. 258
Гофман 157
Грама — Шмидта процедура 537
Гренандер 91, 168, 314, 385, 430,
439, 462
Гренджер 90, 213
Гровс 287
Группа
евклидовых движений 120
ортогональная 115
представление 116
сдвигов 119
Гудмен 324
Даниэле 372
Двойник 57
главный 57
Дельта-функция 26, 553
Детерминированность чистая 155
Джеймс 327
Дженкинс 23, 340, 372
Диананда 246, 399, 439
Диксон 372
Дирака дельта-функция (см. дельта-
функция)
Дискретизация 56
неравномерная 62
периодическая с возмущениями 60
Дискриминантная функция 326
коэффициенты 326
Драймс 513
Дуб 172, 224
Дункан 206
Дурбин 407, 496
Дурбина — Ватсона статистика 496
неправильное использование 498
Задержка групповая 73
Закон больших чисел 224—227
преобразование 149
Зигмунд 552
Зубаков В. Д. 95
Идентификация 402, 422, 429
Импульсная переходная функция 76
Инвариантная случайная величина 224
Инвариантное множество 224
Инвариантное подпространство 117
Инвариантный множитель 41
Интеграл стохастический 19, 26, 39
Калман 203
Канонический коэффициент когерент-
когерентности 326

Алфавитный указатель
571
Картрайт 100
Квадратурная спектральная плотность
49
Квадратурная спектральная функция
46
Кендалл 212
Кенуй 366
Ковариации сериальных ковариаций
234
спектральных оценок 307, 314
Ковариационная матрица 15
Когерентности коэффициент 54
выборочный 280
канонический 326
сводный 285
частный 288
Когерентность 54
Кокс 24, 85
Колмогоров А. Н. 157, 258
Комплексная регрессия 282, 283
Комплексная случайная величина 16
Комплексное многомерное нормальное
распределение 249
Комплексное распределение Уишарта
323
Комплексный многомерный анализ
322—336
Корреляции коэффициент 31
частный 32
Коспектральная плотность 49
Коспектральная функция 46
Котельников В. А. 190
Коши критерий 16
Коши последовательность 535
Коэффициент вариации 340
Коэффициент усиления 72, 73
Крамер 9, 32
Кратчайший несмещенный интервал
279
Кронекера произведение 556
Кули 290
Кули — Тьюки метод 290
Купменс Л. 281, 287
Купменс Т. 372
Кхатри 288
Лауденслагер 157
Лейпник 372
Ливиатан 520
Линейные ограничения 450
тривиальные 450
Линейные процессы 234
обобщенные 234
Липшица условие 552
Мазани 179, 184
Мак-Грегор 400
Макдаффи 41
Макки 130
Манн 38, 354
Медхи 314
Метрическая транзитивность 225
Миллер 24, 85
Минимальная задержка 171
Минковского неравенство 543
Многочлены тригонометрические 76
Чебышева 213—214
Эрмита 97—99, 128—129
Модуль непрерывности 552
Модуляция 94, 100
Монро 541
Моран 246
Мунк 100
Мэдоу 372
Нагар 496
Наилучшая линейная несмещенная
оценка 451
Наименьших квадратов оценка 451
Найквиста частота 336
Наймарк М. А. 117
Наложение частот 57—63
Недетерминированность чистая 156
Нейман Е. 284
фон Неймана отношение 372
Непрерывность среднеквадратичная 15
Ничолс 508, 512
Норма 15-16, 535, 541
Обновляющая последовательность 192
Обобщенная обратная матрица 540
Обобщенная функция 554—555
Обобщенный линейный процесс 234
Обобщенный случайный процесс 35,
107
Огибающая 90
Ограничения линейные (см. Линейные
ограничения)
Однократность 117
Однородное случайное поле 111
на плоскости 112
на сфере 115
Окно запаздывания 301
Олшен 239
Оператор
дифференциальный 68
замкнутый 542
инвариантный относительно времен-
временных сдвигов 72
интегральный 65
ограниченный 541
сдвига 224
сопряженный 542
сохраняющий меру 224
Оркут 23

572
Алфавитный указатель
Ортогональная группа 115
Ортогональная прямая сумма 536
Ортогональные приращения 19, 39—
40, 52, 111
Оуэн 210
Парзен 45, 310
Перемешивание 226
сильное 226
Периодическая выборка 62
Периодическая выборка с возмуще-
возмущениями 60
Периодичности, критерии для провер-
проверки
Периодограмма 238
Питмен 373
Плотное множество 536
Полиспектры 105
Полоса частот 336
Потапов В. П. 184
Предварительная фильтрация 338
Представление однократное 117
унитарное 116
Приливно-отливные явления 57, 100
Приложения в геофизике 13, 107,
332—334, 515—516
в экономике 13, 202, 354, 490, 512
«Пробное» вычисление спектра 337
Прогнозирование 145—185
детерминированной компоненты 199
ошибка 155
Проектор ортогональный 542—543
Пуассона ядро 548
Пэли 172
Раджалакшман 433
Разрешение 339
Рао 328, 377
Распределенное запаздывание 512
Рациональный спектр 77, 145—155,
354-443
Регрессия 32, 241—249, 282—289,
449-499
с авторегрессией 489—494
остатки 484—499
Регрессоры- 449
Рекуррентные вычисления прогноза
151 — 155
Робертсон 179
Робинсон 27, 171, 418
Розанов Ю. А. 71, 77, 139, 179, 225
Розенблатт 106, 168, 227, 322, 439,
462
Рубин 372
Свертка 95
Сглаживание 292
Сегё 157. 385
Сезонные вариации 1S6—202, 523—524
Семиинварианты 34
Сепарабельность 536
Сериальные автоковариации 233
ковариации 233
Сигнал
измерение (выделение) 190
квантованный 103
отношение сигнал-шум 193
пороговый 103
Сильвермен 60
Симметрическое пространство 122, 133
Скалярное произведение 535
Случайная величина инвариантная 224
Случайная функция периодическая 49
Случайный процесс 14
Случайный телеграфный сигнал 86
Смешанная модель авторегрессии и
скользящего среднего 20, 24, 401 —
430
Смещение при спектральном оценива-
оценивании 309—314
Согласия критерии 366—371, 432—438
Сопряженное пространство 544
Состояний вектор 205
Спектр 54
высшего порядка 104—107
равномерный 74
рациональный 77, 145—155
Спектральная оценка
Абеля 306
Бартлета 305
Даниэля 306
Кули — Тьюки 303
Парзена 306
Тьюки — Хэннинга 305
усеченная 304
финитное преобразование Фурье 302
Спектральная плотность 49
Спектральная функция 49
Спектральное окно 301
Спектральное оценивание, глава V
Спектральное представление 52
Спектральные скачки 88
Спектры высших порядков 106
Спенсера формула 212
Среднеквадратичная непрерывность 15
Среднеквадратичная ошибка (при спект-
спектральном оценивании) 313
Среднеквадратичная сходимость 537,
16
Среднеквадратичное дифференцирова-
дифференцирование 17
Среднеквадратичное интегрирование
18, 40
Стационарный процесс
второго порядка 22
обобщенный 35

Алфавитный указатель
573
порядка т 34
в узком смысле 29
четвертого порядка 234
в широком смысле 22, 25
Стационарные приращения 29, 108
Стегун 216
Стилтьеса преобразование 90
Стромберг 158
Стюарт 212
Сферическая гармоника 115
Сферическая функция 117
зональная 117
Сходимость
среднеквадратичная 537
в среднем 240
Такуэлл 472
Тейл 496
Текстильные нити 84—85
Тензорное произведение 555
Теорема Бохнера 45, 58, 108, 111 — 121
Вольда о разложении 156
Мерсера 44
непрерывности 549
отсчетов 189
Планшереля 550
Хана — Банаха 543
центральная предельная 246—255
эргодическая 225, 229
Теплнцевы матрицы 385
Террел 203, 472
Тинтнер 215
Точечный процесс 86
Треугольника неравенство 535
Тыоки 290, 337
Тэйт 279
Уилсон 410
Уиттл 317, 366, 430, 502
Унитарный оператор 542
Уолкер 255, 430
Факторизация спектральной плотности
77, 147 — 148, 162, 175—176, 182
Фаза 54
фильтра 72
Фейера ядро 546
Феллер 502
Фил липе 441
Фильтр 63
длина 210
Калмана 203
линейный 65, 72, 130
нелинейный 124
без памяти 97
с памятью 103
низкочастотный 73
полосовой 73
Финитное преобразование Фурье 272—
300
Фишер 501
Фишмен 513
Фримен 62
Фрэзер 442
Фуллер 513
Функция
биинвариантная 115
быстро убывающая 555
внешняя 162
внутренняя 162
случайная периодическая 49
Халмош 535
Характеристический функционал 32
Харди классы 548
Хассельман 104
Хатанака 90, 213
Хебл 215
Хелгасон 122
Хелсон 157
Хеншо 496
Хзу 334
Хьюитт 158
Цилиндрическое множество 224
Циркулянт 373
Циркулярная автокорреляция 381
Чанда 399
Частный коэффициент автокорреляции
32—33
Частный коэффициент когерентности
288
Частотная характеристика 76
Чезаровские средние 47, 545
интеграла Фурье 552
Чезаровские суммы 545
Чимпен 473
Шапиро 60
Шеймен 402
Шеннон 190
Шеффе 483
Шилов Г. Е. 553
Элементы спектра 467
Эмос 281
Эргодичность 225
Эффективность 454
наименьших квадратов 454—474
Юл 354
Яглом А. М. 29, 115
Ядро
Джексона — Валле-Пуссена 306
Пуассона 548
Фейера 546

ОГЛАВЛЕНИЕ
От редактора перевода
Предисловие
Часть I. вероятностные основы
Глава I. Вводные сведения №
1. Введение **
2. Дифференцирование и интегрирование случайных процессов 16
3. Некоторые специальные модели 20
4. Стационарные процессы и их ковариационная структура ... 29
5. Высшие моменты 34
6. Обобщенные случайные процессы 35
Упражнения 37
Приложение 38
Глава II. Спектральная теория векторных процессов 43
1. Введение 43
2. Спектральные теоремы для стационарных процессов с не-
непрерывным временем 45
3. Дискретизация процесса с непрерывным временем. Процессы
с дискретным временем 56
4. Линейные фильтры 63
5. Некоторые специальные модели 74
6. Некоторые спектральные методы для нестационарных процес-
процессов 91
7. Нелинейные преобразования случайных процессов 97
8. Спектры высших порядков 104
9. Спектральная теория для обобщенных случайных процессов 107
10. Спектральные теории для однородных случайных полей ... НО
11. Общая теория фильтров 122
Упражнения 133
Приложение 135
Глава III. Прогнозирование и фильтрация случайных процессов . . . 145
1. Введение 145
2. Прогнозирование векторных процессов с дискретным временем
в случае рациональных спектров 145
3. Общая теория для стационарных одномерных процессов
с дискретным временем 155
4. Общая теория для стационарных одномерных процессов с не-
непрерывным временем 172
5. Прогнозирование векторных процессов с дискретным временем 179
6. Проблемы интерполяции 185
7. Фильтрация и выделение сигнала 190
8. Фильтр Калмана 203
9. Сглаживающие фильтры 209
Упражнения 218
Часть II. статистические выводы
Глава IV. Законы больших чисел. Центральная предельная теорема 223
1. Введение 223
2. Эргодическая теория для процессов, стационарных в узком
смысле 224
3. Эргодическая теория для процессов, стационарных в широ-
широком смысле 228

Оглавление 575
4. Центральная предельная теорема 246
Упражнения 355
Приложение 257
Глава V. Статистические методы спектрального анализа 271
1. Введение 271
2. Финитное преобразование Фурье 272
3. Другие вычислительные процедуры для ФПФ 289
4. Оценки спектров при больших N и т 300
5. Асимптотическое распределение спектральных оценок .... 316
6. Комплексный многомерный анализ 322
7. Практический спектральный анализ 336
Упражнения 340
Приложение 342
Глава VI. Статистические выводы для рациональных спектров .... 354
1. Введение 354
2. Статистические выводы для авторегрессионных моделей. Асим-
Асимптотическая теория 355
3. Статистические выводы для авторегрессионных моделей. Не-
Некоторые точные результаты 371
4. Скользящие средние и смешанные модели авторегрессии и сколь-
скользящего среднего. Введение 401
5. Оценивание для скользящего среднего и смешанной модели
авторегрессии и скользящего среднего с использованием спек-
спектральных методов 410
6. Общие теории оценивания для моделей с конечным числом па-
параметров 430
7. Критерии согласия 432
8. Процессы с непрерывным временем и дискретные аппроксима-
аппроксимации * 439
Упражнения 441
Приложение 443
Глава VII. Методы регрессии 449
1. Введение 450
2. Эффективность оценок наименьших квадратов. Случай конечной
выборки 450
3. Эффективность оценок наименьших квадратов. Асимптотиче-
Асимптотическая теория 457
4. Эффективное оценивание регрессий 474
5. Влияние регрессионных процедур на анализ остаточного про-
процесса 484
6. Выделение периодичностей 500
7. Уравнения с распределенным запаздыванием 512
Упражнения , 523
Приложение 524
Математическое приложение 534
1. Введение 534
2. Гильбертово пространство и банахово пространство 535
3. Методы Фурье 544
4. Обобщенные функции 553
5. Тензорные произведения 556
Список литературы 558
Алфавитный указатель . . 570

УВАЖАЕМЫЙ ЧИТАТЕЛЬ !
Ваши замечания о содержании книги, ее оформлении, качестве перевода
и другие просим присылать по адресу: 129820, Москва, И-110, ГСП, 1-й Риж-
Рижский пер., 2, издательство «Мир».
Э. Хеннан
МНОГОМЕРНЫЕ ВРЕМЕННЫЕ РЯДЫ
Редактор Н. И. Плужникова. Художник А. В. Шипов.
Художественный редактор В. И. Шаповалов. Технический редактор Ф. X. Третьякова.
Корректор И, С. Соколова
Сдано в набор 24/X 1973 г. Подписано к печати 19/III 1974 г.
Бумага тип. № 1 G0x90Vie=18 бум. л. 36 печ. л. Уч.-изд. л., 36,41. Изд. № 1/6809.
Цена 2 р. 78 к. Зак. 01254
ИЗДАТЕЛЬСТВО «МИР» Москва, 1-й Рижский пер., 2
Ордена Трудового Красного знамени Московская типография № 7
«Искра революции» Союзполиграфпрома при Государственном комитете
Совета Министров СССР по делам издательств, полиграфии и книжной торговли
Москва, К-1, Трехпрудный пер., 9