Α. Η. Ширяев
ВЕРОЯТНОСТЬ-2
Суммы и последовательности
случайных величин —
стационарные, мартингалы, марковские цепи
Издание третье,
переработанное и дополненное
Допущено Министерством образования России в качестве
учебника для студентов высших учебных заведений
по физико-математическим направлениям и специальностям
Москва
Издательство МЦНМО, 2004

УДК 519.21(075.8)
ББК 22.171
Ш64
Ширяев А. Н.
Ш64 Вероятность. В 2-х кн. — 3-е изд., перераб. и доп. — М.: МЦНМО,
2004.
ISBN 5-94057-036-4
Кн. 2.-408 с.-ISBN 5-94057-106-9
Настоящее издание (в двух книгах «Вероятность— 1» и «Вероятность —2»)
представляет собой расширенный курс лекций по теории вероятностей.
Вторая книга «Вероятность —2» посвящена случайным процессам с
дискретным временем (случайным последовательностям). Основное внимание здесь
уделяется стационарным последовательностям (в узком и широком смысле), мартингалам
и марковским цепям. Даны применения к вопросам оценивания и фильтрации в
случайных последовательностях, к стохастической финансовой математике, теории.
страхования и задачам об оптимальной остановке.
Приведен также очерк истории становления теории вероятностей. В истори-
ко-библиографической справке указываются источники приводимых результатов,,
даются комментарии и указывается дополнительная литература. В конце каждого *
параграфа даются задачи.
Первая книга «Вероятность— 1» содержит материал, относящийся к
элементарной теории вероятностей, математическим основаниям и предельным теоремам.
Книги рассчитаны на студентов физико-математических специальностей
университетов. Могут служить учебным пособием для аспирантов и справочным пособием
для специалистов.
Табл. 9. Ил. 42. Библиогр. 136 назв.
ББК 22.171
ISBN 5-94057-106-9
9»785940»571063">
ISBN 5-94057-036-4
ISBN 5-94057-106-9 (кн. 2)
© Ширяев А. Н., 2004
© МЦНМО, 2004

ОГЛАВЛЕНИЕ
КНИГА ПЕРВАЯ. ВЕРОЯТНОСТЬ - 1
Предисловие к третьему изданию 7
Предисловие ко второму изданию 9
Предисловие к первому изданию 11
Введение 14
Глава I. Элементарная теория вероятностей 20
§ 1. Вероятностная модель эксперимента с конечным числом исходов 21
§ 2. Некоторые классические модели и распределения 36
§ 3. Условные вероятности. Независимость 43
§ 4. Случайные величины и их характеристики 53
§ 5. Схема Бернулли. I. Закон больших чисел 67
§ 6. Схема Бернулли. II. Предельные теоремы (локальная, Муавра—
Лапласа, Пуассона) 78
§ 7. Оценка вероятности «успеха» в схеме Бернулли 94
§ 8. Условные вероятности и математические ожидания
относительно разбиений 100
§ 9. Случайное блуждание. I. Вероятности разорения и средняя
продолжительность при игре с бросанием монеты 109
§ 10. Случайное блуждание. II. Принцип отражения. Закон арксинуса 120
§11. Мартингалы. Некоторые применения к случайному блужданию 128
§ 12. Марковские цепи. Эргодическая теорема. Строго марковское
свойство 136
Глава II. Математические основания теории вероятностей 160
§ 1. Вероятностная модель эксперимента с бесконечным числом
исходов. Аксиоматика Колмогорова 161
§ 2. Алгебры и σ-алгебры. Измеримые пространства 171
§3. Способы задания вероятностных мер на измеримых
пространствах 191
§4. Случайные величины. I 214
§ 5. Случайные элементы 221

524 ОГЛАВЛЕНИЕ
§ 6. Интеграл Лебега. Математическое ожидание 226
§7. Условные вероятности и условные математические ожидания
относительно σ-алгебр 266
§ 8. Случайные величины. II 300
§ 9. Построение процесса с заданными конечномерными
распределениями 314
§ 10. Разные виды сходимости последовательностей случайных
величин 324
§11. Гильбертово пространство случайных величин с конечным
вторым моментом 338
§ 12. Характеристические функции 352
§ 13. Гауссовские системы 380
Глава III. Близость и сходимость вероятностных мер.
Центральная предельная теорема 396
§ 1. Слабая сходимость вероятностных мер и распределений 39^
§ 2. Относительная компактность и плотность семейств
вероятностных распределений 4&1
§ 3. Метод характеристических функций в доказательстве
предельных теорем 413
§ 4. Центральная предельная теорема для сумм независимых
случайных величин. I. Условие Линдеберга 421
§ 5. Центральная предельная теорема для сумм независимых
случайных величин. II. Неклассические условия 433
§ 6. Безгранично делимые и устойчивые распределения 438
§ 7. «Метризуемость» слабой сходимости 447
§8. О связи слабой сходимости мер со сходимостью случайных
элементов почти наверное 452
§ 9. Расстояние по вариации между вероятностными мерами.
Расстояние Какутани—Хеллингера и интегралы Хеллингера.
Применение к абсолютной непрерывности и сингулярности мер ... 460
§ 10. Контигуальность (сближаемость) и полная асимптотическая
разделимость вероятностных мер 470
§11.0 скорости сходимости в центральной предельной теореме 475
§ 12. О скорости сходимости в теореме Пуассона 479
§ 13. Фундаментальные теоремы математической статистики 481
Библиографическая справка (главы I—III) 492
Список литературы 496
Предметный указатель 502
Указатель обозначений 516

ОГЛАВЛЕНИЕ 525
КНИГА ВТОРАЯ. ВЕРОЯТНОСТЬ -2
Предисловие 527
Глава IV. Последовательности и суммы независимых случайных
величин 528
§ 1. Законы «нуля или единицы» 529
§ 2. Сходимость рядов 534
§ 3. Усиленный закон больших чисел 540
§ 4. Закон повторного логарифма 551
§ 5. О скорости сходимости в усиленном законе больших чисел и о
вероятностях больших уклонений 557
Глава V. Стационарные (в узком смысле) случайные
последовательности и эргодическая теория 562
§1. Стационарные (в узком смысле) случайные
последовательности. Сохраняющие меру преобразования 563
§ 2. Эргодичность и перемешивание 567
§ 3. Эргодические теоремы 570
Глава VI. Стационарные (в широком смысле) случайные
последовательности. Л2-теория 578
§1. Спектральное представление ковариационной функции 579
§ 2. Ортогональные стохастические меры и стохастические интегралы 589
§3. Спектральное представление стационарных (в широком
смысле) последовательностей 595
§4. Статистическое оценивание ковариационной функции и
спектральной плотности 607
§ 5. Разложение Вольда 614
§ 6. Экстраполяция, интерполяция и фильтрация 623
§ 7. Фильтр Калмана—Бьюси и его обобщения 634
Глава VII. Последовательности случайных величин, образующие
мартингал 646
§ 1. Определения мартингалов и родственных понятий 647
§ 2. О сохранении свойства мартингальности при замене времени на
случайный момент 659
§ 3. Основные неравенства 671
§4. Основные теоремы о сходимости субмартингалов и мартингалов 688
§5. О множествах сходимости субмартингалов и мартингалов 697
§ 6. Абсолютная непрерывность и сингулярность вероятностных
распределений на измеримом пространстве с фильтрацией 706

526
ОГЛАВЛЕНИЕ
§7. Об асимптотике вероятности выхода случайного блуждания
за криволинейную границу 721
§ 8. Центральная предельная теорема для сумм зависимых
случайных величин 726
§ 9. Дискретная версия формулы Ито 740
§ 10. Вычисление вероятности разорения в страховании. Мартин-
гальный метод 746
§ 11. О фундаментальных теоремах стохастической финансовой
математики. Мартингальная характеризация отсутствия арбитража 751
§ 12. О расчетах, связанных с хеджированием в безарбитражных
моделях 767
§ 13. Задачи об оптимальной остановке. Мартингальный подход 776
Глава VIII. Последовательности случайных величин,
образующие марковскую цепь 786
§ 1. Определения и основные свойства 78^
§ 2. Обобщенное марковское и строго марковское свойства 800
§3. Ол проблематике предельных, эргодических и стационарных
распределений вероятностей для марковских цепей 809
§4. Классификация состояний марковских цепей по
алгебраическим свойствам матриц переходных вероятностей 812
§ 5. Классификация состояний марковских цепей по
асимптотическим свойствам переходных вероятностей 819
§6. О предельных, стационарных и эргодических распределениях
для счетных марковских цепей 833
§7. О предельных, стационарных и эргодических распределениях
для конечных марковских цепей 841
§ 8. Простое случайное блуждание как марковская цепь 842
§ 9. Задачи об оптимальной остановке для марковских цепей 856
Очерк истории становления математической теории вероятностей .. 875
Библиографическая справка (главы IV—VIII) 899
Список литературы 904
Предметный указатель 910
Указатель обозначений 924

Предисловие
При построении университетского вероятностно-статистического
образовательного цикла, как правило, предполагается наличие трех односеме-
стровых курсов —«Теория вероятностей», «Теория случайных процессов»,
«Математическая статистика».
Содержание книги «Вероятность— 1» вполне покрывает весь тот
материал, который обычно включается в программу курса «Теория
вероятностей».
Представляемая книга «Вероятность — 2» содержит достаточно
обширный материал для курса «Теория случайных процессов», в той его
части, которая посвящена случайным процессам с дискретным временем —
случайным последовательностям. (Читателю, желающему познакомиться
с теорией случайных процессов с непрерывным временем, можно
порекомендовать обратиться к книге [131], во многом примыкающей к настоящим
учебникам «Вероятность— 1» и «Вероятность —2».)
В главе IV, открывающей эту книгу, основной акцент сделан на
свойствах с вероятностью единица (закон «нуля или единицы», сходимость
рядов, усиленный закон больших чисел, закон повторного логарифма и др.)
последовательностей, образованных суммами независимых случайных
величин.
Главы V и VI относятся к стационарным случайным
последовательностям, являющимся стационарными в узком и в широком смысле
соответственно.
В главах VII и VIII рассматриваются случайные последовательности,
образующие мартингалы и марковские цепи. Оба эти класса процессов
с дискретным временем дают возможность изучать поведение
разнообразных стохастических систем в «будущем» в зависимости от их «настоящего»
и «прошлого», что определяет исключительную роль таких процессов в
современной теории вероятностей и ее применениях.
Завершает книгу «Очерк истории становления математической теории
вероятностей».
Москва, 2003
А. Ширяев

Глава IV
ПОСЛЕДОВАТЕЛЬНОСТИ И СУММЫ НЕЗАВИСИМЫХ
СЛУЧАЙНЫХ ВЕЛИЧИН
§ 1. Законы «нуля или единицы» 529
§ 2. Сходимость рядов 534
§ 3. Усиленный закон больших чисел 540
§ 4. Закон повторного логарифма 551
§5. О скорости сходимости в усиленном законе больших чисел и о
вероятностях больших уклонений 557

Понятие независимости двух или нескольких опытов занимает в из-
вестном смысле центральное место в теории вероятностей... Исторически
независимость испытаний и случайных величин явилась тем математическим
понятием, которое придало теории вероятностей своеобразный отпечаток.
А. Н. Колмогоров. «Основные понятия теории вероятностей» [32]
§ 1. Законы «нуля или единицы»
ОО | ОО J
1· РЯД Σ ~~ расходится, а ряд Σ(—1)Л- сходится. Поставим
/1=1 П /1=1 П
следующий вопрос. Что можно сказать о сходимости или расходимости
ряда Σ —, где £ь &, ··· —последовательность независимых одинако-
/1=1 П
во распределенных бернуллиевских случайных величин с Ρ{ξι= + 1} =
= Ρ{ξι = — 1}= 1/2? Иначе говоря, что можно сказать о сходимости ряда с
общим членом ±1//ζ, где знаки + и — «разбросаны» в случайном порядке
в соответствии с рассматриваемой последовательностью ξι, &» ···?
Обозначим
А\ = < ω: ^2 сходится >
ОО £
— множество тех элементарных исходов, где ряд Σ сходится (к ко-
/1=1 П
нечным значениям), и рассмотрим вероятность Р(А\) этого множества.
Заранее не ясно, какие значения может принимать эта вероятность.
Замечательным оказывается, однако, то обстоятельство, что a priori можно
утверждать, что эта вероятность может принимать только два значения О
или 1. Этот результат является следствием так называемого закона «нуля
или единицы» («О или 1») Колмогорова, формулировка и доказательство
которого составляют основное содержание данного параграфа.
2. Пусть (Ω, <^, Р) — вероятностное пространство, ξι, &> ··· —
некоторая последовательность случайных величин. Обозначим <^° =
= <7(£/!>£/!+ь .··) — cr-алгебру, порожденную случайными величинами
6b6i+b .... И ПУСТЬ
/1=1
Поскольку пересечение σ-алгебр есть снова σ-алгебра, то ЗС есть сг-алге-
бра. Эта σ-алгебра будет называться «хвостовой» или «остаточной»,

530
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
в связи с тем, что всякое событие А е SC не зависит от значений случайных
величин ξ\, ...,ξη при любом конечном числе /ζ, а определяется лишь
«поведением бесконечно далеких значений последовательности ξ\, &. ···»·
Поскольку для любого k ^ 1
Jg;! сходится} J±k
А> = \ Σ ηсходится \ = \ Σ ηсходится \е ·**°·
то Α ι е Π «^£° = «ЯГ- Точно так же, если ξι, &» ... — произвольная после-
довательность, то
Лг = < Σ, ί« сходится > € #*.
Следующие события также являются «хвостовыми»:
Лз = {£«€/„ б.ч.} (=1ЙС„ €/„}),
где/яб'Я(/?),л>1;
Л4 = |Нт£п<оо};
Α5 = {ψξι+~η+ζη<οο};
Л7 = | — сходится >;
I « v2/2 In /г J
С другой стороны,
В\ ={ξη = 0 для всех О 1}»
52 = { Hm(£i +... + ξη) существует и меньше с \
являются примерами событий, не принадлежащих SC'.
Будем теперь предполагать, что рассматриваемые случайные величины
являются независимыми. При этом допущении из леммы Бореля—Кан-
телли следует, что
Р(Л3) = 0 *► ΣΡ{ί«€/«}<οο,
РИз) = 1 <* Σ Ρ{ξη£In) = оо.

§ 1. ЗАКОНЫ «НУЛЯ ИЛИ ЕДИНИЦЫ»
531
Таким образом, вероятность события Лз может принимать лишь два
значения 0 или 1 в зависимости от сходимости или расходимости ряда
£P{£rtE/rt}. Это утверждение, носящее название закона «О или 1»
Бореля, является частным случаем следующего утверждения.
Теорема 1 (закон «О или 1» Колмогорова). Пусть £i,&» ··· —
последовательность независимых случайных величин и Ao.SC. Тогда
вероятность Ρ (А) может принимать лишь два значения: нуль или
единица.
Доказательство. Идея доказательства состоит в том, чтобы
показать, что каждое «хвостовое» событие А не зависит от самого себя и,
значит, Р(АГ\А) = Р(А)-Р(А), т.е. Р(Л) = Р2(Л), откуда Р(Л) = 0 или 1.
Если АеЗС, тоЛе^100=а{С,,^2, ...} = <r(U^f)> где ^ = σ{ξ,, ...
..., ξη}, и можно найти (задача 8 из § 3 гл. II) такие множества Ап е&",
η ^ 1, что Ρ (Α Δ Ап) -> 0, η -» оо. Отсюда следует, что
Р(А,)-РИ), Р(АппА)-+Р(А). (1)
Но если А е SC\ то для каждого η ^ 1 события Ап и А независимы:
Р(АпАп) = Р(А)Р(Ап),
откуда в силу (1) следует, что Р(Л) = Р2(Л), и, значит, Р(Л) = 0 или 1. D
Следствие. Пусть η — случайная величина, измеримая
относительно «хвостовой» σ-алгебры SC\ т.е. {qeB)eSC, Be@(R).
Тогда η является вырожденной случайной величиной, т. е. существует
константа с такая, что P{q = c} = 1.
3. Приводимая ниже теорема 2 служит иллюстрацией нетривиального
применения закона «нуля или единицы» Колмогорова.
Пусть £ь &, ·.· —последовательность независимых бернуллиевских
случайных величин с Ρ{ξη = 1} = ру Ρ{ξη = -1} = <7, р+<7 = 1, О 1, и
$п=£ι +... + ξη> Интуитивно понятно, что в симметричном случае (р = 1/2)
«типичные» траектории случайного блуждания Sn, n^ 1, бесконечно много
раз проходят через нуль, а в случае ρ Φ 1/2 «уходят» в бесконечность.
Сформулируем теперь точный результат.
Теорема 2. а) Если ρ — 1/2, то P{Sn = 0 б. ч.) = 1.
Ь) Если ρ φ 1/2, то P{Sn = 0 6. ч.) = 0.
Доказательство. Прежде всего отметим, что событие β = {5Λ = 0
б.ч.} не является «хвостовым», т.е. В£ЗС= П ^°, ^°=σ{ξπ, ξη+\, ...}.
Поэтому в принципе не ясно, что вероятность события В принимает лишь
значения 0 или 1.
Утверждение Ь) легко доказывается применением (первой части) леммы
Бореля—Кантелли. Действительно, если Β%η — {5гл = 0}, то по формуле

532
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Стирлинга (формула (6) § 2 гл. I)
и, значит, Σ Ρ(β2«) < оо. Поэтому P{Sn = 0 6. ч.} = 0.
Для доказательства утверждения а) достаточно показать, что событие
Sn t. Sn
Л = (Нт^===оо, lim^= = -oo)
l y/n — y/n J
имеет вероятность 1, поскольку АС В.
Пусть Ас = Л^ПЛ?, где А'с = {ϊίτη ^ ^с}, А'с' = {jim ^ ^ -с}. Тогда
Лс |у4, с-»оо, при этом как событие Л, так и все события А'с, А"
являются хвостовыми. Покажем, что для каждого о О Р(А'С) = Р(А")= 1.
Поскольку А'с е SC', А" е ЭС', то достаточно лишь установить, что Р{А'С) > О,
Р(Л")>0. Но, согласно задаче 5 и теореме Муавра—Лапласа (§ 6 гл. I),
PJlim -§= ^-Л = р\Ш ^ > Л >Ш р(^ > Л >0.
Итак, для всех о О Р(АС) = 1 и, значит, Ρ (Л) = Игл Р{АС) =1. D
с—юо
4. Отметим еще раз, что событие В = {Sn = 0 б. ч.} не является
«хвостовым». Тем не менее из теоремы 2 следует, что для схемы Бернулли
вероятность этого события, как и в случае «хвостовых» событий,
принимает лишь два значения 0 или 1. Оказывается, что это обстоятельство
неслучайно и является следствием так называемого закона «О или 1>j
Хьюитта и Сэвиджа, который обобщает для случая независимых
одинаково распределенных случайных величин результат теоремы 1 на класс
так называемых «перестановочных» событий (включающий в себя и класс
«хвостовых» событий).
Введем необходимые определения. Взаимно однозначное отображение
7τ = (πι, π2, ...) множества (1, 2, ...) в себя назовем конечной
перестановкой, если πη = η для всех я, за исключением, быть может, конечного
числа.
Если ξ=(ξ\, &. ) — последовательность случайных величин, то через
π(ξ) будем обозначать последовательность (ξπ|, ξπ2, ...).
Если событие А = {ξ е В}, В е S8(R°°), то через π(Α) обозначим событие
{K(£)€B)yBe3S{R°°).
Назовем событие А = {ξ е В}, В е 3§(R°°), перестановочным, если для
любой конечной перестановки π событие π(Α) совпадает с А.
Примером перестановочного события является событие А = {Sn =
= 0 6. ч.), где Sn =ξ\ +... + ξη. Более того, можно показать (задача 4), что

§ 1. ЗАКОНЫ «НУЛЯ ИЛИ ЕДИНИЦЫ»
533
каждое событие из «хвостовой» σ-алгебры &(S) = f) <^°(S), <^rt°°(S) =
= σ{ω: 5Л, 5rt+i, ...}, порожденной величинами Si=£i, S2 = Ci +€2» ···»
является перестановочным.
Теорема 3 (закон «О или 1» Хьюитта и Сэвиджа). Пусть ξ =
= (£ь£2> ) — последовательность независимых одинаково
распределенных случайных величин и А = {ξ е В} — перестановочное
событие. Тогда Р(Л) = 0 или 1.
Доказательство. Пусть А = {ξ е В} — перестановочное событие.
Выберем (см. задачу 8 из § 3 гл. II) множества Вп € 3§(Rn) такими, что для
>V={":(Cit...,£«)€£,,}
Ρ(ΑΔΑη)-+0, /г->оо. (2)
Поскольку случайные величины ξ\, &» · · · независимы и одинаково
распределены, то распределения вероятностей Ρξ(Β) = Ρ{ξΕΒ} и РЖп^)(В) =
= Ρ{^(θ€θ},ΓΛβπ«(0 = (ξπ+1,...,ξ2π,ξΐ,...,ξπ,ξ2«+1,6π+2, ...)ДЛЯ
ВСЯКОГО О 1, совпадают. Значит,
Ρ(ΑΔΑη) = Ρξ(Β Δ Βη) = Ρηη{ξ)(ΒΑΒη). (3)
Раз событие Л является перестановочным, то
Α = {ξ£Β} = πη(Α) = {πη(ξ)£Β}.
Поэтому
Ρ..(β(β Δ Βη) = Ρ({πη(ξ) G β}Δ {π„(ξ) € Β„}) =
= Ρ({ξ€β}Δ{π„(ξ)€β„}) = ΡΗΔπη(^η)). (4)
Итак, из (З) и (4)
Ρ(ΑΔΑη) = Ρ(ΑΑπη(Αη)). (5)
В силу (2) отсюда следует, что
Ρ(ΑΔ(ΑηΠπη(Αη)))^0, я-» ос, (6)
Поэтому из (2), (5) и (6) заключаем, что
Р(А„)-+Р{А), Р(жп(Ап))->Р(А),
Р(АпП*п(Ап))-*Р(А).
Далее, в силу независимости случайных величин ξι, &, ...
Р(АпПжп(Ап)) = Р№ ξη)ΕΒη,(ξη+ι ЫбВп} =
= Ρ{(ξ. ξη)εΒΠ}Ρ{(ξη+{ ЫеВп} = Р(Лп)Р(7гй(Лй)),

534
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
откуда по свойствам (7)
Р(Л) = Р2(Л)
и, значит, Р(Л) = 0 или 1. D
5. Задачи.
1. Доказать следствие к теореме 1.
2. Показать, что если (ξη)η^\ —последовательность независимых
случайных величин, то случайные величины lim ξη и Игл ξη являются
вырожденными.
3. Пусть (ξη)η^\ — последовательность независимых случайных
величин, Sn =ξ\ +... + ξη и константы Ьп таковы, что 0 < Ьп Τ оо. Показать, что
случайные величины lim γ- и Шд -гр- являются вырожденными.
4. Пусть S„=fi+... + &, n£l, и ^Г(5) = П^°°(Я *2°(S) =
= σ{ω: 5rt, Srt+i» ···}· Показать, что каждое событие из #*(S) является
перестановочным.
5. Пусть (ξη)η^\ —последовательность случайных величин. Показать,
что {lirt\ ξη ^ с} Э 1\π\{ξη ^ с} для всякой константы с.
6. Привести пример «хвостового» события, вероятность которого
строго больше нуля и меньше единицы.
7. Пусть ξι,ξ2, ··· — независимые случайные величины с ΕξΛ = 0,
Εξ2= 1, п^ 1, для которых выполняется центральная предельная теорема
(P{Sn/y/n ^ х} -► Ф(х), χ g /?, где Sn = ξι +... + ξη)- Доказать, что тогда
fim /z~1/2Srt = +oo (Р-п. н.).
η—>оо
В частности, это свойство выполнено для последовательности
независимых одинаково распределенных случайных величин (с Εξι = 0, Εξ^ = Ι).
8. Пусть ξι, &, ··· —независимые одинаково распределенные
случайные величины с Ε|ξι| >0. Показать, что
lim
η—юо
§ 2. Сходимость рядов
1. Будем предполагать, что ξι, &> ··· — последовательность
независимых случайных величин, Sn =ξι +.. · 4- ξη и А — множество тех
элементарных исходов ω у где ряд Σ ξΛ(ω) сходится к конечному пределу. Из закона
«0 или 1» Колмогорова следует, что вероятность Р(Л) = 0 или 1, т. е. с
вероятностью единица ряд ]Г ξ« сходится или расходится. Цель
настоящего параграфа — дать критерии, позволяющие определять, сходится или
расходится ряд из независимых случайных величин.
= +оо (Р-п. н.).

§2. СХОДИМОСТЬ РЯДОВ
535
Теорема 1 (Колмогоров и Хинчин). а) Пусть Efrt = 0, О 1. Тогда,
если
ΣΕ^2<οο> w
то ряд Σ & сходится с вероятностью единица.
Ъ) Если к тому же случайные величины £Л, я ^ 1, равномерно
ограничены (Ρ{\ξη\ <£}= 1 для некоторого с <оо), то верно и обратное: из
сходимости ряда Σ frt с вероятностью единица следует условие (1).
Доказательство этой теоремы существенно опирается на
Неравенства Колмогорова, а) Пусть ξ\> &, ···, ζη — независимые
случайные величины с Е& = 0, E£f<oo, 1^/</г. Тогда для всякого
ε>0
Pimax \Sk\>e}^. (2)
b) Если к тому же Р{|&|^с}= 1, 1 ^i^ny то
Доказательство, а) Обозначим
Ak = {\Si\<e,i = \,...,k-\, |S*|£e}, l^k^n.
Тогда А = £ Ак и
ES^ES^^ES2/,,.
Но
ES2/^ = E(Sk + (6+1 +... + б,))2/* =
= ESpAk + 2ES*(6+i + ·· · + C)Uk + E(6+i + ··· + &)2/д» > ESllA>,
поскольку Е5*(6+1+... + ^„)//1» = Е5*/^-Е(6+1 + ...+^я) = 0 в силу
предположенной независимости и условий Εξι = О, 1 < i < п. Поэтому
ES2^]T ES2klAk>e2 Σ P(Ak) = e2P(A),
что и доказывает первое неравенство.
Для доказательства (3) заметим, что
ES*IA = ES„2 - ESfo > ES2 - ε*Ρ(*) = ES2 - ε2 + ε*Ρ(Λ). (4)
С другой стороны, на множестве Ak
|5*_i|<e, |S*|<|5ft_,| + |6|<£ + c

536
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
и, значит,
ES„2/„ = £ ESfa+Σ E(/„t(S„-S*)2K
k k
<(£+с)2^Р(4)+^РИ») Σ Ε*/<
Из (4) и (5) находим, что
(ε + 02 + ]ΓΕ£2
7=1
= P(A)[(e + c? + ES2n]. (5)
ES2- ε2
■ = 1-
(g+^r
(£ + c)2 + ES2-62
>1-
ES2
Неравенство (3) доказано. D
Доказательство теоремы 1. а) Согласно теореме 4 из § 10 гл. II,
последовательность (Sn)n^\ сходится с вероятностью единица тогда и
только тогда, когда эта последовательность фундаментальна с
вероятностью единица. По теореме 1 из § 10 гл. II последовательность {Sn)n^\
фундаментальна (Р-п. н.) в том и только том случае, когда
Ρ/sup \Sn+k-Sn\>e\->0, /i->oo. (6)
В силу (2)
P/sup |S«+*-Snivel = Jim p{ max |5«+*-Sn|^e}<
n+N
Σ
^ iim ^"
yv—oo ε2
Σ Εξ2 Σ Εξ2
*=/ι
Поэтому, если Σ ^ξ2 < οο, то выполнено условие (6) и, следовательно,
РЯД Σ & сходится с вероятностью единица.
Ь) Пусть ряд Σ £k сходится. Тогда в силу (6) для достаточно больших η
P/sup \Sn+k-Sn\}ze\< 2«
(7)
В силу (3)
P/sup \Sn+k - S/t| ^ ε\ ^ 1 -

§2. СХОДИМОСТЬ РЯДОВ
537
ОО
Поэтому, если допустить, что Σ Εξ£ = оо, то получим
k=\
P/sup |5«+Λ-δπ|^ε\ = 1,
что противоречит неравенству (7). D
Пример. Если ξ\, &, ··· —последовательность независимых бер-
нуллиевских случайных величин с Р{£„ = + 1} = Р{£„ = — 1}== 1/2, то ряд
Σ ζη^η* где \ап\^с> сходится с вероятностью единица тогда и только
тогда, когда Σ а1 < °°-
2. Теорема 2 (теорема Колмогорова и Хинчина о «двух рядах»).
Для сходимости с вероятностью единица ряда Σ ξη из
независимых случайных величин достаточно^ чтобы одновременно сходились
два ряда Σ Εξη и Σ D£rt. Если к тому же для некоторого с>0
Ρ{\ζη\ ^с}— 1, η ^ 1, то это условие является и необходимым.
Доказательство. Если Σ ^6* < оо, то по теореме 1 ряд Σ (ξη ~ Εξη)
сходится (Р-п. н.). Но по предположению ряд Σ Εξη сходится, поэтому
сходится (Р-п. н) и ряд Σ ξη-
Для доказательства необходимости воспользуемся следующим
приемом «симметризации». Наряду с последовательностью ξι, &, ···
рассмотрим не зависящую от нее последовательность независимых случайных
величин ξι, &, ··· таких, что ξη имеет то же распределение, что и ξη, η ^ 1.
(Когда исходное пространство элементарных событий предполагается
достаточно «богатым», существование такой последовательности следует из
следствия 1 к теореме 1 § 9 гл. II. В свою очередь можно показать, что
это предположение не ограничивает общности.)
Тогда, если сходится (Р-п. н.) ряд Σ ί«» то сходится и ряд Σ £*> а
значит, и ряд Σ (ξη -ξη). Но Ε(ξη-ξη) = 0 и Ρ{\ξη -|Я| <2c}= 1. Поэтому
по утверждению Ь) теоремы 1 Σ &(ξη — ξη) < оо. Далее,
Значит, по утверждению а) теоремы 1 с вероятностью единица сходится
РЯД Σ (ξη - ΕξΛ), а значит, сходится и ряд Σ Ε£«·
Таким образом, из сходимости (Р-п. н.) ряда Σ ξη (Β предположении
Р{|£я| < с}= 1, л ^ 1) вытекает, что оба ряда Σ Εξη и Σ D& сходятся. D
3. Следующая теорема дает необходимое и достаточное условие
сходимости ряда Σ ξη без предположений об ограниченности случайных
величин.
Пусть с — некоторая константа и
ζ ίο, |ί|>*.

538
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Теорема 3 (теорема Колмогорова о «трех рядах»). Пусть ξ\,
&, ... —-последовательность независимых случайных величин. Для
сходимости с вероятностью единица ряда Σ ξη необходимо, чтобы
для любого о 0 сходились ряды
£е& Σ DC £P{|6,|>c>,
и достаточно, чтобы эти ряды сходились при некотором с>0.
Доказательство. Достаточность. По теореме о «двух рядах» ряд
Σ ξ„ сходится с вероятностью единица. Но если Σ Р{16*1 ^с}<оо, то
по лемме Бореля—Кантелли с вероятностью единица Σ Ι(\ξη\ ^с)<оо, а
значит, ξη=ξη Для всех /ζ, за исключением, быть может, конечного числа.
Поэтому ряд Σ £η также сходится (Р-п. н.).
Необходимость. Если ряд Σ ζη сходится (Р-п. н.), то ξη -»0 (Р-п. н.)
и, значит, для всякого о 0 может произойти (Р-п. н.) не более конечного
числа событий {|frt|>c}. Поэтому Σ Ι(\ζη\^€)<°° (Р-п. н.) и по второй
части леммы Бореля—Кантелли Σ Р{16*1 >£}<оо. Далее, из сходимости
ряда Σ,ξη следует и сходимость ряда Σ Ся- Поэтому по теореме о «двух
рядах» каждый из рядов Σ ^£« и Σ &£η сходится. D
Следствие. Пусть ξ\, &, ... — независимые случайные величины с
Εξη = 0. Тогда, если
то ряд Σ £η сходится с вероятностью единица.
Для доказательства заметим, что
о
ЕЕГТШ<0° ** ΣΕΚ2/(Ι6.Ι<ΐ) + Ι6.|/(Ιί«Ι>ΐ)]<οο.
Поэтому, если ξιη=ξηΙ(\ξη\ < 1), то
ΣΕ«!)2<οο.
Поскольку Εξη = 0, то
Σ ιε^ι=Σ |Ее./(к«к ΐ)ΐ=Σ ΐΕ6./(ΐί«ι>ΐ)ΐ<
<ΣΕ|6,|/(Κβ|>1)<οο.
Значит, каждый из рядов £ Εξή и £ D£j сходится. Далее, по неравенству
Чебышева
Р{|6,1 > ΐ}=Р{|Ш1Ы > О > IK Ε|ξ„|/(|ξ„| > ι).

§2. СХОДИМОСТЬ РЯДОВ
539
Поэтому Σ Р{|£л1 > 1} < оо. Тем самым сходимость ряда Σ ξ« следует из
теоремы о «трех рядах».
4. Задачи.
1. Пусть ξι, ξ2, ··· —последовательность независимых случайных
величин, Sn =ξ\ +... +ξη. Используя теорему о «трех рядах», показать, что:
а) если Σ ζη < °° (Р-п. н.), то ряд Σ €η сходится с вероятностью единица
в том и только том случае, когда сходится ряд Е&/(|&| ^ 1); Ь) если ряд
Σ ζη сходится (Р-п. н.), то Σ £η <0° (Р-п. н.) в том и только том случае,
когда
£(Е|Ш16^1))2<оо.
2. Пусть ξι, ^2, ··· —последовательность независимых случайных
величин. Показать, что Σ £η <0° (Р-п. н.) тогда и только тогда, когда
Σε
ζ" <оо.
3. Пусть ξ\, &, ··· —последовательность независимых случайных
величин. Показать, что тогда следующие три условия эквивалентны:
a) РЯД Σ ζη сходится с вероятностью единица;
b) ряд Σ £η сходится по вероятности;
c) ряд Σ £η сходится по распределению.
4. Привести пример, показывающий, что в теоремах 1 и 2 нельзя,
вообще говоря, отказаться от условия равномерной ограниченности
(P{|f/iI ^ с) — 1 Для некоторого с > 0).
5. Пусть ξι, ..., ξη — независимые одинаково распределенные
случайные величины с Εξι = 0, Εξ2 < оо и Sn = ξ\ +... + ξη. Доказать следующий
односторонний аналог (А. В. Маршалл) неравенства Колмогорова (2):
ES*
Р( max S»^}< о *
6. Пусть ξι,ξ2, ··· —последовательность (произвольных) случайных
величин. Доказать, что если Σ Е|£л|<оо, то ряд Σ £η сходится абсо-
лютно с вероятностью единица.
7. Пусть ξι, ^2» ··· —независимые симметрично распределенные
случайные величины. Показать, что
<£Е(£Я2Л1).
П
8. Пусть ξι, ξ2, ··· —независимые случайные величины с конечными
вторыми моментами. Показать, что ряд Σ ξ«·сходится в L2, если и только
если сходятся ряды Σ Εξη и Σ Οξ«.

540
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
9. Пусть ξ\, ξ2, ··· — независимые случайные величины и ряд Σ ξη
сходится п. н. Показать, что п. н. значение этого ряда не зависит от порядка
суммирования тогда и только тогда, когда Σ \Ε(ξη; \ξη\ ^ 1)| < оо.
10. Пусть £ь&» ··· —независимые случайные величины с Е£л = 0,
О 1, и
оо
я=1
оо
Тогда ряд ]Г ξη сходится Р-п. н.
я=1
11. Пусть ЛьЛг» ··· —независимые события с Р(Лл)>0, /г^1, и
оо
Σ Ρ(Αη) — οο. Показать, что тогда
/1=1
7=1 7=1
12, Пусть £ь &, ··· —независимые случайные величины со средними
оо
Εξη и дисперсиями σ\ такими, что lim Εξη =си ^ σ~2 = оо. Показать,
/1=1
что тогда
η ~ п
У^-4/У^-о-»с (Р-п. н.) при/г-»оо.
§ 3. Усиленный закон больших чисел
1. Пусть fi, &» ··· —последовательность независимых случайных
величин с конечными вторыми моментами, Sn =fi +... + £л. Согласно
задаче 2 из § 3 гл. III, если дисперсии D& равномерно ограничены, то имеет
место закон больших чисел:
5*-Е5*Д0, /ι->οο. (1)
η
Усиленным законом больших чисел называется утверждение, в
котором сходимость по вероятности в (1) заменяется сходимостью с
вероятностью единица.
Один из первых общих результатов в этом направлении дается
следующей теоремой.
Теорема 1 (Кантелли). Пусть £ι,ξ2, ... — независимые случайные
величины с конечным четвертым моментом такие, что для
некоторой константы С
E|i„-Ei„|4<C, /ΟΙ.

§3. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
541
Тогда при /ζ -»оо
^ψ^-^O (Р-п.н.). (2)
Доказательство. Не ограничивая общности, будем считать E£rt = 0,
п^ 1. По следствию к теореме 1 из § 10 гл. II для сходимости — —»0
(Р-п. н.) достаточно, чтобы для любого ε > 0
Σ'{|£Μ<~
В свою очередь, в силу неравенства Чебышева для этого достаточно
выполнения условия
Σι ς ι4
Ε — <оо.
Ι η Ι
Покажем, что при сделанных предположениях это условие действительно
выполнено.
Имеем
/=1 Ц 1ф]
i<j \фк
/<*
i<j<k<l Ιφ'ι
Учитывая, что Е& = 0, &</ζ, отсюда находим
ES<=£ Е#+ 6 £ Εξ?-Е^лС + б £ д/Е#.Е^
<nC+ 6η{η~ l) С = (3/z2 - 2/z)C < 3/z2C.
Следовательно,
Σ*(*)'<*Σά«»·
2. Привлечение более тонких методов позволяет существенно ослабить
предположения, сделанные в теореме 1, для справедливости усиленного
закона больших чисел.
Теорема 2 (Колмогоров). Пусть ξι, &» ··· —последовательность
независимых случайных величин с конечными вторыми моментами,

542
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
положительные числа Ьп таковы, что bn | оо и
Et<- <3>
Тогда
Sn — cS/i
Ьп
В частности, если
0ξη
О (Р-я.«.). (4)
Σ5<~. (5)
то
О (Р-п.н.). (6)
Sn -" соя
η
Для доказательства этой теоремы, а также нижеследующей теоремы 3
нам понадобятся два вспомогательные утверждения.
Лемма 1 (Теплиц). Пусть {αη)η^ι —последовательность неотри-
п
цательных чисел, ϋη = Σ at, b\ = α ι > 0 и bn | οο, η -»оо. Пусть также
{хп)п>\ — последовательность чисел, сходящаяся к некоторому
числу х. Тогда
1 п
_ Y^ajxj-^x. (7)
В частности, если ап = \, то
Х\ +...+Хп
>х. (8)
η
Доказательство. Пусть ε > О и /го = /*ο(ε) таково, что для всех η ^ /го
|jcrt - jc| ^ ε/2. Выберем П\>по так, что
1 "°
Тогда для п>п\
τηΣα>χ>--
/=1
1 ^ , ,. 1
= ^Σα/>/-*ι+^ Σ αΜί-χ\<
7=1 /=«ο+1
<^Σβ^-*Ι + έ Σ aMi-xl^ + ^^e. □
у=1 у=«о+1

§3. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
543
Лемма 2 (Кронекер). Пусть (Ьп)п^\ —последовательность
положительных возрастающих чисел, bn]oo, /z-»oo, и (хп)п^\
—последовательность чисел таких, что ряд Σ χη сходится. Тогда
νηΣϋιχι-*°> η^°°-
7=1
В частности, если Ьп — п, хп = — и ряд Σ — сходится, то
► О, /ζ->οο. (9)
η '-'η
У\+... + Уп
η
η
Доказательство. Пусть &о = 0, So = 0, Sn = Σ Xj. Тогда («суммиро-
7=1
вание по частям»)
η η η
Σ bJxi==^2 M^y -Sj-\) = bnSn -bpSp -У^ Sj-\{bj-bj-i)
7=1 7=1 /=1
и, значит (мы полагаем aj = bj — b}-.\),
1 n 1 n
^Σ^/=5"-^Σ5/-ι^7— 0,
/=1 /=1
так как если Sn —>x, то по лемме Теплица
- Y^Sf-xa^x. Π
7=1
Доказательство теоремы 2. Поскольку
S„-ES„ 1
/г=1
-i±-№)·
то в силу леммы Кронекера для выполнения (4) достаточно, чтобы (Р-п. н.)
сходился ряд Σ 5*——5*. Но этот ряд действительно сходится в силу
условия (3) и теоремы 1 из § 2. D
Пример 1. Пусть ξ\, &. ··· —последовательность независимых бер-
нуллиевских случайных величин с Ρ{ξη = \} = Ρ{ξη = —1} = 1/2. Тогда
поскольку Σ —τ~ < °°,то
η In и
S„
•Jn In η
•О (Р-п. н.). (Ю)

544
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
3. В том случае, когда величины ξ\, &. · · · не только независимы, но и к
тому же одинаково распределены, для справедливости усиленного закона
больших чисел нет надобности требовать (как в теореме 2) существования
второго момента, а достаточно лишь существования первого абсолютного
момента.
Теорема 3 (Колмогоров). Пусть £ь &» ··· —последовательность
независимых одинаково распределенных величин с Ε|ξι|<οο. Тогда
^->т (Р-/г.«.), (И)
η
где m = Eξι.
Для доказательства нам понадобится следующая
Лемма 3. Пусть ξ — неотрицательная случайная величина. Тогда
оо оо
я=1 /1=1
Доказательство дается следующей цепочкой неравенств:
оо оо оо
/1=1 /1=1 k^n k=\
оо оо
оо оо
k=0 k=0
оо оо оо
= ΣP{ξ>n} + ΣP{k<ξ<k+l} = ΣP{ξ>n}+^^ π
/1=1 k=0 /1=1
Доказательство теоремы 3. В силу леммы 3 и леммы Бореля—
Кантелли (§ 10 гл. II)
Е|£,|<оо & £Р{Ы>я}<оо *►
<* ΣΡ{|ί«Ι>Λ}<οο *► Ρ{\ξη\>η6.4.} = 0.
Поэтому с вероятностью единица для всех л, за исключением лишь
конечного числа, \ξη\ <η.
Обозначим
? [б*, \Ы<П,
ζΛ 10, \Ь\>пч

§3. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
545
и будем считать, что Εξη = 0, η ^ 1. Тогда ————Si __» q (Р-п. н.), если и
только если ————$£->0(Р-п.н.). Заметим, что, вообще говоря, ΕξηφО,
но
Εξη = ΕξηΙ(\ξη\<η) = ΕξιΙ(\ξι\<η)->Εξι=0.
Поэтому по лемме Теплица
и, следовательно, ————— —> 0 (Р-п. н.) в том и только том случае, когда
(Р-п.н.)
(1,-Е|,) + - + (|„-Е|и)
Обозначим ξη=ξη- Εξη. В силу леммы Кронекера для выполнения (13)
достаточно лишь установить, что ряд Σ — сходится (Р-п. н.). В свою
очередь, согласно теореме 1 из § 2, для этого достаточно показать, что
предположение E|fi| <оо обеспечивает сходимость ряда Σ —^-.
Следующая цепочка неравенств показывает, что это действительно так:
п- оо _-2 оо
я=1 /ι=1
оо оо я
=Σ ;?ек?/(к,|<Я)]=]г ^ χ; ε[€?/(α-1 <κιΐ<α)]=
/ί=1 /ί=1 /г=1
ОО ОО ОО
= 53 ΕΚ?/(Λ-ΚΚι|<Λ)1 5Ζ ^<2Σ ϊΕΚ?/(Λ-Κ|€ι|<Λ)Κ
Λ=1 n=k k=l
оо
<2j^E[|CI|/(ft-l<|ft|<ft)]=2E|iI|<oo. Π
k=\
Замечание 1. Утверждение теоремы допускает обращение в
следующем смысле. Пусть ξι, &» ··· — последовательность независимых
одинаково распределенных случайных величин, для которых с вероятностью
единица
η '
где С — некоторая (конечная) константа. Тогда Ε|ξι| < оо и С = Εξ\.

546
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
В самом деле, если — -»С (Р-п. н.), то
Π Π \ П J П—\
и, значит, P{|£rt|>rt б. ч.} = 0. По лемме Бореля—Кантелли (§ 10 гл. II)
ЕРШ>"}<оо
и в силу леммы 3 Ε|ξι|<οο. Тогда из доказанной теоремы следует, что
€ = Εζχ.
Таким образом, для независимых одинаково распределенных
случайных величин условие E|fi|<oo является необходимым и достаточным
для сходимости (с вероятностью единица) отношений Sn/n к конечному
пределу.
Замечание 2. Если математическое ожидание m = Efi существует, но
не обязательно конечно, то утверждение (9) теоремы также остается в силе.
В самом деле, пусть, например, Е£[~ < оо и Е£+ = оо. Для С > 0
положим
s£=£g/(6<c)·
/•=1
Тогда (Р-п. н.)
Но при С-»оо
Шп—>1!ш—= Е^/К!<С).
η п η п
Ε6/(£Κθ->Εξ,=οο,
поэтому — —>+оо (Р-п. н.).
Замечание 3. В теореме 3 утверждается сходимость — ->т (Р-п. н.).
Следует отметить, что здесь помимо сходимости с вероятностью единица
т
η
имеет место также и сходимость в среднем ί — —► т J, т. е. Ε
-»0, п—►оо. Это следует из эргодической теоремы 3 из § 3 гл. V. Но
в рассматриваемом случае независимых одинаково распределенных
случайных величин ξι, &. ··· и Srt=fi +& + ··· +6ι это может быть доказано
(задача 7) и непосредственно без обращения к эргодической теореме.
4. Остановимся на некоторых применениях усиленного закона
больших чисел.
Пример 2 (применение к теории чисел). Пусть Ω = [0, 1), SB — бо-
релевская система подмножеств Ω и Ρ — мера Лебега на [0, 1). Рассмотрим

§3. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
547
двоичное разложение α/ = 0,α/ια;2... чисел ω£Ω (с бесконечным
количеством нулей) и определим случайные величины ξ\(ω), &М, ..., полагая
ξη(ω) = ωη. Поскольку для любого /г> 1 и любых x\t ..., xnt принимающих
значения 0 или 1,
{ω: ξ\(ω)=χ\, ...,ξη(ω) = χη} =
Ι 2 22 2я ^ 2 2я 2я J *
то Р-мера этого множества равна 1/2". Значит, ξ\, &. ···
—последовательность независимых одинаково распределенных случайных величин с
P{£i=0> = Ptt, = l>=i.
Отсюда и из усиленного закона больших чисел вытекает следующий
результат Бореля: почти все числа интервала [О, 1) нормальны в том
смысле, что с вероятностью единица доля нулей и единиц в их
двоичном разложении стремится к 1/2, т. е.
^ £/(&=!)->£ (Р-П.Н.).
Пример 3 (применение к «методу Монте-Карло»). Пусть f(x)—
непрерывная функция, заданная на интервале [0, 1] и принимающая
значения из [0, 1]. Следующие рассуждения лежат в основе статистического ме-
1
тода численного вычисления интегралов § f(x)dx («метод Монте-Карло»).
о
Пусть £ь 771, &, 772, ··· —последовательность независимых случайных
величин, равномерно распределенных на [0, 1]. Положим
(1, если /(&)>77/,
О, если /(6К Vi-
Ясно, что
ι
Ep,=P{/(6)>77l} = 5/Wdx.
о
Согласно усиленному закону больших чисел (теорема 3),

548
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
1
Таким образом, численный подсчет интеграла § f(x) dx можно осуще-
о
ствлять с помощью моделирования пар случайных чисел (&, щ), /^ 1,
1 п
с последующим подсчетом величин А и - £3 Pi-
п i=\
Пример 4 (усиленный закон больших чисел для процесса
восстановления). Пусть N = (Nt)t^o — процесс восстановления, введенный
оо
в п. 4 § 9 гл. II: Nt=J2 /(7я<0. Тп = σ{ +... + σ„, где σι, σ2, ... — пос-
η=\
ледовательность независимых одинаково распределенных положительных
случайных величин. Будем сейчас предполагать, что μ = Εσ\ < оо.
В этом предположении для процесса N выполняется усиленный закон
больших чисел:
^--Д (Р-п.н.), /->оо. (14)
t μ ' '
Для доказательства заметим прежде всего, что поскольку Т^, ^ / < 7/γ,+ι,
/ ^ 0,\то в предположении Nt>0 справедливы неравенства
Ясно, что Nt =Nt{u>)-+oo (Р-п. н.), t —>оо. В то же самое время,
согласно теореме 3,
Π Π г· \ η
Поэтому также и
-ηφ—ν (Р-п-н.). л-оо,
а следовательно, из (15) заключаем, что (Р-п. н.) существует предел
lim —, равный μ, что и доказывает усиленный закон больших чисел (14).
t—>оо N(
5. Задачи.
оо
1. Показать, что Εξ2 <оо тогда и только тогда, когда £ ηΡ{\ξ\ >п}<
<оо.
2. Предполагая, что £i,&, ··· независимы и одинаково
распределено
ны, показать, что если Ε|ξι|α <оо для некоторого 0<а< 1, то -^ -»0
(Р-п.н.), и если Ε|ξι|^<οο для некоторого 1</3<2, то " ^ ' —>0
(Р-п.н.).

§3. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ
549
3. Пусть ξ\, &. ··· —последовательность независимых одинаково
распределенных случайных величин с E|fi| = oo. Показать, что для любой
последовательности констант {ап}
lim
5 I
—-α =оо (Р-п. н.).
η \
4. Будут ли все рациональные числа из [О, 1) нормальными (в смысле
примера 2 в п. 4)?
5. Привести пример последовательности независимых случайных
величин ξ\, &. ... таких, что предел lim — существует по вероятности, но не
п—*оо П
существует с вероятностью единица.
6. (Н. Этемади.) Показать, что утверждение теоремы 3 остается
справедливым, если «независимость» случайных величин £ι,ξ2» ··· заменить
их «попарной независимостью».
7. Показать, что в условиях теоремы 3 имеет место также и сходимость
15 I
в среднем (Е — - т -»О, η -»оо).
8. Пусть ξι, ^2, ... — независимые одинаково распределенные
случайные величины с E|fi|2<oo. Показать, что
"Ρ{|£ι|^εν//ζ}--»0 и 4=тах|&|Ао.
9. Рассмотрим десятинные разложения чисел α; = 0,α;ια;2... из
интервала [0, 1).
(a) Перенести на этот случай усиленный закон больших чисел, данный
в п. 4 для двоичных разложений.
(b) Показать, что рациональные числа не являются нормальными (по
Борелю), т. е. для них в десятичном разложении (&(о/) =о/ь k ^ 1)
- У^ А£*М = 07^ Тл (Р-п. н.) для любого / = 0, 1, ..., 9.
k=\
(c) Показать, что число о/ = 0,12345678910111213..., где подряд
выписываются все числа, является нормальным (см. пример 2).
10. (а) Пусть fi, &» ··· —последовательность независимых случайных
величин с Ρ{ξη = ±ηα}= 1/2. Показать, что для этой последовательности
закон больших чисел выполняется тогда и только тогда, когда а < 1/2.
(Ь) Пусть / = f(x) — ограниченная непрерывная функция на (0, оо).
Показать, что для всякого а > 0 и всех х> О
ΑΣ'(*+;)·-ίτ?;-«'+<*

550
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
11. Доказать, что усиленному закону больших чисел Колмогорова
(теорема 3) можно придать такой вид: пусть ζ\, &. · · · — независимые
одинаково распределенные случайные величины, тогда
Ε|ίι|<οο *> /z-'S,,-^, (Р-п.н.),
E|fi| = oo & lim n~lSn =+oo (Р-п.н.).
Доказать, что первое утверждение остается в силе, если независимость
заменить попарной независимостью.
12. Пусть ξ\, &» · · · — последовательность независимых одинаково
распределенных случайных величин. Показать, что
Ε sup— < оо <& Ε\ξ\\ 1η+|ξι|<οο.
п \ η \
13. Пусть Srt = £i +... + 61, п^ 1, где ξ\, &. ... —последовательность
независимых одинаково распределенных случайных величин с Εξι=0,
Ε|ξι| >0. Показать, что (Р-п. н.) lim /г_,/25л = оо, Hm n~x/2Sn = -oo.
14. Пусть Srt=£i +... + ξΛ, Ό 1. где ξι, &» ··· —последовательность
независимых одинаково распределенных случайных величин. Показать, что
для всякого а € (0, 1/2] выполнено одно из следующих свойств:
(a) /z-QSrt->oo (Р-п.н.);
(b) nr^Sn->-оо (Р-п.н.);
(c) lim n~aSn = оо, lim n~aSn = -оо (Р-п. н.).
15. Пусть Srt = £i +... + ξπ. Όΐ, So = 0, £ι,&, ···
—последовательность независимых одинаково распределенных случайных величин.
Показать, что:
(a) для любого ε > О
оо
Σ P{\Sn\>ne}<oo & Eft=0, Εξ?<οο;
/ι=1
(b) если Εξι < 0, то для ρ > 1
EfsupSnY'1 <oo & Ε(ξ+)ρ<οο;
(c) если Εξι =0 и 1 < ρ <2, то для некоторой константы Ср
оо оо
Σ P{maxSk>n}^CpE\b\>>, £ Pfex |5*1>л}<2СрЕ|е,|';
/ι=1 ^ л=1 ^
(d) если Εξι = 0, E£f < оо и Μ (ε) = sup(Srt - /ζε), ε > О, то
lim εΜ(ε) = σ2/2.

§4. ЗАКОН ПОВТОРНОГО ЛОГАРИФМА
551
§ 4. Закон повторного логарифма
1. Пусть f ι, &, · · · — последовательность независимых бернуллиевских
случайных величин с Ρ{ξη = 1} = Р{£Л = -1}= 1/2, Sn =ξ\ + ... + £„. Из
доказательства теоремы 2 в § 1 следует, что с вероятностью единица
Игл—£==+оо, Игл—^=-оо. (1)
у/П у/П
С другой стороны, согласно (9) § 3,
-тЩ—^О (Р-п.н.). (2)
Сравним эти два результата.
Из (1) следует, что с вероятностью единица траектории (Sn)n^\
бесконечное число раз пересекают «кривые» ±ву/пу где ε —любое
положительное число, но в то же самое время они в силу (2) лишь конечное число раз
выходят из внутренности области, ограниченной кривыми ±еу/п In п. Эти
два результата дают весьма полезную информацию о характере «размаха»
колебаний симметричного случайного блуждания {Sn)n^\. Приводимый
ниже закон повторного логарифма существенно уточняет эти представления
о «размахе» колебаний (Sn)n^\.
Введем такое
Определение. Функция φ* = φ*(η), /ι^Ι, называется верхней (для
(5rt)rt^i), если с вероятностью единица Sn^ip*(n) для всех /ζ, начиная с
некоторого η = /гоМ-
Функция φ* = φ*(η), /г^1, называется нижней (для (Sn)n^\)t если
с вероятностью единица Sn > φ+(η) для бесконечно многих п.
В соответствии с этим определением и в силу (1) и (2) можно сказать,
что каждая из функций φ* = ε>/η In /г, ε>0, является верхней, а функция
φ* = εу/п — нижней, ε > 0.
Пусть φ = φ(η) — некоторая функция и φ\ = (1 + ε) φ4 φ+ε = (1 - ε) φ4
где ε > 0. Тогда нетрудно видеть, что
о \ sup —τ—· ^ 1 + ε для всякого ε > 0 и некоторого ηΛε)\ *>
\т>п{{е) ¥>("*) J
Г0 ^ ,г , ν / ν для всякого ε>0 и всех тЛ /оч
«=> {Sm^(\ +ε)φ(ιη) / ч >. (3)
^ т ^ ν /γ-ν / начиная с некоторого /2ι (ε) J v '

552
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Точно так же
{■-даИ-Нада·]»1}*
о < sup —y^r ^ 1 - ε для всякого ε > 0 и некоторого П2(е) \
(Sm^(\ —ε)φ(ηι) для всякого ε>0 и для^
т
,{"т^<|}-1· <5>
«фф· < бесконечно многих значений т, начиная с у (4)
[некоторого яз(е) ^ /ΐ2(ε)
Из (3) и (4) вытекает, что для того, чтобы проверить, что каждая из
функций φ*ε — (\ +ε)φ, ε>0, является верхней, надо доказать, что
Г— Jn
φ(η)
А для того, чтобы доказать, что функции φ*ε = {\ —ε)φ, ε>0, являются
нижними, надо установить, что
2. Теорема 1 (закон повторного логарифма). Пусть ξ\, &» · · · —
последовательность независимых одинаково распределенных
случайных величин с Εξι = 0 и Εξ? = σ2>0. Тогда
ψ(η
где
^ж'1)-1· (7)
ф(п) = д/2а2/г In in /ζ. (8)
Для случая равномерно ограниченных случайных величин закон
повторного логарифма был установлен Хинчиным (1924 г.). В 1929 г.
Колмогоров обобщил этот результат на широкий класс независимых случайных
величин. В условиях, сформулированных в теореме 1, закон повторного
логарифма установлен Хартманом и Винтнером (1941 г.).
Поскольку доказательство этой теоремы довольно сложно,
ограничимся рассмотрением лишь частного случая, когда случайные величины ξη
являются нормально распределенными, £Л~«Ж(0, 1), п^ 1.
Начнем с доказательства двух вспомогательных результатов.
Лемма 1. Пусть ξι, ..., ξη — независимые случайные величины с
симметричным распределением (Р{& Efi} = P{-&Efi} для каждого
В е SB(R), k ^ ή). Тогда для любого действительного а
Р{ max Sk > а\ < 2P{Srt > а). (9)

§4. ЗАКОН ПОВТОРНОГО ЛОГАРИФМА
553
Доказательство. Положим Л* = {S,-^ α, ί ^ ft - 1; S* > а}, и пусть А =
= { max Sk>a\ и В = {Sn > а}. Поскольку на множестве Л* имеем Sn>a
(так как 5^<5rt), то
P(BnAk)>P(Akn{Sn>Sk}) = P(Ak)P{Sn>Sk} =
= Ρ(ΛΛ)Ρ{6+ι+...+6,>0}.
В силу симметричности распределений вероятностей случайных
величин ξι, ...,£„
P{6+i+... + f«>0} = P{6+i+... + i„<0}.
Поэтому Ρ{&+ι +... + ξη ^ 0} ^ 1/2 и, значит,
Ρ(θ»έ РИ*пв)>5 χ; РИ,)=1р(Л),
что и доказывает (9). (Ср. с доказательством в п. 3 § 2 гл. VIII.) D
Лемма 2. Пусть Sn ~«Ж(0, сг2(л)), σ2(/ζ) | оо и числа а(п), /г ^ 1, та-
а(п) „ ~
ковы, что —Н- -»оо, /г -»оо. 7огда
σ(/ζ)
Ρ{5Λ>α(Λ)}^-7^^"^· (Ю)
ν2πα(/ζ)
Доказательство следует из того, что при χ -»оо
л/2^ i * V2^x
а случайная величина Sn/a(n) ~ «Ж(0, 1).
Доказательство теоремы 1 (для & ~ *Ж(0, 1)). Установим сначала
соотношение (5). Пусть ε > О, А = 1 + ε, /ζ* = λ*, где ft > fto, a fto выбирается
так, чтобы In In fto был определен. Обозначим также
Ak — {Sn > λψ(η) для некоторого п е (я*, /**+i]}, (I I)
и пусть
A — {Ak б. Ч.} = {Sn > \ψ(η) для бесконечно многих п}.
В соответствии с (3) для доказательства (5) достаточно доказать, что
Р(Л) = 0.
Покажем, что Σ Р(Л*)<оо. Тогда по лемме Бореля—Кантелли (§ 10
гл. II) будем иметь Р(А) = 0.

554
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Из (11), (9) и (10) находим, что
P(Ak) <: P{Sn >Хф(пк) для некоторого ηе {nk, nk+\]}<,
^ P{Sn >\ip{nk) для некоторого η ^ nk+\)<,2P{S„fc+l > \ф(пк)}~
\(\<ф(пк)\2
j^je Η ν^ ; <C^-A,n,nA4C2^-A,n* = C2ft-A,
\/2π ^ι!γ
у/Ч
ОО
где С\ и Сг — некоторые константы. Но Σ k~x < оо, поэтому Σ P(Ak) <
k=\
<оо.
Итак, соотношение (5) доказано.
Перейдем к доказательству (6). В соответствии с (4) надо показать, что
для Α=1-ε, ε>0, с вероятностью единица 5п^Хф(п) для бесконечно
многих п. Применим доказанное соотношение (5) к последовательности
(Sn)n^\- Тогда получим, что для всех /г, за исключением, быть может,
конечного числа, (Р-п. н.) —Sn ^ 2ф(п). Следовательно, если /г* = /V*, /V > 1,
то для достаточно больших k
5«4„, ^-2^(λλ_ι),
или
5й4>У*-2^-,), (12)
где Yk = Snk -Snk_r
Поэтому, если доказать, что для бесконечно многих k
Ук>\ф(пк) + 2ф(пк-{), (13)
то вместе с (12) это даст, что (Р-п. н.) Snk > \ф{Пк) также для бесконечно
многих k. Возьмем некоторое λ'€ (λ, 1). Тогда можно найти такое /V > 1,
что для всех k
\'[2(Nk-Nk-{) In In Nk]x'2>\(2Nk In In Nk)x'2 + 2(2Nk-x In In Nk~l)l/2 =
= \φ{Ν*) + 2ψ(Ν*-1).
Теперь достаточно показать, что для бесконечно многих k
Yk>X'[2(Nk-Nk-l)lnlnNk]1'2. (14)
Очевидно, Ук~<Ж{0, Nk - Nk~l). Поэтому в силу леммы 2
P{Yk>\'[2(Nk-Nk-l)\n\nNk]l/2}~
! Р-(У)2 in in Nk > С\ h-i\')2 > с2
л/2^А'(2 In In W*)i/2 ' (In k)W ' k In k'

§4. ЗАКОН ПОВТОРНОГО ЛОГАРИФМА
555
Так как Σ , . , = оо, то, по второй части леммы Бореля—Кантелли, с
вероятностью единица для бесконечно многих k выполнено (14), что и
доказывает соотношение (6). D
Замечание 1. Применяя (7) к случайным величинам (—Sn)n^\*
находим, что (Р-п. н.)
Шп-^гт = -1. (15)
Из (7) и (15) следует, что закону повторного логарифма можно придать
также следующую форму:
р{шШ=1)=1- (,6)
Замечание 2. Закон повторного логарифма говорит о том, что для
любого ε>0 каждая из функций φ* = (1 +ε)ψ является верхней, а функция
фте = (1 - ε)φ — нижней.
Утверждение (7) закона повторного логарифма эквивалентно также
тому, что для всякого ε > О
P{|Srt|>(l-eW(/z)6.4.}=l,
P{\Sn\>(l+e)u(n) б.ч.) = 0.
3. Задачи.
1. Пусть ξι, Сг» ··· —последовательность независимых случайных
величин, £Л~«Ж(0, 1). Показать, что
P(iim -Д= = 1) = 1.
V2
2. Пусть ξι, &, ... — последовательность независимых случайных
величин, распределенных по закону Пуассона с параметром λ>0. Показать,
что (независимо от λ)
P{iJH£d£jp = 1} = 1.
3. Пусть ξι, ^2, ... — последовательность независимых одинаково
распределенных случайных величин с
Ее"*»*-!"", 0<а<2.
Показать, что

556
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
4. Установить справедливость следующего обобщения неравенства (9).
Пусть ξι, ..., ξη — независимые случайные величины, 5о = 0, Sk = €\ +
+... + ξ*. Тогда для всякого действительного а справедливо неравенство
Леей:
Pf max [5Λ + μ(5„ -Sk)] >a\ ^2P{Sn >a},
где μ(ξ) — медиана случайной величины ξ, т. е. такая константа, что
Ρ{ζ>μ(ζ))>^ Ρ{ζ<μ(ζ))>^
5. Пусть ξι, ..., ξη — независимые случайные величины и 5о = 0,
Sk = ξι + · · · + 6· Доказать, что:
(а) (в дополнение к задаче 4)
PJmax |5Λ + μ(5„-5Λ)|>α)^2Ρ{|5Λ|^α},
где μ(ξ) есть медиана случайной величины ξ;
(b}| если ξι, ...,ξη одинаково распределены и симметричны, то
1-е-яР«й1>*><р(тах |ξ*| >*) ^2Р{|5Л| >х}.
6. Пусть ξι, ..., ξη — независимые случайные величины с Εξ/=0,
1 ^ / < /г, и S* = ξι +... + ξ*. Показать, что
Р( max S*>a)^2P{Srt^e-E|Srt|} дляа>0.
7. Пусть ξι, ..., ξη — независимые одинаково распределенные
случайные величины, Εξ,^Ο, σ2 = Εξ2 <οο, 5Λ = ξι +... + ξΛ и |ξ/|^ С (Р-п. н.),
/ ^ п. Показать, что тогда
EexSa ^ехр{2~1 ηχ2σ2{\ + хС)} для всякого 0^х^2С~1.
При тех же предположениях установить, что если (ап) —
последовательность действительных чисел такая, что ап/у/п—>оо, но ап = о{п), то для
всякого ε > О и достаточно больших η
2
P{Srt>art}>exp{-^(l+e)}.
8. Пусть ξι, ..., ξη — независимые одинаково распределенные случай-
η
ные величины, Εξ/=0, Ιξ/I^C (Р-п. н.), i^n. Пусть Drt = JZ D£,·. Показать,
/=1
что для Sn—ξι +... + ξ/ί справедливо неравенство (Ю. В. Прохоров)
P{S„^a}^exp|-^ arcsin ^-}, aeR.

§5. СКОРОСТЬ СХОДИМОСТИ В У.З.Б.Ч.
557
§ 5. О скорости сходимости в усиленном законе
больших чисел и о вероятностях больших
уклонений
1. Обратимся к схеме Бернулли, рассмотренной в § 6 гл. I. Для этой
схемы теорема Муавра—Лапласа дает аппроксимацию для вероятностей
стандартных (нормальных) уклонений \Sn-np\^e^y т.е. отклонений
Sn от центрального значения η ρ на величину порядка у/п. В то же самое
время в том же § 6 гл. I была приведена оценка вероятностей для так
называемых больших уклонений \Sn —np\ ^ε/ζ, т. е. отклонений Sn от пр
порядка п:
Р{Ц-рЩ<2е-2-2 (1)
(см. формулу (42) в § 6 гл. I). Отсюда, конечно, следуют неравенства
Ρ№Η><}<Σ/{Ι£-'Μ
^Т-4^е-2^, (2)
^ .. . - 1-е-2*2
дающие определенное представление о скорости сходимости с вероятно-
Sn
стью единица величин — к р.
Рассмотрим теперь вопрос о справедливости формул типа (1), (2) в
несколько более общей ситуации, когда Sn = ξι +... + ξη — сумма
независимых одинаково распределенных случайных величин.
2. Говорят, что случайная величина ξ удовлетворяет условию
Крамера, если существует такая окрестность нуля, что для любого λ из этой
окрестности
Ε<?λξ<οο (3)
(можно показать, что это условие равносильно экспоненциальному
убыванию P{|£|>jt}).
Положим
φ(\) = ΕβΧξ и φ(\) = \ηφ{\). (4)
На внутренности множества
Λ = {λ€/?: ψ{Χ)<οο} (5)
функция ф(Х) является выпуклой (книзу) и бесконечно дифференцируемой.
При этом
^(0) = 0, ^(0) = т (= ЕО, V>"(A) > 0.

558
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Образуем функцию
//(a) = sup[aA-tf(A)]t aeR, (6)
λ
называемую преобразованием Крамера (функции распределения F =
= F(x) случайной величины ξ). Функция Н(а) также выпукла (книзу),
причем ее минимальное значение, равное нулю, достигается в точке а = т.
Если а > т, то
Н(а) = sup [аХ-ф(Х)].
λ>0
Поэтому
Ρ{ξ ^ а} ^ inf ΕβΧ{ξ~α) = inf e~[aX-^X)] = е~Н{а). (7)
S λ>0 λ>0 V
Точно так же Н(а) = sup [αλ-^(λ)] для акт и
λ<0
Ρ{ζ<α)^β'Η{αΚ (8)
Следовательно (ср. с (42) в § 6 гл. I),
Ρ{\ξ _ т\ ^ ε} <- 2е-тт{Н{т-етт+£)). (9)
Если ξ, ξι, ..., ξη — независимые одинаково распределенные
случайные величины, удовлетворяющие условию Крамера (3), Sn =ξ\ +... + ξη,
фп(Х) = In Еех%, ф(Х) = In Eex*t
Нп(а) = зир[а\-фп(\)Ъ (10)
λ
то
Ηη(α) = ηΗ(α) (=/z sup [αλ~ψ(\)])
λ
и неравенства (7), (8) и (9) принимают следующий вид:
р{^>а}^е-пН{а\ а>т, (И)
р{^^а}^е-пН{а\ а<т, (12)
р/|§1 - m\^>ε\ <-2г-пчпт«-е)Д«+е)}-я, (13)
Замечание 1. Результаты типа
р{|^~Н^}<ш?~*л' (14)

§5. СКОРОСТЬ СХОДИМОСТИ В УЗ.Б.Ч.
559
где а > О и Ь > О, говорят об экспоненциальной сходимости,
«регулируемой» константами а и Ь. В теории больших уклонений часто
соответствующие результаты формулируют в несколько иной, более «грубой» форме:
Шп - InP(| — -mbe)<0, (15)
η η U n I J '
вытекающей, разумеется, из (14) и говорящей об «экспоненциальной»
скорости сходимости, но без уточнения значений констант а и Ь.
Обратимся теперь к вопросу об оценках сверху вероятностей
p(sup%>4, p(inf %<α), p/Sup|^-m|>el,
которые могут давать определенное представление о скорости
сходимости в усиленном законе больших чисел.
Будем предполагать, что независимые одинаково распределенные
невырожденные случайные величины ξ, ξι, &, ··· удовлетворяют условию
Крамера (3).
Зафиксируем η ^ 1 и положим
x = ini<k^n: -ς >α|,
считая κ = оо, если -~ ^ a, k ^ п.
к
Пусть, далее, а и λ > 0 таковы, что
\α-\ηφ(\)}ϊΟ. (16)
Тогда
ρ{ζ>τ>α}=ρ(νβ>α})-ρ{5-ϊ>α·χ<~}=
= P{exs" > βΧακ, κ < оо} = P{exs"-*,η φ{Χ) > βκ{Χα~]η φ{Χ)\ κ < оо} ^
<ζ P{exs*-*,η ^(λ) > en{Xa~]n φ{Χ)\ κ < оо} ^
^ P/sup <?AS*"* ,η *(λ) ^ ^λ°-,η ν(λ»\. (17)
Чтобы сделать заключительный шаг, заметим, что последовательность
случайных величин
e\Sk-k In φ(Χ) £ > ι
относительно потока σ-алгебр &ц — σ{ζι»· · ·» Ы» * ^ К образует
мартингал. (Подробнее см. гл. VII и, в частности, пример 2 в § 1.)

560
ГЛ. IV. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Тогда из неравенства (8) в § 3 гл. VII вытекает, что
Ρ /SUD eXSk~k ,П ^(λ) ^ £«(λα-,η <Ρ(χ)) Ί ^ e-n(\a-\n φ(Χ))
Xk^n )
и, следовательно, (при условии (16)) получаем неравенство
p/sup ^>α\^β'η{Χα'[ηφ{Χ)). (18)
Пусть а>т. Поскольку функция /(λ) = αλ-1η φ(Χ) такова, что /(0) = 0,
/'(0)>0, то найдется λ>0, для которого выполнено (16), и, следовательно,
из (18) получаем: если а>т, то
( Я и 1 -я sup[Aa-ln φ(Χ)] „. ν
Pbup^>aU* λ>° =e-nH{a\ (19)
U^/ί * J
Аналогично, если а<т, то
inf 2t<aU* ><° =e-nH{a). (20)
Из (19) и (20) заключаем, что
p(sup|% -ml >ε) ^2е-т^Н{т'етт+£)]п. (21)
Замечание 2. Совпадение правых частей в неравенствах (И) и (19)
заставляет думать, что это обстоятельство не является случайным.
Действительно, объяснение кроется в том, что последовательности ( -jj-)
V k J n^k^N
при любых η ζ N образуют обращенные мартингалы (см. задачу 5 в § 1
гл. VII и пример 4 в § 11 гл. I).
3. Задачи.
1. Провести доказательство неравенств (8), (20).
2. Проверить, что на внутренности множества Λ (см. (5)) функция ф(Х)
является выпуклой книзу (и строго выпуклой, если случайная величина ξ
невырождена) и бесконечно дифференцируемой.
3. В предположении невырожденности случайной величины ξ доказать,
что функция Н(а) дифференцируема на всей прямой и является выпуклой
(книзу).
4. Доказать следующую формулу обращения для преобразования
Крамера:
ψ{\) = sup [\а-Н(а)]
а
(для всех λ, за исключением, быть может, концевых точек множества
Λ = {λ:ν>(Α)<οο}).

§ 5. СКОРОСТЬ СХОДИМОСТИ В У. 3. Б. Ч.
561
5. Пусть Srt=£i + ... + £rt, где ξι,..., ξη, Ο 1, —независимые
одинаково распределенные простые случайные величины с Εξ\ <0, Ρ{ξ\ >0}>0.
Пусть φ(Χ) = ΕβΧξι и inf <^(A)=p (0<p< 1).
Показать, что справедлив следующий результат (теорема Чернова):
lim ± InP{Srt^0} = Inp. (22)
η
6. Используя (22), показать, что в бернуллиевском случае {Ρ{ξ\ = 1} =
= р, Ρ{ξι =0} = д) при р<х< 1
lim i In P{Sn > nx) = -Я(х), (23)
η
где (ср. с обозначениями в § 6 гл. I)
H(x) = xln - + (1-х)1п ■}—ί·.
7. Пусть Sn =ξι +... + ξη, η > 1. где ξι, &. · · · — независимые одинаково
распределенные случайные величины с Εξι =0, Οξ\ = 1. Пусть (Jtrt)rt^i —
последовательность такая, что хп —> оо и -р —> 0 при /ζ —»оо.
Показать, что
где уп -»0, /г -» оо.
8. Вывести из (23), что в бернуллиевском случае (Ρ{ξ{ = \} = р,
Ρ{£ι=0} = ?)
(а) при ρ < χ < 1 и хп= п(х - р)
P{5rt^/2/7 + xrt} = exp{-/2W(p + ^)(l+o(l))}; (24)
b) при хп = any/npq с art -»оо, -р -» 0
γ/2
2
P{Srt^/zp+*rt} = exp{-^(l+o(l))}. (25)
Сопоставить (24) и (25) и сравнить их с соответствующими
результатами из § 6 гл. I.

Глава V
СТАЦИОНАРНЫЕ (В УЗКОМ СМЫСЛЕ) СЛУЧАЙНЫЕ
ПОСЛЕДОВАТЕЛЬНОСТИ И ЭРГОДИЧЕСКАЯ ТЕОРИЯ
§ 1. Стационарные (в узком смысле) случайные
последовательности. Сохраняющие меру преобразования 563
§ 2. Эргодичность и перемешивание 567
§ 3. Эргодические теоремы 570

Теория стационарных случайных последовательностей в узком смысле может
излагаться вне рамок теории вероятностей как теория однопараметрических
групп сохраняющих меру преобразований измеримого пространства с мерой на
нем\ она близко соприкасается с общей теорией динамических систем и эргоди-
ческой теорией.
Математическая энциклопедия, т. 5, стлб. 210 [121]
§ 1. Стационарные (в узком смысле) случайные
последовательности. Сохраняющие меру
преобразования
1. Пусть (Ω, «^, Ρ) — вероятностное пространство и ξ = (ξ\, &, · · ·) —
некоторая последовательность случайных величин, или случайная
последовательность. Обозначим в£ последовательность (&+i, 6+2, ...)·
Определение 1. Случайная последовательность ξ называется
стационарной (в узком смысле), если для любого k ^ 1 распределения
вероятностей θ^ξ и ξ совпадают:
Ρ{(ίι,6, ...)еВ} = Р{(б+1,&+2, ...)6fl}, Be®(R°°).
Простейшим примером такой последовательности ξ является
последовательность ξ = (ξι, &, ···)» состоящая из независимых одинаково
распределенных случайных величин. Отправляясь от такой
последовательности, можно сконструировать широкий класс стационарных
последовательностей 77=(771, 7J2, ...), если взять произвольную борелевскую функцию
g(*\, · · ·, Хп) И ПОЛОЖИТЬ 77* = gfa, 6+1. · · ·. &+«).
Если f = (£ь &, ···) — последовательность независимых одинаково
распределенных случайных величин с Ε|ξι|<οο и Εξ\ =m, то, согласно
усиленному закону больших чисел, с вероятностью единица
*'+- + fr-»m> п->оо.
η
В 1931 г. Биркгоф получил замечательное обобщение этого результата,
сформулировав его как теорему механики, относящуюся к поведению
«относительных времен пребывания» динамических систем, описываемых
дифференциальными уравнениями, допускающими интегральный
инвариант («консервативные системы»).
Вскоре (1932 г.) А. Я. Хинчин показал, что на самом деле теорема
Биркгофа допускает обобщение на более общий случай «стационарных
движений многомерного пространства в себе самом, оставляющих меру
множества неизменной».

564 ГЛ. V. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Наше последующее изложение результатов Биркгофа и Хинчина будет
вестись одновременно как в рамках теории «динамических систем», так и в
рамках теории «стационарных в узком смысле случайных
последовательностей».
При этом основной акцент будет делаться на «эргодические»
результаты этих теорий.
2. Пусть (Ω, «^, Ρ) — некоторое (полное) вероятностное пространство.
Определение 2. Отображение Τ пространства Ω в себя называется
измеримым, если для всякого А е &
Τ"ιΑ = {ω: ТшеА}е&.
Определение 3. Измеримое отображение Τ называется
сохраняющим меру преобразованием (морфизмом), если для всякого А е &
Р(Т~1А) = Р(А).
Пусть Τ — сохраняющее меру преобразование, Тп — его /г-я степень
и ξι =ζξι(ω) — некоторая случайная величина. Положим ξη(ω) = ξ\{Τη~ιω),
η^2, и рассмотрим последовательность £ = (£ь &» ···)· Мы утверждаем,
что эта последовательность является стационарной.
В самом деле, пусть Α = {ω: ξΕΒ}, Αχ ={ω: θ\ξΕΒ}9 где BeSS{R°°).
Тогда ω€Α\ в том и только том случае, когда Τω€Α, т.е. А\ = Т~1А.
Но Р(Т~1А) = Р(А), и поэтому Р(А\) = Р(А). Аналогичным образом
P(Ak) = Ρ (А) для любого Ak = {ω: 0*f G β}, * ^ 2.
Итак, введение сохраняющего меру преобразования дает возможность
построения стационарных (в узком смысле) случайных
последовательностей.
В определенном смысле верен и обратный результат: для каждой
стационарной последовательности ξ, рассматриваемой на (Ω, &', Р), можно
указать новое вероятностное пространство (П, #, Р), случайную величину
ξ\(ώ) и сохраняющее меру преобразование Τ такие, что распределение
случайной последовательности ξ = {ξ\(ω)> ξ\(Τώ), ...} совпадает с
распределением последовательности ξ — {ξ\(ω), &Μ, ...}.
Действительно, возьмем в качестве U «координатное» пространство
/?°° и положим # = ^(/?°°), Ρ = Ρξ, где Ρξ(Β) = Ρ{ω: ξβΒΙ В e@(R°°).
Преобразование Τ, действующее в Ω, определим по формуле Т(х\, *2, ...) =
= (*2, *з> · · · )· Положим также для ώ — (х\, Х2, ...)
Пусть теперь Α = {ώ: (хи ..., xk) eB}y Be@(Rk) и Τ'ιΑ = {ώ: (х2у ...
..., Xk+\)€B}. Тогда в силу стационарности
Ρ(Α) = Ρ{ω: (ξχ,...,ξύεΒ) = Ρ{ω: (&, ..., ξΜ)εΒ) = Ρ(Τ-ιΑ),

§ 1. СОХРАНЯЮЩИЕ МЕРУ ПРЕОБРАЗОВАНИЯ
565
т.е. Τ — сохраняющее меру преобразование. Поскольку Ρ{ά>: (ξι, ...,&)Ε
€β} = Ρ{α;: (ξι, ..., &)Gfi} для любого ky то отсюда следует, что
распределения ξ и ξ совпадают.
Приведем примеры сохраняющих меру преобразований.
Пример 1. Пусть Ω = {ω\> ...,α/Λ} — множество, состоящее из
конечного числа точек, η ^ 2, & — все его подмножества, Τω\ = ω,+ι, 1 ^ / < η — 1,
и 7α;Λ =α;ι. Если Ρ(α;/) = 1//ζ, то Г — сохраняющее меру преобразование.
Пример 2. Если Ω = [О, 1), & = Щ[0, 1)), Ρ-мера Лебега, AG [О, 1),
то Тх = (х + A) mod 1 является сохраняющим меру преобразованием.
Остановимся на физических предпосылках, приводящих к изучению
преобразований, сохраняющих меру.
Будем представлять себе Ω как фазовое пространство состояний ω
некоторой системы, эволюционирующей (в дискретном времени) в
соответствии с заданным законом движения. Тогда, если ω есть состояние в
момент п— 1, то Τηω, где Τ — оператор сдвига (индуцируемый данным
законом движения), есть то состояние, в которое перейдет система через
η шагов. Далее, если А — какое-то множество состояний о/, то Т~1А =
= {ω: Τω€Α} есть по своему определению множество тех «начальных»
состояний о/, которые через один шаг окажутся в множестве А.
Поэтому, если интерпретировать Ω как «несжимаемую жидкость», то условие
Р(Т~1А) = Р(А) можно рассматривать как вполне естественное условие
сохранения «объема». (Для классических консервативных гамильтоновых
систем известная теорема Лиувилля утверждает, что соответствующее
преобразование Τ является преобразованием, сохраняющим меру Лебега.)
3. Одним из первых результатов относительно преобразований,
сохраняющих меру, была следующая теорема Пуанкаре (1912 г.) о
«возвратности».
Теорема. Пусть (Ω, β', Ρ) — некоторое вероятностное прост-
ранствоу Τ — преобразование, сохраняющее меру, и Ае&. Тогда
ТпшеА для бесконечно многих п^ 1 для почти каждой точки ω€Α.
Доказательство. Обозначим С = {шеА: Τηω£Α для всех /г^1}.
ПосколькуСп7,-лС = 0длялюбого/г^1,то7,-тСп7,-(т+л)С = 7,-т(СП
ПТ~пС) = 0. Таким образом, последовательность {Т~ПС} состоит из
непересекающихся множеств, Ρ-мера которых одна и та же. Поэтому
Σ Р(С)= Σ Ρ(7,"λΟ<Ρ(Ω)=1 и, следовательно, Р(С) = 0. Таким
образом, для почти каждой точки ωζΑ, по крайней мере для одного
п^ 1, ТпиеА. Выведем отсюда, что тогда и для бесконечно многих п^ 1
Применим предшествующий результат к преобразованиям Tkt k^l.
Тогда для каждой точки ω Ε Α \ /V, где /V — множество нулевой вероятно-

566 ГЛ. V. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
сти, являющееся объединением соответствующих множеств, отвечающих
разным й, найдется такое л^, что (Тк)Пкше А. Отсюда, разумеется, следует,
что ТпшеА для бесконечно многих п. Π
Следствие. Пусть f (о/) ^ 0. Тогда на множестве {ω: ξ(ω) > 0}
оо
^ξ(Τ"ω) = οο (Р-п.н.).
k=Q
В самом деле, пусть Ап = \ω: ξ(ω) ^ - \. Тогда, согласно теореме, на
η
множестве Ап Σ f(r*a/) = oo (Р-п. н.), и требуемый результат следует,
k=0
если положить η —> оо.
Замечание. Теорема сохраняет свою силу, если вместо вероятностной
меры Ρ рассмотреть любую конечную меру μ, μ(Ω) < оо.
4. Задачи.
1. Пусть Г —сохраняющее меру преобразование и ξ=ξ(ω) — случайная
величина такая, что существует математическое ожидание Ef (а/).
Показать, что £f (α/) = Εξ(Τω).
2. Показать, что в примерах 1 и 2 преобразования Τ являются
преобразованиями, сохраняющими меру.
3. Пусть Ω= [0, 1), «^ = ^([0, 1)) и Ρ — некоторая мера с непрерывной
функцией распределения. Показать, что преобразования Тх = \х, 0<λ< 1,
и Тх = х2 не являются преобразованиями, сохраняющими меру.
4. Пусть Ω — множество всех последовательностей а/ = (..., α/_ι, а/о,
а/1, ...) действительных чисел, & — σ-алгебра, порожденная измеримыми
цилиндрами {о/: (о/^, ..., o/^+rt_i)Gfirt}, где п= 1, 2, ..., й = 0, ±1, ±2, ...
и множество Bne38(Rn). Пусть Ρ — вероятностная мера на (Ω, <^) и
двустороннее преобразование Τ определено формулой
Γ(...,α/_ι,α/0, а/ь ...) = (..., а/0, а/ь а;2, ...).
Показать, что Τ является сохраняющим меру преобразованием в том и
только том случае, когда
Р{а/: (а/0, ...,o/rt_1)Gfirt} = P{o/: (а/*, ..., α/*+Λ_ι) £#«}
для всех п= 1,2, ..., £ = 0, ±1, ±2, ... и BneSS(Rn).
5. Пусть fo.fi. ··· —· некоторая стационарная последовательность
случайных элементов со значениями в борелевском пространстве S (см.
определение 9 в § 7 гл. II). Показать, что можно построить (быть может, на
расширении исходного вероятностного пространства) случайные элементы
f_i, f_2, ... со значениями в S такие, что двусторонняя
последовательность ..., f_i, fo, fi, ... будет стационарной.

§2. ЭРГОДИЧНОСТЬ И ПЕРЕМЕШИВАНИЕ
567
6. Пусть Τ — сохраняющее меру преобразование на (Ω, β, Р) и S есть
π-система подмножеств Ω, порождающая & (π(&) = &). Доказать, что
если равенство Р(Т~1а) = Р(А) верно для А Q.S, то оно верно и для А е#
7. Пусть Τ — сохраняющее меру преобразование на (Ω, β", Ρ) и <3 —
под-сг-алгебра &. Показать, что для каждого А е β
Ρ(Α\&)(Τω) = Ρ(Τ-[Α\Τ-[&)(ω) (Р~п. н.). (1)
В частности, пусть Ω = /?°° — пространство числовых
последовательностей ω = (ωο, α/ι, ...) и ξ^(ω)=ω^ Пусть Τ — преобразование сдвига:
Τ(ωο,ω{, ...) = (α>ι,α/2, .) (иначеговоря,если^(а;)=а;^,то^(7,а;)=а;^+1).
Тогда равенство (1) приобретает вид
Р(А \ξη)(Τω) = Ρ(Τ~ιΑ\ξη+ι)(ω) (Р-п. н.).
8. Пусть Τ — некоторое измеримое преобразование на (Ω, β) и & —
множество всех вероятностных мер Р, относительно которых Τ является
сохраняющим Р-меру преобразованием. Показать, что:
(a) множество & выпукло;
(b) Τ является эргодическим преобразованием относительно меры Ρ
в том и только том случае, когда Ρ есть крайняя точка множества &
(т. е. не может быть представлена в виде Ρ = λι Ρ ι + λ2Ρ2 с λι > 0, λ2 > О,
Αι+Α2=1,Ρΐ7*Ρ2 иРь P2G<^).
§ 2. Эргодичность и перемешивание
1. На протяжении всего данного параграфа будем через Τ
обозначать сохраняющее меру преобразование, действующее на вероятностном
пространстве (Ω, β, Ρ).
Определение 1. Множество Ае& называется инвариантным, если
Т~~ХА =А. Множество А е^ называется почти инвариантным, если А
и Г"1 Л отличаются на множество меры нуль, т. е. Р(А Δ Γ"1 Л) = 0.
Нетрудно проверить, что класс инвариантных (почти инвариантных)
множеств У (соответственно У*) образует σ-алгебру.
Определение 2. Сохраняющее меру преобразование Τ называется
эргодическим (или метрически транзитивным), если каждое
инвариантное множество А имеет меру нуль или единица.
Определение 3. Случайная величина η = η(ω) называется
инвариантной (почти инвариантной), если η(ω) = η(Τω) для всех ωζΩ (для
почти всехсиеО,).
Следующая лемма устанавливает связь между инвариантными и почти
инвариантными множествами.

568 ГЛ. V. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Лемма 1. Если А является почти инвариантным множеством,
то найдется такое инвариантное множество В, что Р(А А£) = 0.
Доказательство. Пусть fi = lim Т'пА. Тогда Т'1В = \\т Т'{п+1)А = В,
оо
т.е. Be У. Нетрудно убедиться в том, что Α Δ В С (J (Г~М Δ Г"(*+1)Л).
*=о
Но Р(Г-М Δ Г-(*+|М) = РИ Δ Γ-Μ) = 0. Поэтому Р(Л Δβ) = 0. D
Лемма 2. Преобразование Τ эргодично тогда и только тогда,
когда каждое почти инвариантное множество имеет меру нуль или
единица.
Доказательство. Пусть А еУ*. Тогда по лемме 1 найдется
инвариантное множество В такое, что Р(ААВ) = 0. Но Т эргодично и, значит,
Ρ(β) = 0 или 1. Поэтому Р(Л) = 0 или I. Обратное очевидно, поскольку
УСУ*. D
Теорема 1. Пусть Τ — сохраняющее меру преобразование.
Следующие условия эквивалентны:
(1) Τ эргодично-,
(2) каждая почти инвариантная случайная величина есть
константа (Р-п. «.);
(3) каждая инвариантная случайная величина есть константа
{Р-п. «.).
Доказательство. (1) => (2). Пусть Τ эргодично и ξ почти
инвариантна, т.е. (Р-п. н.) ξ(ω) = ξ(Τω). Тогда для любого ceR
множество Ас = {ш\ £(<jj)^c}ey* и по лемме 2 Р(Лс) = 0 или 1. Пусть С =
= sup{c: Р(Ас) = 0}. Поскольку Лс | Ω при с|оо и Ас[0 при d—оо, то
|С|<оо. Тогда
Ρ{ω:ξ(ω)<0 = ρ(ΐ) [ξ(ω) <С- ±} J =0
и аналогично Ρ {ω: ξ(ω) > С} = 0. Тем самым Ρ {ω: ξ{ω) = С} = 1.
(2) => (3). Очевидно.
(3) => (1). Пусть АеУ, тогда U —инвариантная случайная величина
и, значит, (Р-п. н.) Ια =0 или Ια = 1, откуда Р(Л) = 0 или 1. D
Замечание. Утверждение теоремы остается в силе и в том случае,
когда рассматриваемые в ней случайные величины ограничены.
В качестве иллюстрации применения этой теоремы рассмотрим такой
Пример. Пусть Ω = [0, 1), & = Щ[0, 1)), Ρ — мера Лебега и Τω =
= (α/ +λ) mod 1. Покажем, что Т эргодично в том и только том случае,
когда λ иррационально.
Пусть ξ = ξ(ω) — инвариантная случайная величина с Е£2(а;)<оо. Из-
вестно, что ряд Фурье Σ cne2ninu; функции ξ(ω) с Εξ2(ω) < оо сходится в

§2. ЭРГОДИЧНОСТЬ И ПЕРЕМЕШИВАНИЕ
569
среднеквадратическом смысле, J2 \сп\2<оо. Поскольку Τ — сохраняющее
меру преобразование (пример 2 § 1), то (задача 1 § 1) в силу
предполагаемой инвариантности случайной величины ξ = ξ(ω) находим, что
сп = Εξ(ω)β-27Γίηω = Εξ(Τω)β-2πίηΤω = β'2πιηΧΕξ(Τω)β-2ηίηω =
= β'2ηίηΧΕξ(ω)β-27Γίηω = cne'2ninX.
Поэтому сп(\ — е~2пшХ) = 0. По предположению λ иррационально и,
значит, для всех η Φ 1 e~2ninX φ 1. Поэтому сп = О, η φ 1, ξ(ω) = cq (Ρ-π. η.) и
по теореме 1 преобразование Τ эргодично.
С другой стороны, пусть λ рационально, т. е. \ = k/m, где k и т —
целые. Рассмотрим множество
г к . ^ к+\\
A={J{
2m ^ 2m
Ясно, что это множество является инвариантным, но Р(А) = 1/2.
Следовательно, Τ не эргодично.
2. Определение 4. Сохраняющее меру преобразование Τ называется
перемешиванием (обладающим свойством перемешивания), если для
любых Л, В е&
lim Р(АГ)Т-пВ) = Р(А)Р(В). (1)
п-+оо
Следующая теорема устанавливает связь между эргодичностью и
свойством перемешивания.
Теорема 2. Всякое преобразование 7\ обладающее свойством
перемешивания, является эргодическим.
Доказательство. Пусть Ае&, β € У. Тогда В = Т~пВ, η ^ 1, и,
значит, Р(Л Π Г~ЛВ) = Р(ЛПВ) для всех η > 1. В силу (1) Р(АпВ) = Р{А)Р(В).
Поэтому при А —В находим, что Ρ(β) = Ρ2(5), и, следовательно, Ρ(β) = 0
или 1. D
3. Задачи.
1. Показать, что случайная величина ξ является инвариантной тогда и
только тогда, когда она У-измерима.
2. Показать, что множество А является почти инвариантным тогда и
только тогда, когда Р(Т~[А\А) = 0.
3. Показать, что преобразование Τ есть перемешивание в том и только
том случае, когда для любых двух случайных величин ξ и η с Εξ2 < оо,
Е772<оо
Εξ(Τηω)η(ω) -> Εξ(ω) Εη(ω), n -> оо.

570 ГЛ. V. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
4. Привести пример сохраняющего меру эргодического
преобразования, которое не является перемешиванием.
5. Пусть Τ — сохраняющее меру преобразование на (Ω, <^\ Р). Пусть
л^ —алгебра подмножеств Ω и a(sf) = &. Предположим, что
определение 4 предполагает выполнение свойства
Игл Р{АГ\Т-ПВ) = Р(А)Р(В)
п—*оо
лишь для множеств А и В из я/. Показать, что тогда это свойство будет
выполнено и для всех Л и β из & = а(я/) (и, следовательно,
преобразование Τ есть перемешивание).
Показать, что утверждение остается справедливым, если si является
π-системой такой, что π(^) = <^".
6. Пусть А является почти инвариантным множеством. Показать, что
ω€Α (Р-п. н.), если и только если ΤηωΕΑ для всех п — 1, 2, ... (Ср. с
теоремой в § 1.)
7. Привести пример сохраняющих меру преобразований Τ на (Ω, <^, Р),
для которых: (а) из того, что А е &, вовсе не следует, что ТА е &\ (Ь) из
того, что А е & и ТА е &, вовсе не следует, что Р(А) = Р(ТА).
§ 3. Эргодические теоремы
1. Теорема 1 (Биркгоф и Хинчин). Пусть Τ — сохраняющее меру
преобразование и ξ = ξ{ω) —случайная величина с Ε\ξ\ <οο. Тогда
п-\
Если к тому же Τ эргодично, то
п-\
Bmi£e(7*a;) = Ei (Р-п.н.). (2)
Приводимое ниже доказательство существенно опирается на
следующее предложение, простое доказательство которого было найдено А. Гар-
сиа (1965 г.).
Лемма (максимальная эргодическая теорема). Пусть Τ —
сохраняющее меру преобразование, ξ — случайная величина с Е|£|<оо и
8„(ω)=ξ(ω) + ξ(Τω) + ... + ξ(Τ"-ιωΙ
M*(a;) = max{0, 51 (α;), ..., Sk{u)}.

§3. ЭРГОДИЧЕСКИЕ ТЕОРЕМЫ
571
Тогда для любого η ^ 1
Ε[ξ(ω)Ι{Μη>ο}(ω)]>0.
Доказательство, Если n>ky то Mn(Tu)^Sk(TJ) и, значит, ξ{ω) +
+ Μη(Τω)^ξ(ω) + 5ιι(Τω) = 5ιι+\{ω). Так как очевидно, что ξ(ω)^5\(ω)-
-Μη(Τω), то
ζ(ω) > max{5, (α;) 5„Μ} - ΛΜ7ϋ/).
Значит, поскольку {Μη{ω) > 0} = {max(5i(α;), ..., Srt(o/)) > 0}, то
Ε[ξ(ω)Ι{Μη>0}(ω)] ^ E[(max(Si(a;), ..., 5«Μ) -Μη(Τω))Ι{Μη>0}(ω)] ^
> Ε{(Μη(ω) - Μη(Τω))Ι{Μη(ω)>0)} > Ε{Μη(ω) - Μη(Τω)} = 0,
где мы воспользовались тем, что если Τ — сохраняющее меру
преобразование, то ΕΜη(ω) = ΕΜη(Τω) (задача 1 из § 1). D
Доказательство теоремы. Будем предполагать Е(£|У) = 0 (в
противном случае от ξ надо перейти к ξ — Ε(ξ\*?)).
5« Sn
Пусть 77 = lim — и 77=1ип —· Для доказательства достаточно
установить, что (Р-п. н.)
Рассмотрим случайную величину 77 = 77(0/). Поскольку η(ω) = η(Τω), то η
инвариантна и, следовательно, для каждого ε > 0 множество Αε = {η(ω) > ε}
также является инвариантным. Введем новую случайную величину
ξ*(ω) = (ξ(ω)-ε)ΙΑε(ωΙ
и пусть
3ί(ω) = ξ*(ω) + ...+ξ*(Τ*-ιω)9 AfJM = max(0f Sf 5,*).
Тогда, согласно лемме, для любого п ^ 1
Ε[ξ*/{Λί*>0}]^0.
Но при /ζ—»оо
{Af*>0} = | max S*k >6\ T /sup S*k >0\ = (sup §· >θ) =
= <sup -^>ε>Π/1ε = /4ε,
где последнее равенство следует из того, что sup -£ ^77, а Αε = {ω: η>ε).

572 ГЛ. V. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Далее, Ε\ξ*\ ^ Ε\ξ\ + ε. Поэтому по теореме о мажорируемой
сходимости
Итак,
0<Ε[ξΊΑ,] = Ε[(ξ-ε)ΙΑ,} = Ε[ξΙΑ,]-εΡ(Αε) =
= E[E£\J?)IAt) -εΡ{Αε) = -εΡ(Αε),
откуда Р(Л£) = 0 и, значит, Р{77<0} = 1.
Аналогично, рассматривая вместо ξ(ω) величину — ξ(ω), найдем, что
Ш( Sn
(4)-Иш^-^
и Р{—?7^0}= 1, т. е. Р{77^0}= 1. Тем самым 0^77^77^0 (Р-п. н.), что и
доказывает первое утверждение теоремы.
Для доказательства второго утверждения достаточно заметить, что
поскольку Ε(ξ|У) — инвариантная случайная величина, то в эргодическом
случае Ε(ξ\^) = Εξ (Р-п. н.). G
Следствие. Сохраняющее меру преобразование Τ эргодично в
том и только том случае, когда для любых А, Ве&
п-\
lim i Σ рИ Π T-kB) = P(A)P(B). (3)
k=Q
Для доказательства эргодичности Т положим в (3) А = ВеУ. Тогда
А П T~kB = В и, значит, Ρ (β) = Ρ2(β), т. е. Ρ (β) = 0 или 1. Обратно, пусть Τ
эргодично. Тогда, применяя (2) к случайной величине ξ = 1вМ, где Ве&,
найдем, что (Р-п. н.)
Г'1
Ит±£/Г-*ВМ = Р(В),
k=0
откуда, интегрируя обе части по множеству А € & и используя теорему о
мажорируемой сходимости, получаем требуемое соотношение (3).
2. Покажем теперь, что в условиях теоремы 1 в (1) и (2) имеет место
сходимость не только почти наверное, но и в среднем. (Этот результат
будет использован далее в доказательстве теоремы 3.)
Теорема 2. Пусть Τ — сохраняющее меру преобразование и
ξ = ξ(ω) — случайная величина с Ε\ξ\ < оо. Тогда
ι""1
±Σ,ξ(Τ*ω)-Ε(ξ\*)
*=о
•О, п-юо. (4)

§3. ЭРГОДИЧЕСКИЕ ТЕОРЕМЫ
573
Если к тому же Τ эр годично, то
п-\
ΐ£ξ(7·*α;)-Εξ
*=0
► О, η -»оо.
(5)
Доказательство. Для всякого ε > О можно найти такую
ограниченную случайную величину η {\η{ω)\ ^ М)у что Ε\ξ - 7?| ^ε. Тогда
/1-1
*=о
\ ^&Ткш)-Е£\АЫ± Σ(ξ(Τ*ω)-η(Τ*ω))
/i-l
*=0
+
+ Е
/i-l
i $>(Γ*α/)-E(v\S))
k=0
+ Ε|Ε(ξ|»-Ε(ΐ7|^)|. (6)
Поскольку |т7| < Αί, то по теореме о мажорируемой сходимости и в силу (1)
находим, что второй член в правой части (6) стремится к нулю при /г—»оо.
Что же касается первого и третьего членов, то каждый из них меньше или
равен ε. Поэтому для достаточно больших п левая часть в (6) меньше 2ε,
что и доказывает (4). Наконец, если Τ эргодично, то (5) следует из (4) и
того замечания, что Ε(ξ \ J) = Εξ (Р-п. н.). D
3. Перейдем теперь к вопросу о справедливости эргодической
теоремы для стационарных (в узком смысле) случайных
последовательностей £ = (&, &» ..·), заданных на некотором вероятностном пространстве
(Ω, <^, Р). Вообще говоря, на (Ω, «^, Ρ) может и не существовать
сохраняющее меру преобразование, так что непосредственное применение
теоремы 1 невозможно. Однако в § 1 отмечалось, что можно построить
(координатное) вероятностное пространство (Ω, «^, Ρ), случайную
последовательность |= (ξι, &, · · ·) и сохраняющее меру преобразование Τ такие,
что ξη(ώ)=ξ\ (Τ~[ώ) и по распределению ξ и ξ совпадают. Поскольку такие
свойства, как сходимость почти наверное и в среднем, определяются лишь
1 п - ~
распределениями вероятностей, то из сходимости - Σ £\(Tk~xa) (Р-п. н.
п k=\
1 п
и в среднем) к некоторой случайной величине η следует, что - Σ &Μ
также сходятся (Р-п. н. и в среднем) к некоторой случайной величине η
такой, что η=ή. Из теоремы 1 следует, что если Ε\ξ\ \ <оо, то ή=Ε(ξ\ \β), где
^—совокупность инвариантных множеств (Ё —усреднение по мере Р).
Опишем структуру величины η.
Определение 1. Множество Ае# будем называть инвариантным
по отношению к последовательности ξ, если найдется такое множество

574 ГЛ. V. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
В е ^(/?°°), что для любого η ^ 1
Α={ω: (ξη,ξη+u ...)еВ}.
Совокупность таких инвариантных множеств образует σ-алгебру, которую
обозначим ./ξ.
Определение 2. Стационарная последовательность ξ называется
эргодической, если мера любого инвариантного множества принимает
лишь два значения 0 или 1.
Покажем, что случайная величина ту, являющаяся пределом (Р-п. н. и в
1 п
среднем) величин - £ ξ*(ω), п~>0°, может быть взята равной Ε{ξ\ |^).
п k=\
С этой целью заметим прежде всего, что, конечно, можно полагать
rt
— 1
i7M = Hmi 2&И. (7)
Из определения lim следует, что для определенной таким образом величины
η(ω) множества {α/: η(ω) <у}> #€/?, являются инвариантными и, значит, η
I J n-\
^-измерима. Далее, пусть А € J$. Тогда, поскольку Ε
то для 77, определенной формулой (7),
О,
•рмулой (7),
k=\ A A
Пусть Be@(R°°) таково, что А = {ω: (&, &+ь ...)€fi} для любого k^ 1.
Тогда в силу стационарности ξ
A {u,:(tk£k+l,...)€B} {ω:(ξι,ξ2,.)€Β} A
Поэтому из (8) следует, что для любого Α Ε *?ξ выполнено равенство
А А
означающее (см. формулу (1) в § 7 гл. II), что (^-измеримая) величина
η = Ε(ξ\ |*/ξ). При этом Ε(ξ\ |^) = Efi, если последовательность ξ
является эргодической.
Итак, доказана
Теорема 3 (эргодическая теорема). Пусть ξ = (ξι,ξ2ι ..^ —
стационарная (в узком смысле) случайная последовательность с Ε\ξ\\ <οο.

§3. ЭРГОДИЧЕСКИЕ ТЕОРЕМЫ
575
Тогда (Р-лг. н. и в среднем)
Если к тому же ξ — эргодическая последовательность, то (Р-п. н.
и в среднем)
Ит !£&<"> = Е&.
4. Задачи.
1. Пусть ξ=:(ξι,ξ2, ...) — гауссовская стационарная
последовательность с Е£я = 0 и ковариационной функцией /?(/ι) = Εξ*+„&. Показать, что
условие R(n) -»0 является достаточным для того, чтобы сохраняющее меру
преобразование, соответствующее последовательности ξ, было
перемешиванием (и, следовательно, являлось эргодическим).
2. Показать, что для всякой последовательности £ = (£ь£2, ...).
состоящей из независимых одинаково распределенных случайных величин,
соответствующее сохраняющее меру преобразование является
перемешиванием.
3. Показать, что стационарная последовательность ξ эргодична в том
и только том случае, когда для любого BeS§(Rk), k= 1, 2, ...,
^έ/β®.·...6+*.ι)-Ρ{(ίι.···.ω€β} (Ρ-π. н.).
4. Пусть на (Ω, &) заданы две вероятностные меры Ρ и Р,
относительно которых сохраняющее меру преобразование Τ является эргодическим.
Доказать, что тогда или Ρ = Р, или Ρ ± Р.
5. Пусть Τ — сохраняющее меру преобразование на (Ω, &, Р) и ^ —
алгебра подмножеств Ω такая, что σ(&/) = &. Пусть
k=Q
Доказать, что преобразование Τ эргодично в том и только том случае,
когда выполнено хотя бы одно из следующих условий:
(a) 1{Ап) Д Р(А) для любого А € tf\
(b) lim - £ Р(Л Π Τ-*Β) = Р(Л) Ρ(β) для всех Л, В е s*\
п k=o
(c) /{Ап) Д Р(А) для любого А € Р.

576 ГЛ. V. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
6. Пусть Τ — сохраняющее меру преобразование на (Ω, <^\ Р).
Доказать, что это преобразование эргодично (относительно меры Р) тогда и
только тогда, когда на (Ω, &) не существует меры Ρ Φ Ρ такой, что Ρ <С Ρ
и преобразование Τ относительно этой меры Ρ является сохраняющим
меру преобразованием.
7. (Бернуллиевские сдвиги.) Пусть S — некоторое конечное
множество (скажем, 5 = {1, 2,..., Ν}) и Ω = S°° — пространство
последовательностей о/ = (α/ο, ω\, ...) с ω\ € S. Будем полагать &(о/) = о/* и определим
преобразование сдвига Г(о/о, α/1, ...) = (ο/ι, о/2, ...), или, в терминах fo, £ь ···'
если &(ο/)=α/£, то ξ^Τω)=ω^\. Предположим, что на элементах / мно-
N
жества {1, 2,..., /V} заданы неотрицательные числа pi такие, что £ /?,= 1
(т.е. набор (pi, ..., /?#) образует вероятностное распределение). С
помощью этого распределения можно задать меру Ρ на (S°°, 38(S°°)) (см. § 3
гл. II) такую, что
Р{о/: (o/i, ..., о/*) = (иь ..., uk)} = Pui.-.Puir
Иначе говоря, вероятностная мера вводится по принципу,
обеспечивающему независимость величин ξο(ο/), £ι(ο/), ... Относительно так построенной
меры Ρ введенное преобразование сдвига Τ принято называть бернулли-
евским сдвигом или преобразованием Бернулли.
Показать, что преобразование Бернулли обладает свойством
перемешивания.
8. Пусть Τ — сохраняющее меру преобразование на (Ω, <^\ Ρ). Будем
обозначать Т~п& = {Т~пА: А €&} и говорить, что σ-алгебра
оо
jr_oo=p| γ-ηβτ
/ι=1
является тривиальной (Р-тривиальной), если каждое множество из
«^-оо имеет меру 0 или 1 (такие преобразования называют
преобразованиями Колмогорова). Доказать, что преобразования Колмогорова
обладают свойством эргодичности и, более того, свойством
перемешивания.
9. Пусть Кр<оо и Г- сохраняющее меру преобразование на
вероятностном пространстве (Ω, <^\ Р). Пусть случайная величина ξ(ω) 6
€ί/(Ω,^, Ρ).
Доказать справедливость следующей эргодической теоремы (фон
Нейман) в Ζ/(Ω, <^\ Ρ): существует случайная величина η(ω) такая, что
ι п-\ \р
k=0

§3. ЭРГОДИЧЕСКИЕ ТЕОРЕМЫ
577
10. Теорема Бореля о нормальности утверждает (пример 2 в § 3 гл. IV),
что доля единиц и нулей в двоичном разложении чисел ω из [0, 1)
сходится почти наверное (относительно меры Лебега) к 1/2. Доказать этот
результат, рассматривая преобразование Т: [0, 1)-»[0, 1), определенное
формулой
Τ(ω) = 2ω (mod l),
и применяя эргодическую теорему 1.
11. Как и в задаче 10, пусть ω€[0, 1). Рассмотрим преобразование
Т: [0, 1)-*· [0, 1), определенное формулой
ί0, если ω = 0,
(-J, еслис^О,
где {jc} —дробная часть числа х.
Показать, что преобразование Τ сохраняет меру Р = Р() Гаусса на
[0, 1), определяемую формулой
^hMifr· ^*([0.0).
А
12. Дать пример, показывающй, что теорема Пуанкаре о
«возвратности» (п. 3 § 1) не верна, вообще говоря, в случае измеримых пространств
с бесконечной мерой.

Глава VI
СТАЦИОНАРНЫЕ (В ШИРОКОМ СМЫСЛЕ)
СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ. ^-ТЕОРИЯ
§1. Спектральное представление ковариационной функции 579
§ 2. Ортогональные стохастические меры и стохастические интегралы 589
§ 3. Спектральное представление стационарных (в широком
смысле) последовательностей 595
§4. Статистическое оценивание ковариационной функции и
спектральной плотности 607
§ 5. Разложение Вольда 614
§ 6. Экстраполяция, интерполяция и фильтрация 623
§ 7. Фильтр Калмана—Бьюси и его обобщения 634

Центральное место в теории стационарных случайных процессов в широком
смысле занимают спектральные (представления, дающие основание рассматривать
такие процессы) как суперпозицию совокупности некоррелированных друг с
другом гармонических колебаний различных частот со случайными амплитудами и
фазами...
Математическая энциклопедия, т. 5, стлб. 211—212 [121]
§ 1. Спектральное представление ковариационной
функции
1. Согласно определению, данному в предшествующей главе,
случайная последовательность ξ = (ξι, &. ···) называется стационарной в узком
смысле, если для любого множества В е 38(R°°) и любого η ^ 1
Р{(£,,&, ...)Gfi} = P{(Crt+,,^+2, ...)£Я}. (1)
Отсюда, в частности, вытекает, что если Ef 2 < оо, то Εξη не зависит от п:
Ε6. = Εξι, (2)
а КОВариацИЯ αΝ(ξη+Μ9ξη) = Ε(ξη+ιη-Εξη+ιη)(ξη-Εξη) ЗавИСЙТ ЛИШЬ
от т:
соу(£,+т, ξη) = cov(£,+m, ft). (3)
В настоящей главе будут исследоваться так называемые стационарные
в широком смысле последовательности (с конечным вторым моментом),
для которых условие (1) заменяется условиями (2) и (3).
Рассматриваемые случайные величины ξη будут предполагаться
определенными для /ζ€Ζ = {0, ±1, ...} и к тому же комплекснозначными.
Последнее предположение не только не усложняет теорию, но и наоборот —
делает ее более изящной. При этом, разумеется, результаты для
действительных случайных величин легко могут быть получены в качестве частного
случая из соответствующих результатов для комплексных величин.
Пусть Η2 = #2(Ω, <^\ Р) — пространство (комплекснозначных)
случайных величин ξ = α + //?, α, /?€/?, с Ε|ξ|2<οο, где |ξ|2 = α2 + /?2. Если
ζ, пен* то положим
(ζ.η) = Εξη, (4)
где η = а - Ίβ — комплексно-сопряженная величина к η = α + //?, и
\№ = &ΛΫ'2. (5)

580 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Как и для действительных случайных величин, пространство Н2
(точнее, пространство классов эквивалентных случайных величин; ср. с §§ 10
и 11 из гл. II) со скалярным произведением (ξ, η) и нормой \\ξ\\
является полным. В соответствии с терминологией функционального анализа
пространство Н2 называется унитарным (иначе — комплексным)
гильбертовым пространством (случайных величин, рассматриваемых на
вероятностном пространстве (Ω, &, Ρ)).
Если ξ, η € Я2, то их ковариацией назовем величину
Οθν(ξ,η) = Ε(ξ-Εξ)(η-Εη). (6)
Из (4) и (6) следует, что если Εξ = Ε77 = 0, то
οον(ξ,η) = (ξ,η). (7)
Определение. Последовательность комплекснозначных случайных
величин ξ = {ξπ)η€Ζ с Е|£я|2 < оо, п Ε Ζ, называется стационарной (в
широком смысле), если для всех п е Ζ
Е*-Ей· (8)
COV(6,+ikt &) = COV^, ft), * € Ζ.
Для простоты изложения в дальнейшем будем предполагать Е£о = 0.
Это предположение не умаляет общности, но в то же самое время
дает возможность (согласно (7)), отождествляя ковариацию со скалярным
произведением, более просто применять методы и результаты теории
гильбертовых пространств.
Обозначим
Λ(π) = οον(6,,ξ0), "£ζ> (9)
и (в предположении /?(0) = Ε|ξο|2 Φ 0)
р(«) = щ, пег. (Ю)
Функцию R(n) будем называть ковариационной функцией, а р{п)
—корреляционной функцией (стационарной в широком смысле)
последовательности ξ.
Непосредственно из определения (9) следует, что ковариационная
функция R(n) является неотрицательно определенной, т. е. для любых
комплексных чисел αϊ, ..., ат и любых t\, ..., tm eZ, m^ 1,
m
Σ aiujRiU-t,)^. (11)

§ 1. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ
581
В свою очередь отсюда (или непосредственно из (9)) нетрудно вывести
(задача 1) следующие свойства ковариационной функции:
«0)>0, ЛМ=Щ |Л(я)|<Л(0),
\R(n) - R(m)\2 ^ 2R(0)[R(0) - Re R(n - m)].
2. Приведем некоторые примеры стационарных последовательностей
ξ = (ξη)η£Ζ· (В дальнейшем слова «в широком смысле», а также указание
на то, что η е Ζ, часто будут опускаться.)
Пример 1. Пусть£„ = £0£(я), гдеЕ£0 = 0, Е|£0|2 = 1 и g = g(n) —
некоторая функция. Последовательность ξ = (ξη) будет стационарной в том и
только том случае, когда функция g(k + n)g(k) зависит лишь от п. Отсюда
нетрудно вывести, что найдется такое λ, что
g(n) = g(0)eiXn.
Таким образом, последовательность случайных величин
tn=tog(0)eiXn
является стационарной с
R(n) = \g(0)\2eiXn.
В частности, «случайная во времени константа» ξη=ξο образует
стационарную последовательность.
Замечание. В связи с этим примером отметим, что поскольку eiXn =
= em(\+2nk)^ /z = ±\i ±2, ..., то (круговая) частота λ определяется лишь
с точностью до произвольного слагаемого, кратного 2π. По традиции в
дальнейшем будет считаться всюду, что λ е [—π, π).
Пример 2. Почти периодическая последовательность. Пусть
N
(in = Y,zkeiX>\ /zeZ, (13)
k=\
где ζ\, ...,ζ/ν — ортогональные (Ег;гу=0, ьф\) случайные величины с
нулевыми средними и Е|г/г|2 = а|>0; -7г^А/г<7г, &=l,...,yV; \ф\п
i Φ j. Последовательность ξ = (ξη) является стационарной с
N
/?(*)=£ ^νλ*Λ. (14)
В обобщение (13) предположим теперь, что
оо
ξη= Σ, 2**/λ"1· <15>
k——оо

582 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
где величины г^, keZ, обладают теми же свойствами, что и в (13). Если
оо
предположить, что JZ 0*<оо, то ряд в правой части формулы (15)
k= — ОО
сходится в среднем квадратическом и
оо
k=—оо
Введем функцию
Тогда ковариационная функция (16) может быть записана в виде интеграла
Лебега—Стилтьеса
/?(/z)= I eiXndF{\) (= $ eiXndF(X)\ (18)
—η V (-π,π) /
Стационарные последовательности (15) образованы как суммы
«гармоник» eiXktl с «частототами» λ^ и случайными «амплитудами» Zk
«интенсивности» σ\ = Е|г^|2. Таким образом, значение функции F(X) дает
исчерпывающую информацию о структуре «спектра» последовательности ξ, τ. е.
о величине интенсивностей, с которыми те или иные частоты входят в
представление (15). Согласно (18), знание функции F(X) полностью определяет
также и структуру ковариационной функции R(n).
С точностью до постоянного множителя (невырожденная) функция F(X)
является, очевидно, функцией распределения, причем в рассматриваемом
примере эта функция кусочно-постоянна. Весьма примечательно, что
ковариационная функция любой стационарной в широком смысле случайной
последовательности может быть представлена (см. теорему в п. 3) в виде
(18), где F(X) — некоторая (с точностью до нормировки) функция
распределения, носитель которой сосредоточен на множестве [-π, π), т.е. F(X) = 0
для λ < -π и F(X) = ^(π-) для λ ^ π.
Результат об интегральном представлении ковариационной функции,
сопоставленный с (15) и (16), наводит на мысль, что произвольная
стационарная последовательность также допускает «интегральное»
представление. Так оно на самом деле и есть, что будет показано в § 3 с помощью так
называемых стохастических интегралов по ортогональным стохастическим
мерам (§ 2).
Пример 3. Белый шум. Пусть ε = (εη) — последовательность орто-
нормированных случайных величин, ΕεΠ = 0, Εε,·ε/· = 5,·/·, где δι} —символ

§ 1. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ
583
Кронекера. Понятно, что такая последовательность является
стационарной и
[О, п^О.
Отметим, что эта функция R(n) может быть представлена в виде
/?(/г)= I eiXndF(\), (19)
—π
где
F(X) = J f(u) du4 /(λ) = JL, -π ^ λ < π. (20)
—π
Сравнение «спектральных» функций (17) и (20) показывает, что если в
примере 2 «спектр» был дискретным, то в настоящем примере он
оказался абсолютно непрерывным с постоянной «спектральной» плотностью
/(λ)= 1/2π. В этом смысле можно сказать, что последовательность ε = (εη)
«составлена из гармоник, интенсивность которых одна и та же». Именно
это обстоятельство и послужило поводом называть последовательность
ε = (εΠ) «белым шумом» по аналогии с («физическим») белым цветом,
составленным из различных цветов одной и той же интенсивности.
Пример 4. Последовательности скользящего среднего.
Отправляясь от белого шума ε = (εΛ), введенного в примере 3, образуем новую
последовательность
оо
ξη= Σ aken-k, (21)
k= — OO
oo
где ak — комплексные числа такие, что £ |α^|2 < oo.
k=—oo
Из (21) находим
oo
cov(£n+m, ξη) = οον(ξ„,ξ0)= Σ an+kak,
k=—OO
так что ξ — (&) является стационарной последовательностью, которую
принято называть последовательностью, образованной с помощью
(двустороннего) скользящего среднего из последовательности ε = (ε^).
В том частном случае, когда все а^ с отрицательными индексами равны
нулю и, значит,
оо
k=0

584 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
последовательность ξ = (ξη) называют последовательностью
одностороннего скользящего среднего. Если к тому же все а* = 0 при k > ρ, т. е.
если
ξη = αοεη + αιεη-\ +... + αρεη-ρ, (22)
το f = (£rt) называется последовательностью скользящего среднего
порядка р.
Можно показать (задача 3), что для последовательности (22) ковари-
ационная функция R(n) имеет вид R(n)= § elXnf(\)d\, где спектральная
—π
плотность равна
f(X)=±\P(e-iX)f (23)
С
Ρ(ζ) = α0 + αιζ + ... + αρζρ.
Пркмер 5. Авторегрессионная схема. Пусть снова е=(еп) — белый
шум. Будем говорить, что случайная последовательность ξ = (ξη)
подчиняется авторегрессионной схеме порядка q, если для η е Ζ
6t + fti6t-i+... + fy6i-*=e«· (24)
При каких условиях на коэффициенты b\, ...,bq можно утверждать,
что уравнение (24) имеет стационарное решение? Чтобы ответить на этот
вопрос, рассмотрим сначала случай q = \:
ξη = αξη-ι+εη, (25)
где a = —b\. Если \а\ < 1, то нетрудно проверить, что стационарная
последовательность ξ = (ξη) с
оо
in = J2<*Jen-i (26)
у=о
является решением уравнения (25). (Ряд в правой части (26) сходится
в среднеквадратическом смысле.) Покажем теперь, что в классе
стационарных последовательностей ξ = (ξη) (с конечным вторым моментом) это
решение является единственным. В самом деле, из (25) последовательными
итерациями находим, что
k-\

§ 1. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ
585
2
.kс ι2 _ л,2kerf _ Лкс с2
= Ε[α'ξη-tf = βΛΕ£_4 = a»Etf -О, * - оо.
Отсюда следует, что
г k-\
Ε\ξη-ΣαΙεη-ί
Таким образом, при |а| < 1 стационарное решение уравнения (25)
существует и представляется в виде одностороннего скользящего среднего (26).
Аналогичный результат имеет место и в случае произвольного q>\:
если все нули полинома
Q(z) = \+bxz + ... + bqzq (27)
лежат вне единичного круга, то уравнение авторегрессии (24) имеет, и
притом единственное, стационарное решение, представимое в виде
одностороннего скользящего среднего (задача 2). При этом ковариационная
функция R(n) представима (задача 3) в виде
π λ
R(n)= S eiXndF(X)y F(X)= $ f(v)dv, (28)
где
fW=i-m^w- (29)
В частном случае q = 1 из (25) легко находим, что Εξο = О,
(R(n) = R(-n) для п<0). При этом
2π |1-α<Ηλ|2'
Пример 6. Этот пример иллюстрирует возникновение
авторегрессионных схем при построении вероятностных моделей в гидрологии.
Рассмотрим некоторый водный бассейн (например, Каспийское море) и
постараемся построить вероятностную модель, описывающую отклонения уровня
в этом бассейне от среднего значения, вызванные колебаниями в стоке и
испарением с водной поверхности.
Если за единицу измерения взять год и обозначить Нп «уровень» в
бассейне в /г-й год, то получим следующее уравнение баланса:
ЯЯ+,=ЯЯ-/С5(ЯЯ) + ЕЯ+,, (30)
где через Ея+1 обозначена величина стока в (п + 1)-й год, S(H) — площадь
поверхности водного бассейна на уровне Я, а К — коэффициент испарения.

586 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Обозначим через ξη = Ηη-Η отклонение от среднего уровня Η
(который находится^ по результатам многолетних наблюдений) и предположим,
что S(H)=S(H) + c(H -Η). Тогда из уравнения баланса следует, что
величины ξη подчиняются уравнениям
ξη+ι=αξη + εη+ι (31)
с а = 1 - с/С, εη = Ση - KS(H). Случайные величины еп естественно считать
имеющими нулевые средние и в первом приближении некоррелированными
и одинаково распределенными. Тогда, как это было показано в примере 5,
уравнение (31) (при |а|<1) имеет единственное стационарное решение,
которое следует считать решением, описывающим установившийся (с
годами) режим колебаний уровня в рассматриваемом бассейне.
В качестве тех практических выводов, которые можно сделать из
(теоретической) модели (31), укажем на возможность построения
прогноза отклонений уровня на следующий год по результатам наблюдений за
настоящий и предшествующий годы. А именно, оказывается (см. далее
пример 2t в § 6), что оптимальной (в среднеквадратическом смысле)
линейной оценкой величины ξη+\ по значениям ..., ξΛ_ι, ξη служит просто
величина αξη.
Пример 7. Смешанная модель авторегрессии и скользящего
среднего. Если предположить, что в правой части уравнения (24) вместо еп
стоит величина αοεη + α\εη-\ + ... + αρεη-ρ, то получим так называемую
смешанную модель авторегрессии и скользящего среднего порядка (/?, q):
ξn + bιξn-\+... + bqξn-q = aoεn + a^εn-ι+... + apεn-p. (32)
При тех же предположениях относительно нулей полинома Q(z)y что и в
примере 5, далее показывается (следствие 2 к теореме 3 § 3), что уравнение
(32) имеет стационарное решение ξ = (£Д для которого ковариационная
π λ
функция равна R(n)= § elXn dF(\) с F(X)= § f(y)di/, где
—π —π
ΛΑ)- ' Ι^"/ΛΜ2
[{Λ)~2π \Q(e-*)\ '
3. Теорема (Герглотц). Пусть R(n) — ковариационная функция
стационарной (в широком смысле) случайной последовательности
с нулевым средним. Тогда на ([—π, π), ^([—π, π))) найдется такая
конечная мера F = F(B), В е 38([-π, π)), что для любого η el
π
R(n)= § elXnF(d\), (33)

§ 1. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ
587
где интеграл § elXnF(d\) понимается как интеграл Лебега—Стил-
—π
тьеса по множеству [-π, π).
Доказательство. Положим для N ^ 1 и λ е [-π, π]
Ν Ν
fN{X)=ш Σ Σ *(* -ο*-*ν/λ. (34)
В силу неотрицательной определенности R(n) функция fa (X)
неотрицательна. Поскольку число тех пар (й, /), для которых k-l = m, есть /V - |т|,
то
1
Пусть
f»^=h Σ 0 - ψ)*"*-**. (35)
|m|</V
^(β) = $ Μλ)</λ, fie^(K4
Тогда
ξ */λ«/*(<ίΑ) = I eix«fN(\)d\ = [ 0 ~ Тт)^· W <yVi (36)
-i -i [0, |я|
эммеры Fyv, Ν ^ 1, сосредоточены на интервале [—π, π] и /^(f—π* π1) =
= /?(0) < οο для любого /V ^ 1. Следовательно, семейство мер {fyy}, N ^ 1,
плотно, и по теореме Прохорова (теорема 1 § 2 гл. III) существуют
подпоследовательность {Nk}C{N} и мера F такие, что Fn^F.
(Понятия плотности, относительной компактности, слабой сходимости и теорема
Прохорова очевидным образом с вероятностных мер переносятся на любые
конечные меры.)
Тогда из (36) следует, что
I eiXnF(d\) = lim I eiXnFNAd\) = R(n).
Построенная мера F сосредоточена на интервале [-π, π]. Не изменяя ин-
теграла § eiXnF(d\)y можно переопределить меру /\ перенеся «массу»
—π
^(М), сосредоточенную в точке π, в точку -π. Так полученная новая мера
(обозначим ее снова через F) будет уже сосредоточенной на интервале
[—я\ π). (По поводу целесообразности выбора для значений λ именно
интервала [-π, π), а не, скажем, [—π, π], см. замечание к примеру 1 в
п. 2.) Π

588 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Замечание 1. Меру F = F(B), участвующую в представлении (33),
называют спектральной мерой, а функцию F(X) = F([—π, λ]) —
спектральной функцией стационарной последовательности с ковариационной
функцией R(n).
В рассмотренном выше примере 2 спектральная мера оказалась
дискретной (сосредоточенной в точках λ*, й = 0, ±1, ...). В примерах 3—6
спектральная мера абсолютно непрерывна.
Замечание 2. Спектральная мера F однозначно определяется по
ковариационной функции. В самом деле, пусть F\ и /^ — две спектральные
меры и
5 eiXnF{(d\)= $ eiXnF2(d\), neZ.
—π —π
Поскольку любая ограниченная непрерывная функция g(\) может быть
равномерно приближена на [-π, π) тригонометрическими полиномами, то
I g(X)Fi(d\)= I g(X)F2(dX)y
откуда (ср. с доказательством теоремы 2 § 12 гл. II) следует, что F\(B) =
= F2(B) для любых ΒΕ^([-π, π)).
Замечание 3. Если ξ = (ξη) — стационарная последовательность,
состоящая из действительных случайных величин ξη, то R(ri) = R(-n) и
поэтому
т-т+?-Я)=\ cos XnF(dX).
—К
4. Задачи.
1. Вывести свойства (12) из (И).
2. Доказать, что если все нули полинома <?(г), определенного в (27),
лежат вне единичного круга, то уравнение авторегрессии (24) имеет, и притом
единственное, стационарное решение, представимое в виде одностороннего
скользящего среднего.
3. Показать, что спектральные функции последовательностей (22) и
(24) имеют плотности, задаваемые соответственно формулами (23) и (29).
+°°
4. Показать, что если £ |/?(я)| < °°, т0 спектральная функция F(X)
п=—оо
имеет плотность /(λ), определяемую формулой
i^=h Σ e-iXnR(n),
п=—оо
где ряд сходится в комплексном L2 = L2([-7r, π), &&{[—π, π)), λ), λ —мера
Лебега.

§2. ОРТОГОНАЛЬНЫЕ СТОХАСТИЧЕСКИЕ МЕРЫ
589
§ 2. Ортогональные стохастические меры
и стохастические интегралы
1. Как уже отмечалось в § 1, интегральное представление
ковариационной функции и пример стационарной последовательности
ОО
Λ=-οο
с попарно ортогональными случайными величинами 2*, k € Ζ, наводят на
мысль о возможности получения представления произвольной
стационарной последовательности в виде соответствующего интегрального
обобщения суммы (1).
Если положить
2(A) = £ *ь (2)
то (1) запишется в виде
ξη= Σ eiX»nAZ(\k), (3)
k=—oo
где ΔΖ(λ*) = Ζ(λΛ) - Ζ(λ*-) = г*.
Правая часть (3) напоминает интегральную сумму для «интеграла ти-
π
па Римана—Стилтьеса» § elXn dZ(\). Однако в рассматриваемом нами
случае функция Ζ(λ) является случайной (зависящей также и от ω). При
этом выясняется, что для интегрального представления произвольной
стационарной последовательности приходится привлекать к рассмотрению и
такие функции Ζ(λ), которые при каждом ω имеют неограниченную вари-
ацию. Поэтому простое понимание интеграла § elXn dZ(\) как интеграла
—π
Римана—Стилтьеса для каждого ω становится неприемлемым.
2. По аналогии с общей концепцией интегралов Лебега, Лебега—
Стилтьеса и Римана—Стилтьеса (§ 6 гл. II) рассмотрение интересующего
нас случая начнем с определения стохастической меры.
Пусть (Ω, «^, Ρ) — вероятностное пространство, Ε — некоторое
множество с алгеброй <$Ь его подмножеств и σ-алгеброй S = cr(<fo)·
Определение 1. Комплекснозначная функция Ζ(Δ) = Ζ(α/; Δ),
определенная для ω € Ω и Δ € <fo» называется конечно-аддитивной
стохастической мерой, если:
1) Ε|Ζ(Δ)|2 < оо для любого Δ е &о\

590 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
2) для любых двух непересекающихся множеств Δι и Δ2 из <Sq
Ζ(Δ,+Δ2) = Ζ(Δ,) + Ζ(Δ2) (Р-п.н.). (4)
Определение 2. Конечно-аддитивная стохастическая мера Ζ(Δ)
называется элементарной стохастической мерой, если для любых непе-
оо
ресекающихся множеств Δι, Δ2, ... из <fo таких, что Δ= Σ Δ* €<fo,
k=\
I n I2
ΕΖ(Δ)-£Ζ(Δ*)
I *=1 I
► 0, /г —► oo. (5)
Замечание 1. В данном определении элементарной стохастической
меры, заданной на множествах из <?о, предполагается, что ее значения
принадлежат гильбертову пространству #2 = #2(Ω, <^\ Р), а счетная
аддитивность выполнена в среднеквадратическом смысле (5). Существуют и
другие определения стохастических мер, в которых отсутствует требование
существования второго момента, а счетная аддитивность понимается,
например, ц смысле сходимости по вероятности или с вероятностью единица.
Замечание 2. По аналогии с неслучайными мерами можно показать,
что для конечно-аддитивных стохастических мер условие (5) счетной
аддитивности (в среднеквадратическом смысле) эквивалентно непрерывности
(в среднеквадратическом смысле) в «нуле»:
Ε|Ζ(ΔΛ)|2->0, ДЛЯ. Апе^ (6)
В классе элементарных стохастических мер особо важны меры,
являющиеся ортогональными в смысле следующего определения.
Определение 3. Элементарная стохастическая мера Ζ(Δ), Дб^Ь,
называется ортогональной (или мерой с ортогональными значениями),
если для любых двух непересекающихся множеств Δι и Δ2 из Sq
ΕΖ(Δ,)Ζ(Δ2) = 0, (7)
или, что эквивалентно, если для любых Δι и Δ2 из <?о
ΕΖ(Δ1)Ζ(Δ2) = Ε|Ζ(Δ1ΠΔ2)|^. (8)
Обозначим
γπ(Δ) = Ε|Ζ(Δ)|2, ΔΕ4 (9)
Для элементарных ортогональных стохастических мер функция множеств
α7ϊ = γπ(Δ), Δε^ο, является, как легко видеть, конечной мерой, и,
следовательно, по теореме Каратеодори (§ 3 гл. II) она может быть продолжена
на (£, <f). Так полученную меру будем снова обозначать через т = т(А) и

§2. ОРТОГОНАЛЬНЫЕ СТОХАСТИЧЕСКИЕ МЕРЫ
591
называть структурной функцией (элементарной ортогональной
стохастической меры Ζ = Ζ(Δ), Δ е So)·
Теперь естественным образом возникает следующий вопрос: раз
функция множеств т = т(А), определенная на (£, <£Ь), допускает продолжение
на (£", £), где & = сг(£о), то нельзя ли элементарную ортогональную
стохастическую меру Ζ = Ζ(Δ), Ае£Ь, продолжить на множества Δ из <f,
причем так, чтобы Ε|Ζ(Δ)|2 = /η(Δ), Ае£.
Ответ на этот вопрос утвердительный, что вытекает из
нижеследующих конструкций, приводящих в то же самое время и к построению
стохастического интеграла, необходимого для интегрального
представления стационарных последовательностей.
3. Итак, пусть Ζ = Ζ(Δ) — элементарная ортогональная
стохастическая мера, Δ € &о, со структурной функцией т = /η(Δ), Δ е £. Для каждой
функции
/(λ) = Σ/*/Δ*(λ), Д*е<?о, (10)
принимающей лишь конечное число различных (комплексных) значений,
определим случайную величину
^(/)=Σ/*Ζ<Δ*)·
Пусть L2 = L2(E, S, m) — гильбертово пространство комплекснознач-
ных функций со скалярным произведением
</. £> = $/(A)g(A)m(dA)
Ε
и нормой 11/11 = (/, /)'/2, a Я2 =//2(Ω, &', Ρ) — гильбертово пространство
комплекснозначных случайных величин со скалярным произведением
инормой||£|| = (£,01/2.
Тогда очевидным образом для любых двух функций / и g вида (10)
и
ll^(/)ll2 = ll/ll2 = $l/(A)|2m(dA).
Ε
Пусть теперь f eL2 и {/„} —функции типа (10) такие, что ||/- /rt|| -»0,
л-»оо (см. задачу 2). Тогда
||^(/|.)->(/т)|| = ||/|.-/«1Н0, Я, /Л-С».

592 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Следовательно, последовательность {Jf(fn)} фундаментальна в средне-
квадратическом смысле, и в силу теоремы 7 из § 10 гл. II
найдется случайная величина (обозначим ее J?{f)) такая, что J?(f)eH2 и
11^(/я)-^(ЙИ-0,л-оо.
Так построенная случайная величина У([) определяется однозначно
(с точностью до стохастической эквивалентности) и не зависит от
выбора аппроксимирующей последовательности {/„}. Ее естественно назвать
стохастическим интегралом от функции / eL2 по элементарной
ортогональной стохастической мере Ζ и пользоваться для наглядности (наряду
с с/(/)) «интегральной» записью
$/(λ)Ζ(</λ).
Ε
Отметим следующие основные свойства стохастического интеграла
y(f), непосредственно вытекающие из его конструкции. Пусть функции
g, Д fneL2. Тогда
(S(ft.S(&) = (f.g)\ (11)
\\S(f)\\ = ll/ll; (12)
SW + bg) = aS{f) + bS(g) (Р-п.н.), (13)
где а и Ь — константы;
11^(/«)-^(/)11->о, (14)
если || fn — /|| —>0, /z-»oo.
4. Используем определенный выше стохастический интеграл для
продолжения элементарной ортогональной стохастической меры Ζ(Δ),
Δ е <?о, на множества из ё = сг(^Ь).
Поскольку мера т предполагается конечной, то функция /д =/д(А) €
€L2 для всякого Δ€<?. Обозначим Ζ(Δ) = ^(/δ). Ясно, что для Δ€<?ο
Ζ(Δ) = Ζ(Δ). Из (13) следует, что если ΔιΠΔ2 = 0, Δι, Δ2€<?, то
Ζ(Δ,+Δ2) = Ζ(Δ,) + Ζ(Δ2) (Р-п.н.),
а из (12) вытекает, что
Ε|Ζ(Δ)|2 = ατζ(Δ), Δ€*.
Покажем, что случайная функция множеств Ζ(Δ), Δ€<^, является
счетно-аддитивной в среднеквадратическом смысле. В самом деле, пусть
оо
Δ* € S и Δ = Σ Δ*. Тогда
Ζ(Δ)-£ζ(Δ*) = ./(&),
*=1

§2. ОРТОГОНАЛЬНЫЕ СТОХАСТИЧЕСКИЕ МЕРЫ
593
где
Но
т.е.
£«(А) = /д(А)-£/дДА) = / ~ ^(λ).
k=\ k=n+\
E\S(gn)\2 = \\gn\\2 = m( f; Δ,) 10, η
\k=n+\ /
ΟΟ,
л+1
Ζ(Δ)-£Ζ(Δ*)
► 0, л-»оо.
Из (11) следует также, что для Δι ΠΔ2 = 0, Δι, Δ2Ε<?,
ΕΖ(Δ,)Ζ(Δ2) = 0.
Итак, построенная случайная функция Ζ(Δ), определенная на
множествах Δ е 8, является счетно-аддитивной в среднеквадратическом
смысле и на множествах Δε<?ο совпадает с Ζ(Δ). Будем называть
Ζ(Δ), Ае£, ортогональной стохастической мерой (являющейся
продолжением элементарной ортогональной стохастической меры Ζ(Δ))
со структурной функцией ατζ(Δ), Δε<?, а определенный выше интеграл
У([) = ^ /(A) Z(dX) — стохастическим интегралом по этой мере.
Ε
5. Обратимся теперь к наиболее важному для наших целей случаю
(£, <f) = (/?, 3S(R)). Как известно (теорема 1 § 3 гл. II), всякая конечная
мера т = т(А) на (/?, ^(/?)) находится во взаимно однозначном
соответствии с некоторой (обобщенной) функцией распределения G = G(x), причем
m(a,fc] = G(ft)-G(a).
Оказывается, нечто подобное справедливо и для ортогональных
стохастических мер. Введем
Определение 4. Совокупность (комплекснозначных) случайных
величин {Ζλ}, Ае/?, заданных на (Ω, β', Ρ), назовем случайным процессом
с ортогональными приращениями, если
1)Ε|Ζλ|2<οο,λ<ΞΑ;
2) для каждого XeR
Ε|ζλ-ζλ„|2->0, ала, xneR:
3) для любых Αι < Аг < Аз < А4
E(ZA4-ZA3)(ZA2-ZAl) = 0.

594 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Условие 3) является условием ортогональности приращений.
Условие 1) означает, что Ζ χ G Я2. Наконец, условие 2) носит технический
характер и является требованием непрерывности справа (в среднеквадра-
тическом смысле) в каждой точке AG/?.
Пусть Ζ = Ζ(λ) — ортогональная стохастическая мера со структурной
функцией т = т(Д), являющейся конечной мерой с (обобщенной)
функцией распределения G(A). Положим
Ζλ = Ζ(-οο,λ].
Тогда E|ZA|2 = m(-oo,A] = G(A)<oo, Ε|Ζλ - ZAJ2 = m(Art, λ] Ι О, АЛ λ
и, очевидно, выполнено также условие 3). Таким образом, построенный
процесс {Ζ\} является процессом с ортогональными приращениями.
С другой стороны, если G(A) — обобщенная функция распределения с
G(—oo) = 0, G(+oo)<oo и {Ζχ} — процесс с ортогональными
приращениями с E|ZA|2 = G(A), то положим для Δ = (α, b]
Z(A) = Zb-Za.
п
Пусть Sq — алгебра, порожденная множествами вида Δ=£(α*» bk], и
k=\
Ζ(Δ)=έ Z(ak,bk]. Ясно, что
k=\
Ε|Ζ(Δ)|2=ατζ(Δ),
η
где т(А) = £ [G(bk) - G(ak)\, и для непересекающихся интервалов Δι =
= (aub{] и Δ2 = (α2, b2]
ΕΖ(Δ,)Ζ(Δ^) = 0.
Ввиду непрерывности справа функции G(A), AG/?, отсюда вытекает, что
Ζ = Ζ(Δ), Δε So, является элементарной стохастической мерой с
ортогональными значениями. Функция множеств т = т(А), Ае&о, однозначно
продолжается до меры на g = 38(R), и из предшествующих конструкций
следует, что тогда Z — Z{A), Ае&о, также можно продолжить на
множества Ag<?, где S = 3§{R), при этом Ε|Ζ(Δ)|2 = ατζ(Δ), AeSS(R).
Тем самым между процессами {Z\}t AG/?, с ортогональными
приращениями и E|Za|2 = G(A), G(—oo) = 0, G(+oo)<oo, и ортогональными
стохастическими мерами Z = Z(A)t Ae@(R), со структурной функцией
т = т(А) существует взаимно однозначное соответствие, при котором
Ζλ = Ζ(-οο, λ], G(A) = m(-oo, A]

§3. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ ПОСЛЕДОВАТЕЛЬНОСТЕЙ 595
И
Z{at b] = Zb-Zai т{а, b] = G(b) - G{a).
По аналогии с обозначениями, принятыми в теории интегрирования по
Лебегу—Стилтьесу и Риману—Стилтьесу (гл. II, § 6, пп. 9 и И), под
стохастическим интегралом § f(\)dZ\, где {Ζχ} — некоторый процесс
R
с ортогональными приращениями, понимается стохастический интеграл
f(X)Z(dX) по соответствующей этому процессу ортогональной стохасти-
R
ческой мере.
6. Задачи.
1. Доказать эквивалентность условий (5) и (6).
2. Пусть функция / е L2. Используя результаты гл. II (теорема 1 в
§ 4, следствие к теореме 3 § 6 и задача 8 в § 3), доказать, что найдется
последовательность {fn} функций вида (10) таких, что ||/- /rt|| -»0, /ζ —юо.
3. Установить справедливость следующих свойств ортогональной
стохастической меры Ζ(Δ) со структурной функцией т(А):
E\Z(Al)-Z(A2)\2 = m(AlAA2)i
Ζ(Δ1 \ Δ2) = Ζ(Δ,) -Ζ(Α{Π Δ2) (Ρ-π. η.),
Ζ(Δ, Δ Δ2) = Ζ(Δ,) + Ζ(Δ2) - 2Ζ(Δ, Π Δ2) (Ρ-π. η.).
§ 3. Спектральное представление стационарных
(в широком смысле) последовательностей
1. Если ξ = (ξη) — стационарная последовательность с Εξη = 0, η G Ζ,
то, согласно теореме из § 1, найдется такая конечная мера F = F(A) на
([-π, π), ^([-π, π))), что ковариационная функция /?(/z) = COV(^+rt, &)
допускает спектральное представление
Щп)= § eiXnF(d\). (1)
—π
Следующий результат дает соответствующее спектральное
представление самой последовательности ξ = (ξη), neZ.
Теорема 1. Существует такая ортогональная стохастическая
мера Ζ = Ζ(Δ), Δ G^([-π, π)), что для каждого neZ (Р-п. н.)
ξη= I eiXnZ(d\) (= $ eiXnZ(d\)). (2)
При этом ΕΖ(Δ) = 0, Ε|Ζ(Δ)|2 = ^(Δ).

596 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Доказательство проще всего провести, опираясь на некоторые факты
теории гильбертовых пространств.
Пусть L2(F) = L2(Et &, F) — гильбертово пространство комплексно-
значных функций, Ε = [—π, π), § = ^([-π, π)), со скалярным
произведением
</.*> = \ f(\)W)F(dX).x (3)
—π
и 1%(F) —линейное многообразие (Lq(F) СL2(F))t порожденное функциями
еп = еп(\),пе1,глееп{\) = е1Хп.
Заметим, что поскольку £ = [—π, π) и мера F конечна, то замыкание
многообразия L2(F) совпадает (задача 1) с L2(F):
T?0(F) = L2(F).
Пусть, далее, ί%(ξ) — линейное многообразие, порожденное
случайными величинами ξη, /zeZ, и ί,2(ξ) (=Ζ^(ξ)) — его замыкание в среднеквад-
ратическ^м смысле (по мере Р).
Установим между элементами Ц(Р) и L§(f) взаимно однозначное
соответствие «<-»», полагая
en++in* пег, (4)
и доопределяя для произвольных элементов (точнее —классов
эквивалентных элементов) по линейности:
Σапвп ** Σ a«f« ^
(здесь предполагается, что только конечное число комплексных чисел ап
отлично от нуля).
Отметим, что соответствие (5) корректно определено в том смысле, что
Σ апеп=0 почти всюду по мере F тогда и только тогда, когда £ αηξη = 0
(Р-п. н.).
Так определенное соответствие «<-»» является изометрическим, т. е.
сохраняющим скалярные произведения. В самом деле, в силу (3)
<*„.*«>= ] en(\)7J\)F(d\)= \ eiX^^F(d\) =
—π —π
= ϋ(η-ηι) = Εξηξηι = (ξη,ξΠι)
и аналогично

§3. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ ПОСЛЕДОВАТЕЛЬНОСТЕЙ 597
Пусть теперь η eL?(ξ). Поскольку L2(£) = L^(£), то найдется такая
последовательность (ηη), что ηη е Lq(£) и ||77rt — 77Ц -»0, /z-»oo. Следовательно,
последовательность (ηη) фундаментальна и, значит, таковой же является
и последовательность функций (/„), где fneL\(F) и fn+-*Vn·
Пространство L2(F) полно, и, следовательно, найдется такая функция feL2(F)t что
II/--/И-о·
Очевидным образом верно и обратное: если feLz{F) и ||/- /rt|| -»0,
fneL\(F)yio найдется такой элемент ηel2(ξ), что Цту-тулЦ -»0, ηη€ί<ο(ξ)
И Г)п <-+ /«·
До сих пор (изометрическое) соответствие «<-»» было определено лишь
между элементами из Ζ-§(ξ) и Lq(F). Доопределим его по непрерывности,
полагая /<-»77, где / и 77 —рассмотренные выше элементы. Нетрудно
проверить, что так установленное соответствие является взаимно однозначным
(между классами эквивалентных случайных величин и функций), линейным
и сохраняющим скалярное произведение.
Рассмотрим функцию /(А) = /д(А), где Дб^([-тгд)), AG [-π, π),
и пусть Ζ(Δ) — элемент из ί?(ξ) такой, что /δ(Α)<-»Ζ(Δ). Ясно, что
\\IA(\)f = F{A) и, значит, Ε|Ζ(Δ)|2 = ^(Δ). Поскольку ΕξΛ=0, neZ, то
для каждого элемента ϋ-§(0 (а следовательно, и L2(£)) его математическое
ожидание равно нулю. В частности, ΕΖ(Δ) = 0. Далее, если Δι ΠΔ2 = 0,
|ζ(Δ)-ΕΖ(Δ*)|
то ΕΖ(Δ,)Ζ(Δ2) = 0 и Е
►О, /ι-юо, где Δ= 53 Δ*·
Тем самым совокупность элементов Ζ(Δ), Де^([-7г,тг)), образует
ортогональную стохастическую меру, по которой (согласно § 2) можно
определить стохастический интеграл
S(f)= J /(A)Z(rfA), /GL2(F).
—π
Пусть / e L2(F) и η<τ-> /. Обозначим элемент η через Ф(/) (точнее говоря,
выберем по одному представителю из соответствующих классов
эквивалентных случайных величин и функций). Покажем, что (Р-п. н.)
■/(/) = *(/)· (7)
Действительно, если
/(λ) = Σ>,/ΔΛ(λ) (8)
есть конечная линейная комбинация функций /дДА), Δ^ = (α*, &^], то
по самому определению стохастического интеграла J?(f) = Σ α^Ζ(Δ^),
что, очевидно, равно Ф(/). Таким образом, (7) справедливо для функций
вида (8). Но если feL2(F) и ||/«-/||->0, где /„-функции вида (8),

598 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
то ||ф(/я)-ф(/)||->0 и ||^(/«)-с/(/)||->0 (согласно (14) § 2). Значит,
Ф(Я = ./(/) (Р-п. н.).
Возьмем функцию f(X) = eiXn. Тогда согласно (4) Φ(βιΧη) = ξη\ с другой
стороны, J(eiXn) = \ elXnZ(d\). Поэтому в силу (7) (Р-п. н.)
—π
ξη= I eiXnZ{d\), nel. Ώ
—π
Следствие 1. Пусть ξ = (ξη) — стационарная последовательность,
состоящая из действительных случайных величин ξηι /ζ€Ζ. Тогда
стохастическая мера Ζ = Ζ(Δ), участвующая в спектральном
представлении (2), такова, что для любого Δ е &{[-π, π))
Ζ(Δ) = ΖΡΔ), (9)
где множество -Δ = {λ: -AG Δ}.
В самом деле, пусть ϊ{\) = Σ α*£/λ* и η = Σ otk^k (суммы конечные).
Тогда / *$ η и, значит,
ν=Σ **&~Σ a^A*=7FA). (Ю)
Поскольку /δ(Α)<-»Ζ(Δ), то из (10) вытекает, что /δ(-Α)<-»Ζ(Δ) (или,
равносильно, /_δ(Α)<-»Ζ(Δ)). Но, с другой стороны, /_δ(Α)<->Ζ(—Δ).
Поэтому Ζ(Δ) = Ζ(-Δ) (Р-п. н.).
Следствие 2. Пусть снова ξ = (ξη) — стационарная
последовательность, где ξη — действительные случайные величины, и Ζ(Δ) =
= Ζι(Δ) + /Ζ2(Δ). Тогда для любых Δ\ и Δ2 из 38([-π, π))
ΕΖ1(Δ,)Ζ2(Δ2) = 0, (11)
и если Δι ΠΔ2 = 0 w (-Δι)ηΔ2 = 0, mo
ΕΖ,(Δ1)Ζ,(Δ2) = 0, ΕΖ2(Δ,)Ζ2(Δ2) = 0. (12)
Действительно, поскольку Ζ(Δ) = Ζ(-Δ), то
Ζ,(-Δ) = Ζ,(Δ), Ζ2(-Δ) = -Ζ2(Δ). (13)
Далее, так как ΕΖ(Δι)Ζ(Δ£) = Ε|Ζ(Δι ΠΔ2)|2, то
ΙπιΕΖ(Δ,)Ζ(Δ^) = 0,
т.е.
ΕΖ,(Δ1)Ζ2(Δ2)~ΕΖ2(Δ,)Ζ1(Δ2) = 0. (14)

§3. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ ПОСЛЕДОВАТЕЛЬНОСТЕЙ 599
Взяв вместо Δι интервал —Δι, отсюда находим
ΕΖι(^Αι)Ζ2(Α2) - ΕΖ2(^Αι)Ζι(Α2) = 0,
что в силу (13) преобразуется к виду
ΕΖι(Δι)Ζ2(Δ2) + ΕΖ2(Δι)Ζι(Δ2) = 0. (15)
Из (14) и (15) получаем равенство (11).
Если же Δι ΠΔ2 = 0 и (-Δι)ηΔ2 = 0, то ΕΖ(Δ!)Ζ(Δ2) = 0, откуда
Re ΕΖ(Δ,)Ζ(Δ2) = 0 и Re ΕΖ(-Δ,)Ζ(Δ2) = 0, что вместе с (13) очевидным
образом доказывает равенства (12).
Следствие 3. Пусть ξ = (ξη) — гауссовская последовательность.
Тогда для любого набора Δι,..., Δ* вектор (Ζ\ (Δι),..., Ζ\ (Δ^), Ζ2(Δι),
..., Ζ2(Δ^)) имеет гауссовское (нормальное) распределение.
В самом деле, линейное многообразие ί%(ξ) состоит из (комплексно-
значных) гауссовских случайных величин η, т. е. вектор (Re 77, Im 77) имеет
гауссовское распределение. Тогда в соответствии с п. 5 § 13 гл. II
замыкание Lq(£) также состоит из гауссовских величин. Отсюда и из следствия 2
вытекает, что в случае гауссовской последовательности ξ = (ξη)
действительные и мнимые части Ζ\ и Ζ2 независимы в том смысле, что любые
наборы случайных величин (Ζι(Δι), ..., Ζι(Δ^)) и (Ζ2(Δι), ..., Ζ2(Δ^))
независимы между собой. Из (12) следует, что для множеств Δι, ..., Δ^,
таких, что Δ; Π Δ7· = (-Δ;) Π Δ7· = 0, i, у = 1, ..., ft, / Φ j, случайные
величины Ζ/(Δι), ..., Zi(Ak) независимы в совокупности, / = 1, 2.
Следствие 4. Если ξ = {ξη) — стационарная последовательность
действительных случайных величин, то {Р-п. н.)
ξη= ^ cos \nZ\(d\)- § sin XnZ2(dX). (16)
—κ —π
Замечание. Если {Z\}y AG [—π, π), — процесс с ортогональными
приращениями, соответствующий ортогональной стохастической мере
Z = Z(A)t то спектральное представление (2) можно (в соответствии с § 2)
записать также в следующем виде:
ξη= I eiXndZXi neZ. (17)
—π
2. Пусть ξ = {ξη) — стационарная последовательность со
спектральным разложением (2), и пусть r/EL2(£). Следующая теорема описывает
структуру таких случайных величин.

600 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Теорема 2. Если r?GL2(0, rno найдется такая функция (pel^iF),
что (Р-п.н.)
77= ξ φ(λ)Ζ(ά\). (18)
—π
Доказательство. Если
то в силу (2)
*= 5(Σ ^/A*W*)> (20)
"π \|*|<я /
т.е. (18) выполнено с функцией
φη(Χ)=Σ ake'lXk' (21>
В общем случае, если r/eL2(0» то найдутся величины r;rt вида (19) такие,
что ||η-η«||->0, /1->оо. Но тогда ||^я -</?т|| = ||^я -qm|| -»0, /г, т-»оо,
т. е. последовательность (</?rt) фундаментальна в L2(f), и, значит, найдется
такая функция φ е L2(F), что \\φ - φη|| -» 0, /г -» оо.
В соответствии со свойством (14) § 2 \\У(<рп) — ^(φ)\\ —*0, и так как
Vn = S(<Pn)>rov = S(<p) (Р-п.н.). D
Замечание. Пусть #о(0 и Hq(F) — замкнутые линейные многообразия,
порожденные величинами ξ° = (ξη)η^ο и функциями е° = (еп)п^о
соответственно. Тогда, если η£Ηο(ξ), то найдется такая функция ip€Ho(F)t что
π
(Р-п.н.) η= § ψ{\)Ζ(άλ).
—К
3. Формула (18) описывает структуру тех случайных величин, которые
получаются из ξη, η е Ζ, с помощью линейных преобразований, т. е. в виде
конечных сумм (19) и их пределов в среднеквадратическом смысле.
Частный, но важный класс таких линейных преобразований задается с
помощью так называемых (линейных) фильтров. Предположим, что в
момент времени т на вход некоторой системы (фильтр) подается сигнал хт,
при этом реакция системы на этот сигнал такова, что на ее выходе в момент
времени η получается сигнал h{n — т)хт, где h = h(s), s Ε Ζ, — некоторая
комплекснозначная функция, называемая импульсной переходной
функцией (фильтра).

§3. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ ПОСЛЕДОВАТЕЛЬНОСТЕЙ 601
Таким образом, суммарный сигнал уп на выходе системы
представляется в виде
оо
Уп= Σ h(n-m)xm· (22)
Для физически осуществимых систем значение выходного сигнала в
момент времени η определяется лишь «прошлыми» значениями
входного сигнала, т. е. значениями хт при т^п. Естественно поэтому фильтр
с импульсной переходной функцией h = h(s) назвать физически
осуществимым, если h{s) = 0 для всех s < 0, иначе говоря, если
оо оо
Уп = Σ h{n-m)xm = ^2lh(m)xn-m. (23)
m=—oo m=0
Важной спектральной характеристикой фильтра с импульсной
переходной функцией h является ее преобразование Фурье
оо
φ(\) = Σ e-iXmh(m), (24)
m=—oo
называемое частотной характеристикой фильтра.
Остановимся теперь на условиях сходимости рядов в (22) и (24), о
которых до сих пор ничего не говорилось. Предположим, что на вход
фильтра подается стационарная случайная последовательность £ = (£„),
η el, с ковариационной функцией R(n) и спектральным разложением (2).
Тогда, если
оо
]Г h(k)R(l - к)Щ < оо, (25)
*,/=-оо
оо
то РЯД Σ h(n — m)£m сходится в среднеквадратическом смысле и, сле-
т=—оо
довательно, определена стационарная последовательность η = (ηη) с
оо оо
Vn= Σ h{n-m)U= Σ h(m)tn-m. (26)
m=—oo m=—oo
В спектральных терминах условие (25), очевидно, эквивалентно тому, что
v(A)6L2(F),T.e.
I \<p(\)\2F(dλ) <οο. (27)
—π

602 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
При условии (25) или (27) из (26) и (2) находим спектральное
представление последовательности η:
ηη=\ eiXn<p(X)Z(dX), neZ. (28)
—π
Следовательно, ковариационная функция Rv(n) последовательности η
определяется формулой
*„(*)= I eiXn\<p(X)\2 F(dX). (29)
—π
В частности, если на вход фильтра с частотной характеристикой φ = φ(Χ)
подается белый шум ε = (εΛ), то на его выходе будет получаться
стационарная последовательность (скользящего среднего)
оо
Vn= Σ h(m)en-m (30)
m=—oo
со спектральной плотностью
/„(λ) = ^Μλ)|2.
Следующая теорема показывает, что в определенном смысле всякая
стационарная последовательность со спектральной плотностью есть
последовательность, полученная с помощью скользящего среднего.
Теорема 3. Пусть η = (ηη) — стационарная последовательность
со спектральной плотностью fv(X). Тогда можно найти (быть
может, за счет расширения исходного вероятностного
пространства) такую последовательность ε = (εΛ), являющуюся белым шумом,
и такой фильтр, что справедливо представление (30).
Доказательство. По заданной (неотрицательной) функции fv(X) най-
1 π
дем такую функцию φ(Χ), что fv(X) = ό~Μλ)|2. Поскольку § fv(X)dX<
—π
<оо, то φ(Χ)Εί?(άμ), где άμ — мера Лебега на [-π, π). Поэтому
функцию φ(Χ) можно представить в виде ряда Фурье (24) с h(m) =
1 π
= 9~ S eltnX<p{X) dX, причем сходимость понимается в том смысле, что
2π
—π
12
S
φ{Χ)- Σ e-lXmh(m)
dX->0, /z-»oo.

§3. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ ПОСЛЕДОВАТЕЛЬНОСТЕЙ 603
Пусть
;?„= § eiXnZ(dX), neZ.
—π
Наряду с мерой Ζ = Ζ{Δ) введем в рассмотрение не зависящую от нее
новую ортогональную стохастическую меру Ζ = Ζ(Δ) с Ε|Ζ(α, b]\2 = -ζ—.
(Возможность построения такой меры предполагает, вообще говоря, что
исходное вероятностное пространство является достаточно «богатым».)
Положим
Ζ(Δ)= $ <p*(\)Z(d\)+ $ [1 -φ®(\)φ(\)]Ζ(ά\),
Δ Δ
где
ае = /а~!> если α ^0,
1θ, если α = 0.
Стохастическая мера Ζ = Ζ(Δ) является мерой с ортогональными
значениями, при этом для всякого Δ = (α, b]
Ε|Ζ(Δ)|2 = ^ $ ЬФ(А)|2ИА)|2^А+^ $ |1 -φ®(\)φ(λ)\2άλ=]£,
Δ Δ
где \A\ = b — a. Поэтому стационарная последовательность ε = (εΛ), /ζ Ε Ζ, с
ε„ = I eiXnZ(d\)
— 7Γ
является белым шумом.
Заметим теперь, что
π π
J eiXn<p(\)Z(d\) = $ βίΧηΖ(ά\) = η„ (31)
—π —π
и, с другой стороны, из определения φ(Χ) и свойства (14) § 2 (Р-п. н.)
π _ 7Г / СХ5 \ _
$ <?/AV(A)Z(dA) = ξ <?/Art( 51 e-iXmh(m)\Z(d\) =
-π -π \m=—oo /
(Χ) 7Γ ΟΟ
= £ A(m) $ eiX(n-m)Z{d\)= Σ h(m)e„-m,
m=—oo — * m=—oo
что вместо с (31) доказывает представление (30). Π
Замечание. Если fv(X) >0 (почти всюду по мере Лебега), то введение
вспомогательной меры Σ = 2(A) становится излишним (поскольку тогда

604 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
1 — φ®{\)φ(\) = 0 почти всюду по мере Лебега) и оговорка относительно
необходимости расширения исходного вероятностного пространства может
быть опущена.
Следствие 1. Пусть спектральная плотность fv(X)>0 (почти
всюду по мере Лебега) и
Λι(λ) = ^ΜΑ)|2.
где
ОО ОО
ν(λ)=Σ>~,λ*Λ(*>· ΣΐΛ(*)ΐ2<ο°·
k=Q k=0
Тогда последовательность η допускает представление в виде
одностороннего скользящего среднего
ОО
7?" = Σ h(m)£n-m.
m=0
В частности, пусть Ρ(ζ) = αο + α\ζ + ... + αρζρ. Тогда
последовательность η = (ηη) со спектральной плотностью
fv(\) = ±\P(e-iX)\2
представила в виде
Vn = аоеп + αιεη-{ +... + αρεη-ρ.
Следствие 2. Пусть ξ = (ξη) — стационарная последовательность
с рациональной спектральной Плотностью
/ξ(λ)= 1
2π
P(e~lX)
Q(e-'lX)
(32)
где Ρ(ζ) = α0 + αιΖ + ... + αρζΡ, Q(z) = l+biZ + ... + bqzi.
Если полином Q(z) не имеет нулей на множестве {ζ: \ζ\ = 1}, то
найдется такой белый шум ε = (εΛ), что (Р-п.н.)
ξη + Ыя-i + · · · + bqin-q = α0εη + α\εη-\ +... + αρεη-Ρ. (33)
Обратно, всякая стационарная последовательность ξ = (ξη),
удовлетворяющая такому уравнению с некоторым белым шумом
ε={εη) и полиномом Q(z), не имеющим нулей на множестве {ζ: \ζ\ = 1},
имеет спектральную плотность (32).
Действительно, пусть ηη=ξη + Ы«-1 + --. + bq£n-q. Тогда /τ,(λ) =
= -z-\P(e~lX)\2 и требуемое представление вытекает из следствия 1.
Ζ7Γ

§3. СПЕКТРАЛЬНОЕ ПРЕДСТАВЛЕНИЕ ПОСЛЕДОВАТЕЛЬНОСТЕЙ 605
С другой стороны, если имеет место представление (33) и /^(λ) и
Fv(А) — спектральные функции последовательностей ξ и η, то
FV(X)= $ \Q(e-n\2dFs(v) = ±; $ \P(e-iv)\*du.
—π —π
Поскольку |<2(e"/V)|2>0, то отсюда следует, что /^(λ) имеет плотность,
определяемую формулой (32).
4. Следующая эргодическая теорема (в среднеквадратическом
смысле) может рассматриваться как аналог закона больших чисел для
стационарных (в широком смысле) случайных последовательностей.
Теорема 4. Пусть ξ = (ξη), π € Ζ, — стационарная
последовательность с E£rt = 0, ковариационной функцией (1) и спектральным
разложением (2). Тогда
^Σ&^2({0}) (34)
и
п-\
i £/?(*)-^({0}). (35)
Доказательство. В силу (2)
Я-1 7Г . П—\
i Σ&= S ^ ]Γ^λζ(</λ)= $ ^(λ)Ζ(^λ),
«-> . fl, λ = 0,
k=Q -* k=0
где
νι.(λ)=£Σ**λ4ι ^Λ-ι ,^η (36)
Очевидно, что \φη(λ)\ ^ 1.
L2(F)
Далее, φη(λ) >/{0}(λ), поэтому по свойству (14) § 2
Ι φη(Χ)Ζ(άλ)^ Ι /{0}(λ)Ζ(</λ) = Ζ({0}),
—π —π
что и доказывает (34).
Аналогичным образом доказывается и утверждение (35). D
Следствие. Заметим, что если спектральная функция
непрерывна в нуле, т. е. F({0}) = 0, то Ζ({0}) = 0 (Ρ-п.«.). Поэтому в силу

606 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
(34), (35)
;Σ*(*>-*°4Σ>^°
k=0
k=0
Поскольку
я-1 12 I / п-\ \ 12 Ι я-1
ϊΣΗ = εϊΣ&Η «ε^2εϊΣ&
то верна и обратная импликация:
п-\
п-\
;Σ«.-ο* JEW
k=0
k=0
Таким образом, условие - Σ R(k)-+0 является необходимым и до-
п k=o
статочным для сходимости (в среднеквадратическом смысле) средних
/1-1
арифметических - £ & к нулю. Отсюда следует, что если исходная по-
п k=o
следоватёльность ξ = (ξη) такова, что ее математическое ожидание есть т
(Е£о = т), то
£ £/?(*)-0 <* £Х>^т. <37>
k=0 k=0
где ϋ(η) = Ε(ξη-Εξη)(ξ0-Εξο).
Отметим также, что если Z({0}) ^ 0 с положительной вероятностью, а
т = 0, то это означает, что последовательность ξη содержит «случайную
константу а»:
ξ„ = α + 77„,
7Г
где α = Ζ({0}), a в спектральном представлении ηη= § elXnZv(d\) мера
—7Г
Ζη = Ζη(Δ) уже такова, что Ζτ?({0}) = 0 (Р-п. н.). Утверждение (34)
означает, что средние арифметические сходятся в среднеквадратическом смысле
именно к этой случайной константе а.
5. Задачи.
1. Показать, что L%(F) = L2(F) (обозначения см. в доказательстве
теоремы 1).
2. Пусть ξ = (ξη) — стационарная последовательность, обладающая тем
свойством, что для некоторого /V и всех η ξη+Ν =ξη- Показать, что
спектральное представление такой последовательности сводится к
представлению (13) § 1.

§4. СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ
607
3. Пусть ξ = (ξη) — стационарная последовательность такая, что Εξη = 0
и
ρΣΣ^-'>4 Σ m[i-®]*cN-°
*=0 /=0 |*КУУ-1
при некоторых С > 0, а >0. Используя лемму Бореля—Кантелли, показать,
что тогда
4. Пусть спектральная плотность /ξ(λ) последовательности ξ = (ξη)
является рациональной,
1 \РЯ-Х{е-*Х)\
WA)-S \Qn(e-*)\ ' (38)
гдеЯл_1(г) = а0 + а1г + ... + ал_1гл"1 и <Эя(г)=1+&1г + ... + &ягя, причем
корни полинома Qn не лежат на единичной окружности.
Показать, что найдется такой белый шум е = (ет), meZ, что
последовательность (ξη) будет компонентой /z-мерной последовательности
Km. fm» ···. im). Cm =£m, удовлетворяющей системе уравнений
i«+i=i«+l+Ae«+i. ' = 1 л— 1,
tt+i=-E*«-/c«+I+A^+i. (39)
/=0
1-1
где /?, =а0, A = fli-i - Σ &&/-*·
*=1
§ 4. Статистическое оценивание ковариационной
функции и спектральной плотности
1. Задачи статистического оценивания тех или иных характеристик
распределений вероятностей стационарных случайных
последовательностей возникают в самых разнообразных областях науки (геофизика,
медицина, экономика и др.). Материал, излагаемый в настоящем параграфе,
дает представление о понятиях и методах оценивания и о тех трудностях,
которые здесь возникают.

608 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Итак, пусть f — (f rt), /ζ Ε Ζ, — стационарная в широком смысле
(действительная—для простоты) случайная последовательность с математическим
π
ожиданием Εξη = т и ковариацией R(n) = § eiXn F(dX).
—π
Пусть xq, x\, ..., jtyv-i —полученные в ходе наблюдений значения
случайных величин fo.fi.···. fyv-i· Как по ним построить «хорошую» оценку
(неизвестного) среднего значения т?
Положим
1 N~l
mN(x) = jj J] Xk. 0)
Тогда из элементарных свойств математического ожидания следует, что
эта оценка является «хорошей» оценкой величины т в том смысле, что
«в среднем по всем реализациям *о, ··., *yv-i» она является несмещенной,
т.е.
E/M0 = Eii £&]="*· Р)
1 *
Более того, из теоремы 4 § 3 вытекает, что при условии — ^ R(k) —> 0,
N k=o
N-*oo9 рассматриваемая оценка является также и состоятельной
(в среднеквадратическом смысле), т. е.
E|myv(f)-m|2->0, /V->oo. (3)
Займемся теперь вопросом оценивания ковариационной функции
/?(/г), спектральной функции F(\) = F([-n, λ]) и спектральной
плотности /(λ), предполагая, что т = 0.
Поскольку ϋ(η) = Εξη+/ιζ/ι* το в качестве оценки этой величины по
результатам /V наблюдений *о, *ι, ···, χν-\ естественно взять (для 0^η<Ν)
величину
Ν-η-\
Ясно, что оценка является несмещенной в том смысле, что
ЕЯ*(я; f) = #(")> 0<η<Ν.
Рассмотрим теперь вопрос о ее состоятельности. Подставляя в
(37) § 3 вместо & величины frt+*f* и предполагая, что для каждого
целого числа η последовательность ζ = (ζΛ)Λ€Ζ, C* = frt+*f*, стационарна

§4. СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ
609
в широком смысле (в частности, отсюда будет следовать существование
четвертого момента Εξ§ <оо), находим, что условие
ι Ν-χ
jjT,E к«+*& - *(*)] к«& - Rw - °· * - °°> (4)
является необходимым и достаточным для того, чтобы
Е\Ып\ О - R(n)\2 -> 0, /V - оо. (5)
Предположим, что исходная последовательность £ = (£„) является гаус-
совской (с нулевым средним и ковариацией R{n)). Тогда в силу (51) § 12
главы II
Е[6,+Л - /?(/*)] [{„& - R(n)] = Εί„+*&6.& - /?2(/г) =
= Εξη+& · E&ft + Ef„+Λί« · E&& + Εξ«+Λίο · Ε&& - Л2(я) =
= /?2(ft) + /?(/z + ft)/?(/z-ft).
Поэтому в гауссовском случае условие (4) эквивалентно условию
ι "-'
Поскольку \R(n + k)R(n - k)\ ^ |/?(/ι + k)\2 + |/?(/ι - ft)|2, то из условия
l£/?2(fc)->0, /V->oo, (7)
вытекает и условие (6). В свою очередь, если (6) верно для /г = 0, то
выполняется условие (7).
Таким образом, доказана следующая
Теорема. Пусть ξ = (ξη) — гауссовская стационарная последова-
тельностъ с Εξη = 0 и ковариационной функцией R(n). Тогда
выполнение условия (7) является необходимым и достаточным для того,
чтобы при любом п^О оценка Ru(/г; х) была состоятельной в сред-
неквадратическом смысле (т. е. чтобы было выполнено условие (5)).
Замечание. Если воспользоваться спектральным представлением
ковариационной функции, то получим
jj Σ ι*2(*)+Rin+kwn -*)]-♦ °. N~* °°· (6)
#-1 π π . Ν-\
Л=0 -ir -π /f=Q
^£>2(*)= ξ ξ i^^w»*F(rfA)F(^)= ξ I f„(X,v)F(dX)F(dv),

610 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
где (ср. с (36) § 3)
(1. λ = ΐΛ
fN (А, v)={ 1-е-(А-^
Но при N —>оо
λ = ι/,
^-{i
MA.i/)-/(Atw
[0, λ^ζ/.
Поэтому
^ Σ *2(*)- ξ Ι /(λ, u)F{d\)F(du)= I F({X})F(dX) = J2 ^«λ}).
где сумма по λ не более чем счетна, поскольку мера F конечна.
Тем самым, условие (7) эквивалентно условию
]TF2({A}) = 0, (8)
λ
означающему, что спектральная функция F(\) = F([—n, λ]) является
непрерывной.
2. Перейдем теперь к вопросу построения оценок для спектральной
функции F(X) и спектральной плотности /(λ) (в предположении, что она
существует).
Естественно напрашивающийся путь построения оценок спектральной
плотности следует из проведенного выше доказательства теоремы Герглот-
ца. Напомним, что введенная в § 1 функция
hw-h E(l-l4)R^e~iXn w
Ж_1«Г
\η\<Ν <
обладала тем свойством, что построенная по ней функция
λ
FN(X)= $ fN(y)du
— π
сходилась в основном к спектральной функции F(X). Поэтому, если F(\)
имеет плотность /(λ), то для каждого AG [-π, π)
λ λ
$ hW)dv-> $ f(u)du. (10)

§4. СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ
611
Исходя из этих фактов и вспоминая, что в качестве оценки R(n) (по
наблюдениям xq, х\, ..., χν-\) брались величины Άν{π\ χ), возьмем в
качестве оценки /(А) функцию
/„(А; *) = ^ Σ [} ' ж)^(я; ^"'^
|/ί|<Λ(
(")
полагая #yv(^*) = £yv(M; *)·
Функцию /yv(A; *) принято называть периодограммой, и нетрудно
проверить, что ее можно представить также в следующем несколько более
удобном виде:
Ыкх)=*Ш
N-X
Σ х«е 1
—iXn
я=0
(12)
Поскольку ERN(n\ ξ) = /?(/ζ), \η\<Ν, то
Efo(A;0 = MA).
Если спектральная функция /^А) имеет плотность /(А), то, учитывая, что
/yv(A) может быть записана также в виде (34) § 1, найдем, что
k=0 1=0 -*
= —
k=0
№dv.
Функция
<Μλ)=2^
N-\
]Γ eiXh
k=0
1
2πΝ
sin -Ν
sin λ/2
называется ядром Фейера. Из свойств этой функции известно, что для
почти всех А (по мере Лебега)
Ι *Ν{λ-ν)№άν-*№. (13)
—π
Поэтому для почти всех AG [—π, π)
E/*(A;£W(A), (14)
иначе говоря, оценка /#(А; х) спектральной плотности /(А) по
наблюдениям хо, х\у ..., jtyv_i является асимптотически несмещенной.

612 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
В этом смысле оценку /#(λ; х) можно было бы считать достаточно
«хорошей». Однако на индивидуальных наблюдениях хо, ..., χν-\
значения периодограммы /#(λ; х) оказываются зачастую далекими от истинных
значений /(λ). Например, пусть ξ = (ξη) — стационарная
последовательность независимых гауссовских случайных величин, £л~еЖ(0, 1). Тогда
/(A) = 1/2π, а
ш->о=1
Ν-1
та Σ а·-1
2
Поэтому 2nfu(0\ ξ) по распределению совпадает с квадратом гауссовской
случайной величины η~Λ(0, 1). Отсюда при любом /V
Е|М0;О-/(0)|2 = ^Е|т72-1|2>0.
Более того, несложный подсчет показывает, что если /(А) —
спектральная плотность стационарной последовательности ξ = (ξη), образованной по
схеме скользящего среднего:
оо
^ = Σα*εη-* (,5)
*=о
оо оо
с Σ Ια*Ι < °°. Σ Ια*Ι2 < °°> рДе ε = (£п) — белый шум с Esq < оо, то
*=0 *=0
, /2/2(0),
\/2(λ),
&е№*-"»г-\ъ%· ΧΧ;°0Χ: m
Отсюда становится понятным, что периодограмма не может служить
удовлетворительной оценкой спектральной плотности. Чтобы исправить
это положение, в качестве оценок для /(А) часто используют оценки вида
/^(А;х)= I WN(X-v)fN(w,x)dis, (17)
—π
которые строятся по периодограмме /yv(A; x) и некоторым
«сглаживающим» функциям Wn(\), называемым спектральными окнами.
Естественные требования, предъявляемые к функциям U^(A), состоят в том, чтобы:
a) Wn(\) имели резко выраженный максимум в окрестности точки А = 0;
b) I WN(X)d\=U
c) е1;^(А; О- ДА)|2-+0, /V->oo, AG [-π, π).

§4. СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ
613
В силу (14) и требования Ь) оценки /y|f (λ; ξ) являются асимптотически
несмещенными. Требование с) является условием асимптотической
состоятельности в среднеквадратическом смысле, что, как было показано
выше, нарушается для периодограммы. Наконец, требование а) обеспечивает
«вырезание» из периодограммы требуемой частоты λ.
Приведем некоторые примеры оценок вида (17).
Оценка Бартлетта основана на выборе спектрального окна
WN(X) = aNB(aNX),
где а^ ΐ оо, а^/Ν —> О, /V -»οο, и
bw-£
sm-
λ/2
Оценка Парзена использует в качестве спектрального окна функцию
WN(X) = aNP(aNX),
где аы такие же, как и выше, а
*λ>=έ
. λ
sin —
4
λ/4
Оценки Журбенко строятся с помощью спектральных окон вида
WN(X) = aNZ{aNX),
где
Ζ(λ)
■(.:
α+1
2α
|λ|Ω +
α+1
2α '
|λ|<1,
|λ|>1,
где 0< α ^2, а величины α# подбираются специальным образом.
Не останавливаясь подробнее на вопросах оценивания спектральных
плотностей, укажем лишь, что имеется обширная статистическая
литература, посвященная построению спектральных окон и сравнению свойств
соответствующих им оценок /дГ(А; х). (См., например, [133], [71], [72].)
3. Рассмотрим теперь вопрос оценивания спектральной функции
F(\) = F([—π, λ]). С этой целью положим
λ ^ λ
FnW= § h(y)dv, FN(X\x)= § fN{v\x)dv>
—π —π
где fu(i/\ χ) — периодограмма, построенная по (xq, x\, ..., xn-\)·

614 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Из доказательства теоремы Герглотца (§ 1) следует, что для любого
/reZ при /V-»oo
I eiXndFN{\)-+ I eiXndF(X).
—κ —π
Отсюда (ср. со следствием к теореме 1 § 3 гл. III) вытекает, что Fh=>F,
т.е. Fm{\) сходятся к F(X) в каждой точке непрерывности функции F(X).
Заметим, что для всех \п\ < N
j eiXndFN(X^) = RN(n^)(l-f).
Поэтому, если предположить, что Ru(n\ О сходятся с вероятностью
единица к R(n) при N -»оо, то тогда
π π
J βίΧηάΡΝ(\;ξ)-> ^ eiXndF(X) (Р-п.н.)
—π —π
и, значит^ Fn(\\ £)=>F(A) (Ρ-π. η.).
Отсюда легко вывести (переходя в случае необходимости от
последовательностей к подпоследовательностям), что если Rn(ti\ Q->R(ri) по
вероятности, то тогда и F^(X\ ξ) => F(X) по вероятности.
4. Задачи.
1. Пусть в схеме (15) величины еп ~сЖ(0, 1). Показать, что для любого
η и Λ/—>οο
(N - \n\)DRN(n\ £)->2π ξ (1 +e2inX)f2{\)d\.
—π
2. Установить справедливость формулы (16) и следующего ее
обобщения:
Г 2/2(0), Α = ι/ = 0,±π,
Jim cov(MA;£), Λν(^;0) = <
N—юо
§ 5. Разложение Вольда
/2(λ), λ = ζ/^0,±π,
Ο, \φν.
1. В отличие от представления (2) § 3, дающего разложение
стационарной последовательности в частотной области, рассматриваемое ниже
разложение Вольда действует во временной области. Суть этого
разложения сводится к тому, что стационарная последовательность ξ = (ξη), я е Ζ,
представляется в виде суммы двух стационарных последовательностей,

§5. РАЗЛОЖЕНИЕ ВОЛЬДА
615
одна из которых полностью предсказуема (в том смысле, что ее значения
полностью восстанавливаются по «прошлому»), а вторая этим свойством
не обладает.
Введем прежде всего некоторые обозначения. Пусть Ηη(ξ) = ίβ(ξη) и
//(£) = £2(0 — замкнутые линейные многообразия, порожденные
величинами ξη = (..·, ξη-ι,ξη) и ξ = (...,ξη-ι, ξη, ...) соответственно. Пусть также
S(Q=f}Ha(i).
η
Для любого элемента η е Η(ξ) обозначим через
πη(η) = Ε(η\Ηη(ξ))
проекцию элемента η на подпространство Ηη(ξ) (см. § 11 гл. II). Будем
обозначать также
7Г.оо(77) = Ё(77|5(0).
Каждый элемент η е Η{ξ) можно представить следующим образом:
η = π-οοίη) + (η - 7Г_оо(т?)),
где η — π-00(η)±π-00(η). Поэтому пространство Η(ξ) представляется в
виде ортогональной суммы
tf(O = S(0®*(0.
где S(£) состоит из элементов π_οο(77) с ηΕΗ(ξ), а /?(£) — из элементов
вида η-π-^η).
Всюду в дальнейшем будем предполагать, что Εξη = 0 и Οξη > 0. Тем
самым пространство Η(ξ) заведомо является нетривиальным (содержит
элементы, отличные от нулевого).
Определение 1. Стационарная последовательность ξ = (ξΛ)
называется регулярной, если
и сингулярной, если
Я(0 = 5(0·
Замечание 1. Сингулярные последовательности называют также
детерминированными, регулярные— чисто или вполне
недетерминированными. Если S(£) есть собственное подпространство пространства #(£),
то последовательность ξ называют недетерминированной.

616 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Теорема 1. Всякая стационарная в широком смысле случайная
последовательность ξ допускает разложение
6.=fi+fi. (1)
где ξΓ = (ξΓη) — регулярная, α £s = (f*) — сингулярная
последовательность. При этом ξΓ и ξ5 ортогональны (ξΓη±ξ^ для всех η и т).
Доказательство. По определению положим
Й = £(6,1ЗД. £ = &-£.
Поскольку ££±S(0 для любого /ζ, то S(£r)±5(0- С другой стороны,
S(f)QS(0. И» значит, S(f) тривиально (содержит лишь случайные
величины, совпадающие почти наверное с нулем). Следовательно, процесс
ξΓ является регулярным.
аалее,Нп(£)СНпЮ®Нп(?)иНп(?)СНп(0,Нп(ПСНп£). Поэтому
Hn(Q = Hn(£s)®Hnfcr)t и, значит, для любого η
S(QCHn(?)®Hn(0. (2)
Поскольку ξΓη ± 5(0, то из (2) следует, что
S(0 С//„(£*),
и, значит, S£)CS£S)CH(?). Но ξ'η eS(0, поэтому Я(^)С5(0, и,
следовательно,
5(0 = 5(f) = //«*).
что означает сингулярность последовательности ξ5.
Ортогональность последовательностей ξ5 и ξΓ следует очевидным
образом из того, что ξεη е S(0, а ξΓη ± S(0- Π
Замечание 2. Разложение (1) на регулярную и сингулярную
компоненты единственно (задача 4).
2. Определение 2. Пусть ξ = (ξη) — невырожденная стационарная
последовательность. Случайную последовательность ε — (εη) назовем
обновляющей последовательностью (для О» если:
a) ε = {εη) состоит из попарно ортогональных случайных величин с
ΕεΛ=0,Ε|εΛ|2=1;
b) Ηη(ξ) = Нп(е) для любого neZ.
Замечание 1. Смысл термина «обновление» обусловлен ассоциацией
с тем, что εη+\ как бы привносит новую «информацию», не содержащуюся
в Ηη(ξ) (иначе — «обновляет информацию» в Ηη(ξ), которая необходима
для образования Ηη+\{ξ)).
Следующая важная теорема устанавливает связь между введенными
выше (пример 4 в § 1) последовательностями одностороннего скользящего
среднего и регулярными последовательностями.

§5. РАЗЛОЖЕНИЕ ВОЛЬДА
617
Теорема 2. Для того, чтобы невырожденная
последовательность ξ была регулярной, необходимо и достаточно, чтобы нашлись
такие обновляющая последовательность ε = (εη) и последователь-
ность комплексных чисел (ап), η ^0, с Σ \αη\2 < оо, что (Р-п. н.)
/1=0
оо
Доказательство. Необходимость. Представим Ηη(ξ) в виде
Ηη(ξ) = Ηη-1(ξ)ΘΒη.
Поскольку Ηη(ξ) порождается элементами из Ηη-\(ξ) и элементами вида
βξη, где /J — комплексные числа, то размерность пространства Вп равна
нулю или единице. Пространство Ηη(ξ) не может совпадать с Ηη-\(ξ) ни
при одном п. В самом деле, если при каком-то η Βη тривиально, то в
силу стационарности тривиальными будут пространства Bk при всех k, a,
значит, тогда tf(£) = S(f), что противоречит предположению о регулярности
последовательности ξ. Итак, пространство Вп имеет размерность 1.
Пусть ηη — ненулевой элемент из Вп. Положим
ε --32-
п~\ЫУ
где|Ы|2 = ЕЫ2>0.
Для фиксированных η и k ^ 0 рассмотрим разложения
Яя(0 = Яя_л(0®Ая-л+1®...©А«.
Тогда εΛ_Λ, ...,εη образуют ортонормированный базис в βΛ_£+ιθ...Θ
®Вп и
ξη = Σ ai€n-i + *«-*(£«)» ί4)
гдеау = Е^ел_у.
В силу неравенства Бесселя (6) § 11 главы II
£>у|Ч||Ы|2<оо.
/=о
Отсюда следует, что ряд ]Г α7·εΛ_/ сходится в среднеквадратическом
/=о
смысле, и в силу (4) для доказательства (3) осталось лишь доказать, что
*W*(£0-^ 0, й->оо.

618 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Достаточно рассмотреть случай п = 0. Обозначим π/ = π/(ξο).
Поскольку
k
а слагаемые, участвующие в сумме, ортогональны, то для любого k ^ О
£||π_,·-π_,·+Ι||2 =
/=0
k
/=0
= ||π.,-πο||44||ξο||2<οο.
Поэтому существует (в среднеквадратическом смысле) предел lim π_Λ.
Для каждого k π_* е//_*(£), и, значит, рассматриваемый предел должен
принадлежать подпространству Π //_*(£) = S(£). Но по предположению
L2
5(ξ) тривиально, и поэтому π_* —► 0, k —> оо.
Достаточность. Пусть невырожденная последовательность ξ
допускает представление в виде (3), где ε = (εη) — ортонормированная
система\(не обязательно удовлетворяющая условию Ηη(ξ) = Ηη(ε), η el).
Тогда Нп(£)СНп(е) и, значит, S(() = f] Η^ξ)ζ.Ηη(ε) для любого п. Но
еп+\ ±Ηη(ε), поэтому εη+\ JLS(0» и в то же самое время ε = (εη) является
базисом в Η(ξ). Отсюда следует, что подпространство S(£) является
тривиальным, и, значит, последовательность ξ регулярна. D
Замечание 2. Из проведенного доказательства следует, что
невырожденная последовательность ξ является регулярной тогда и только тогда,
когда она допускает, если следовать определению в примере 4 § 1,
представление в виде одностороннего скользящего среднего
оо
& = Х]Мя-*, (5)
где ε = (εη) — некоторая ортонормированная система. В этом смысле
утверждение теоремы 2 говорит о большем, а именно о том, что для регулярной
последовательности ξ найдутся такие а = (ап) и ортонормированная
система ε = (εΛ), что наряду с (5) будет справедливо представление (3), для
которого Ηη(ξ) = Ηη(ε), пе Ζ.
Из теорем 1 и 2 непосредственно вытекает
Теорема 3 (разложение Вольда). Если ξ = (ξη) — невырожденная
стационарная последовательность, то
ОО
&=£+Σα*ε«-*· (6)
*=о

§5. РАЗЛОЖЕНИЕ ВОЛЬДА
619
где Σ Ια*Ι2 < °° и ε = (ε")"" некоторая обновляющая
последовательно
ность (для ξΓ).
3. Смысл введенных выше понятий регулярной и сингулярной
последовательностей становится особенно прозрачным при рассмотрении
следующей задачи (линейной) экстраполяции, для общего решения которой
оказывается весьма полезным использование разложения Вольда (6).
Пусть Ηο(ξ) = ί.2(ξ°) — замкнутое линейное многообразие, порожденное
величинами £° = (..., £_ь ξ0). Рассмотрим задачу построения
оптимальной (в среднеквадратическом смысле) линейной оценки ξη величины ξη
по «прошлым» наблюдениям £° = (..., f_lt f0).
Из § 11 гл. II следует, что
ξη = £(ξη\Η0(ξ)). (7)
(В обозначениях п. 1 ξη=πο(ξη).) Поскольку f и ξε ортогональны и #о(£) =
= //о(£г)Ф^о(С5)» то с учетом (6) находим
in=ё(й+еп ι я0(о)=ё(й ι я0(о)+ею ι я0(о)=
= Ё(^|я0(Оея0(П) + Е(С|^о(ОеЯо(^)) =
= Ё(Й | Я0(Г)) + Ё(Й | Яо(О) = Й + Ё if) α*ε„_, |//0(ίΓ)J ·
В (6) последовательность ε = (εΛ) является обновляющей для ξΓ = (ξΓη) и,
значит, Η0(ξΓ) = Ηο(ε). Поэтому
(оо \ оо
*=0 / *=η
(8)
и среднеквадратическая ошибка предсказания ξη по ξυ = (..., ξ- \, ξο) равна
ση2 = Ε|ξ„-ξ„|2 = £|αΛ|2. (9)
Отсюда вытекают следующие два важных вывода.
a) Если последовательность ξ сингулярна, то для любого η ^ 1 ошибка
(экстраполяции) σ\ равна нулю, иначе говоря, возможно безошибочное
предсказание ξη по «прошлому» £° = (..., £_lt f0).
b) Если последовательность ξ регулярна, то сг^ <σ^+1 и
П~*°° k=Q

620 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Поскольку
оо
Ем2=Еы2·
k=Q
то из (10) и (9) следует, что
ξη —► 0, η -»οο,
т. е. с ростом η прогноз величины ξη по ξ° = (..., ξ_ι, ξο) становится три-
виальным (совпадающим просто с Е£„=0).
4. Будем предполагать, что ξ — невырожденная регулярная
стационарная последовательность. Согласно теореме 2, всякая такая
последовательность допускает представление в виде одностороннего скользящего
среднего
оо
ξ/ι = Σα*ε*-*» (И)
ОО
где Σ )fik\2 <oo и ортонормированная последовательность ε = (εη) обла-
дает тем важным свойством, что
Ηη(ξ) = Ηη{ε), neZ. (12)
Представление (И) означает (см. п. 3 § 3), что ξη можно рассматривать
как сигнал на выходе физически осуществимого фильтра с импульсной
переходной функцией а = (a*), k ^ О, когда на вход подается
последовательность ε = (εη).
Как и всякая последовательность двустороннего скользящего среднего,
регулярная последовательность имеет спектральную плотность /(λ). Но то
обстоятельство, что регулярная последовательность допускает
представление в виде одностороннего скользящего среднего, позволяет получить
дополнительную информацию о свойствах спектральной плотности.
Прежде всего ясно, что
/(λ) = ^Μλ)|2,
где
ОО ОО
^(λ)=Σ *~/λ*α*> Σ ι^ι2<°°· <13)
Положим
οο
Ф(г) = £а*г*. (14)
*=ο

§5. РАЗЛОЖЕНИЕ ВОЛЬДА
621
Эта функция является аналитической в открытой области |г| < 1 ив силу
оо
условия Σ \ak\ <°° принадлежит так называемому классу Харди Я2,
т. е. классу аналитических в области |г| < 1 функций g = g(z), для которых
sup i- I \g(rei0)\2d0<oo. (15)
Действительно,
sup V |αΛ|2Γ2Λ <ξ Υ" № < °°·
В теории функций комплексного переменного доказывается, что
граничное значение Ф(е/А), —π^λ<π, тождественно не равной нулю функции
Φ G Η2 обладает тем свойством, что
Ι 1η |Φ(<?-/λ)|</λ>-οο. (16)
—π
В рассматриваемом нами случае
/(λ) = ^|Φ(*-ίλ)|2,
где Φ б Η2. Поэтому
In /(λ) = -1η2π + 21η|Φ(β-'λ)|,
и, следовательно, спектральная плотность /(λ) регулярного процесса
удовлетворяет условию
I In f(\)d\>-oo. (17)
—π
С другой стороны, пусть спектральная плотность /(λ) такова, что
выполнено условие (17). Опять-таки из теории функций комплексного пере-
менного следует, что тогда найдется такая функция Ф(г)= Σ α*ζ » ПРИ~
k=0
надлежащая классу Харди Я2, что (почти всюду по мере Лебега)
/(λ) = ^|Φ(*-'λ)|2.

622 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Поэтому, полагая <р(\) = Ф(е~1Х), получаем
/(λ) = ^Μλ)|2,
где φ(Χ) задается формулой (13). Тогда из следствия 1 к теореме 3 § 3
вытекает, что последовательность ξ допускает представление в виде
одностороннего скользящего среднего (11), где ε = (εη) — некоторая ортонор-
мированная последовательность. Отсюда и из замечания 2 в п. 2 следует,
что последовательность ξ регулярна.
Итак, имеет место
Теорема 4 (Колмогоров). Пусть ξ — невырожденная регулярная
стационарная последовательность. Тогда существует
спектральная плотность /(λ) такая, что
π
§ In f(\)d\>-oo. (18)
—π
В частности, /(λ) > 0 {почти всюду по мере Лебега).
Обратно, если ξ — некоторая стационарная
последовательность, имеющая спектральную плотность, удовлетворяющую
условию (18), то эта последовательность является регулярной.
5. Задачи.
1. Показать, что стационарная последовательность с дискретным
спектром (спектральная функция F(X) — кусочно-постоянна) является
сингулярной.
2. Пусть σ\ = E|£rt - ξη\2, ξη = й(£п \ Ηο(ξ)). Показать, что если для
некоторого п^\ σ% = 0, то последовательность ξ является сингулярной; если
же при η -»оо σ\ —» /?(0), то — регулярной.
3. Показать, что стационарная последовательность ξ = (ξη)> ζη = βιηφ*
где <£ —равномерная случайная величина на [О, 2π], является регулярной.
Найти оценку ξη, величину σ\ и показать, что нелинейная оценка
дает безошибочный прогноз ξη по «прошлому» ξ° = (..., ξ-\, ξο), т.е.
Ε\ξη-ξη\2 = 0, η>\.
4. Доказать, что разложение (1) на регулярную и сингулярную
компоненты единственно.

§6. ЭКСТРАПОЛЯЦИЯ, ИНТЕРПОЛЯЦИЯ И ФИЛЬТРАЦИЯ 623
§ 6. Экстраполяция, интерполяция и фильтрация
1. Экстраполяция. В соответствии с результатами предыдущего
параграфа сингулярные последовательности допускают безошибочный
прогноз (экстраполяцию) величин ξη, п^ 1, по «прошлому» £° = (..., £_ь ξ0).
Естественно поэтому при рассмотрении задач экстраполяции для
произвольных стационарных последовательностей изучить сначала случаи
регулярных последовательностей.
Согласно теореме 2 из § 5, всякая регулярная последовательность
ξ = {ξη) допускает представление в виде одностороннего скользящего
среднего,
оо
оо
с Σ |α*|2<οο и некоторой обновляющей последовательностью ε = (εη).
Представление (1), как следует из § 5, решает задачу нахождения
оптимальной (линейной) оценки ξη = Ε(ξη |#ο(£))» поскольку, согласно (8) § 5,
оо
in=Σ α*ε«-* (2)
и
σΙ = Ε\ξη-ξη\2 = Σ\α*\2· (3)
Однако это решение можно считать лишь принципиальным решением в
силу следующего обстоятельства.
Обычно рассматриваемые последовательности задаются не
представлением (1), а с помощью задания их ковариационной функции R(n) или
спектральной плотности /(λ) (которая существует для регулярных
последовательностей). Поэтому решение (2) можно признать
удовлетворительным, если коэффициенты а* будут выражены через значения R(n) или /(λ),
а величины ε* — через значения ..., &_ι, &.
Не затрагивая эту проблему в ее общем виде, ограничимся
рассмотрением одного частного (но интересного для приложений) случая, когда
спектральная плотность представляется в виде
/(А) = ^|Ф(е-/А)|2, (4)
ОО
где функция Ф(г) = Σ bk*k имеет радиус сходимости г > 1 и не имеет нулей
в области |г|< 1.

624 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Пусть
ξη = I eiXnZ(d\) (5)
—π
— спектральное представление последовательности ξ = (ξη), n e Z.
Теорема 1. Если спектральная плотность последовательности
ξ представила в виде (4), то оптимальная (линейная) оценка ξη
величины ξη по ξ° = (..., £_ь Со) задается формулой
in= l Φη(Χ)Ζ(ά\ι (6)
—π
где
VnW = e ф{е_1Х) (7)
и
OO
Qn(z) = Y,bkzk.
k=n
Доказательство. Согласно замечанию к теореме 2 § 3, всякая
величина ξη Ε Ηο(ξ) допускает представление в виде
ξη= I Cf>nWZ{d\\ CpneH0{F), (8)
—π
где Hq(F) — замкнутое линейное многообразие, порожденное функциями
λ
еп = eiXn сп^О (F(X)= $ /Мdv)-
—π
Поскольку
Е|6,-&|2 = |е ](eiXn-<pn(\))Z(d\)\2= I \eiXn-<pn(\)\2i(\)d\,
Ι —π ' —π
то доказательство оптимальности оценки (6) сводится к доказательству
того, что
. inf I \eiXn-<pn(\)\2f(\)d\= I \eiXn-<pn(\)\2f(\)d\. (9)
Из теории гильбертовых пространств (§ 11 гл. II) следует, что
оптимальная (в смысле (9)) функция <£η(λ) определяется двумя условиями:
I)U,(A)e//o(/=). nm
2)eiXn-<pn(\)±Ho(F)- { '

§6. ЭКСТРАПОЛЯЦИЯ, ИНТЕРПОЛЯЦИЯ И ФИЛЬТРАЦИЯ 625
Поскольку
eiXn$n(e-iX) = eiXn[bne-iXn + *я+1*-/А(я+|) + ...]€ //ο(Ό
и аналогичным образом _/Λ eHo(F)t то функция <£Λ(λ), определенная
в (7), принадлежит классу Ho(F). Поэтому для доказательства
«оптимальности» функции φη{λ) достаточно лишь проверить, что для любого т ^ О
eiXn-0n(X)±e-iXm,
т.е.
1п,т = I [eiXn - <pn(X)]eiXm /(λ) d\ = 0, m ^ 0.
—JT
Следующая цепочка равенств показывает, что это действительно так:
ln'm~2n J e'
iX(n+m)
1-
Фп(е"'А)
Ф(е-'А)
|Φ(<?-'λ)|^λ =
= h S е'А(я+т)[Ф(е-''А)-Фп(^"'А)]Ф(^-/А)^А =
—π
-* \*=0 / \/=0 /
= J_ \ eiXm (Σ Ьке»<п-А & bteixl\ d\ = 0,
π -π \k=Q ) \/=0 /
где последнее равенство следует из того, что для т ^ 0 и г > 1
D
Замечание 1. Разлагая функцию φη{λ) в ряд Фурье
находим, что прогноз ξη величины ξηι η ^ 1, по прошлому ξ° = (..., f_i, ξο)
определяется формулой
Замечание 2. Типичным примером спектральной плотности, предста-
вимой в виде (4), является рациональная функция
™=ё
Я(е-'А)
Q(e~iX)

626 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
где полиномы Ρ(ζ) — αο + α\ζ + ... + αρζρ и Q(z)= 1 +b\Z +... + bqzq не
имеют нулей в области {г: |г|< 1}.
Действительно, в этом случае достаточно положить Ф(г) = Я(г)/(?(г).
оо
Тогда Ф(г)= Σ CkZky причем радиус сходимости этого ряда больше еди-
ницы.
Приведем два примера, иллюстрирующие теорему 1.
Пример 1. Пусть спектральная плотность
/(λ) = ^(5 + 4 cos λ).
Соответствующая ковариационная функция R(n) имеет «треугольный» вид:
/?(0) = 5, Я(±1) = 2, /?(/г) = 0при |я|>2. (11)
Поскольку рассматриваемая спектральная плотность может быть
представлена в виде
/(λ) = ^|2 + *-/λ|2,
то возможно применение теоремы 1. Легко находим, что
2+7
£ι(λ) = */λ;τ^Τ-Α> Фп(>) = 0 при η > 2. (12)
Поэтому для всех η ^2 £л=0, т. е. (линейный) прогноз значения ξ по
ξ° = (..., ξ-\, ξο) является тривиальным, что совсем неудивительно, если
заметить, что, согласно (И), корреляция между ξη и любой из величин
fo. f-i. ··· равна нулю для О 2.
Для η = 1 из (6) и (12) находим, что
Пример 2. Пусть ковариационная функция
R(n) = a\ \а\<1.
Тогда (см. пример 5 в § 1)
2π |1-αβ-/λ|2.

§6. ЭКСТРАПОЛЯЦИЯ, ИНТЕРПОЛЯЦИЯ И ФИЛЬТРАЦИЯ 627
/(λ) = ^|Φ(*"/λ)|2,
где
φ^=£τ3Ε^=(,-ΐαΐ2)1/2Σ(^
откуда фп(Х) = ап и, значит,
ξη= Ι αηΖ(ά\) = αηξ0.
—η
Иначе говоря, для прогнозирования величины ξη по наблюдениям ξ° =
= (.··, £-ь £о) достаточно знания лишь последнего наблюдения ξο·
Замечание 3. Из разложения Вольда регулярной последовательности
ί = (£.).
ОО
ίπ = 5^Α*ε«-Λ, (13)
следует, что спектральная плотность /(λ) допускает представление
/(λ) = ^|Φ(*-/λ)|2, (14)
где
оо
Φ(ζ) = ]Γα*ζ*. (15)
Очевидно, что и обратно, если /(λ) допускает представление (14) с
функцией Ф(г) вида (15), то разложение Вольда для ξη имеет вид (13). Таким
образом, задача представления спектральной плотности /(λ) в виде (14) и
задача отыскания коэффициентов а^ в разложении Вольда эквивалентны.
Сделанные в теореме 1 предположения относительно функции Ф(г)
(отсутствие нулей в области |г| ^ 1 и г > 1) на самом деле не нужны для ее
справедливости. Иначе говоря, если спектральная плотность регулярной
последовательности представлена в виде (14), то оптимальная в средне-
квадратическом смысле оценка ξη величины ξη по £° = (..., £_ь ξ0)
определяется формулами (6) и (7).
Замечание 4. Теорема 1 (вместе с предшествующим замечанием 3)
Дает решение задачи прогноза для регулярной последовательности.
Покажем, что на самом деле тот же ответ остается в силе и для
произвольной стационарной последовательности. Точнее, пусть £„=£*+££,
т.е.

628 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
ξη= { eiXnZ{d\), F(A) = E\Z(A)\2 и fr(X) = ^|Ф(е~'А)|2 - спектраль-
—π
ная плотность регулярной последовательности £г = (£„). Тогда оценка ξη
определяется формулами (6) и (7).
В самом деле (см. п. 3 § 5), пусть
in= ] φη(\)Ζ(ά\), fi= I <prn(\)zr(d\i
—π —π
где ΖΓ(Δ) — ортогональная стохастическая мера в представлении
регулярной последовательности ξΓ. Тогда
Ε|ξ„-|„|2= I \eiXn-<pn(\)\2F(d\)> I \eiXn-<pn(\)?frWd\>
—π —π
> I \elXn-u,(X)\2rMd\ = E\&-&\z. (16)
—π
Но ξη-ξη =ξΓη -ξΓη, поэтому Ε\ξη-ξη\2 = Ε\ξΓη -ξΓη\2, и из (16) следует, что
в качеств^ фп(Х) можно взять функцию фгп(Х).
2. Интерполяция. Будем предполагать, что ξ = (ξη) — регулярная
последовательность со спектральной плотностью /(λ). Простейшей задачей
интерполяции является задача построения оптимальной (в среднеквадра-
тическом смысле) линейной оценки по результатам наблюдений {ξη, /ζ = ±1,
±2, ...} «пропущенного» значения ξο·
Обозначим через Η°(ξ) — замкнутое линейное многообразие,
порожденное величинами ξη, п^О. Тогда в соответствии с теоремой 2 § 3
всякая случайная величина η Ε Η°{ξ) представима в виде
7,= I <p(\)Z(d\),
—π
где φ принадлежит H°(F) — замкнутому линейному многообразию,
порожденному функциями elXn, /z^O, и оценка
ξθ=] φ(Χ)Ζ(ά\) (17)
—ж
будет оптимальной тогда и только тогда, когда
inf Е|&-т?|2= inf \ |l-¥>(A)|2F(dA) =
= ξ |l-vHA)|2F(dA) = E|&-|o|2.

§6. ЭКСТРАПОЛЯЦИЯ, ИНТЕРПОЛЯЦИЯ И ФИЛЬТРАЦИЯ 629
Из свойств «перпендикуляров» в гильбертовом пространстве H°(F)
вытекает, что функция ф(Х) полностью определяется (ср. с (10)) двумя
условиями
1)#A)€//°(F).
2)1-0(A) ±//°(f). (,8)
Теорема 2 (Колмогоров). Пусть ξ = (ξη) — регулярная
последовательность с
Тогда
где
*А)=1-7Щ. (20)
—?%· (21)
X ЛА>
w ошибка интерполяции 52 = Е|£о — £о|2 задается формулой δ2 — 2πα.
Доказательство проведем лишь при весьма строгих предположениях
относительно спектральной плотности, считая, что
0<с</(АКС<оо. (22)
Из условия 2) в (18) следует, что для любого п^О
l[\-<p{\)]einXf{\)d\ = 0. (23)
—π
В силу предположения (22) функция [1 -<£(λ)]/(λ) принадлежит
гильбертову пространству L2([—π, π], 3Β([—π, π]), άμ) с мерой Лебега άμ. В этом
Г eiXn 1
пространстве система функций < -т=, /1 = 0, ±1, ... > образует ортонор-
мированный базис (задача 10 § 12 гл. II). Поэтому из (23) следует, что
функция [1 -<£(λ)]/(λ) есть константа, которую обозначим а.
Итак, второе условие в (18) приводит к тому, что
#<а>-1-7§>. <24>
Исходя из первого условия в (18), определим теперь константу а.
В силу (22) φ € L2 и условие <peH°{F) равносильно условию, что φ
принадлежит замкнутому (в смысле нормы в L2) линейному многообразию,

630 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
порожденному функциями elXn, /z^O. Отсюда ясно, что нулевой
коэффициент в разложении функции ф(Х) должен быть равен нулю. Поэтому
0= ]j(X)dX = 2n-a ξ |k
и, значит, константа а определяется формулой (21).
Наконец,
δ* = Ε\ξ0-ξο\2 = Ι |1-*Ηλ)|2/(λ)<Α = Η2 I ^dA=_±^_.
i W)
Теорема (при дополнительном предположении (22)) доказана. D
Следствие. Если
0<|*|^/V
то
0<|*|^Λ( -* 0<\k\^N
Пример 3. Пусть /(λ) — спектральная плотность из рассмотренного
выше примера 2. Тогда нетрудно подсчитать, что
ь-1 тш*1е'х+е~!Х]ЩХ)=т^[ь+^]>
а ошибка интерполяции равна
д2_1-Н2
-1 + И2-
3. Фильтрация. Пусть (0, £) = ((#„), (£„)), /zeZ,— частично
наблюдаемая последовательность, где θ = (θη) — ненаблюдаемая, а ξ = (ξη) —
наблюдаемая компонента. Последовательности θ и ξ будут предполагаться
стационарными (в широком смысле) с нулевыми средними и
спектральными представлениями
θη= I eiXnZe(d\), ξη= Ι βίληΖξ(ά\)
—π —π
соответственно. Обозначим
^(Δ) = Ε|Ζβ(Δ)|2, ^(Δ) = Ε|Ζξ(Δ)|2

§6. ЭКСТРАПОЛЯЦИЯ, ИНТЕРПОЛЯЦИЯ И ФИЛЬТРАЦИЯ 631
/^(Δ) = ΕΖ,(Δ)Ζξ(Δ).
Кроме того, будем считать, что θ и ξ стационарно связаны, т. е. их
функция ковариации COV(0rt, fm) = E0rtfm зависит лишь от разности п-т.
Обозначим /?0ξ(/ί) = Ε0Λξο. Тогда
%(")= I eiXnFei(d\).
—π
Рассматриваемая задача фильтрации состоит в построении
оптимальной (в среднеквадратическом смысле) линейной оценки 6п величины θη по
тем или иным наблюдениям последовательности ξ.
Совсем просто эта задача решается в предположении, что оценка
θη строится по всем значениям £m, m€Z. Действительно, поскольку
θη = й(вп |//(£)). то найдется такая функция φη(λ), что
ёп= Ι φη(Χ)Ζξ(ά\). (25)
—π
Как и в пп. 1 и 2, условия, которым должна удовлетворять «оптимальная»
функция фп(Х), состоят в том, что:
l)<MA)e//(fy,
2)θη-βη±Η(ξ).
Из последнего условия находим, что для любого т € Ζ
\ eiX{n-m)Fei{dλ)- 1 e-iXm<pn(\)Fz(d\) = 0. (26)
—π —π
Поэтому, если предположить, что функции /^(λ) и /^(λ) имеют плотности
ίβξ{λ) и /ξ(λ), то из (26) получим
I е^п-^[^(Х)-е-1Хтфп(Х)^(Х)]аХ = 0.
—π
Если /ξ(λ) > 0 (почти всюду по мере Лебега), то отсюда сразу находим,
что
фп(Х) = е1Хпф(Х), (27)
где
£(λ) = /*ξ(λ)·/ξΦ(λ)
и /®(λ) — «псевдообращение» /ξ(λ), τ. е.
/ξ()"\ο, /ξ(λ)=ο.

632 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
При этом ошибка фильтрации
Е|0„-<М2= I [fr(A)-/^(A)/f(A)]£fA. (28)
—π
Как нетрудно проверить, фп е H(F^) и, следовательно, оценка (25) с
функцией (27) является оптимальной.
Пример 4. Выделение сигнала из смеси с шумом. Пусть ζη=θη-\-ηη,
где сигнал θ = (θη) и шум η = (ηη) являются некоррелированными
последовательностями со спектральными плотностями /$(А) и fv{\). Тогда
θη= Ι ϊΧηφ(\)Ζξ(ά\),
—π
где
Φ(λ) = ίθ(Χ)[ίθ(Χ) + ίη(Χ)]φ,
а ошибка фильтрации
Е|0Я-*Я|2= I [feWfvW][feW + fvW]®d\.
—π
Полученное решение (25) можно теперь использовать для построения
оптимальной оценки вп+т величины вп+т по результатам наблюдений &,
k ^ /г, где т — некоторое заданное число из Z. Предположим, что
последовательность ξ = (frt) регулярна со спектральной плотностью
/(λ)=^|Φ(*-ίλ)|2,
оо
где Ф(г) = Σ akZk. Согласно разложению Вольда,
оо
где ε = (εΛ) —белый шум со спектральным разложением
εη= I eiXnZe(d\).
—π
Поскольку
и
π оо
<Wm = ξ <?iA(n+m)0(A)<I>(<r/A)Ze(dA) = 53 *«+*-*£*,
-π Λ=-οο

§6. ЭКСТРАПОЛЯЦИЯ, ИНТЕРПОЛЯЦИЯ И ФИЛЬТРАЦИЯ 633
где
то
uk=h S ^λν(λ)Φ(^-/λ)^λ
(29)
Но Ηη(ξ) = Ηη{ε), и, значит,
/] 0>n+m-k£k\Hn(£)
Lk=—oo
#л+т = Σ ^ι+"ΐ-*ε* = S
л<«
Ση 0^k
k<n
= $*'
Xn
Zt(d\) =
l+m*
-iXl
1=0
ΦΘ(^-/λ)Ζξ(ώλ),
где ΦΘ — псевдообращение Ф.
Итак, доказана следующая
Теорема 3. Если наблюдаемая последовательность ξ = (ξη)
является регулярной, то оптимальная {в среднеквадратическом смысле)
линейная оценка 0п+т величины 0п+т по &, k ^ /г, задается формулой
где
вп+т= \ eiXnHm(e-iX)Zz(d\l
Hm(e-ix) = J2 й1+те-шФ®(е-1Х)
1=0
(30)
(31)
и коэффициенты а* определяются в (29).
4. Задачи.
1. Доказать, что утверждение теоремы 1 сохраняет свою силу и без
предположений, что Ф(г) имеет радиус сходимости г> 1, а нули Ф(г) лежат
только в области |г| > 1.
2. Показать, что для регулярного процесса функция Ф(г), входящая
в (4), может быть представлена в виде
ФИ^у^ехр^со + ^^гЧ, |г|<1,
где
Ck = ^\ eikx\nf(X)d\.

634 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Вывести отсюда, что ошибка прогноза на один шаг σ\ = Ε \ξ\ - ξ\ |2 задается
формулой Сеге—Колмогорова
σ\ = 2π exp
j± jln/(A)<u}.
3. Дать доказательство теоремы 2 без предположения (22).
4. Пусть некоррелированные сигнал θ и шум η имеют спектральные
плотности
Ш= 2Ϊ " |1+^β-'·λ|2· М*) = 2Ϊ ' |ΐ+^β-ίλ|2·
Опираясь на теорему 3, найти оценку 0rt+m величины 0п+т по
значениям &, й ^ /ζ, где ξ/ι = θιι + щ. Рассмотреть ту же задачу для спектральных
плотностей
Μλ) = ^|2 + *-/λ|2, /*(*> = 5-
§ 7. Фильтр Калмана—Бьюси и его обобщения
1. С вычислительной точки зрения данное выше решение задачи
фильтрации ненаблюдаемой компоненты θ по наблюдениям ξ не является
удобным, поскольку, будучи выраженным в спектральных терминах, оно для
своей реализации требует обращения к аналоговым устройствам. В схеме,
предложенной Калманом и Бьюси, синтезирование оптимального фильтра
осуществляется рекуррентным способом, что дает возможность
реализации с помощью цифровых вычислительных устройств. Есть и другие
причины, обусловившие широкое применение фильтра Калмана—Бьюси.
Одна из них состоит в том, что он «работает» и без предположения
стационарности последовательностей (0, ξ).
Ниже будет рассматриваться не только традиционная схема Калмана—
Бьюси, но также и ее обобщения, состоящие в том, что в рекуррентных
уравнениях, определяющих (0, £), коэффициенты могут зависеть от всех
прошлых наблюдаемых данных.
Итак, будем предполагать, что (0, £) = ((#„), (ξη)) есть частично
наблюдаемая последовательность, причем
θΛ = (θι(η),...,θ*(η)), ίΛ = (ίι(π) 6(я))
управляются рекуррентными уравнениями
0я+| =α0(Λ, ζ) + αχ(η, £)вп + Ь1(п9 £)е{(п+1) + Ь2(п, ξ)ε2{η+ Ι),
ζη+ι=Αο(η9ζ) + Αι(η9ζ)θη + Βι(η9ζ)ει(η+1) + Β2(η,ξ)ε2(η+1).

§ 7. ФИЛЬТР КАЛМАНА-БЬЮСИ И ЕГО ОБОБЩЕНИЯ 635
Здесь ει(/ι) = (ειι(/ι), ..., ε!Λ(/ι)), ε2(/ι) = (ε2ΐ(/ι), ..., ε2/(/ι)) —
независимые гауссовские векторы с независимыми компонентами, каждая из
которых имеет нормальное распределение с параметрами 0 и 1; а0(я» О =
= (αοι(Λ. О. ···» flo*(/i, О) и Д>(л, 0 = (Λοι(λ, ξ). ···. ^о/(л, О) — вектор-
функции, где зависимость от £ = (ξο, ξι. ···) входит неупреждающим
образом, т. е. для фиксированного η αο\{η, О» ..., Ло/(я, О зависят лишь
от &. ···» ίπ". матричные функции
М*. О = ll*J/V Oil, Μ", О = ||&|f (/z, Oil·
β,(/ζ, 0= pj>. Oil· в2(я. О = Pj?(/i, Oil·
А|(я. οηΗ>, oil· Ax(n, о=|и{;>(я, он
имеют порядок kxk,kxl,lxkjxl,kxkjxk, соответственно, и также
неупреждающим образом зависят от ξ. Предполагается также, что вектор
начальных данных (#о, £о) не зависит от последовательностей ει =(ε\{η))
Ηε2 = (ε2(/*)).
Для простоты изложения указание на зависимость коэффициентов от ξ
в дальнейшем часто будет опускаться.
Чтобы система (1) имела решение с конечным вторым моментом, будем
предполагать, что Е(||0О||2 + ||£о||2)<оо (||х||2 = £ ХЬ * = (*ι. .···. **)).
\αη*(η* 01 < С, И}]^/!, 01 < С, и если g(/z, О — любая из функций aQii Л0/,
Ь\}\ bjf, B§\ Bfj\ то E\g(n, 012<оо, /г = 0, 1, ... В этих допущениях
последовательность (0, О такова, что и E(||0rt||2 + ||£я||2) <оо, О 1.
Пусть, далее, &$=σ{ω: ξο» ..., ξη} — наименьшая σ-алгебра,
порожденная величинами ξο» ···» 6ь и
/яя = Е(0я|**), 7« = Е[(вя-тя)(вя-тяП·^]·
Согласно теореме 1 § 8 гл. И, тп = (т\(п), ..., mk(n)) является
оптимальной в среднеквадратическом смысле оценкой вектора θη = (θ\(η), ...
..., Ok(n))t а Е7я = Ε [(θη - mn)(9n - mn)*] есть матрица ошибок оценивания.
Отыскание этих величин для произвольных последовательностей (0, О»
управляемых уравнениями (1), является весьма трудной задачей. Однако
при одном дополнительном предположении относительно (#о, £о).
состоящем в том, что условное распределение Р(0о ^ я|£о) является гауссовским,
Р(«о<а|&) = -^— $ * ^Tdx, (2)
с параметрами mo = mo(£o), 7о=7о(£о)» Для mrt и ηη можно вывести систему

636 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
рекуррентных уравнений, включающих в себя и так называемые уравнения
фильтра Калмана—Бьюси.
Прежде всего установим один важный вспомогательный результат.
Лемма 1. При сделанных выше предположениях относительно
коэффициентов системы (1) и условии (2) последовательность (0, ξ)
является условно-гауссовской, т. е. условная функция распределения
P(flo<flo. ...,вя<Ая|^)
есть (Р-п. н.) функция распределения n-мерного гауссовского
вектора, среднее значение и матрица ковариаций которого зависят от
(бь-.б.)·
Доказательство. Ограничимся доказательством гауссовости лишь
распределения Ρ(θη <α|<^|), что достаточно для вывода уравнений для
тп и 7*.
Прежде всего заметим, что из (1) следует, что условное распределение
является Гауссовским с вектором средних значений
*.+а,»-(х:у»)
и матрицей ковариаций
R_/ bob boB
\(boB)· BoB
raebob = bib;+b2b^, boB = b\B\ + b2B%, BoB = B\B\ + B2B%.
Обозначим ζη = (θη, ξη) и t = (t\ tk+i). Тогда
E[exp{it*Cn+l}\^,9n] =
= exp{i7*(Ao(n, £) + А,(л, ξ)θ„)- Ι ГВ(п, ξ)ή. (3)
Допустим теперь, что утверждение леммы справедливо для некоторого
η > 0. Тогда
Е[ехр{//*А,(я,^п}|^] =
= ехр{и*А,(л, ξ)ηΐη- \ Г (А, (я, ξ)Ίη^(η, ξ))ί}. (4)
Докажем, что формула (4) останется верной и при замене я на я + 1.
•

§ 7. ФИЛЬТР КАЛМАНА-БЬЮСИ И ЕГО ОБОБЩЕНИЯ 637
Из (3) и (4) имеем
Е[ехр{Н*С+!}'1*£] =ехр{«*(Ао(л, О + Αι(π, ξ)/π„) -
- 1 ГВ(л, ί)ί - i Г (А, (я, ξ)7„Αί(η, ξ))/}.
Поэтому условные распределения
Ρ(0«+ι<α.6.+ι<*Ι*ί) (5)
являются гауссовскими.
Как и при доказательстве теоремы о нормальной корреляция (теорема 2
в § 13 гл. II), проверяется, что существует такая матрица С, что вектор
^[^-E^+u^i-qe.+i-Eie.+H^)]
обладает тем свойством, что (Р-п. н.)
Ε[η(ξη+ι-Ε(ξη+ι\^))'\^) = 0.
Отсюда следует, что условно-гауссовские векторы η и ξΛ+ι,
рассматриваемые при условии <^|, являются независимыми, т. е. (Р-п. н.)
P(veA.b+ieB\**) = P(veA\*i)-P(tn+ieB\*!:)
для любых А е S8(Rk), В е SS(Rl).
Поэтому, если s = (s\, ..., s*)» то
Е[ехр(/5*0л+О1^>6н-1] =
= Е{ехр(ю*[Е(0я+1|^;^
= exp{/s*[E(0rt+1|J^) + C^
= ехр{й*[Е(вя+1 |**) + СКя+1 -Ε(6,+ι |^i)]]}E(exp(fe*i7)|^i). (6)
Согласно (5), условное распределение Р(ц^у\&п) является гаус-
совским. Вместе с (6) это доказывает, что условное распределение
P(0rt+i <a|«^f+i) также является гауссовским. D
Теорема 1. Пусть (0, ξ) — частично наблюдаемая
последовательность, удовлетворяющая (1) и (2). Тогда (тп, ηη) подчиняются
следующим рекуррентным уравнениям:
Γηη+\ = [α0 + α^η] + [ϋοΒ + ααηΑϊ][° + ΑπηΑϊ]ΘΧ
х[£п+\-А0-А1тпЪ (7)
7/7+1 = [α\ηηα\ + bob]-[boB + αχηηΑ\] χ
х[ВоВ + АПпА\]®-[ЬоВ + ах1пА\)*. (8)

638 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Доказательство. Из (1)
E(en+i\^) = a0 + aimn, Ε(ξη+ι\^) = Α0 + Αιηη (9)
и
9n+l-E(en+l\#-t) = ai[e„-mn] + blei(n+\) + b2e2(n+l),
ξη+ι-Ε{ξη+χ\^)=Αι[θη-ηη\+Β\ε\{η+\) + Β2ε2{η+\).
Обозначим
d„=COV(^+l,^+1|^«) =
= Е{[0й+1 - Е(0й+1 №)] [θη+ι - Ε(θη+ι \**)]·\*ξ).
ί/,2=θον(^+1,ξη+1|^|) =
= Ε{[0η+Ι -Ε(θη+ι 1^1)] [ξη+1 -Ε(ξη+ι №))*№),
= Ε{[ξη+ι - Ε(ξη+ι №)) [ξη+ι - Ε(ξη+ι №)]*№).
Тогда из (10)
dn=ax^na\-\-bob, di2 = ai'ynA*l+boB, ά&=Α\ηηΑ\ + ΒοΒ. (11)
В силу теоремы о нормальной корреляции (см. теорему 2 и задачу 4 в
§ 13 гл. II)
тп+1 =Ε(θη+ι \&1 6,+|) = Е(0я+| |^) + rfi2rf|(i«+i - Е(£я+| \**))
и
7«+l = COV(0rt+1, θη+{ \&%, &+Ι) =rfn -^12^1*2-
Подставляя сюда выражения для E(0rt+i |<^|), E(£rt+i|<^|) из (9) и для
d\\, d\2, d22 из (11), получаем искомые рекуррентные уравнения (7) и (8).
D
Следствие 1. Если все коэффициенты ао(п, ξ), ..., ^2(я, О в
системе (1) не зависят от ξ, то соответствующая схема называется
схемой Калмана—Бьюси, а уравнения (7) и (8) для тп и ηη —фильтром
Калмана—Бьюси. Важно подчеркнуть, что в этом случае условная
матрица ошибок ηη совпадает с безусловной, т. е.
7л = Е7л = Ε[(θη - тп){вп - тп)*].
Следствие 2. Предположим, что частично наблюдаемая
последовательность (θη, ξη) такова, что для θη справедливо первое из

§7. ФИЛЬТР КАЛМАНА-БЬЮСИ И ЕГО ОБОБЩЕНИЯ 639
уравнений в (1), а для ξη — уравнение
ξη=Α0(η-1,ξ) + Αι(η-1,ξ)θη +
+ Вх(п- 1, ζ)ει(η) + Β2(η- 1, ξ)ε2(η). (12)
Тогда, очевидно,
ξη+\ =Ып> ζ) + Λχ(η9 ξ)[α0{η, ζ) + αχ(η, Oftt + M*. ζ)ει(η+1) +
+ b2(n, ξ)ε2(η + 1)] + Βχ(η, ζ)εχ(η+1) + +Β2(η, ξ)ε2(η+1),
и, обозначая
Αο = Ά0 + Αια0, Αχ=Άχαχ,
B\=A\b\+B\t B2 = A2b2 + B2,
получаем, что рассматриваемый случай также укладывается в схе-
му (1), а тп wyn удовлетворяют уравнениям (7) и (8).
2. Обратимся к линейной схеме (ср. с (1))
θη+{ = а0 + α{θη + α2ξη + ϋ{ει(η+\) + ϋ2ε2(η + 1),
ξη+ι=Αο + Αχθη + Α2ζη + Βιεχ(η+1) + Β2ε2(η+1),
где все коэффициенты ао,..., В2 могут зависеть от η (но не от ξ), а εη(η) —
независимые гауссовские случайные величины с Εε/7·(/ζ) = 0 и Εε?·(/ζ) = 1.
Пусть система (13) решается при начальных значениях (#о, £о) таких,
что условное распределение Р(#о^#|Со) является гауссовским с
параметрами то = Е(#о|£о) и 7o = cov(#o, #ο|£ο) = Ε7ο· Тогда в силу теоремы
о нормальной корреляции и (7), (8) оптимальная оценка тп = Е(вп\&$)
является линейной функцией στ ξο. fi. .... ζη-
Это замечание позволяет доказать следующее важное утверждение о
структуре оптимального линейного фильтра при отказе от предположения
гауссовости.
Теорема 2. Пусть (0, ξ) = (θη, ξη)η^ο — частично наблюдаемая
последовательность, удовлетворяющая системе (13), где εη{η) —
некоррелированные случайные величины с Εεη{η) = 0, Eefj(n) = 1, а
компоненты вектора начальных значений (#о, ξο) имеют конечный второй
момент. Тогда оптимальная линейная оценка tfin = E(0rt|£o, ···, ξη)
удовлетворяет уравнениям (7) с ао(п, ξ) = αο(η) + α2(η)ξη, Αο(η,ξ) =
= А0(п) + Α2(η)ξη, α матрица ошибок % = u[(On-mn)(en-tfin)*] —
Уравнениям (8) с начальными данными
mo = cov(0o, ξο) cove(£0, &)·&,
(14)
7o = cov(0o, θ0) - cov(6>0, ξ0) cove(&, ξο) cov*(0o, ξο).

640 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Для доказательства этой теоремы понадобится следующая лемма,
раскрывающая роль гауссовского случая при отыскании оптимальных
линейных оценок.
Лемма 2. Пусть (α, β) — двумерный случайный вектор, Е(а2 +
+ β2) < оо, α (α, β) — двумерный гауссовский вектор с теми же
первыми и вторыми моментами, что и у (а, /?), т. е.
Ео^Еа'', Εβι = Εβ\ / = 1,2, Εάβ = Εαβ.
Пусть X(b) — линейная функция от Ь такая, что
Χψ) = Ε(ά\β = ϋ).
Тогда Χ(β) является оптимальной {в среднеквадратическом смысле)
линейной оценкой а по /?, т. е.
£(α\β) = Χ(β).
При этом ΕΧ(β) = Εα.
Доказательство. Прежде всего отметим, что существование
линейной функции Х(Ь), совпадающей с Ε(ά|/3 = &), вытекает из теоремы о
нормальной корреляции. Далее, пусть λ(&) — какая-то другая линейная
оценка. Тогда
Ε[ά-\φ)\2^Ε[ά-\φ)\2
и в силу линейности оценок \(Ь) и \ф) и условий леммы
Ε[α-Χ(β)]2 = Ε[ά-\φ)]2>Ε[ά-Χφ))2 = Ε[α-\(β)]2,
что и доказывает оптимальность Χ(β) в классе линейных оценок. Наконец,
ΕΧ(β) = ΕΧ(β) = Ε [Ε(ά Ι β)] = Εά = Εα. D
Доказательство теоремы 2. Наряду с (13) рассмотрим систему
0n+\=a0 + axen + a2ln + bie\\(n+\) + b2ex2(n+\),
. (ίο)
ξη+\=Αο + Αιθη+Α2ξη + Βιε2\(η+1) + Β2ε22(η + \),
где Sij(n) — независимые гауссовские случайные величины с Εεη(η) = 0
и Εέ?·(/ζ) = 1. Пусть также (0о» fo) — гауссовский вектор, имеющий те же
первые моменты и ковариации, что и (0о, £о), и не зависящий от ε,·/(я).
Тогда в силу линейности системы (15) вектор (#о» .... θη, ξο, ..., ξη)
является гауссовским, и, значит, утверждение теоремы следует из леммы 2
(точнее, из ее очевидного многомерного аналога) и теоремы о нормальной
корреляции. D

§ 7. ФИЛЬТР КАЛМАНА-БЬЮСИ И ЕГО ОБОБЩЕНИЯ 641
3. Рассмотрим несколько примеров, иллюстрирующих теоремы 1 и 2.
Пример 1. Пусть θ = (θη) и η = (ηη) — две стационарные (в широком
смысле) некоррелированные случайные последовательности с Εθη = Εηη =
= 0 и спектральными плотностями
Μλ)= οΖ ' ιυ_#,.Λ-ϊλΐ2» Μλ)= οΖ
2π \\+Ьхе-*\2* ,ηΚ ' 2π |1+^-^|2»
rae|6i|<l. Ν<1·
В дальнейшем будем интерпретировать θ как полезный сигнал, а 77 —
как шум и предполагать, что наблюдению подлежит последовательность
* = (6.)с
Согласно следствию 2 к теореме 3 из § 3, найдутся (некоррелированные
между собой) белые шумы ει = (ει (η)) и ε2 = (ε2(η)) такие, что
θη+ι + Ьхвп = ει (η + 1), Tfo+i + f>2tyi = ε2{η + 1).
Тогда
ξη+ι =θη+ι+ηη+ι=-ϋιθη-ϋ2ηη+ει{η+\) + ε2{η+\) =
= -b2(0n + Vn)-0n(bi-b2) + ei(n+l) + e2(n+l) =
= -1>2ζη-φι-1>2)θη+ει(η+1) + ε2(η+1).
Тем самым для θ и ξ справедливы рекуррентные уравнения
ft!+i=-M«+ei(/i+l)t
и, согласно теореме 2, mrt = Ε(θη |ξο».··, ξη) и 7« = E(0rt - mrt)2
удовлетворяют следующей системе рекуррентных уравнений оптимальной линейной
фильтрации:
тп+{ = -Ьхтп + *'^~*2)? К«+1 + (Ьх - &2)mrt + Ы*Ь
Найдем начальные значения то и 7о» ПРИ которых должна решаться
эта система. Обозначим d\\ = E^, ά\2 = Εθηζη, d22 = Ef2. Тогда из (16)
d\2 = b\(b[ -b2)du +&1&2^12+ 1,
rf22 = (ft, - b2fdx 1 + fc|rf22 + 2M&1 ~ ^2)^12 + 2,

642 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
откуда
"11 = ": Го. "12=·; Го. "22 =
1_*2· "" !_&2' »* (l-ftf)(l-*§)·
что в силу (14) приводит к следующим значениям начальных данных:
/"О = "гЧо = - .о J.26).
7°-α" rf22 ~ 1-62 (l-6f)(2-ft?-^)"2-ft?-ft|·
Итак, оптимальная (в среднеквадратическом смысле) линейная оценка
тп сигнала θη по £о» ···, £я и среднеквадратическая ошибка ηη
определяются из системы рекуррентных уравнений (17), решаемых при начальных
условиях (18). Отметим, что уравнение для ηη не содержит случайных
составляющих, и, следовательно, величины ηη, необходимые для отыскания
значений mrt, могут быть рассчитаны заранее —до решения самой задачи
фильтрации.
Пример 2. Этот пример поучителен с той точки зрения, что
показывает, как результат теоремы 2 может быть применен для отыскания
оптимального линейного фильтра в задаче, где последовательности (0, ξ)
подчиняются (нелинейной) системе, не совпадающей с системой (13).
Пусть ει = (ει (η)) и ε2 = (в2(п)) — две независимые гауссовские
последовательности, состоящие из независимых случайных величин с Εε,·(/ι) = 0,
Εε?(/ι)=1, л>1. Рассмотрим пару последовательностей (0, £) = (#„, ξη)9
О 0, с
β«+Ι=αβ„ + (1+β«)ει(π+1),
£я+1=Л0я + е2(л+1).
Будем считать, что во не зависит от (ει, ε2) и во~<Ж(то, 70)·
Система (19) является нелинейной, и непосредственное применение
теоремы 2 невозможно. Однако если положить
то замечаем, что Εέι(/ζ) = 0, Εέι (/ζ)έι (m) = 0, /г^т, Εε?(/ι) = 1. Поэтому
наряду с (19) исходная последовательность (0, ξ) подчиняется также
линейной системе
θη+χ =αχθη + Ьх{п)ё\(п + 1), (20)
ξη+ι=Α{θη + ε2(η+\1

§7. ФИЛЬТР КАЛМАНА-БЬЮСИ И ЕГО ОБОБЩЕНИЯ 643
где Ь\(п) = \/Е(1 + 0rt)2, а {ει(η)} — некоторая последовательность
некоррелированных случайных величин.
Система (20) является линейной системой типа (13), и, значит,
оптимальная линейная оценка тп = Ε(θη \ξο, ..., ξη) и ее ошибка % могут быть
определены в соответствии с теоремой 2 из системы (7), (8), принимающей
в рассматриваемом случае следующий вид:
тп+х = axthn + "\Л{2 Kn-ц -AM,
1+Λ?7«
7Λ+ι = \αχηη + ΰχ(η)) - 2<ч ,
= //!?*
где b\(n) = \/Е(1 + 0rt)2 должно быть найдено из первого уравнения
системы (19).
Пример 3. Оценка параметров. Пусть θ = (θ\,..., 0k) — гауссовский
вектор с Ев = т и cov(0, β) = 7. Предположим, что (при известных т и 7)
ищется оптимальная оценка θ по результатам наблюдений за /-мерной
последовательностью ξ = (ξΛ), η ^ 0, с
f«+i=i4o(ntO + ^i(n,Oe + Bi(ntOei(n+l), Co = 0, (21)
где ει —те же, что и в системе (1).
Тогда из (7), (8) для тп = Е(0|<^|) и ηη находим, что
mrt+1 = τηη + ΊηΑ\{η4 £)[(βιβ?)(Λ. ί) + ^ι(π, ί)7«^ί(π. 0]Θ *
χΚ«+ι-^ο(π,0-^ι(π·0/««], (22)
7rt+i =7ι.-7ι.^Τ(λ. €)[(βιβΓ)(Λ. ί)+^ι(π. 07ιΗΐ(/ι. 0]ΘΛ,(/ζ, 07«·
Если матрицы fijfi* являются невырожденными, то решения
системы (22) задаются формулами
т
■я+1 :
ι=0
-1
Ε + ΊΣΑ\&0(ΒχΒ\)-%ξ)Α\(ί%ξ)
о
"* + 7 £ Λϊ(/. 0(ΒιΒ*χΓι(ι, ί)(6+ι -^o(m, 0)
/=o
£+7^i(/,i)(fiifir1(UMi(U)
. (23)
7я+1 =
i=0
7»
где£ —
единичная матрица.

644 ГЛ. VI. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ
4. Задачи.
1. Показать, что для схемы (1) векторы тпивп- тп не коррелированы:
ЕК(0я-тя)] = О.
2. Пусть в схеме (1) 7о и все коэффициенты, за исключением, быть
может, коэффициентов ао(/г, О» Ао(п, ξ), не зависят от «случая» (т. е. от ξ).
Показать, что тогда условная ковариация ηη также не зависит от «случая»:
7« = Е7«.
3. Показать, что решения системы (22) задаются формулами (23).
4. Пусть (0, ξ) = (θп, ξη) — гауссовская последовательность,
удовлетворяющая следующему частному виду схемы (1):
β«+ι=αβ« + *ει(π+1), ξη+\ = Αθη + Βε2(η + 1).
Показать, что если АфО, ЬфО, В ΦО, то предельная ошибка
фильтрации 7= Нт 7я существует и определяется как положительный корень
я—>оо
уравнения
+Л^-*\>-Ч-*-
5. (Интерполяцая\ [41, 13.3].) Пусть (0, ξ) — частично
наблюдаемая последовательность, подчиняющаяся рекуррентным
соотношениям (1) и (2).
Пусть условное распределение
тга(т, т) = Р(вт^а\^)
вектора вт является нормальным.
(a) Показать, что условное распределение
па(туп) = Р(вт^а\^)
для п^т также является нормальным, πα(/η, л)~«Ж(//(т, /г), ^(т, /г)).
(b) Найти интерполяционную оценку (величин вт по &%) м(т, п) и
матрицу 7(w, /г).
6. (Экстраполяция', [41, 13.4].) Пусть в соотношениях (1) и (2)
ао(п, ξ) = α0(η) + α2(η)ξη, α,(/г, ξ) = α{(η),
Α0(η,ξ) = Α0(η) + Α2(η)ξη, Αι(η9ζ)=Αχ(η).
(a) Показать, что в этом случае распределение па,ь(т, η) = Ρ(θη ^α,
6ι < b\&m) является (η ^ m) нормальным.
(b) Найти экстраполяционные оценки
Ε(θη\&*) и Ε(ξη\**).

§7. ФИЛЬТР КАЛМАНА-БЬЮСИ И ЕГО ОБОБЩЕНИЯ 645
7. (Оптимальное управление-, [41, 14.3].) Рассматривается
«управляемая» частично наблюдаемая система (θη, ξη)ο^ηζΝ* где
0«+ι=*/Λ + 0« + ί>ει(/ζ+1),
6,+ι=0„+ε2(π+1).
Здесь «управление» ип — «^-измеримо и таково, что Ew^<oo для всех
Οζη^Ν - 1. Величины е\(п) и б2(я), п= 1,..., Ν, такие же, как в (1), (2);
ξ0 = 0, 0ο~·/Κ(ή. 7)·
Будем говорить, что «управление» w* = (wj,..., u*N_x) оптимально, если
V(u*) = sup V(u), где
У(и) = Е
TV—1
Σ(*«+»«)+4
n=0
Показать, что
где
u*n = -[l+Pn+i]+Pn+lm*n, n = 0,...,N-l,
[О, а = 0,
(Ρη)θιζηζΝ находятся из рекуррентных соотношений
Р„ = 1+Рп+1-р2+1[1+Рй+,]+, ΡΝ = \,
а (т*) определяются из соотношений
с ml = m и
7n*+, =7„* + 1 -(7„Ί2(1 +7ί)+. 0<я<Л/- 1,
с7о=7·

Глава VII
ПОСЛЕДОВАТЕЛЬНОСТИ СЛУЧАЙНЫХ ВЕЛИЧИН,
ОБРАЗУЮЩИЕ МАРТИНГАЛ
§ 1. Определения мартингалов и родственных понятий 647
§ 2. О сохранении свойства мартингальности при замене времени на
случайный момент 659
§ 3. Основные неравенства 671
§ 4. Основные теоремы о сходимости субмартингалов и мартингалов 688
§ 5. О множествах сходимости субмартингалов и мартингалов 697
§ 6. Абсолютная непрерывность и сингулярность вероятностных
распределений на измеримом пространстве с фильтрацией 706
§7. Об асимптотике вероятности выхода случайного блуждания
за криволинейную границу 721
§8. Центральная предельная теорема для сумм зависимых
случайных величин 726
§ 9. Дискретная версия формулы Ито 740
§ 10. Вычисление вероятности разорения в страховании. Мартин-
гальный метод 746
§11.0 фундаментальных теоремах стохастической финансовой
математики. Мартингальная характеризация отсутствия арбитража 751
§ 12. О расчетах, связанных с хеджированием в безарбитражных
моделях 767
§ 13. Задачи об оптимальной остановке. Мартингальный подход 776

Теория мартингалов хорошо иллюстрирует историю становления
математической вероятности — ее основные понятия были навеяны практикой
азартных игр, но затем эта теория превратилась в одно из изощренных средств
современной абстрактной математики...
Дж. Дуб. «Что такое мартингал?» [127]
§ 1. Определения мартингалов и родственных понятий
1. Исследование зависимости между случайными величинами
осуществляется в теории вероятностей разными способами. В теории
стационарных (в широком смысле) случайных последовательностей основным
показателем зависимости является ковариационная функция, и все выводы
этой теории полностью определяются свойствами этой функции. В теории
марковских цепей (§ 12 гл. I и гл. VIII) основной характеристикой
зависимости служит переходная функция, которая определяет эволюцию
случайных величин, связанных марковской зависимостью.
В настоящей главе (см. также § 11 гл. I) выделяется достаточно
обширный класс последовательностей случайных величин (мартингалы и
их обобщения), для которых изучение зависимости проводится методами,
основанными на исследовании свойств условных математических
ожиданий.
2. Будем считать заданным вероятностное пространство (Ω, <^\ Р) с
фильтрацией (потоком), т. е. семейством (&п) σ-алгебр &п, п^О, таких,
что «^o£«^i С... С& («фильтрованное вероятностное пространство»).
Пусть Xq,X\, ... —последовательность случайных величин, заданных
на (Ω, &, Р). Если для каждого /г^О величины Хп являются
^-измеримыми, то будем говорить, что набор Х — (Хп, &п)п>о или просто
^ = (^/ь &п) образует стохастическую последовательность.
Если стохастическая последовательность X = (Хп, &п) к тому же
такова, что для каждого п^ 1 величины Хп являются &п-\-измеримыми, то
будем это записывать в виде X = (Хп, &п-\), считая <^_ι =&ο, и называть
X предсказуемой последовательностью. Последовательность (Хп)п^о
будет называться возрастающей, если 1о = ОиХя ^Хп+\ (Р-п. н.).
Определение 1. Стохастическая последовательность X = (Хп, &п)
называется мартингалом (субмартингалом), если для всех /О О
Щп\<оо, (1)
Е(Хп+{\&п) = Хп (Р-п.н.). (2)

648
ГЛ. VII. МАРТИНГАЛЫ
Стохастическая последовательность X = (Хп> &п) называется
супермартингалом, если последовательность —X = (-Хп, &п) есть
субмартингал.
В том частном случае, когда &п = &*, где &* =σ{Χο,..., Хп}> и
стохастическая последовательность X = (Хп> &%) образует мартингал
(субмартингал), будем говорить, что сама последовательность (Хп)п^о образует
мартингал (субмартингал).
Из свойств условных математических ожиданий легко выводится, что
условие (2) эквивалентно тому, что для любого η ^ 0 и А € &п
\Xn+xd? = \XndP. (3)
А {^}А
Пример 1. Если {ξη)η^ο — последовательность независимых
случайных величин с Е|£„|<оо, Εξη = 0\\Χη=ξο + ...+ξη, <^=σ{ξο, .·.,£«}, то
стохастическая последовательность X = (Хп> &п) образует мартингал.
Пример 2. Если (ξη)η^ο — последовательность независимых
случайных велйыин с Εξη = 1, то стохастическая последовательность X = (Хп, &п)
с Хп = γ[ £ь &п = σ{ξο, ..., ξη} также образует мартингал.
Пример 3. Пусть ξ — случайная величина с Е|£|<оо и &oQ&\Q
С... С &. Тогда последовательность X = (Хп, &п) с Хп = Ε(ξ \ &п) является
мартингалом, называемым мартингалом Леей.
Пример 4. Если {ξη)η^ο — последовательность неотрицательных
интегрируемых случайных величин, то последовательность (Хп) с Χη=ξ0 +
+... + ξη образует субмартингал.
Пример 5. Если X = (ХП1 &п) — мартингал и g(x) — выпуклая книзу
функция такая, что E\g(Xn)\<oot /z^O, то стохастическая
последовательность {g{Xn), &n) является субмартингалом (что следует из неравенства
Иенсена; гл. II, § 6).
Если X = (Л^, &п) — субмартингал, a g(x) — выпуклая книзу
неубывающая функция с E|g(Art)| < 00 для всех η ^ 0, то {g{Xn)> &n) также является
субмартингалом.
Сделанное в определении 1 предположение (1) гарантирует
существование условных математических ожиданий E(Art+i |<^я)» Ό0. Однако эти
условные математические ожидания могут существовать и без
предположения Е|Ал+1|<оо. Напомним, что, согласно § 7 гл. II, Е(Х++{\&п) и
Е(Х~+1 \&п) определены всегда, и если (мы пишем А = В (Р-п. н.), когда
Р(ААВ) = 0)
{ω: Ε(Χ++ι|Λ)<οο}υ{α;: Ε(*-|Λ)<οο} = Ω (Р-п. н.),

§1. ОПРЕДЕЛЕНИЯ МАРТИНГАЛОВ И РОДСТВЕННЫХ ПОНЯТИЙ 649
то говорят, что E(Art+i \&n) определено и по определению полагают
Ε(ΧΛ+ι|Λ) = Ε(^^Λ)-Ε(Χ-+Ι|Λ).
Исходя из этого, становится естественным следующее
Определение 2. Стохастическая последовательность X = (Хп, &п)
называется обобщенным мартингалом (субмартингалом), если Е|^о|<
<оо, Ε(ΧΛ+ι Ι^/ί), /О О, определены и выполнено условие (2).
Заметим, что из этого определения вытекает, что для обобщенного
субмартингала Е(Х~+Х \&п) <оо, а для обобщенного мартингала (Р-п. н.)
Ε(|Χ«+ι||Λ)<οο.
3. Вводимое в нижеследующем определении понятие марковского
момента играет исключительно важную роль во всей рассматриваемой далее
теории.
Определение 3. Случайная величина г=т(о;), принимающая значения
в множестве {0, 1, ..., +оо}, называется марковским моментом
(относительно системы (&п)) или случайной величиной, не зависящей от
будущего, если для каждого η ^ О
{т = п}е&п. (4)
В случае Р{т < оо} = 1 марковский момент г будем называть моментом
остановки.
Пусть X = (Л^, <^rt) — некоторая стохастическая последовательность и
г —марковский момент (относительно системы (<^rt)). Обозначим
оо
(тем самым, А^ = 0, т. е. JfT = О на множестве {ω:τ = оо}).
Тогда для каждого В е SS(R)
ОО
{α/: ХТеВ} = {ш: *«, ей, t = oo} + J] {*„ ей, τ = λ}€^,
«=o
и, следовательно, Λ'τ=Λ'Τ(α;)(α;) является случайной величиной.
Пример 6. Пусть X = (Хп, &п) — некоторая стохастическая
последовательность и BeSS(R). Тогда момент (первого попадания в множество В)
тв = \п1{п^0: ХпеВ}
(с Τβ=+οο, если {·} = 0) является марковским, поскольку для любого
{тв = п} = {х0£В,...,хп-1£В,хпеВ}е&п.

650
ГЛ. VII. МАРТИНГАЛЫ
Пример 7. Пусть X = (Хп, &п) — мартингал (субмартингал) и г —
марковский момент (относительно системы (&п))- Тогда «остановленная»
последовательность Хт = (Хплт, &п) также образует мартингал (субмартин-
гал).
В самом деле, из соотношения
ХпЛт = 2_^ Хпг'{т=пг} +Хп'{т^п}
m=0
следует, что величины ХпАт &п-измеримы, интегрируемы и
Х(п+\)Лт —ХпЛт =1{т>п}(Хп+\ —Хп),
откуда
Е[Х(п+\)Лт - ХпЛт \&п]= /{т>п}Е[Хп+\ -Хп\&п] = 0.
С каждой системой (&п) и марковским моментом г относительно нее
можно1 связать совокупность множеств
#'т = {Ае&: Ап{т = п}е#'п для всех/г^О}.
Ясно, что Й€«?ти^г замкнуто относительно взятия счетных
объединений. Кроме того, если А € &т. то А П {г = п} = {г = η) \ (Α Π {г = п}) € «^ и,
значит, Л бс^т- Отсюда следует, что «^т является σ-алгеброй.
Если трактовать &п как совокупность событий, наблюдаемых до
момента времени η (включительно), то тогда &г можно представлять как
совокупность событий, наблюдаемых за «случайное» время т.
Нетрудно показать (задача 3), что случайные величины тиХт являются
^.-измеримыми.
4. Определение 4. Стохастическая последовательность Х = (Хп, &п)
называется локальным мартингалом (субмартингалом), если найдется
такая (локализующая) последовательность (τ*)*>ι конечных марковских
моментов, что7><7>+1 (Р-п. н.), 7>|оо (Р-п. н.), ft —► оо, и каждая
«остановленная» последовательность Хп = {ХГклп1{тк>о}* &п) является
мартингалом (субмартингалом).
Ниже в теореме 1 показывается, что на самом деле класс
локальных мартингалов совпадает с классом обобщенных мартингалов. Более
того, каждый локальный мартингал может быть получен с помощью так
называемого мартингального преобразования из некоторого мартингала и
некоторой предсказуемой последовательности.
Определение 5. Пусть Υ = (Ynt ^n)n^o — стохастическая
последовательность и V = (Vn, &п-\)п^о — предсказуемая последовательность

$ 1. ОПРЕДЕЛЕНИЯ МАРТИНГАЛОВ И РОДСТВЕННЫХ ПОНЯТИЙ 651
ί£_χ = J*b)· Стохастическая последовательность V · Υ = ((V · У)я, &n) с
η
(V.Y)n = VoYo + J2ViAYi> (5)
где Δ У/ = У/ - У/-1. называется преобразованием Υ с помощью V. Если
к тому же У — мартингал (или локальный мартингал), то говорят, что V · Υ
есть мартингальное преобразование.
Теорема 1. Пусть X = {Хп, &п)п^о — стохастическая
последовательность с Xq = 0 (Р-п. «.). Следующие условия являются
эквивалентными'.
г) X — локальный мартингал\
b) X — обобщенный мартингал\
c) X — мартингальное преобразование, т. е. существуют
предсказуемая последовательность V = (Vn, &n-\) с Vq = 0 и мартингал
γ = (Υη,#η) с Υ0 = 0 такие, что X = V-Y.
Доказательство, а) => Ь). Пусть X —локальный мартингал и (т*) —
его локализующая последовательность марковских моментов. Тогда для
любого т ^ О
E[|X«atJ/(t*>0>]<°0, (6)
и тем самым
Ε[|*(η+1)Λτ*| /<т*>я}] = Е[|Хя+! | l{Tk>n}] < 00. (7)
Случайная величина l{Tk>n) является <^я-измеримой. Поэтому из (7)
следует, что
Е[|Хя+||/{п>я)|Л] = /{п>я)Е[|Хя+|||Л]<сх) (Р-п.н.).
Здесь /{г*>л} -»1 (Р-п. н.), k —>оо, и, значит,
Е[|*я+,||^я]<оо (Р-п.н.). (8)
В силу этого условия E[Jf„+i \&η] определено и осталось лишь показать,
ЧТ°Е[*Я+,|^Я]=*Я (Р-п.н.).
С этой целью надо установить, что
\Xn+xdP = \XndP
А А
МяАе&п. Согласно задаче 7 § 7 гл. II, Еря+1||^я] <оо (Р-п.н.)
тогда и только тогда, когда мера § \Xn+\\dP, А €«^я, является σ-конечной.
π А
Покажем, что мера § \Xn\dPt А Е«?я, также является σ-конечной.
А

652
ГЛ. VII. МАРТИНГАЛЫ
Поскольку ХТк есть мартингал, то \ХТк \ = (\ХТклпI /{т*>оь &п) — субмар-
тингал и, значит ({г^ > п) е <^я),
$ \Xn\dP= J \XnATk\I{rk>o)dP<
АП{тк>п} АП{тк>п)
< S l^(rt+I)ArJ/{rfc>0}rfP= 5 |Xi+l|dP.
ЛП{т>>я} ЛП{т*>л}
Полагая k —> оо, находим
$|*Я|*Р<$|ХЯ+1|*Р,
откуда и следует требуемая σ-конечность меры § \Xn\dPt А е^п.
А
Пусть Ае&п таково, что § |Хя+1 | dP < оо. Тогда по теореме Лебега о
мажорируемой сходимости можно перейти к пределу в соотношении
$ XndP= $ Хя+к/Р,
Λη{τΛ>/ι} /4Π{τΛ>«}
справедливом в силу того, что X — локальный мартингал. Таким образом,
\XndP = \Xn+ldP
А А
для всякого Ае&п такого, что § |^rt+i|dP <oo. Отсюда уже следует,
А
что последнее соотношение справедливо и для любого Ае&п, а значит,
Е(Хя+||Л)=Хя(Р-п.н.).
Ь)=>с). ПустьДХя=^я-Хя_,,Хо = ОиКо = 0, Кя = Е[|Д*Я| |JVib
О 1. Положим
'-* (-{Г £!)·
у0 = 0 и Υη = £ WiAXi, л > 1. Ясно, что
/=1
Е[|ДУЯ||Л_,]<1, Е[ДУл|^,_,] = 0,
и, следовательно, Y = (Y„, &„) есть мартингал. Далее, X0 = Vq-Yo = Q и
Δ( V · Υ)η = АХп. Поэтому Χ = V ■ Υ.
с) =>· а). Пусть X = V · У, где V — предсказуемая последовательность,
Υ — мартингал и Vq = Yo = 0. Положим
rft = inf{«>0: |V„+i|>ft},

§1 ОПРЕДЕЛЕНИЯ МАРТИНГАЛОВ И РОДСТВЕННЫХ ПОНЯТИЙ 653
считая т* = оо, если множество {·} = 0. Поскольку Vn+\ являются
^-измеримыми, то для каждого k ^ 1 величины 7> являются марковскими
моментами.
Рассмотрим последовательности ХТк = ((К · У%лтл/{т»оь ^).
На множестве {г^ >0} действует неравенство: \УПАтк\^к- Отсюда
следует, что Ε|(V · Y)nArJ{rk>0}\ < 00 для любого п ^ 1 . Далее, для η ^ 1
Е{[(1/ · Y)(n+\)Ark - (V · У)пАгк]1{гк>0) \&п} =
= '{т*>0}Ця+1)Лт*Е{К(я+1)лт* ~ УлЛт* |«^rt} = 0,
поскольку (см. пример 7) Е{У(л+1)ЛГл - Уялт* |^«} = 0.
Итак, для каждого k ^ 1 «остановленные» последовательности ХТк
являются мартингалами, т^Тоо (Р-п. н.), и, следовательно, X —локальный
мартингал. D
5. Пример 8. Пусть (щ)п^\ —последовательность независимых
одинаково распределенных бернуллиевских случайных величин с Ρ{ηη = 1} = /?,
р{т7л = -1} = <7, p + q = \. Будем интерпретировать событие {ηη = \} как
успех (выигрыш), а событие {ηη = — \} как неуспех (проигрыш) некоего
игрока в /z-й партии. Предположим, что его ставка в /г-й партии есть Vn.
Тогда суммарный выигрыш игрока за η партий равен
η
Хп = Σ VM'1 = Хп-1 + УпГ)п> Χθ = 0.
i=l
Вполне естественно, что величина ставки Vn в /г-й партии может зависеть
от результатов предшествующих партий, т. е. от Κι,..., Krt_ ι и щ,..., ηη- \.
Иначе говоря, если положить &о = {0, Ω} и &η = σ{η\, ..., r?rt}, то Krt
будет &п-\-измеримой случайной величиной, т. е. последовательность V =
= (^я. «^/ί-ι), определяющая «стратегию» игрока, является
предсказуемой. Полагая Yn = щ +... + ηη, находим, что
η
Xn = J2viAYii
i=\
т. е. последовательность Х = (Хп, &n) q Xq = Q есть преобразование Υ с
помощью V.
С точки зрения игрока, рассматриваемая игра является справедливой
(благоприятной или неблагоприятной), если на каждом шаге величина
ожидаемого выигрыша E(*rt+i -Xn\^n) = 0 (^0 или ^0). Поэтому ясно,
что игра
справедлива, если p = q=\/2,
благоприятна, если ρ > q,
неблагоприятна, если р<^.

654
ГЛ. VII. МАРТИНГАЛЫ
Поскольку последовательность X = (Хп, &п) образует
мартингал, если p = q = l/2,
субмартингал, если ρ >q,
супермартингал, если p<q,
то можно сказать, что предположение о справедливости (благоприятности
или неблагоприятности) игры соответствует предположению о мартингаль-
ности (субмартингальности или супермартингальности)
последовательности X.
Рассмотрим сейчас специальный класс «стратегий» V = (Vn, &n-\)n>\
с V{ = 1 и
2-, еслиц, 1 ч.-, 1. п>^
О, в остальных случаях,
смысл которых сводится к тому, что игрок, начиная со ставки 1^ = 1,
каждый раз увеличивает ставку вдвое при проигрыше и прекращает игру
вовсе после первого выигрыша.
Если 771 = —1, ..., ηη = — 1. то суммарные потери игрока за η партий
будут ра^ны
η
^ 2'-1 =2rt — 1.
Поэтому, если к тому же ηη+\ = 1, то
Xn+{=Xn + Vn+l = -(2n-\) + 2n = \.
Обозначим τ = \ηί{η^\: Хп=\}. Если p = q=\/2, т. е.
рассматриваемая игра является справедливой, то Р{т = /г} = (1/2)л, Р{т<оо}=1,
Р{ХТ = 1}= 1 и ЕХТ = 1. Таким образом, даже в справедливой игре,
придерживаясь «стратегии» (9), игрок за конечное (с вероятностью единица)
время может вполне успешно закончить игру, добавив к своему капиталу
еще одну единицу (ЕХТ = \>Х0 = 0).
В игровой практике описанная система игры, заключающаяся в
удвоении ставки при проигрыше и прекращении игры при первом выигрыше,
называется мартингалом. Именно отсюда ведет свое происхождение
математическое понятие «мартингал».
Замечание. В случае p = q=\/2 последовательность X = (Хп, ^п)п^о
с Xq = 0 является мартингалом и, значит, для любого η ^ 1
Можно поэтому ожидать, что это соотношение сохранится, если вместо
моментов η рассматривать случайные моменты т. Как станет ясно из
дальнейшего (теорема 1 в § 2), в «типичных» ситуациях EXt = EXq. Нарушение
...

§ 1. ОПРЕДЕЛЕНИЯ МАРТИНГАЛОВ И РОДСТВЕННЫХ ПОНЯТИЙ 655
же этого равенства (как в рассмотренной выше игре) происходит в тех, так
сказать, физически нереализуемых ситуациях, когда или т, или \Хп\
принимают слишком большие значения. (Заметим, что рассмотренная выше игра
физически нереализуема, поскольку она предполагает неограниченность
времени игры и неограниченность начального капитала игрока.)
6. Определение 6. Стохастическая последовательность ξ = (ξη* &η)η^ο
называется мартингал-разностью, если Ε\ξη\ < оо для всех η ^ 0 и
Ε(£,+ι|Λ) = 0 (Р-п.н.). (10)
Из определений 1 и 6 ясна связь между мартингалами и мартингал-
разностями. А именно, если Х = (Хп, &п) — мартингал, то ξ = (ξη> &η) с
ξο=^ο и 6ζ = ΔΧι, Ό 1. является мартингал-разностью. В свою очередь,
если ξ = (ξΛ, &п) есть мартингал-разность, то X = (Хп, &п) с Хп =ξο + ... +
+ ξη является мартингалом.
В соответствии с этой терминологией всякая последовательность
ξ = (ξη)η^0 независимых интегрируемых случайных величин образует
мартингал-разность (с <^=σ{£ο, ξι, ..., ξη})> если Efrt = 0, /z^O.
7. Следующая теорема проясняет структуру субмартингалов
(супермартингалов).
Теорема 2 (Дуб). Пусть X — (Xnt &n) — субмартингал. Тогда
найдутся мартингал т = (тп, &п) и предсказуемая возрастающая
последовательность А = (Ап, &п-\) такие, что для каждого п^О имеет
место разложение Дуба:
Хп = тп+Ап (Р-п.н). (И)
Разложение подобного типа является единственным.
Доказательство. Положим то = Хо, Ао = 0 и
rt-l
An = Y^[E(Xj+x\?j)-Xj]. (13)
/=о
Очевидно, что так определенные т и А обладают требуемыми свойствами.
Далее, пусть также Хп = т'п + А'п, где т! = (т!п, &п) — мартингал, а А1 =
= (А'п, &п_χ) — предсказуемая возрастающая последовательность. Тогда
А'п+\ -К = Ия+1 - К) + (тя+1 - тп) - (т'я+{ - т^),
и» беря от обеих частей условные математические ожидания, получаем,
что (Р-п.н.) Л;+1-Л^=Лл+,-Лл. НоА0 = А'0 = 0, и, значит, Ап = А'п и
™>п = т!п (Р-п. н.) для всех η ^ 0. D

656
ГЛ. VII. МАРТИНГАЛЫ
Из разложения (И) вытекает, что последовательность А = (Ап, &п-\)
компенсирует Х = (Хп, &п) до мартингала. Это замечание оправдывает
такое
Определение 7. Предсказуемая возрастающая последовательность
А = (Ап, &п-\)у входящая в разложение Дуба (11), называется
компенсатором (субмартингала X).
Разложение Дуба играет ключевую роль при исследовании
квадратично интегрируемых мартингалов М = (Мп, &п)п^о> т. е. мартингалов, для
которых ЕМ2 < оо, η ^ 0, что основано на том замечании, что
стохастическая последовательность Λί2 = (Α^, &η) является субмартингалом.
Согласно теореме 2, найдутся такие мартингал т = (тп, &п) и предсказуемая
возрастающая последовательность (М) = ((М)п, &η-\)> что
М2п = тп + (М)п. (14)
Последовательность (М) называется квадратической
характеристикой мартингала Μ и во многом определяет его структуру и свойства.
Из (13) следует, что
<Α*>« = έ Е[(ДМу)2|^>-1] (15)
и для всех / ^ k
E[(Mk-Ml)2\^l]^E[Ml-MU^i] = E[(M)k^(M)l\^l]. (16)
В частности, если Λίο = 0 (Р-п. н.), то
EM2 = E(M)k. (17)
Полезно заметить, что если Mq = 0 и Мп = ξ\ +... + ξη, где {ξη) —
последовательность независимых случайных величин с Εξ,- = 0 и Εξ2 < оо, то
квадратическая характеристика
(Μ)η = ΕΜ2η = 0ξχ + ... + 0ζη (18)
является неслучайной и совпадает с дисперсией.
Если Х = (Хп, &п) и Υ = (КЯ, &п) — квадратично интегрируемые
мартингалы, то положим
(Χ,Υ)η = \[(Χ + Υ)η-{Χ-Υ)η). (19)
Нетрудно проверить, что (ΧηΥη — (Χ, Υ)η, &η) есть мартингал и, значит,
для l^k
E[(Xk-Xl)(Yk-Yl)\&) = E[(X, Y)k-(X, Υ)ι\*ι]. (20)

§ 1. ОПРЕДЕЛЕНИЯ МАРТИНГАЛОВ И РОДСТВЕННЫХ ПОНЯТИЙ 657
В случае, когда *Λ=ξι+... + £«, Yn = m +... + *?«, где (ξη) и (ηη) —
последовательности независимых случайных величин с Е& = Ет7/=0 и
Εξ? < оо, Erff < оо, величина (X, Y)n равна
п
<*,/)„ = £ οονβ,τ»).
Последовательность (X, Y) = ({X, Y)n, &n-\) часто называют
взаимной характеристикой (квадратично интегрируемых) мартингалов X uY.
Нетрудно показать, что (ср. с (15))
п
(^Κ)Λ = ^Ε[Δ^Δη|^·-ι].
/=ι
В теории мартингалов важную роль играют также квадратинеская
ковариация
п
[X^n^AXiAYi
/=1
и квадратинеская вариация
[Х]п = ^2(АХ1)2,
1=1
определяемые для любых случайных последовательностей Х = (Хп)п^{ и
У = (У«)В>1.
8. В связи с теоремой 1 естественно возникает вопрос о том, когда
локальный мартингал (а значит, обобщенный мартингал или мартингальное
преобразование) является на самом деле мартингалом.
Теорема 3. 1) Пусть стохастическая последовательность X —
^(^л, &п)п^о является локальным мартингалом (с Xq = 0 или, более
обще, с Е\Х0\<оо).
Если ЕХ~ < оо, п ^ 0, или ЕХ+ < оо, п ^ 0, то последовательность
* ^ (%п, &п)п^о будет мартингалом.
2) Пусть X — (Хп, &п)о^п^ы —локальный мартингал, N <оо и либо
^# < оо, либо EXfi < оо. Тогда Х = (ХПу &п)ъ^п^ы есть мартингал.
Доказательство. 1) Покажем, что любое из условий «ЕЯ~<оо,
п>0» и «ЕА'+<оо, /г>0» влечет за собой условие «E|Xrt|<oo, /г^О».

658
ГЛ. VII. МАРТИНГАЛЫ
В самом деле, пусть, например, ЕХп < оо для всех η ^ 0. Тогда по лемме
Фату
Е*+ = Ε Пт X+ATk <lim EX+ATk =Щц[Е^лгл + ЕХ^п] =
k k k
η
= ЕХ0+Ш EX»ATk < |EJf0| + Σ EXk <°°·
k k=o
Следовательно, E\Xn\ < oo, η ^ 0.
Для доказательства свойства мартингальности (E(Jf„+i |«^i)=Jf/t, η ^0)
заметим, что для всякого марковского момента т*
я+1
/=0
где
Ε 5^№|<оо.
ι=0
Поэтому по теореме Лебега о мажорируемой сходимости в
результате предельного перехода (й-»оо, 7>|оо (Р-п. н.)) в соотношении
Е(Х{п+\)лтк\<?п) = Хплтк получаем, что E(*rt+, \&n) = Xn (Р-п.н.).
2) Предположим, например, что ЕХ^ < оо. Покажем, что тогда ЕХ~ <
<оо для всех n<N.
Действительно, поскольку локальный мартингал является обобщенным
мартингалом, то Хп = Е{Хп+\ \&п), где Е(\Хп+\ \ \ &п) < оо (Р-п. н.). Тогда по
неравенству Иенсена для условных математических ожиданий (см. задачу
5 в § 7 гл. II) *- ^ Е(Х~+1 \&п). Поэтому ЕХ~ ^ ЕХ~+1 ^ ЕХ„ < оо.
Тем самым требуемое свойство мартингальности локального
мартингала X = (Хп, &n)o^n^N следует из утверждения 1). D
9. Задачи.
1. Показать эквивалентность условий (2) и (3).
2. Пусть σ и г —марковские моменты. Показать, что τ + σ,τ\/σ,τΛσ
также являются марковскими моментами, и если σ ^ т, то &σ С &т.
3. Показать, что г и Хт являются «^.-измеримыми.
4. Пусть Υ = (Ул, &п) — мартингал (субмартингал), V = (Vni &n-\) —
предсказуемая последовательность и (V · Y)n — интегрируемые случайные
величины, η ^ 0. Показать, что тогда V · Υ есть мартингал (субмартингал).
5. Пусть Sfi Э5?22 ··· — невозрастающее семейство σ-алгебр и ξ —
интегрируемая случайная величина. Показать, что последовательность
{Хп)п^\ с Хп = Ε(ξ\%) образует обращенный мартингал, т. е.
Е(Хя|Хя+|,Хя+2, ...) = *«+ι (Р-п.н.)
для любого η ^ 1.

§2. СОХРАНЕНИЕ СВОЙСТВА МАРТИНГАЛЬНОСТИ 659
6. Пусть £ь&» ··· —независимые случайные величины, Р{£ = 0} =
1 п
~Ρ{ξί = 2}= н и Хп = ΥΙ ξι. Показать, что не существует таких интегри-
1 /=ι
руемой случайной величины ξ и неубывающего семейства σ-алгебр (<^я),
чт0 Χη = Ε(ξ\&η). (Этот пример показывает, что не каждый мартингал
(Хп)п>\ представим в виде (Ε(ξ\^η))η^\\ ср. с примером 3 § И гл. I.)
7. (а) Пусть ξι, Сг, ... — независимые случайные величины с Ε\ξη\ < оо,
Εξη = 0, η ^ 1. Показать, что для каждого k ^ 1 последовательность
1<ι*ι<...</*<λ
образует мартингал.
(Ь) Пусть ξι, ^2» ... —интегрируемые случайные величины такие, что
Ε(ξη+ι\ξι,...,ξη)=ξι+-η+ξη (=Х„).
Доказать, что последовательность Х\, Х2> ... образует мартингал.
8. Привести пример мартингала X = (Хп, &п)п^\* для которого
семейство {ХПу п^ 1} не является равномерно интегрируемым.
9. Пусть Х = (Хп)п^о — марковская цепь (§ 1 гл. VIII) со счетным
множеством состояний £ = {/, /, ...} и переходными вероятностями ρή. Пусть
ψ = ψ(χ), хеЕ, — ограниченная функция такая, что Σ Р//^(/)^^(/) для
j€E
λ>0 и ieE. Показать, что последовательность (Х"пф(Хп))п^о является
супермартингалом.
§ 2. О сохранении свойства мартингальности при
замене времени на случайный момент
1. Если X = (А„, &п)п^о — мартингал, то для всякого п ^ 1
E*rt = E*0. 0)
Сохранится ли это свойство, если вместо момента п взять случайный
(скажем, марковский) момент г? Приведенный в предыдущем параграфе
пример 8 показывает, что, вообще говоря, это не так: существуют мартингалы
X и марковские моменты г (конечные с вероятностью единица) такие, что
ЕХгфЕХо. (2)
Следующая важная теорема описывает те «типичные» ситуации, для
которых, в частности, ЕХТ = EXq.

660
ГЛ. VII. МАРТИНГАЛЫ
Теорема 1 (Дуб). Пусть X = (Хп> &п) — мартингал
(субмартингал), т\ и Т2 — моменты остановки, для которых
Е|*Т/|<оо, i = lt2t (3)
I|m $ |*я|<*Р = 0. (4)
я~*°° {т2>п}
Тогда
Е(ХТ2\^Г1) = ХГ1 ({ъ>т1}\Р-п.н.). (5)
(^)
Если к тому же Р{т\ ^ т2} = 1, то
Ε*Τ=Ε*Τ1. (6)
Доказательство. Достаточно показать, что для всякого А е &Гх
S *г2<*р= $ ^rirfp. (7)
В свою очередь для этого достаточно установить, что для любого η ^ 0
S *^р=> S *^р>
МГ2^
или, что то же,
ЛП{т2^т, }П{т, =л} (^ ЛП{т2^т, }П{т, =п}
$ *Г2<*р = $ *„<*р, (8)
ВП{т2^п) {'}ВП{т2^п}
где й = ЛП{г|=п}Е«?я.
Имеем
5 *rtdP= $ *«<*Р + $ *„</Р= $ *„</Р+
5П{т2>л} Вп{т2=п) Вп{т2>п} ^ВП{т$=п}
+ $ E(Xn+{\&n)dP = $ *Г2</Р + $ *„+ι<*Ρ =
ВП{т2>п) ВГ\{т2=п) Вп{т2^п+\} ^
$ XT2dP+ $ Хя+2</Р = ... =
$ *T2dP + $ XmdP.
у^'ВП{п
Отсюда
^ fin{rt^T2^m} ВП{тъ>т}
$ Х^Р = $ *rtdP- $ *mdP

§2. СОХРАНЕНИЕ СВОЙСТВА МАРТИНГАЛЬНОСТИ 661
и в силу (4) и равенства Хт = 2Х+ - \Хт\ получаем
С XT2dP= lim Г { XndP- \ XmdP
J л ί>) m—>oo J J
ΒΠ{τ2^η) κ" |.ВП{л<7»} ВС\{т<т2)
= \ XndP- iim { XmdP= \ XndP,
ВП{п^т2) ВП{пг<т2} ВП{п^т2)
что и доказывает (8), а значит, и (5). Наконец, соотношение (6) следует
из (5). D
Следствие 1. Если существует константа N такая, что Ρ{τ\ ^
^/V}= 1, P{t2^/V}= l, mo выполнены условия (3), (4). Поэтому, если
к тому же Р{т\ ^ тг} = 1 и X — мартингал, то
EXq = ЕХТх = ЕХ^ = ЕЛ^дг.
Следствие 2. £&ш семейство случайных величин {Хп} равномерно
интегрируемо (в частности, если с вероятностью единица \Хп\^
^ С < оо, η ^ 0), то выполнены условия (3) и (4).
Действительно, Ρ{7ϊ>/ζ}-»0, /ζ-»οο, поэтому условие (4) следует из
леммы 2 § 6 гл. II. Далее, поскольку семейство {Хп} равномерно
интегрируемо, то (см. (16) § 6 гл. II)
sup EpOv|<oo. (9)
Ν
Если τ — некоторый момент остановки и X — субмартингал, то, согласно
следствию 1, примененному к ограниченному моменту τ/ц —г AN,
EXq ^ EXTN.
Поэтому
E\XTN| = 2Е*+ - EXTN ^ 2Е*+ - ЕХ0. (Ю)
Последовательность Х+ = (Х+, &п) является субмартингалом (пример 5
из § 1) и, значит,
/=0 {rN=j} {r>N}
N
^Σ $ *ν<ΙΡ+ $ X+dP = EX+^E\XN\^supE\XN\,
y=0 {ryv=/} {r>M N
что вместе с (10) дает неравенство
E|XrJ<3supE|Jfo|,
yv

662
ГЛ. VII. МАРТИНГАЛЫ
откуда по лемме Фату
E|Xr|<3supE|Jfo|.
N
Поэтому, выбирая г = 77, / = 1, 2, и учитывая (9), получаем, что E\XTi.] <оо,
1 = 1,2.
Замечание. В примере 8, рассмотренном в предыдущем параграфе,
$ \Xn\dP = (2n- 1 )Р{т > /г} = (2" - 1) ·2-" -> 1, я -> 00,
и, следовательно, нарушается условие (4) (для т^ = г).
2. Для приложений часто оказывается полезным следующее
предложение, выводимое из теоремы 1.
Теорема 2. Пусть X = (Хп) — мартингал (субмартингал) и τ —
момент остановки (относительно (&%)> &„=σ{Χο, ...,Χη}).
Предположим, что
Ет <оо
и для любого п^О и некоторой константы С
Е{\Хп+1-Хп\\&!}^С «т>я>;Р-я.«.)·
Тогда
Е|*т|<оо
и
Е*Т = Е*0. (11)
{»
Доказательство. Проверим для τι — τ выполнение условий (3) и (4)
в теореме 1.
Пусть УЬ = |*о|. Κ/ = μθ-*/-ιΙ> />1. Тогда |ХГ|< £ Ку и
(т \ τ оо η
7=0 / Ω y=o rt=0 {r=rt} y=0
OO rt OO OO OO
=ΣΣ S μρ=ΣΣ $ ^Ρ=Σ J мр-
rt=0 y=0 {r=«} 7=0 л=7 {r=«} y=0 {t^/}
Множество {r ^ /'} = Ω \ {τ < /'} e <^*_ {. Поэтому для / ^ 1

§2. СОХРАНЕНИЕ СВОЙСТВА МАРТИНГАЛЬНОСТИ 663
и, значит,
Е|*т|^Е[£ Гу)^с£р{г^/} + Е|^о| = СЕг + Е|^о|<оо. (12)
\у=0 / /=1
Далее, если г > /г, то
и поэтому
τ
$ \xn\dp$ s Σ^ρ·
{r>«> {т>«} 7=0
τ
Отсюда, учитывая, что (согласно (12)) Ε £ ^7<ΟΟΗ4ΤΟ{Τ>/2Η0»/Ζ~^Ο°»
7=0
по теореме о мажорируемой сходимости получаем
τ
Ит $ |x„|rfP<!im $ Σκ^ρ=α
rt"+°° {r>rt} rt-+°° {r>rt} 7=0
Тем самым выполнены условия теоремы 1, из которой следует
требуемое соотношение (11). D
3. Остановимся на некоторых применениях доказанных теорем.
Теорема 3 (тождества Вальда). Пусть ξι,ξ2, ··· —независимые
одинаково распределенные случайные величины с Е|&|<оо и τ —
момент остановки (относительно (<^f), .^я =σ{ξι, ...,ξΛ}, r^l) с
Ет<оо. Тогда
Ε(ίι+... + ξτ) = Εξ!·Ετ. (13)
Если к тому же Е£( < оо, то
E{(6+... + Cr)-rE6}2 = D6Er. (14)
Доказательство. Ясно, что X — (Хп, &п )п
- ηΕξι есть мартингал с
E[|^+i-X«||Xb...tX«] = E[|i„+l-Eil||ilt...tf„] =
= Ε|ί„+ι-Είι|<2Ε|ίι|<οο.
Поэтому по теореме 2 ΕΛ"Τ = Е^о = 0, что и доказывает (13).
Приведем три доказательства «второго тождества Вальда» (14).
Первое доказательство. Пусть щ = ξ,- - Εξ/, Srt = ηι +... + ηη. Надо
показать, что
ES? = Eq?-Er.

664
ГЛ. VII. МАРТИНГАЛЫ
Положим т{п) = тЛп (=min(r, n)).
Поскольку
5„2=Σ^+2 Σ w/.
η
то последовательность (S2 — £ η2, &п)п^\ есть мартингал с нулевым сред-
ним.
Из следствия 1 к теореме 1 находим, что
т{п)
ES?(n) = Ej>?.
/=1
По «первому тождеству Вальда» (13)
т(п)
ΕΣηϊ = ΕηΐΕτ(η),
/=ι
и, значит, ES2(rt) = Е772 · Ет(п).
Аналогичным образом получаем, что при т, η -»оо
E(ST{n) - 5Т(т))2 = Εη* · Е(т(п) - т(т)) -> О,
поскольку по предположению Ег < оо. Тем самым, последовательность
{ST(n)}n^\ является фундаментальной (последовательностью Коши) в I?
(см. п. 5 § 10 гл. II), и, значит, по теореме 7 из § 10 гл. II найдется такая
случайная величина S, что E(ST(rt) — S)2 —>0, /ζ—»оо. Отсюда вытекает
(задача 1 в § 11 гл. II), что ES2(n) -»ES2, /ζ-»оо. Как было показано выше,
ES2,rt) = Εη\ · Ετ(/ζ), и, значит, полагая п -»оо, находим, что Е52 = Εη2 · Ег.
Осталось теперь лишь идентифицировать величину S. Для этого
достаточно заметить, что можно найти такую подпоследовательность {п'} С {/г},
что с вероятностью единица одновременно имеют место сходимости
ST(rt/)-»S и т(п!)->т. Но тогда ясно, что с вероятностью единица будет
иметь место и сходимость ST(rt/)-»ST. Следовательно, S и ST совпадают
почти наверное, и, значит, ES2 = Е772 · Ег, что и требовалось доказать.
Второе доказательство. Из уже установленного равенства ES2(rt) =
= Е772 · Ет(п) и леммы Фату (см. а) в теореме 2 § 6 гл. II) находим, что
ES2T = Ε Игл S2(n) ^ Пт E52(rt) = Εη2{ · Ег.
Требуемое равенство ES2 = Е772 · Ег будет установлено, если показать, что
для всякого п ^ 1 справедливо неравенство ES2(n) ^ E52.

§2. СОХРАНЕНИЕ СВОЙСТВА МАРТИНГАЛЬНОСТИ 665
С этой целью заметим, что в силу «первого тождества Вальда» (13)
E|St| = E|t7i+... + 77t|^E(|77i| + ... + |77t|) = E|7?1|.Et<oo,
и, значит,
E|S«|/(r>n) = E|4l+... + 4„|/(r>n)<E(|ijl| + ... + |4lI|)/(r>n)<
^E(|77i|+ ...|77r|)/(r>/2)->0 при /z-»oo.
Применяя теорему 1 (к т\ =/ζ, Τ2 = τ и субмартингалу (|5Λ|, «^|)Λ^ι),
находим, что на множестве {т>/г} (Р-п. н.)
E(|5r||^|)>|S„|.
Отсюда по неравенству Иенсена (для условных математических
ожиданий; задача 5 § 7 гл. II) получаем, что на множестве {т^п} (Р-п. н.)
£(Sl\S*n)>Sl = Sl(n).
На множестве же {r<n} E(Sl\J?n) = S% = S^ny Тем самым (Р-п.н.)
E(S2T\#t)>S2T{n)
и, значит, ES? ^ E5^(rt), что и требовалось установить.
Третье доказательство. Из «первого доказательства» следует, что
(S%- Σ η?, &п)п>\ есть мартингал и для τ(η) = τΛη
ES2T{n) = EvlEr(n).
Так как Ет(п) -» Ег, то надо лишь показать, что ES^(rt) -»ES?. Для этого
достаточно установить, что
Ε sup S*(rt) < оо,
η
поскольку тогда требуемая сходимость будет следовать из теоремы Лебега
о мажорируемой сходимости (теорема 3 в § 6 гл. II).
Для доказательства неравенства Ε sup S^ v < оо воспользуемся
приводимым далее в § 3 «максимальным неравенством» (14). Согласно этому
неравенству, примененному к мартингалу (ST^), &\)k>\, находим, что
Ε Г sup S*( J ^ 4ES*(rt) < 4 sup ES*^.
Отсюда, пользуясь теоремой о монотонной сходимости (теорема 1 в § 6
гл. II), получаем, что
EsupS2(/0^4supES2(rt).

666
ГЛ. VII. МАРТИНГАЛЫ
Но
ES?(/I) = Εηΐ. Ет(п) ζ Etj? · Ег < оо.
Тем самым
Ε sup Sl{n) ^ 4Er7? · Ег < оо,
η
что и требовалось установить. D
Следствие. Пусть ξι, &» ··· — независимые одинаково
распределенные случайные величины с Р{£, = 1} = Р{& = -1} = 1/2, 5rt = ξ\ + ...
... +ξη ur=mi{n^ 1: Srt = l}. 7Ьгда Р{т<оо}=1 (ок., например, (20) §9
гл. I) и, значит, P{ST = 1}= 1, Е5Т = 1. Отсюда и из (13) вытекает,
что Ет = оо.
Теорема 4 (фундаментальное тождество Вальда). Пусть ξ\,
&. .·· —последовательность независимых одинаково распределен-
ных случайных величин, Srt=£i + ...+ ξη, /г> 1. Пусть φ(ί) = Ее**1, /€/?,
причем для некоторого to^O <p(to) существует и φ(ίο) ^ 1.
Если τ — момент остановки (относительно &η=σ{ξ\, ..., ξη},
п^ 1), тезкой, что т^\, \Sn\ ^С ({г ^п}\ Р-п.н.) и Ег <оо, то
шр]-1· (151
Доказательство. Положим
Yn = e**s'(<p(to))-n.
Тогда К = (Yn, &п)п>\ есть мартингал с ΕΥη = 1 и на множестве {г ^/ί}
Е{|Гл+1-Гл||Гь...,М=^е{|^^-1||6,...,^} =
где В — некоторая константа. Поэтому применима теорема 2, из которой
следует (15), поскольку ЕУ^ = 1. D
Пример 1. Этот пример служит иллюстрацией применения
вышеизложенных результатов к задачам нахождения вероятностей разорения и
средней продолжительности игры (см. § 9 в гл. I).
Пусть ξι,ξ2, ·♦· —последовательность независимых бернуллиевских
случайных величин с Р{& = 1} = р, Р{£/ = -1} = <7» ρΛ-q — 1, Sn =ξ\ + ...
...+£л и
r = inf{/z^l: Srt = fi или Л}, (16)
где (—Л) и В — положительные целые числа.

§ 2. СОХРАНЕНИЕ СВОЙСТВА МАРТИНГАЛЬНОСТИ 667
Из (20) § 9 главы I следует, что Р{т<оо}= 1 и Ет<оо. Тогда, если
а = Р{5т=Л},/? = Р{5т = В},тоа + /3=1,ипри p = q = 1/2 из (13) видим,
что
0 = EST = a,4 + /?fi,
откуда
В + \А\' * В + \А\-
Применяя (14), получаем
Ετ = Ε82τ = αΑ2 + βΒ2 = \ΑΒ\.
Если же рфя, то, рассматривая мартингал ((<7/p)s")n>i. находим, что
E($f-E(i)*-·
и, значит,
,А /п\В
■Й)+'(9-'·
Вместе с равенством а + β = 1 это дает
(У-1 , '-(f)
»-,Λν ,.^· β—^τ^Τΐτι- <|7>
Наконец, учитывая, что ESr = {p- <7)Ет, находим
c E5T αΑ+βΒ
fcr = = ,
p-я p-q
где а и β определяются из (17).
Пример 2. Пусть в рассмотренном выше примере p — q — 1/2.
Покажем, что для всякого 0< λ < -=—гтт и момента т, определенного в (16),
D + \А\
В + А*
cos
(л^)
E(cosA)-= ; (18)
C0S(A__j
С этой целью рассмотрим мартингал X = (Х„, «^Ί)η^ο с
*„ = (cos λ)"" cos(a(s„- 5±i)) (19)
и So = 0. Ясно, что
E*„ = EAO = cos(A^). (20)

668
ГЛ. VII. МАРТИНГАЛЫ
Покажем, что семейство {Хплт} является равномерно интегрируемым. Для
этого заметим, что в силу следствия 1 к теореме 1 при 0 < λ <
ЕХ0 = ЕХплт = E(cos А)-<ПЛГ> cos(A(snAr - Ц^-)) >
π
В + \А\
В+А'
>E(cos λ)-(ηΛτ) cos(a^-^).
Поэтому из (20)
cosfA—τ—)
E(cos λ)-(ηΛτ) < Ч ζ '
cos^__j
и, значит, по лемме Фату
cos
(А^)
E(cosA)-^ - — (21)
«»(λ—Г" j
Следовательно, согласно (19),
I^«atI^(cosA)"t,
что вместе с (21) доказывает равномерную интегрируемость семейства
{Хплт}> Тогда в силу следствия 2 к теореме 1
cos(A^±^)=E^o = E^T = E(cosArTcos(A^^),
откуда следует требуемое равенство (18).
4. В качестве одного из применений тождества Вальда (13) приведем
доказательство так называемой элементарной теоремы теории
восстаем
новления: если /V = (Nt)t^o — процесс восстановления (Nt = £ I(Tn ^ /),
/ι=1
Тп = σ\ + ... +σΛ, где σ\4 σ%, ... — последовательность независимых
одинаково распределенных положительных случайных величин; см. п. 4 § 9
гл. II), μ = Εσ\ < оо, то функция восстановления m(t) = ENt обладает тем
свойством, что
^->-, /-«,. (22)
(Напомним, что для самого процесса Nt = (Nt)t^o справедлив усиленный
закон больших чисел:
^-Д (Р-п.н.), /->оо;
/μ
см. пример 4 § 3 гл. IV.)

§ 2. СОХРАНЕНИЕ СВОЙСТВА МАРТИНГАЛЬНОСТИ 669
Для доказательства (22) достаточно показать, что
.. m(t) . 1 τ:— m(t) . 1 /Г|ОЧ
lim —r1^- и hm —г1^-. (23)
С этой целью заметим, что
TNt<t<TNt+u t>0. (24)
Поскольку для всякого η ^ 1
{Nt + l<n} = {Nt^n-l) = {Nt<n} = {Tn>t}=№ak>t\e&n,
где &п есть σ-алгебра, порожденная величинами σ\,..., ση, то (при каждом
фиксированном / > 0) момент Nt + 1 (но не момент Nt) является
марковским. Тогда из тождества Вальда (13) вытекает, что
E7VH=M[m(0+l], (25)
и, значит, из правого неравенства в (24) находим, что / <μ[ηι(ί) + 1], т. е.
откуда, полагая / -» оо, получаем первое неравенство в (23).
Далее, из левого неравенства в (24) следует, что / ^ Е7#,. Поскольку
Tty+ι = Τν( + σ#,+ι, то
ί>ΕΤΝ,=Ε(ΤΝ,+ι-σΝι+ι) = μ[ηι(ί)+1]-ΕσΝί+ι. (27)
Если считать, что величины σ,· все ограничены сверху (σ,- < с), то из (27)
получим, что / ^ μ[^(/) + 1] - с, и, значит,
2SUI+» £Ζ£ (28)
t μ t μ
Тогда отсюда будет следовать второе неравенство в (23).
Чтобы снять ограничение σ,- < с, / ^ 1, введем, беря некоторое о 0,
величины σ\ =σιΙ(σι <с)+c/(cr,· ^с) и свяжем с ними процесс восстановления
оо
NC = (Nf)t>o с Wf = Σ /(7"„с </). Ά = σ\ + ... + асп. Поскольку of<σ;> ι > 1,
л=1
то Nf^Nt и, значит, mc(t) = ENf ^ENt = m(t). Тогда из (28) видим, что
/ ^ t % μ< + t' μ' '
где/хс = Е^.

670
ГЛ. VII. МАРТИНГАЛЫ
Следовательно,
г— m(t) ^ 1
t-+oo t μ€
Полагая теперь с —>оо и учитывая, что μ° —>μ, получаем требуемое второе
неравенство в (23).
Итак, утверждение (22) установлено.
Замечание. По поводу более общих результатов теории
восстановления см., например, [7, гл. 9], [69, т. 1, гл. XIII].
5. Задачи.
1. Показать, что в случае субмартингалов теорема 1 остается
справедливой, если условие (4) заменить условием
Пт ^ XfdP = 0.
П-*°° {Т2>П)
2. Пусть X = (А„, <^rt)/i^o — квадратично интегрируемый мартингал, г —
момент остановки, ЕАо = 0,
Игл $ X2ndP = 0.
п-*°° {т>п}
Показать, что тогда
ЕХ* = Е{Х)Т (=ΕΣ(ΔΧ,Α,
где АХ0 = Х0, bX] = X,-Xi-uj*l.
3. Показать, что для каждого мартингала или неотрицательного
субмартингала X = (Хп, &п)п^о и момента остановки τ
Е|ХТ|< Пт Е|Х„|.
я—►оо
4. Пусть X = (Ал, &п)п^о — супермартингал такой, что Хп ^ Ε(ξ\&η)
(Р-п. н.), η ^ 0, где Ε\ξ\ < оо. Показать, что если т\ и т% — моменты
остановки с Р{т\ ^7^}= 1, то
АТ1^Е(АТ2|^Т1) (Р-п.н.).
5. Пусть ξι, ^2, ··· —последовательность независимых случайных
величин с Ρ{ξι = 1} = Р{& = —1} = 1/2, а и b — положительные числа, Ь >ау
η η
*п = а Σ /(€* = + !)-* Σ И& = -1)
и
r = inf{/i^l: Xn^-r}, r>0.

§3. ОСНОВНЫЕ НЕРАВЕНСТВА
671
Показать, что ЕеХт < оо при λ ^ с*о и ЕеХт = оо при λ > αο, где
Ь . 26 , а . 2а
аЛ-Ь а + Ь а + Ъ а + Ь'
6. Пусть ξι, ^2, ··· —последовательность независимых случайных
величин с Е&=0, D&=<7?, Srt= ξι+ ...+£«, &п =σ{ξ\> .>ξη}· Доказать
справедливость следующих утверждений, обобщающих тождества Вальда
(13) и (14): если Ε £ Ε|ξ7·|<οο, то Е5Т = 0; если Ε £ Εξ?<οο, то
7=1 7=1
ES* = E]T^ = e£4 (29)
y=l y=l
7. Пусть X = (Λ^, &)п>\ — квадратично интегрируемый мартингал и τ —
момент остановки. Показать, что тогда
ЕХТ2<Е Σ(Δ*„)2.
/1=1
Показать, что если
Ит Е{Х2п1(т>п))<оо или Ит Е(\Хп\1(т>п)) = 0,
п—юо п—юо
τοΕ(Δ*τ)2 = Ε Σ Xl
п=\
8. Пусть A = (Art, <^rt)/i^i есть субмартингал и τι <η&< ... —моменты
остановки такие, что ЕХТт определены и
Ит E(*+/(rm>/z)) = 0, т^1.
Я—ЮО
Доказать, что последовательность (Хт„, ^тт)т^\ является
субмартингалом. (Как обычно, &Гт ={Лб«?:ЛП{гт = /}Е«?/,/>1}.)
§ 3. Основные неравенства
1. Пусть X = (Ал, <^rt)/i^o — стохастическая последовательность,
Х;= max |Х,|, ρη||ρ = (Ε|^|")^, />>0.
0^7^«
В нижеследующих теоремах 1—3 приводятся основные «максимальные
неравенства для вероятностей» и «максимальные неравенства в Lp»
Для субмартингалов, супермартингалов и мартингалов, принадлежащие
Дж.Дубу.

672
ГЛ. VII. МАРТИНГАЛЫ
Теорема 1. I. Пусть X = (Хп> &п)п^о — субмартингал. Тогда для
любого А > О
APJmax Xk ^ λ} ^ Ε \x+l (max Xk > λ)] ^ E*+, (1)
APJmin Xk < -λ} < Ε [Xnl (min Xk > -λ)] - E*0 ^ EJT+ - Ε*0, (2)
APJmax |^| > a) <3 max E|**|. (3)
II. Пусть Υ = (ΥПУ &п)п^о — супермартингал. Тогда для любого λ>0
АР{тахКл>А}<ЕКо-Е[^(тах^ (4)
AP{mnK^-A}^-E[v(minK^-A)]<Ey-, (5)
APJmax \Yk\ > \\ <3 max E\Yk\. (6)
III. П$сть Υ = (Ynt &n)n^o — неотрицательный супермартингал.
Тогда для любого А > О
АР1тахУ^А)^ЕГо, (7)
l k^n У
AP/sup Yk>\\^EYn. (8)
{k^n J
Теорема 2. Пусть X = {Χrt, &n)n^o — неотрицательный
субмартингал. Тогда для ρ > 1 справедливы следующие неравенства:
если р>\, то
И*»11р<1|х;М^11*«11р; О)
если р = 1, то
ii^iiiii < ιι*;ιΐι < тзт^1+ιι*«|η+ адь οο>
Теорема 3. Пусть Х = (Хп, &п)п^о — мартингал, А > 0 и ρ > 1. 7Ъгда
p{m«^|>A}<^ (11)
и β случае ρ > 1

§3. ОСНОВНЫЕ НЕРАВЕНСТВА
673
В частности, при ρ = 2
р{тах|^|>А}<^£, (13)
Е[тах*|]<4Е# (14)
Доказательство теоремы 1. Поскольку субмартингал с обратным
знаком есть супермартингал, то неравенства (1)—(3) следуют из (4)—(6).
Так что будем рассматривать случай супермартингала Y = (Yni &n)n^o>
Положим T = 'mi{k^n: У*^А} с г = /г, если max К*<А. Тогда в силу
свойства (6) § 2
EYo>EYT = E\YT\maxYk^x]+E\YT\mmYk<x]^
L k^n J L k^n J
>
APJmax К*^а) + е|Уя; max Yk<\],
что и доказывает (4).
Положим теперь a = mi{k^η: К*<-А}, считая σ—η, если min У^>—А.
Тогда снова в силу свойства (6) § 2
ΕΥη^ΕΥτ = Ε\γτ\πι\η Yk^-\\ +e|Yt; min Κ*>-λ1<
L k^n J L k^n J
^-AP(min У*^-а) + е|У„; min Yk>-\].
Отсюда
APJmin Г*^-а)<--Е|>л; min Κ*<-λ1<Ε>7,
Kk^n ) L k^n J
что и доказывает (5).
Чтобы доказать неравенство (6), заметим, что Y~ = (-У)+ —
субмартингал, и тогда в силу (4) и (1)
АР(тах|У*|>А)^АР(тах Yy >A + АР(тах Г">а) =
= AP(max КЛ>А) + АР/тах ΥΓ >\) <ЕУЬ + 2Е>7 <3 max Е|У*|.
Неравенство (7) следует из (4).
Для доказательства (8) положим /y = \ni{k^n: У*^А}, считая 7 = °°»
если Yk < А при всех ft ^п. Пусть также n<N <оо. Тогда в силу (6) § 2
ΕΥη^ΕΥΊΑΝ^Ε[ΥΊΑΝΙ(Ί^Ν)]^ΧΡ{Ί^ΝΙ

674
ГЛ. VII. МАРТИНГАЛЫ
откуда при /V -»оо
D
Доказательство теоремы 2. Первые неравенства в (9) и (10)
очевидны.
Для доказательства второго неравенства в (9) предположим сначала,
что
Н*Х<оо. (15)
и воспользуемся тем фактом, что для любой неотрицательной случайной
величины ξ и г > 0
E^ = r\tr'xP{^t}dt. (16)
Тогда из (1) и теоремы Фубини получаем, что для ρ > 1
ОО ОО / \
Е(х;у =р $ t"-lP{x;>t}dt^P\ t»~21 $ xndP)
о о \{x;>t) J
dt =
= ρ $ f-2 [ $ *„/{*; > i}dP] dt = p\Xn
χ:
$ /"-2л
dP =
p-\
E[Xn(X:)>-1]. (17)
Отсюда по неравенству Гёльдера
E(Jf;)p <^II^*.IIp · ΙΙ(^)Ρ"ΊΙ^=^II^i.IIp [Ei^)^]1^. (18)
Ρ
где q =
Р-Г
Если выполнено (15), то из (18) сразу получаем второе неравенство
в (9).
Если же условие (15) не выполнено, то следует поступить таким
образом. Рассмотрим в (17) вместо X* величину (X* AL), где L — некоторая
константа. Тогда получим
E(X*nALy<qE[Xn(X*nAL)<>-1] <д\\Хя\\р[Е{Х*пМУ]х'\
откуда в силу неравенства Е(Х* Λ L)p ^ Lp < оо следует, что
E(X:ALy^q"EX^ = q'>\\Xnrp
и, значит,
Е(*я*)'= lim E(X:ALy^q"\\Xn\\P.
L—>оо ^

§3. ОСНОВНЫЕ НЕРАВЕНСТВА
675
Докажем теперь второе неравенство в (10).
Снова применяя (1), находим, что
оо
ех; -1 < В(х: -1)+ = J P{x*n -\>t)dt^
ОО
X* — 1
•Л- — ι
<$ТТ7 S XndP\dt = EXn $ « =ЕХя1пХ;.
о "*" Lw^i+/} J о
Поскольку для любых α ^ 0 и Ь > 0
α In b^a ln+ α + te"1, (19)
то
ε*; -\^Εχη in χ;^Εχη ΐη+ *„ + *-!εχ;.
Если ЕХ* <οο, то отсюда сразу получаем второе неравенство в (10).
Если же ЕХ* = оо, то следует поступить, как и выше, перейдя от
величин X* к X*AL. D
Доказательство теоремы 3 следует из того замечания, что \Х\Р,
/?> 1, является неотрицательным субмартингалом (если E|^rt|/7<oo, м^О),
и из неравенств (1) и (9).
Следствие к теореме 3. Пусть Хп = ξο +... + ξη, η ^ 0, где (f*)*^o —
последовательность независимых случайных величин с Е& = 0 и
Eff <оо. Тогда неравенство (13) превращается в неравенство
Колмогорова (§ 2 гл. IV).
2. Пусть X = (Л^, <^rt) — неотрицательный субмартингал и
*rt = ;Wrt+4rt
— его разложение Дуба. Тогда, поскольку ЕМп = 0, то из (1) следует, что
Нижеследующая теорема 4 показывает, что это неравенство
справедливо не только для субмартингалов, но и для более широкого класса
последовательностей, обладающих свойством доминируемости в следующем
смысле.
Определение. Пусть X = (Хп, &п) — некоторая неотрицательная
стохастическая последовательность и А = (ЛЛ, &п-\) — возрастающая
предсказуемая последовательность. Будем говорить, что X доминируется
последовательностью Л, если
ЕХТ ^ ЕАТ (20)
Для всякого момента остановки т.

676
ГЛ. VII. МАРТИНГАЛЫ
Теорема 4. Если X = (ХПу &п) — неотрицательная стохастическая
последовательность, доминируемая возрастающей предсказуемой
последовательностью А = (Ап, &п-\)> то для λ>0, α>0 и любого
момента остановки τ
Р{*;;*ак^г, (2ΐ)
Ρ{Χ;>λΚ±Ε(ΛτΛα) + Ρ{Λτ>α}, (22)
IWIIp<(fzf)l/Pinrllp. ο<ρ<ι. (23)
Доказательство. Положим
an = mm{j ζτΛη: Xj^X},
считая ση=τΛη, если {·} = 0. Тогда
ЕАТ > ΕΑσα > ΕΧση > $ ΧσαάΡ > ΧΡ{Χ;Αη > λ},
откуда
Р{*;Лй>ак1елт,
и в силу леммы Фату получаем неравенство (21).
Для доказательства (22) введем момент
7 = inf{/: Λ7·+ι^α},
полагая 7 = 00, если {·} = 0. Тогда
Ρ{χ;Ζλ) = Ρ{Χ;>λ,Ατ<α} + Ρ{Χ;>λ,Ατ>α)ζ
< Р{1{Ат<а}Х; > λ} + Р{АТ >а}< Р{Х;Ау > λ} + Р{АТ >а}<
^jEATAy + P{AT^a}^jE(ATAa) + P{AT^a}9
где использовано неравенство (21) и то, что 1{Ат<а)Х? ^Х*ААу. Наконец,
неравенство (23) следует (с учетом (22)) из следующей цепочки
соотношений:
ОО ОО
\\х*т\\»р = Е(х;у=\ p{(x;yzt}dt = $ P{x;^tx^}dt^
о о
оо оо
< $ t-l/"E[ATAtl/P]dt+ $ P{AP>t}dt =
ΑΙ
2-р
= Е { dt + E {(ΑτΓι/ρ)άί + ΕΑΪ = =—Р-ЕА'. D
о 4 l~P

§3. ОСНОВНЫЕ НЕРАВЕНСТВА
677
Замечание. Предположим, что выполнены условия теоремы 4 за
исключением того, что последовательность А = (Ап, &п)п^о является не
обязательно предсказуемой, но такой, что для некоторой константы о О
P/sup |ΔΛ*|<Α:
U>i J
■1,
где AAk = Ak-Ak-\. Тогда (ср. с (22)) справедливо следующее неравен
ство:
1
P{X;^X)^jE[A,
Л(а + с)] + Р{Ат}*а}.
(24)
Доказательство проводится по аналогии с доказательством
неравенства (22). Надо лишь вместо моментов 7 = *mf{/: Λ/+ι ^ο) рассматривать
моменты 7 — inf{/: Aj ^ а} и принять во внимание, что ΑΊ ^ а + с.
Следствие. Пусть Xk = (**, ·£*) и Ak = (Л*, &*), η ^0, k ^ 1,
удовлетворяют условиям теоремы 4 *ш/ замечания к ней. Пусть также
(rk)k^\ —последовательность моментов остановки (относительно
&ь = (&*)) и A\k Д 0. Тогда (Х% Д 0.
3. В этом пункте будет приведен (без доказательства, но с
применениями) ряд замечательных неравенств для мартингалов, возникающих как
обобщения нижеследующих неравенств Хиннина и неравенств Мар-
цинкевича и Зигмунда для сумм независимых случайных величин.
Неравенства Хинчина. Пусть ξι, &» ··. — независимые
одинаково распределенные бернуллиевские случайные величины с Р{£, = 1} =
= Р{£ = _1}= 1/2 и (сп)п^\ —некоторая последовательность чисел.
Тогда для любого 0 < ρ < оо существуют такие универсальные
константы Ар и Вр (не зависящие от (сп)), что для любого η ^ 1
/=1
к в,
(25)
Неравенства Марцинкевича и Зигмунда. Если ξι, &» ···
—последовательность независимых интегрируемых случайных величин с
Εξ/ =0, то для ρ ^ 1 найдутся такие универсальные константы Ар
и Вр (не зависящие от (£„)), что для любого η ^ 1
(26)
<
\\Р \
1 п 1
Σ«/
1 у=1 1
<вр\
\Р II
В неравенствах (25) и (26) последовательности X — (Хп) с Хп = ^ cj£j
η /=1
и Хп = X) £/ образуют мартингалы. Естественно задаться вопросом о том,

678
ГЛ. VII. МАРТИНГАЛЫ
нельзя ли обобщить эти неравенства на случай произвольных
мартингалов. Первый результат в этом направлении был получен Буркхольдером.
Неравенства Буркхольдера. Если Х = (Хп, &п) — мартингал, то
для всякого ρ > 1 существуют такие универсальные константы Ар
и В ρ (не зависящие от X), что для любого η ^ 1
MJWApZWnh*Bp\\y/ffi~Ap. (27)
где [Х]п — квадратинеская вариация Хп,
η
[Χ]η = Σ (Δ*/)2> *ο = 0. (28)
7=1
В качестве констант Ар и Вр можно взять
Ар = [\8рУ2/(р-\)Г1, В„ = \8р*'2/(р-1)1'2.
С учетом (12) из (27) следует, что
АР\\у/\Хй\\р < \\Х:\\Р^В;\\^[ХГп\\Р, (29)
где
Ар = [18рФ/(р-1)]-1, В; = 1Вр^/(р-1)^.
Неравенства Буркхольдера (27) справедливы для р>\ч в то время
как неравенства Марцинкевича—Зигмунда (26) верны и для р = \. Что
можно сказать о справедливости неравенств (27) для ρ = 1? Оказывается,
их прямое обобщение на случай ρ = 1 уже несправедливо, что показывает
следующий
Пример. Пусть fi, &, ··· —независимые бернуллиевские случайные
величины с Р{£ = 1} = Р{£ = -1}= 1/2 и
пЛт
raer = inf|n>l: £ £/=ΐ}·
Последовательность X = (Хп, &п) является мартингалом с
\\Xn\U=E\Xn\ = 2EXf-*2, л-»оо.
Но
(тлп \ 1/2
£ Π =EVf7wi-oo.
Следовательно, первое неравенство в (27) несправедливо.

§3. ОСНОВНЫЕ НЕРАВЕНСТВА
679
Оказалось, что на случай р = \ обобщаются не неравенства (27), а
неравенства (29) (эквивалентные (27), если ρ > 1).
Неравенства Дэвиса. Если Х = (Хп, &п) — мартингал, то
существуют такие универсальные константы А и В,0<А<В<оо, что
A\\VWnh^\\K\U<B\\VWn\\u (зо)
т. е.
^ΙΣ(δχ,)^ε[ιΪ£|λ,|]
ζΒΕ,
λ|Σ(Δ;0)2·
Следствие 1. Пусть £ь &. ... — независимые одинаково
распределенные случайные величины, Srt = £i +... + frt. Если Ε\ξ\\<οο и Εξ\ = 0,
то, согласно тождеству Вальда (13) § 2, для всякого момента
остановки τ (относительно (β*$)) с Ет < оо справедливо равенство
Е5Т = 0. (31)
Если дополнительно предположить, что E|fi|r<oo, где 1 <г^2,
то для справедливости равенства ESr = 0 достаточно условия
Етх'г<оо.
Для доказательства обозначим тп = тЛп, y = sup |STJ, и пусть для
η
t>0 m = [tr] — целая часть числа tr. В силу следствия 1 к теореме 1
§ 2 Е5гп=0. Поэтому для справедливости соотношения EST = 0
достаточно (согласно теореме о мажорируемой сходимости) проверить, что
Ε sup |5Тя|<оо.
л
Пользуясь неравенствами (1) и (27), находим
P{Y2t} = P{r>tr, Y>t) + P[r<tr, К^/К
<Р{ОП + Р( max \STi\>t}^P{T>tr} + rrE\STm\r^
Заметим, что (&$ = {0, Ω})
*m OO OO
E Σ ы=Е Σ '(/<^)ΐί/ΐΓ=Σ EE[/(/<rm)i^n^i]=
7=1 y=l y=l
οο rm
= Е Σ /(/<тя)Е[|6Г|^-.] = Е Σ Ε|ξ/Γ = M,Erffl,

680
ГЛ. VII. МАРТИНГАЛЫ
где μΓ = Ε \ξ\ \Γ. Поэтому
= Ρ{τ>η + Β'ΓμΓΓΓ
m\
P{r>tr} + $ rrfP|<
{г<П J
^(\+ΒΓΓμΓ)Ρ{τ>η + ΒΓΓμΓΓΓ $ rdP
{r<r}
и, значит,
oo
EK=$ Ρ{Υ>ί}άί^(1+Β',μΓ)Ετι'Γ + Β',μΓ $ /"Ί $ rdP
[{r<n
Ω
0
oo
dt =
t'A
dP =
• l/r J
= (ΐ+β>Γ + ^)ΕτΆ<οο.
СледсИвие 2. Пусть Μ = {Μη) — мартингал такой, что Е\Мп\2г <
<oo для некоторого г^\ и
Σ пш <°° (А1о = 0).
(32)
я=1
Тогда (ср. с теоремой 2 § 3 гл. IV) имеет место усиленный закон
больших чисел:
^-0 (Р-п.нХ /г-оо.
(33)
В случае г = 1 доказательство проводится по той же схеме, что и
доказательство теоремы 2 § 3 гл. IV. А именно, пусть
т,
-Σ
*=1
ΔΜ*
Тогда
м ΣΔΜ* ι "
^ = *ξ! = i у*дт*
/2/2/2 <<-—'
*=1
и, согласно лемме Кронекера (§ 3 гл. IV), для сходимости (Р-п. н.)
1
- ]jP kAmk -> О, /г —► oo,

§3. ОСНОВНЫЕ НЕРАВЕНСТВА
681
достаточно, чтобы (Р-п. н.) существовал конечный предел lim тП1 что в
свою очередь (теоремы 1 и 4 из § 10 гл. II) имеет место в том и только том
случае, когда
P/sup \mn+k-mn\^€\-+0, n-+oo. (34)
U^i J
В силу неравенства (1)
g E(AMkf
P/sup \mn+k-mn\^e\
<
k=n K
Поэтому требуемый результат следует из (32) и (34).
Пусть теперь г > 1. Утверждение (33) эквивалентно тому (теорема 1
§ 10 гл. II), что для всякого ε > 0
е2гР (sup 1^У > ε) -> 0, я -> оо. (35)
В силу неравенства (52) из задачи 1
e*p(sup^eW lim p( max ^|%ε2')<
< ^E|M„|2' + £ ^E(|Af/|* - |Mb,|*).
Из леммы Кронекера вытекает, что
lim -LE\Mn\2r = 0.
Поэтому для доказательства (35) достаточно лишь показать, что
^47Е(|Л4/Г-И/_,П<оо. (36)
1*2 '
Имеем
Ν ι
'*s£ ' [E|Afy|*-E|Ai,_,r]<
<у^ Г 1 1 Ifiai fir , Е|Муу|2г
/=2 '

682
ГЛ. VII. МАРТИНГАЛЫ
В силу неравенства Буркхольдера (27) и неравенства Гёльдера
£(δμ,·)2
<в22;е£|дл!,|2'.
i=l
Ε|Λί7·|2^β22;Ε|
Поэтому
'« < Σ *[£ - й^]г' Σ ειδμ,ι1-^ <
7=2 ί=1
у=2 ' i=l y=2 '
(С,- — некоторые константы), что в силу (32) доказывает оценку (36).
4. Последовательность случайных величин {Хп)п^\ имеет с
вероятностью единица предел lim Xn (конечный или бесконечный) тогда и только
тогда, когда число «осцилляции между двумя любыми (рациональными)
числами а и b, a<b» конечно с вероятностью единица. Приводимая ниже
теорема 5 дает оценку сверху среднего числа «осцилляции» для
субмартингалов, которая в следующем параграфе будет использована для
доказательства фундаментального результата о их сходимости.
Зафиксируем два числа а и Ьу а<Ьу и для последовательности Х =
= (Хп)п^\ определим моменты:
то = 0,
т\ = min{/z > 0: Хп ^ а},
Т2 = min{/z > т\: Хп ^ &},
T2m-i = min{/z > r2m_2: *rt ^ а},
r2m = min{/z > r2m-ι: *rt ^ &},
полагая 7> = oo, если соответствующее множество {·} пусто.
Далее, для каждого η ^ 1 определим случайные величины
I тг
.„, еслиг2>/г,
max{m: Т2Ш ^ /г}, если r2 ^ п.
По своему смыслу βη(α, Ь) есть ч^/сло пересечений (снизу вверх)
интервала [а, Ь] последовательностью Х\, ..., Хп-
Теорема 5 (Дуб). Пусть Х = (Хп, &п)п^\ —субмартингал. Тогда
для любого η ^ 1
EA(a,ft)<^f^. (37)

§3. ОСНОВНЫЕ НЕРАВЕНСТВА
683
Доказательство. Число пересечений субмартингалом Х = (Хп,&п)
интервала [а, Ь] совпадает с числом пересечений интервала [О, Ь - а]
неотрицательным субмартингалом Х+ = ({Хп-а)+, &п). Поэтому, считая
рассматриваемый субмартингал X неотрицательным и а = 0, надо доказать,
что
Е/?я(0,&)<^. (38)
Положим Xq = 0, <^Ь = {0, Ω}, и пусть для / = 1,2, ...
{1, если тт < / <'
0, если тт < / < ι
[тт+\ для некоторого нечетного т,
[тт+\ для некоторого четного т.
Нетрудно видеть, что
и
{*>/ = !}= (J [{r«<i}\{rm+i</}] 6^i-i.
m — нечетно
Поэтому
η η
/=1 i=l {¥>/=!}
η η
= Σ S E(Xi-Xi-i\*i-i)dP = J2 J [E№|^-i)-^-i]^P<
<£ 5 [E№|^-i)-*/-i]dP = E*rt,
/=1 Ω
что и доказывает неравенство (38). D
5. В этом пункте будут рассмотрены некоторые простейшие
неравенства для вероятностей больших уклонений в случае квадратично
интегрируемых мартингалов.
Пусть М = (Мп, &п)п^о — квадратично интегрируемый мартингал с
квадратичной характеристикой (Af) = ((Af)rt, «^-ι), Αίο = 0. Если
воспользоваться неравенством (22) применительно к Хп = М2п, Ап = (М)п, то
получим, что для а > 0, Ь > 0
p{max \Mk\ ^ an) = pjmax Ml ^ (an)2) <
<ζ-±-*Ε[(Μ)ηΛφη)] + Ρ{(Μ)„>αη}. (39)
(any

684
ГЛ. VII. МАРТИНГАЛЫ
На самом деле, по крайней мере в том случае, когда \ΔΜη\ < С для всех
η и ω Ε Ω, это неравенство можно существенно улучшить, если
воспользоваться идеями, изложенными в § 5 гл. IV при оценивании вероятностей
больших уклонений для сумм независимых одинаково распределенных
случайных величин.
Напомним, что в § 5 гл. IV при выводе соответствующих неравенств
существенный момент состоял в использовании того, что
последовательность
(βχ8"/[φ(\)]\ &п)я>1, Λ=σ{6, ..., ξηΐ (40)
образовывала неотрицательный мартингал, к которому затем
применялось неравенство (8) настоящего параграфа. Если теперь вместо Sn
брать Λίπ, то аналогом (40) будет неотрицательный мартингал
(*™74.(λ).Λ)«>ι.
где
η
<?Λ(λ) = ΠΕ^λΔΛί,Ί^/-ι) (41)
/=ι
— так называемая стохастическая экспонента (см. также п. 13 в § 6
гл. II).
Это выражение довольно сложно. В то же самое время при
использовании неравенства (8) вовсе было не обязательно, чтобы образованная
последовательность являлась мартингалом. Достаточно лишь, чтобы она
образовывала неотрицательный супермартингал. Именно так здесь мы
и поступим, образовав последовательность (ΖΛ(λ), &η) (см. (43) ниже),
которая довольно просто зависит от Мп и (М)п и к которой можно будет
затем применить метод, использованный в § 5 гл. IV
Лемма 1. Пусть Μ = (Afrt, &n)n^o — квадратично интегрируемый
мартингал, Mq = 0, ΔΑίο = 0 и \ΔΜη{ω)\ ^ с для всех η и ω. Пусть λ> 0,
еХс - 1 - Ас
с>0,
ФЛХ) = { χ2 с2 (42)
у, с = 0,
и
Zn(X) = eXAJn'MX)<M>\ (43)
Тогда для каждого с^О последовательность Ζ(λ) = (ΖΛ(λ), &η)η^ο
является неотрицательным супермартингалом.
Доказательство. Для \х\^с
-l-Xx = (Xxf £ ^^(λ*)2 Σ, ^^<*2<Μλ).
? — ι — •νΛ, — \Μ)
m>2 m>2

§3. ОСНОВНЫЕ НЕРАВЕНСТВА
685
Учитывая это неравенство и представление (Zn = Zn(X))
AZn = Zn-l[(eXAM» - ΐ)^-Δ<Λί>„^(λ) + ^-Δ(Λί>^(λ)_ jjj^
находим, что
Ε(ΔΖ„|Λ-ι) =
= Zrt_i [Ε(<?λΔΛί« - 11 ^rt_,) ^-Δ(Λί).^(λ) + ^-Δ(Λί>.^(λ) _ jjj =
= Ζ„_,[Ε(^λΔΛ,« - 1 -λΔΛ4Λ|^ί_1)^Δ<Λί)Λ(λ) + (^Δ<Λί>Λ(λ)- 1)]<
^ Zrt_, [^(Α)Ε((ΔΛίΛ)21&п_{)е-А{М)"фс{Х) + (e-*M*+<W - 1)] =
= ΖΛ_,[^(λ)Δ(Λ4>^-Δ^)Λ(λ) + (^Δ<Λί>Λ(λ)- 1)]<0, (44)
где использовано также то обстоятельство, что для χ ^ О
хе~-х + {е~х -\)^0.
Из (44) видим, что
ΕίΖ,,ΙΛ-ιΚΖ,,-!,
т. е. Ζ(λ) = (Zrt(A), c^rt) — супермартингал. D
Пусть выполнены условия леммы. Тогда всегда найдется λ > 0 такое,
что (для заданных а > О, Ь > 0) аХ - b^c(\) > 0. Учитывая это, находим
P(max Mk > an) = P(max еХМк ^ eXan) ζ
<- Ρ/max еХМк'фс{Х){м)к^еХап-^с{Х){м)п\ =
= Ρ (max e*Ai*-*<*>M* > е^п-м»{М)п^ ^ <b\ +
+ PJmax eXMk-^{X){M^ ^ eXan'^X)W\ (M)n > bn}
< Ρ (max eXM*-^x)Wk > eXan-^x)bn) + P{(M)n > bn)
ζ e-n(^-Wc(\)) + P{(M)n > bn}, (45)
где последнее неравенство вытекает из (7).
Обозначим (ср. с функцией Н(а) в § 5 гл. IV)
Нс(а, b) = sup[a\-bipc(\)].
λ>0
Тогда из (45) следует, что
P(max Mk ^ an) ^ Р{(М)п > Ьп] + *-«"«<«·*>. (46)
I кип )

686
ГЛ. VII. МАРТИНГАЛЫ
Переходя от мартингала Μ к -М, получаем, что правая часть в (46)
оценивает сверху также и вероятность PJmin Mk < —an}. Тем самым
PJmax \Mk\>an\ ^2P{(M)n>bn} + 2e-nHcM. (47)
Итак, доказана следующая
Теорема 6. Пусть Μ = (Мп, &п) —мартингал с равномерно
ограниченными скачками, т. е. |ΔΛίΛ| ^с для некоторой константы О О
и всех η и ω. Тогда для любых а > О, Ь > 0 имеют место неравенства
(46) и (47).
Замечание. Функция
«.fe4-i(.+ t)in(l + S)-i. (48,
6. В предположениях теоремы 6 рассмотрим теперь вопрос об
оценках вероятностей типа PJ sup ут^- >а>, характеризующих, в частности,
скорости сходимости в усиленном законе больших чисел для мартингалов
(см. далее теорему 4 в § 5).
Поступая так же, как и в § 5 гл. IV, находим, что для любого а > О
найдется такое λ > 0, что аХ - фс(\) > 0. Тогда для всякого Ь > 0
p/sup MjL > Д ^р rSUp *™*-ιΜΛ>Μ* >е1а\-феШМ).л ^
^ Ρ/sup eXMk-^X)Wk > elaX-+<Wbn\ + P{(M)n < bn) ^
^е-Ьп[аХ-*ЛХ)] + Р{(М)п<Ьп1 (49)
откуда
pisuP ШГ >a\<P{(M)n<bn} + e"nH'{abJ,\ (50)
p{sup\^\>a\^2P{(M)n<bn} + 2e-nHc{ab'b). (51)
Тем самым доказана
Теорема 7. Пусть выполнены предположения предыдущей
теоремы. Тогда для любых а >0, Ь >0 выполнены неравенства (50), (51).
Замечание. Сравнение оценки (51) с оценкой (21) из § 5 гл. IV для
случая схемы Бернулли, р = -А4л = Зл--& = -£ = - показывает, что

§3. ОСНОВНЫЕ НЕРАВЕНСТВА
687
при малом ε > О они приводят к одному и тому же результату:
Pisupl-Trrrf-I >ε\ = Ρ\ sup
ς k
>i(^2e-4*"
7. Задачи.
1. Пусть X = (Xni &n) — неотрицательный субмартингал и V =
= (Vnt &n-1) — предсказуемая последовательность с 0^ Krt+i ^ Krt ^C
(Ρ-π. η.), где С — некоторая константа. Показать, что имеет место
следующее обобщение неравенства (1):
η
ePJmax VjXj^e}+ $ VnXndP ^ J] EVjAXj. (52)
1|<'<я max ViXi<e j=\
2. Доказать справедливость разложения Крикеберга: всякий
мартингал X = (Хп, &п) с sup E|A"rt| < оо может быть представлен как разность
двух неотрицательных мартингалов.
3. Пусть ξι, ^2, ··· —последовательность независимых случайных ве-
п
личин, Sn = ξ\ +... + ξη и Sm,n = Σ £j· Доказать справедливость
Следующего неравенства Оттавиани:
Pf max |57·|>2ε|^ ,^^ t
и вывести из него, что
оо оо
\ Р\ max |S;|>2/}<tt<2E|S„| + 2 \ P{\Sn\>t}dt. (53)
О 1|<«я J 2E|S„|
4. Пусть ξι, &» ··· —последовательность независимых случайных
величин с Εξ/ =0. Используя неравенство (53), установить, что для
рассматриваемого случая имеет место следующее усиление неравенства (10):
ES:<8E|S„|.
5. Доказать справедливость формулы (16).
6. Доказать неравенство (19).
7. Пусть cr-алгебры <^Ь» · · ·. &п таковы, что <^Ь Q &\ Q · · · Q &п и
события Аь € &k* k = 1,..., п. Используя (22), доказать справедливость
следующего неравенства Дворецкого: для всякого ε > О
•ЙЧ
<e + P<Y.P(Ak\*k-i)>e\

688
ГЛ. VII. МАРТИНГАЛЫ
Р| max Xk^x\ ^
8. Пусть Х = (Хп)п^\ — квадратично интегрируемый мартингал и
(Ьп)п^\ —положительная неубывающая последовательность
действительных чисел. Доказать следующее неравенство Гаека—Репьи:
p/maxl^bAUf V^· AXk=Xk-Xk.u *о = 0.
k=l
9. Пусть Χ — (Χη)η^ι —субмартингал и g(x) — неотрицательная
возрастающая выпуклая книзу функция. Тогда для всякого положительного t
и действительного χ
BgjtXn)
g(tx)
В частности,
Р( max Xk^x)^e-txEetXn.
10. Пусть £i,f2» ··· —независимые случайные величины с E£rt=0,
η
Εξ% = 1, η ^ 1. Пусть τ = inf{/z ^ 1: Σ ξ/ > 0}. Доказать, что Ετ1'2 < οο.
И. П^сть ξ = (^rt)rt^i — мартингал-разность и 1 < ρ < 2. Показать, что
%с,£екуг,
где Ср — некоторая константа.
12. Пусть X = (Я„)/|^ ι — мартингал с ЕХп = 0 и ЕЯ2 < оо = 1. Показать
(в обобщение задачи 5 к § 2 гл. IV), что для всякого η ^ 1 и ε > 0
Ε*2
Ε sup
«>1
Eft
7=1
Pfmax Χ»>ε)< 2 *
§ 4. Основные теоремы о сходимости субмартингалов
и мартингалов
1. Следующий результат, являющийся основным во всей
проблематике сходимости субмартингалов, можно рассматривать как вероятностный
аналог того известного факта из анализа, что ограниченная монотонная
числовая последовательность имеет (конечный) предел.
Теорема 1 (Дуб). Пусть Х = (Хп, ^п)п^\ — субмартингал с
sup Е|Я„|<оо. (1)
η
Тогда с вероятностью единица существует предел WmXn=XOQ и
Е|Аоо| <оо.

§4. ОСНОВНЫЕ ТЕОРЕМЫ О СХОДИМОСТИ
689
Доказательство. Предположим, что
Р{Ит*Л>Пт*«}>0. (2)
Тогда поскольку
{Пт Хп > lim Хп) = (J {Йт Хп>Ь>а>\\тХп)
а<Ь
(а, Ь — рациональные числа), то найдутся такие а и &, что
Р{Пт Хп > Ь > а > Пт Хп} > 0. (3)
Пусть βη(α, b) — число пересечений снизу вверх последовательностью
Xlt ..., Хп интервала (а, Ь) и βζ>0(α, &) = lim ^rt(a, &). Согласно (37) § 3,
Ев (а ЬХЕ1Х"-а]+ <Е*"+ + Н
и, значит,
sup ЕХ+ + |α|
Ε/3οο(α, ί>) = lim Εβη(α, b) < < οο,
/ί С/ — α
что следует из (1) и того замечания, что для субмартингалов
sup Е|ЯЛ|<оо & supE^<oo
η η
(поскольку EJT+ ^ Е|ХЯ| = 2ЕЯ+ - E*rt ^ 2ЕЯ+ - ЕХ{). Но условие
Ε/?οο(β, Ь) <оо противоречит допущению (3). Следовательно, с
вероятностью единица существует lim Хп = Х00, для которого в силу леммы Фату
E|^oo|<supE|X«|<oo. D
η
Следствие 1. Если X — неположительный субмартингал, то с
вероятностью единица существует конечный предел lim Xn.
Следствие 2. Если Х = (Хп, &п)п>\ —неположительный
субмартингал, то последовательность X = (ХПч &п) с 1 ^ η ^ оо, Х^ = lim Xn
и ^^^afyj &\ образует {неположительный) субмартингал.
Действительно, по лемме Фату
Е*оо = Ε lim Хп ^Пгп ЕХп ^ Е*! > -оо
и (Р-п.н.)
Е(Хп\&т) = Е(\\тХп\ЗГт)>ШЕ(Хп\&т)>хт.
Следствие 3. Если Х = (ХПу &п) — неотрицательный мартингал,
то с вероятностью единица существует lim Xn.

690
ГЛ. VII. МАРТИНГАЛЫ
В самом деле, тогда
sup Ε \Хп | = sup EXп = ΕΧ\ < οο
η η
и применима теорема 1.
2. Пусть ξι, ^2» ... — последовательность независимых случайных
величин с Р{£ = 0} = Р&=2}= 1/2. Тогда Х = (Хп, tft) с Хп = ft 6 и #* =
= 0"{&. · · ·. 61} есть мартингал с ЕХп = 1 и Хп -» ^ = 0 (Р-п. н.). В то же
время ясно, что Е\Хп-Х00\ = 1 и, значит,Хп-/*Хоо- Таким образом, условие
(1) не обеспечивает, вообще говоря, сходимость Хп к Х^ в смысле ΖΛ
Приводимая далее теорема 2 показывает, что если предположение (1)
усилить до предположения равномерной интегрируемости семейства
{Хп} (тогда условие (1) выполнено согласно свойству (16) в п. 5 § 6 гл. II),
то наряду со сходимостью почти наверное будет иметь место и сходимость
в смысле L1.
Теорема 2. Пусть X = (Хп, &п) — субмартингал, для которого се-
мейство\случайных величин {Хп} равномерно интегрируемо. Тогда
существует такая случайная величина Х^ с Е|Аоо|<оо, что при
п—юо
*„->*оо (Р-П. Я.), (4)
Хп —► X оо · (5)
При этом последовательность Х = (Хп, &п), 1^л^оо, с &<*> =
= σ(υ &Л также образует субмартингал.
Доказательство. Утверждение (4) следует из теоремы 1, а
утверждение (5) — из (4) и теоремы 4 § 6 гл. II.
Далее, если А е &п и т > я, то
и поэтому
Е/л|Хт-Хоо|->0, т-»оо,
Km \xmdP = \XOQdP.
т—>оо γ γ
А А
Последовательность l^XmdP\ является неубывающей, и, значит,
\а Λ
т>п
^XndP^XmdP^XoodP,
AAA
откуда Хп ^ Е(Аоо \&п) (Р-п. н.) для всех η ^ 1. D

§4. ОСНОВНЫЕ ТЕОРЕМЫ О СХОДИМОСТИ
691
Следствие. Если X = (Хп, &п) — субмартингал и для некоторого
р>\
supE|Xe|'<oo, (6)
П
то существует интегрируемая случайная величина Х^, для
которой выполнены (4) и (5).
Для доказательства достаточно заметить, что, согласно лемме 3 § 6
гл. И, условие (6) обеспечивает равномерную интегрируемость
семейства {Хп}.
3. Приведем теперь теорему о свойствах непрерывности условных
математических ожиданий, которая была одним из самых первых
результатов относительно сходимости мартингалов.
Теорема 3 (П. Леви). Пусть (Ω, «^, Ρ) — вероятностное
пространство, (^п)п^\ — неубывающее семейство σ-алгебр, &\ C^Q ··.
... С &. Пусть ξ — некоторая случайная величина с Е|£| < оо и &<*> =
= σ(υ &п\ Тогда Ρ-п. н. и в смысле L1
Ε(£|Λ)-Ε(ί|Λο). "-«>· (7)
Доказательство. Пусть Хп = Ε(ξ\&п), п^1. Тогда для а>О, Ь >О
J \Xn\dP< J Ε(|ί||Λ)£ίΡ= J \ζ\άΡ =
Ш>а) {\Хп\>а} {\Χη\>α}
S ΙίΙ«*Ρ + J \ξ\άΡ<
<ЬР{\Хя\>а} + $ \ξ\άΡζΪΕ\ξ\+ J IdrfP.
<l*l>*> <l€l>*>
Полагая а —> оо, затем & —> оо, получаем
lim sup ^ \Xn\dP = 0,
а~*°° п i\xL·)
что означает равномерную интегрируемость семейства {Хп}. Тогда,
согласно теореме 2, существует случайная величина Х^ такая, что Хп =
= Е(£|€£'Я)-»Х00 (Р-п. н. и в смысле L1). Поэтому надо лишь показать,
что
^00 = Ε(ξ|^00) (Р-п.н.).
Пусть т^п и Ае&п. Тогда
lXmdP = \XndP = \E£\&n)dP = ^dP.
AAA A

692
ГЛ. VII. МАРТИНГАЛЫ
В силу равномерной интегрируемости семейства {Хп} и теоремы 5 § 6 гл. II
Е1д\Хт -Хсс\ -»0, т->оо, и, следовательно,
$*oodP = $£dP. (8)
А А
Это равенство выполнено для любого А е &п и, значит, для любо-
оо
го А е (J &п. Поскольку Ε|Λοο| <οο, Ε\ζ\ <οο, то левая и правая части
в (8) представляют σ-аддитивные меры, возможно, принимающие и от-
оо
рицательные значения, но конечные и совпадающие на алгебре (J &п.
п=\
В силу единственности продолжения σ-аддитивной меры с алгебры на
наименьшую σ-алгебру, ее содержащую (теорема Каратеодори, § 3 гл. II)
равенство (9) остается справедливым и для множеств A G«^oo = a((J &п).
Итак,
$*оо*Р = $е*Р = $Е(£|Ло)</Р, Ле^оо. (9)
А А А
Величины Аоо и Ε(ξ\^00) являются «^-измеримыми, поэтому в силу
свойства I п. 3 § 6 гл. II из (9) следует, что А^ = Ε(ξ\^00) (Р-п. н.). D
Следствие. Стохастическая последовательность Х = (Хп, &п)
является равномерно интегрируемым мартингалом тогда и только
тогда, когда существует случайная величина ξ с Е|£|<оо такая,
что Хп = Ε(ξ\&η) для всех η > 1 (т. е. X есть мартингал Леей). При
этом Art-iE^l^oo) (Р-п. н. и в смысле О) при л-»оо.
Действительно, если Х = (Хп, &п) — равномерно интегрируемый
мартингал, то по теореме 2 найдется такая интегрируемая случайная величина
Аоо, что Хп—►Аоо (Р-п. н. и в смысле L1) и к тому же Хп = Е(Х00\^п).
Так что в качестве случайной величины ξ можно взять («^оо-измеримую)
величину Xqo.
Обратное утверждение следует из теоремы 3.
4. Остановимся на некоторых применениях доказанных теорем.
Пример 1. Закон «нуля или единицы». Пусть ξι, &» ··· —
последовательность независимых случайных величин, ^$ = σ{ξ\, ..., ξη}, ЗС —
cr-алгебра «хвостовых» событий и А € SC. Из теоремы 3
E(Ia\^)->E(Ia\&L) = 'a (Р-п.н.).
Но Ια и (ξι, ...,ξη) независимы. Поэтому Е{1а\&п) = Е1а и, значит,
(Р-п.н.) 1А = Е1А, откуда Р(Л) = 0 или Р(Л) = 1.
Следующие два примера иллюстрируют возможности применения
приведенных выше теорем о сходимости в математическом анализе.

§4. ОСНОВНЫЕ ТЕОРЕМЫ О СХОДИМОСТИ
693
Пример 2. Если /= /(х) — функция на [0, 1), удовлетворяющая
условию Липшица, то она абсолютно непрерывна и, как известно из анализа,
найдется такая интегрируемая (по Лебегу) функция g = g(x), что
№-№ = \м)*у. (Ю)
о
(В этом смысле g(x) есть «производная» /(*).)
Покажем, как этот результат может быть получен из теоремы 1. Пусть
Ω = [0, 1), «^ = ^([0, 1)) и Р —мера Лебега. Положим
е.м-Е^'{^«*<£}.
&η = σ{ξ\ ξη} = σ{ξη}, и пусть
ν _./(fr +2-»)-flfr)
Поскольку при заданном значении ξη случайная величина ξη+ι принимает
лишь два значения ξη и ξ„ + 2-(η+Ι) с условными вероятностями, равными
1/2, то
Ε[*β+1 |^η] = Ε[*η+1 |ξη] = 2η+1Ε[/(ξη+Ι +2-<η+1>)- /(6,+,)|е,] =
= 2η+1 { i [Λ6, + 2-(п+,)) - Ш) + \ [Κξη + 2-") - №п + 2-<"+1>)]} =
= 2»{Я6, + 2-)-/(е,)} = ^.
Отсюда следует, что X = (Я„, &п) есть мартингал, причем равномерно
интегрируемый в силу того, что \Хп\ ^L, где L — константа в условии Липшица:
\К*)-!(у)\^Цх-У\· Заметим, что ^ = ^([0, l)) = cr((J ^я). Поэтому,
согласно следствию к теореме 3, найдется такая ^"-измеримая функция
8 = g(x), что Xn->g (Р-п. н.) и
Xn = E[g\*nl (И)
Возьмем множество β = [0, k/2n]. Тогда из (11)
*/2" k/r
/(Jr)-/(0)= J *«<** = J g(x)dx.
и в силу произвольности п и ft отсюда получаем требуемое равенство (10).
Пример 3. Пусть Ω = [0, 1), & = Щ[0, 1)) и Р —мера Лебега.
Рассмотрим систему функций Хаара {Нп(х)}п^\9 определенных в примере 3
§ 11 гл. II. Положим &η=σ{Η\, ..., Нп) и заметим, что crflj &n) = &. Из

694
ГЛ. VII. МАРТИНГАЛЫ
свойств условных математических ожиданий и структуры функций Хаара
нетрудно вывести, что для любой борелевской функции f eL
η
E[f(x)\^n] = J2akHk(x) (Р-п.н.), (12)
k=\
где
ι
ak = (f,Hk) = $f(x)Hk(x)dx.
о
Иначе говоря, условное математическое ожидание E[/(jc) | &п] есть
частичная сумма Фурье при разложении функции f(x) по системе Хаара. Тогда,
применяя теорему 3 к мартингалу (Е(/|<^л), &n)y находим, что при /ζ —>оо
Σ (/.адьм->/w (Р-п.н.)
и
\ \ η I
о U=i I
Пример 4. Пусть (ξη)η^\ —последовательность случайных величин.
Согласно теореме 2 из § 10 гл. II, сходимость Р-п. н. ряда Σ ξη влечет за
собой его сходимость по вероятности и по распределению. Оказывается,
что если случайные величины ξι, &» ··· независимы, то верно и обратное:
сходимость ряда J2 ξη из независимых случайных величин по
распределению влечет его сходимость по вероятности и с вероятностью единица.
Доказательство этого свойства может быть получено следующим
образом. Пусть Sn =ξ\ +...+ξΛ, /Ο 1, и Sn—>S. Тогда EeitSn -»Eeits для
каждого действительного/. Ясно, что существует такое δ >0, что |Ee/7S|>0
для всех |/| <δ. Возьмем некоторое /о такое, что |/о| <δ. Тогда
существует также такое яо = Яо(*о)» что |Eel/oS"|^i:>0 для всех п^щ, где с —
некоторая константа.
Образуем для /г ^ /го последовательность X = (Хп, &п) с
eitoSn
Хп=Е^п> <?η=σ{ξ{,...,ξη}.
Поскольку величины ξι, &» ··· предполагаются независимыми, то
последовательность X = (Хп, &п) — мартингал с
sup E\Xn\ ^с~1 <оо.
Тогда из теоремы 1 следует, что с вероятностью единица предел lim Xn
существует и конечен. Поэтому предел lim eitoSn также существует с веро-

§4. ОСНОВНЫЕ ТЕОРЕМЫ О СХОДИМОСТИ
695
ятностью единица. Тем самым можно утверждать, что найдется такое δ > О,
что для каждого / из множества T = {t: |/|<5} предел lim eltSn существует
с вероятностью единица.
Пусть Τ χ Ω = {(/, ω): / € Г, ω € Ω}, ^(7) — σ-алгебра лебеговских
множеств на Г и λ —мера Лебега на (Г, 3&(Т)). Пусть также
С = |(/, ω) е Τ χ Ω: iim eits«{w) существует!.
Ясно, что СеЯ(Т)®&.
Выше было показано, что Р(С*) = 1 для каждого / € 7\ где Ct =
= {α; € Ω: (/, α;) Ε С} — сечение множества С в точке /. По теореме Фубини
(теорема 8 § 6 гл. II)
5 /c(/,w)rf(AxP) = J ("5/c(/,a;)rfP>\dA = 5P(C/)dA = A(7) = 25>0.
ΓχΩ Г \Ω J T
С другой стороны, снова по теореме Фубини
А(7)= $ /c(/,o;)d(AxP) = 5dP('5/c(/,a;)dA>\ = 5A(Ca;)dP,
ΓχΩ Ω \Г /Ω
где Сц, = {/:(/, a;) € С}.
Отсюда вытекает, что существует множество Ω с Ρ(Ω) = 1 такое, что
\(С„) = λ(7) = 2δ > О для всех α/ € Ω.
Следовательно, можно утверждать, что для каждого ωEU предел
lim el/s«M существует для всех / € Сц,; причем мера Лебега множества Сш
положительна. Отсюда и из задачи 8 следует, что предел lim Srt(a/)
существует и конечен для шей. Поскольку Ρ(Ω)= 1, то lim Sn(u;) существует
и конечен с вероятностью единица.
5. Задачи.
1. Пусть {&п} — невозраспгающее семейство σ-алгебр, S?i 2#22 ···,
^оо = П % и ту —некоторая интегрируемая случайная величина. Доказать
справедливость следующего аналога теоремы 3: при η -»оо
E(i7|Sf«) -> Е(т7|^оо) (Р-п. н. и в смысле L1).
2. Пусть ξι, &. ··· —последовательность независимых одинаково
распределенных случайных величин с Ε|ξι|<οο и Εξ\=ηι, Sn =ξ\ + ... + ξΛ.
Показав (см. задачу 2 § 7 гл. II), что
E(ii|S«tS„+i, ...) = E(ii|S„) = ^ (Р-п.н.),
вывести из результата задачи 1 усиленный закон больших чисел: при п—>оо
>m (Р-п. н. и в смысле L1).
/г v '

696
ГЛ. VII. МАРТИНГАЛЫ
3. Доказать справедливость следующего результата, соединяющего
в себе теорему Лебега о мажорируемой сходимости и теорему П. Леви.
Пусть (ξη)η^\ —последовательность случайных величин таких, что ξη—>ξ
(Р-п. н.), \ξη\ ^77, Е77<оо и (^m)m^i — неубывающее семейство сг-алгебр,
Λο =σ([) &т). Тогда (Р-п. н.)
lim Ε(ί„|Λ„) = Ε(ί|Λο).
m—>oo
П—ЮО
4. Доказать справедливость формулы (12).
5. Пусть Ω = [0, 1), & = Щ0, 1)), Ρ — мера Лебега и f = f(x)eL[.
Положим
(*+1)2-я
Ш = 2" $ /(*/)^, k2-n^x<(k+\)2-n.
k2-n
Показать, что fn(x) -» f(x) (Р-п. н.).
6. Пусть Ω = [0, 1), & = Щ0, 1)), Ρ— мера Лебега и f = f{x)eLl.
Продолжим эту функцию периодически на [0, 2) и положим
г
/„(*) = £ 2-" /(x + /2-rt).
Показать, что
Λ.Μ-/Μ (Р-п.н.).
7. Доказать, что теорема 1 сохраняет свою силу для обобщенных
субмартингалов X = (ХП1 &п)у для которых
inf sup E(X+|^m)<oo (Р-п.н.).
8. Пусть {ап)п^\ —некоторая последовательность чисел такая, что для
всех действительных / с |/| <δ, δ>0, предел lim eltQn существует. Доказать,
что тогда существует и конечен lim an.
9. Пусть F = F(x), xeR, есть функция распределения, а € (О, 1).
Предположим, что существует 9eR такое, что F(9) = a. Образуем («процедура
Робинса—Монро») последовательность^!, ^2» ··· так, что
Хп+\ =Xn — n~l{Yn-a)t
где Y\% Уг, ... —случайные величины такие, что
νκν »\γ у. ν ν \ /^я)» если у = 1,
I 1 - /чЛя), если г/ = 0.
Доказать следующий результат теории «стохастической
аппроксимации»: Е\Хп — ^|2 —> 0, /г —> оо.

§5. О МНОЖЕСТВАХ СХОДИМОСТИ
697
10. Пусть Х = (Хп,<Рп)п^\ — субмартингал такой, что Ε(ΧτΙ(τ<οο)) ^οο
лпя каждого момента остановки т. Показать, что с вероятностью единица
существует предел lim Xn.
И. Пусть Х = (Хп*&п)п>\ есть мартингал, &00 = σ( (J &п ). Доказать,
что если последовательность (Хп)п^\ равномерно интегрируема, то
предел Хоо — ^тХп существует (Р-п. н.) и «замкнутая» последовательность
Х = (Хп, ^л)к«^оо является мартингалом.
12. Будем предполагать, что X = (Хп, ^п)п^\ есть субмартингал, и пусть
jr^szal (J &п \ Доказать, что если последовательность (Х+)п>\
равномерно интегрируема, то предел Лоо = lim Xn существует (Р-п. н.) и «замкну-
п
тая» последовательность Х = (ХПу &п)\^п^оо является субмартингалом.
§ 5. О множествах сходимости субмартингалов
и мартингалов
1. Пусть X = {Хп, &п) — стохастическая последовательность. Будем
обозначать через {Хп -»} или {—оо < lim Хп < оо} множество тех
элементарных исходов, для которых lim Xn существует и конечен. Будем говорить
также, что Л С β (Р-п. н.), если Р(1д < /в) = 1.
Если X — субмартингал и supE|^rt|<oo (или, что эквивалентно,
sup EX+ < оо), то в соответствии с теоремой 1 § 4
{Χ„-} = Ω (Р-п.н.) т.е. {*rt74 = 0.
Рассмотрим вопрос о структуре множеств сходимости {Хп -»} для
субмартингалов в случае нарушения условия sup E\Xn\ <оо.
Пусть а > 0 и та = inf{/z ^ 1: Хп > а} с та = оо, если {·} = 0.
Определение. Стохастическая последовательность Х = (Хп, &п)
принадлежит классу С+ (X е С+), если для любого а > 0
Ε(Δ*Τα)+/{τ0<οο}<οο, (1)
№ЬХп=Хя-Хп-иХ0 = 0.
Очевидно, что X € С+, если
Esup|A*rt|<oo (2)
η
или, тем более, если (Р-п. н.) для всех η ^ 1
|Д*„|^С<оо.
(3)

698
ГЛ. VII. МАРТИНГАЛЫ
Теорема 1. Если субмартингал X € С4", то (Р-п. н.)
{sup *я<оо} = {*„-}. (4)
Доказательство. Включение {Хп -»} С {sup Хп < оо} очевидно. Для
доказательства обратного включения рассмотрим «остановленный»
субмартингал ХТа = (ХТалп, &п)- Тогда в силу (1)
sup ЕХ+ЛЯ ^ а + Е[Х+/{тв < оо}] < 2а + Е[(АХТа)+1{та < оо}] < оо, (5)
η
и, значит, по теореме 1 из § 4 (Р-п. н.)
{та=оо}С{Хп->}.
Но (J {та = оо} = {sup Хп < оо}, поэтому {sup Хп < оо} С {Хп -»} (Р-п. н.). D
а>0
Следствие. Пусть X —мартингал с Ε sup \ΔΧη\ < оо. Тогда
{Хп -+} U {lim Хп = -оо, Ш Хп = +оо} = Ω (Р-п.«.). (6)
В самом деле, применяя теорему 1 к X и — X, находим, что (Р-п. н.)
{lim Хп < оо} = {sup Хп < оо} = {Хп -»},
llim *rt > -оо} = {inf Xn > -оо} = {*„ -»}.
Поэтому (Р-п. н.)
{Пгп *rt < оо} U {Нщ Я„ > -оо} = {Хп +>},
что и доказывает (6).
Утверждение (6) означает, что почти все траектории мартингала X,
удовлетворяющего условию Ε sup |Δ^Λ| <οο, таковы, что или для них
существует конечный предел, или же они устроены «плохо» в том смысле,
что для них lim Хп = +оо, lim Xn = -оо.
2. Если ξι, &» ··· — последовательность независимых случайных
величин с Εξ/ =0 и |ξ,·| < с < оо, то, согласно теореме 1 § 2 гл. IV, ряд Σ ξ,-
сходится (Р-п. н.) тогда и только тогда, когда Σ ^£f < оо.
Последовательность
Χ = (Χη.*η)*Χη=ζ\+... + ζη. ^=σ{ξ,,...,ξΛ}
η
есть квадратично интегрируемый мартингал с (Х)п = Σ Εξ?, и сформули-
рованному утверждению можно придать такую форму:
{(Χ)αο<Ο0) = {Χη-+) = Ω (Р-П. Η.),
где (Х)00 = \\т(Х)п.

§5. О МНОЖЕСТВАХ СХОДИМОСТИ
699
Приводимые далее утверждения обобщают этот результат на случай
более общих мартингалов и субмартингалов.
Теорема 2. Пусть Х = (Хп, &п) — субмартингал и
Хп = тп+Ап
— его разложение Дуба.
a) Если X — неотрицательный субмартингал, то
{Лоо < оо} С {Хп ->} С {sup Хп < оо} {Р-п. «.). (7)
b) Если X еС+, то
{Хп ->} = {sup Хп < оо} С {Аоо < оо} (Р-п. «.). (8)
c) Если X — неотрицательный субмартингал и X е С+, то
{Хп _►} = {sup Xrt < оо} = {Аоо < оо} (Р-п. н.). (9)
Доказательство, а) Второе включение в (7) очевидно. Для
доказательства первого включения введем моменты
σα = inf{/z ^ 1: Ля+1 > а}, а > О,
полагая <та = +оо, если {·} = 0. Тогда /1σα^α и в силу следствия 1 к
теореме 1 § 2
Ε^ΛΛσα = ЕЛ/ιΛσ,, ^ а*
Пусть Y%=XnA<Tai тогда К° = (Krta, ^я) — субмартингал с sup EY% ^ а < оо
и в силу его неотрицательности из теоремы 1 § 4 следует, что (Р-п. н.)
{А00<а} = {аа=оо}С{Хя-*}.
Поэтому (Р-п. н.)
{Лоо<0о}
а>0
Ь) Первое равенство следует из теоремы 1. Чтобы доказать второе,
заметим, что, согласно (5),
ЕАТаАп = ЕХТаАп ζ ΕΧ+Αη ζ 2а + Е[(АХТа)+1{та < оо}]
и, значит,
ЕЛТо = Е lim ЛТаЛя<оо.
Поэтому {та = оо} С {Аоо <оо} и требуемое утверждение следует из того,
что (J {Та = оо} = {sup Хп<оо}.
а>0

700
ГЛ. VII. МАРТИНГАЛЫ
с) Это утверждение есть непосредственное следствие утверждений а)
иЬ). D
Замечание. Условие неотрицательности X можно заменить условием
sup EX~ < оо.
η
Следствие 1. Пусть Χη=ξι + ···+ξη, где & ^О, Е& <оо, & —
^-измеримы и &о = {0, Ω}. Тогда (Р-п. н.)
ίΣΕί^ΙΛ-ιΧοοΙς^-}, (10)
и если к тому же Ε sup ξη < оо, то (Р-п. н.)
η
{Σ Ε(ξ^η_,)<οο1 ={*«-+}· (И)
Следствие 2 (лемма Бореля—Кантелли—Леви). Если события
Вп € &Пч ЩОч полагая в (11) ξη = ΙΒη1 получаем, что (Р-п. н.)
Ρ(βΛ|Λ.ι)<οο1 = |ζ/β.<(χ)1. (12)
3. Теорема 3. Пусть Μ = (Мп, &п)п>\ — квадратично
интегрируемый мартингал. Тогда (Р-п. н.)
{{М)00<оо}С{Мп^}. (13)
Если к тому же Ε sup |ΔΜΛ|2 < оо, то (Р-п. н.)
{(M)00<oo} = {Mn-+h (14)
где
оо
(Λί>οο=ΣΕ((ΔΛί«)2ι^-») <15)
/ι=1
Доказательство. Рассмотрим два субмартингала М2 = (М2, &п) и
(М + I)2 = ((Мп + I)2, &п)· Тогда в их разложениях Дуба
M2n = m'n+A'ni (Мп + 1)2 = т$ + А%
величины А'п и А" совпадают, поскольку
k=\

§5. О МНОЖЕСТВАХ СХОДИМОСТИ
701
И
< = £ Ε(Δ(Λ** + 1)2|^_,) = £ Ε(ΔΛ*2|^_,).
Поэтому из (7) (Р-п. н.)
{(Λί>00<οο} = μ^<οο}ς{Λί2^}η{(ΛίΛ + 1)2^}=={Λίπ^}.
В силу (9) для доказательства (14) достаточно проверить, что условие
Ε sup \ΔΜη\2 <οο обеспечивает принадлежность субмартингала Μ2
классу С+.
Пусть та — inf{/z ^ 1: М2 > а}, а > 0. Тогда на множестве {та < оо}
|ΔΛί^| = |Λί^ _ Λί^_11 ^ |Λί^β - Λί^_!|2 + 2|/И^^, | - |Λ1^ - Λ^^_!| ^
<(ΔΑίΤβ)2 + 2αΙ/2|ΔΑΙτ.|,
откуда
Ε|ΔΛί2α11{τα < οο}< Ε(ΔΜΤα)2Ι{τα < οο} + 2a[/2VE(AMTa)2I{ra < οο}<
<Ε sup \AMn\2 + 2al/2\/E sup |ΔΛίΛ|2 <οο. D
В качестве иллюстрации этой теоремы приведем следующий результат,
который можно рассматривать как своеобразную форму усиленного за-
кона больших чисел для квадратично интегрируемых мартингалов (ср. с
теоремой 2 в § 3 гл. IV и со следствием 2 в п. 3 § 3).
Теорема 4. Пусть М = (Мп, &п) — квадратично интегрируемый
мартингал и А = (Ап, &п-\) — предсказуемая возрастающая после-
довательность с А\^\, Лоо = оо (Р-п. «.).
Если {Р-п. н.)
L·, 72 <0°> (16)
/=1 Л*
то с вероятностью единица
^->0, я-оо. (17)
β частности, если (M) — ((M)nt &n-\) есть квадратическая
характеристика квадратично интегрируемого мартингала М = (Мп, &п)
и (Λί)οο = οο (Ρ-/ζ.«.), то с вероятностью единица
&;-0· п~>°°- (18)

702
ГЛ. VII. МАРТИНГАЛЫ
Доказательство. Рассмотрим квадратично интегрируемый мартингал
т = (тп,&п) с
m„=> —
τη=Σ
Тогда
Поскольку
η.=ΣΕ|(Δ^'^-'- т
Mn _k=\
An An
то, согласно лемме Кронекера (§ 3 гл. IV), ψ- -»0 (Ρ -п. н.), если с веро-
Ап
ятностью единица существует конечный предел lim тп. В силу (13)
{(m)oo<oo}C{mrt^}, (20)
поэтому из (19) следует, что условие (16) достаточно для выполнения (17).
Наконец, если Ап = (М)п, то условие (16) выполняется автоматически
(задача 6). D
Пример. Рассмотрим последовательность независимых случайных
величин ξι, &. ··· с Е&=0, D& = Dj >0, и пусть последовательность Х =
— (Хп)п^о определяется из рекуррентных уравнений
Χη+ι=ΘΧη+ξη+\> (21)
где Xq не зависит от ξ\, &. · · ·. а θ — неизвестный параметр, -оо < θ < оо.
Будем интерпретировать Хп как результат наблюдения в момент
времени η и поставим задачу оценки неизвестного параметра Θ. Возьмем в
качестве оценки θ по результатам Xq, Х\, ..., Хп величину
J1 ХкХщ
* _ k=o °ш (99λ
θη~ g χϊ ' (22)
k=0 Dk+\
полагая ее равной нулю, если знаменатель обращается в нуль. (Величина
ΰη есть оценка, полученная по методу наименьших квадратов.)
Из (21) и (22) ясно, что
где
k=0 Λ+1 k=Q R+l

§5. О МНОЖЕСТВАХ СХОДИМОСТИ
703
Поэтому, если истинное значение неизвестного параметра есть 0, то
Р{0«->0}=1 (23)
тогда и только тогда, когда (Р-п. н.)
^->0, /z->oo. (24)
Покажем, что условия
-Р^<~. ΣΕ(ΙΗ=οο (25)
достаточны для (24) и, следовательно, достаточны для (23). Имеем
л=1
^2
Тем самым
Ln=l я=1
{Σ(^Λ,)=00}ς{(Λ1>οο=00}·
По теореме о «трех рядах» (теорема 3 в § 2 гл. IV) расходимость ря-
Да Σ Ε ( тг Λ 0 обеспечивает расходимость (Р-п. н.) ряда Σ Ι η Λ ' )·
rt=i \"п / /i=iV£;" '
Поэтому Р{(А4)оо = оо}= 1 и требуемое соотношение (24) следует
непосредственно из последнего утверждения теоремы 4.
Оценки θη, η^ 1, обладающие свойством (23), называют сильно
состоятельными (ср. с понятием состоятельности в § 7 гл. I).
В п. 5 следующего параграфа будет продолжено рассмотрение этого
примера для случая гауссовской последовательности ξι, &» ···
Теорема 5. Пусть Х = (Хп, &п) — субмартингал,
— его разложение Дуба. Если \ΔΧη\ <,С,то (Р-/г.«.)
{(т)00 + А00<оо} = {Хп->), (26)
или, что то же,
Ε[Δ^ + (Δ^)2|^_,]<οο^={^->}. (27)
ь

704
ГЛ. VII. МАРТИНГАЛЫ
Доказательство. Поскольку
η
Ая = ^Е(ЬХк)\*к-х)ч (28)
k=\
η
тп = Σ [AXk-E(AXk|/M)1, (29)
*=ι
то в силу предположения \АХк\<С мартингал т = (тп, &п) является
квадратично интегрируемым с |Дтп|<2С. Тогда из (13)
{<«)«> +А» <оо} С {*„-♦} (30)
и, согласно (8),
{Xn-+}Q{A00<oo}.
Поэтому из (14) и (30)
{Хп-*} = {Хп-*}П{А00<оо} = {Хп-+}П{А00<оо}П{тп-+} =
= {Хп -»} Π {Аоо < оо} Π {(т)оо < оо} =
= {Х„ -»} П {Аж + (/л)», < со} = {Лоо + (т),» < оо}.
Наконец, эквивалентность утверждений (26) и (27) следует из того, что
в силу (29)
ОО
и из сходимости ряда Σ Ε(ΔΧ*|^_ι), состоящего из неотрицательных
оо
членов, следует сходимость ряда £ [Ε(ΔΛ*|«^_ι)]2. D
k=\
4. Теорема Колмогорова о «трех рядах» (теорема 3 § 2 гл. IV) дает
необходимое и достаточное условие сходимости с вероятностью единица
ряда Σ ξΛ, состоящего из независимых случайных величин. В
нижеследующей теореме 6, доказательство которой основано на теоремах 2 и 3,
дается описание множества сходимости ряда Σ £η без предположения о
независимости случайных величин ξι, ξ2, ···
Теорема 6. Пусть ξ = (ξΛ, &п)п^\ —стохастическая
последовательность, &о = {0, Ω} и с — положительная константа. Ряд Σ ξη
сходится на множестве Л, на котором одновременно сходятся три
ряда
ΣΡ(Κ«ι^ι^-ι). ΣΕ^ΐΛ-ι). Σ°<£ΐ·*"-')·

§5. О МНОЖЕСТВАХ СХОДИМОСТИ
705
Доказательство. Пусть Χη=Σ ξ/ι. Поскольку (на множестве А)
k=\
сходится ряд ^ Ρ(\ξη\ ^с\&п-\)> то по следствию 2 к теореме 2 и в силу
сходимости ряда £ E(^|^rt_i) имеем
Лп№-} = Лп|^б/(16К^)-1 =
U=i
[ты^с)-Е(тшс)\&к-х)\->\. ой
Пусть Vk = £ck- Е(&ΙΛ-ι) и у« = Σ *7*· ТогДа У = (Уя. «^я) — квадратично
*=1
интегрируемый мартингал с |^| ^ 2с. По теореме 3
Лс{^0Й|^.1)<оо}={(К)оо<оо} = {Уй->}.
Поэтому из (31) следует, что
Ап{Хя-+) = А
и, значит, АС{Хп->}. D
5. Задачи.
1. Показать, что если субмартингал Х = (Хп, &п) удовлетворяет
условию Ε sup \Xn\ < оо, то он принадлежит классу С+.
η
2. Доказать, что теоремы 1 и 2 остаются справедливыми для
обобщенных субмартингалов.
3. Показать, что для обобщенных субмартингалов (Р-п. н.) имеет место
включение
{inf sup Е(Х+\*т)<оо}с{Хп-+}.
4. Показать, что следствие к теореме 1 остается верным и для
обобщенных мартингалов.
5. Показать, что всякий обобщенный субмартингал класса С+ является
локальным субмартингалом.
6. Пусть ап > О, η ^ 1, и Ьп = Σ α*. Показать, что £ -4 < оо.
k=\ я=1 °п
7. Пусть fo, fi. £2» ··· — последовательность равномерно
ограниченных случайных величин: |frt|^c, /г<1. Показать, что ряды J] ίη и
Σ Е(£я|£ь ..., ξη-\) сходятся или расходятся (Р-п. н.) одновременно.

706
ГЛ. VII. МАРТИНГАЛЫ
§ 6. Абсолютная непрерывность и сингулярность
вероятностных распределений
на измеримом пространстве с фильтрацией
1. Пусть (Ω, &) — некоторое измеримое пространство с выделенным
на нем семейством таких σ-алгебр (&п)п^\* что &\ С&2 Я ··· Q & и
Будем предполагать, что на (Ω, &) заданы две вероятностные меры Ρ и Р.
Обозначим
Ρι. = Ρ|Λ. РЯ = Р|Л
— сужения этих мер на &п, т. е. пусть Рп и Рп — меры на (Ω, &п), причем
для в е&п
Ρ„(β) = Ρ(β), Рп(В) = Р(В).
Наполним, что вероятностная мера Ρ называется абсолютно
непрерывной относительно Ρ (обозначение: Р<сР), если Р(Л) = 0 всякий раз,
когда Р(Л) = 0, Ае&.
В случае Р<Р и Р<Р меры Ρ и Ρ называются эквивалентными
(обозначение: Ρ ~ Р).
Меры Ρ и Ρ называются сингулярными или ортогональными, если
существует такое множество Ае&, что Р(Л)=1 и Р(Л) = 1
(обозначение: Ρ ±Р).
Определение 1. Будем говорить, что мера Ρ локально абсолютно
й1ос
непрерывна относительно меры Ρ (обозначение: Ρ < Р), если для любого
п^\
Р««Рп. (2)
Основные вопросы, рассматриваемые в настоящем параграфе, состоят
в выяснении условий, при которых из локальной абсолютной непрерывно-
— 1ос — — —
сти Р<Р следует выполнение свойств Р<Р, Р~Р, Ρ J. P. Как станет
ясно из дальнейшего, теория мартингалов является тем математическим
аппаратом, который позволяет исчерпывающим образом ответить на эти
вопросы.
Напомним, что в § 9 гл. III вопрос об абсолютной непрерывности и
сингулярности вероятностных мер рассматривался для произвольных
вероятностных мер. Было показано, что обращение к интегралам Хеллингера
позволяет сформулировать соответствующие критерии (теоремы 2 и 3).

§6. АБСОЛЮТНАЯ НЕПРЕРЫВНОСТЬ И СИНГУЛЯРНОСТЬ 707
Приводимые ниже результаты об абсолютной непрерывности и
сингулярности для локально абсолютно непрерывных мер можно было бы получать,
отправляясь от этих критериев. (Такой подход изложен в монографиях
[84], [87].) Здесь же мы предпочитаем несколько иной путь изложения,
желая более полно проиллюстрировать возможности применения результатов
§ 5 о множествах сходимости субмартингалов. (Отметим, что все
изложение в этом параграфе предполагает выполненным свойство локальной
абсолютной непрерывности. Сделано это лишь для простоты изложения.
Для общего случая мы отсылаем читателя к [84], [87].)
- 1ос
Итак, будем предполагать, что Р<Р. Обозначим
Zn'dPn
производную Радона—Никодима меры Рп относительно Рп. Ясно, что zn
являются «^-измеримыми, и если Α Ε &Пч то
$ zn+l dP = $ ^±i dP = Pn+№ = Pn(A) = $ ^ dP = $ zn dP.
A A n+1 A A
Отсюда следует, что относительно меры Ρ стохастическая
последовательность ζ = (гл, ^п)п^\ является мартингалом.
Ключевым моментом во всей проблематике «абсолютная
непрерывность и сингулярность» является следующая
— !ос
Теорема 1. Пусть Р<Р.
a) С (Р + Р)/2-вероятностью единица существует предел lim гл,
обозначаемый гоо, такой, что
b) Имеет место разложение Лебега
Р(А) = $ гоо </Р + Р(Л Π ^ = 00}), Ле^\ (3)
А
причем меры Ρ(ΑΠ{Ζοο = οο}) и Р(Л), А Е^, являются сингулярными.
Доказательство. Прежде всего напомним, что, согласно
классическому разложению Лебега (формула (29) § 9 гл. III) произвольной
вероятностной меры Ρ относительно вероятностной меры Р, имеет место
представление
Р(Л) = $ ί <*Р + Р(ЛП{з = 0}), Ае&, (4)
А 3

708
ГЛ. VII. МАРТИНГАЛЫ
где
_rfP -__ ^Р
* dQ1 * dQ
и в качестве меры Q можно взять, например, меру Q= -(P + P). Таким
образом, формулу (3) можно рассматривать как конкретизацию общего
разложения (4), связанную с той спецификой рассматриваемого случая,
-~ 1ос —
что Ρ < Р, т. е. Рп < Р„, О 1.
n>CTbb = ^.i.-|fe.Q.-|(P. + P.).
Последовательности (зл, &п) и (Зя, &п) относительно меры Q являются
мартингалами, причем такими, что 0^з« ^2, 0^з« ^2. Поэтому (теорема 2
§ 4) существуют пределы
Зоо^Нтзд, Joo^limjn (5)
Λ П
как Q-n. н., так и в смысле сходимости в £!(Ω, &% Q).
Из сходимости в смысле Δ!(Ω, ^\ Q), в частности, следует, что для
любого Де &т
$Зос^О=Нт 5зя^О = $3«^0 = Р«И) = РИ).
a rtTo° i ί
Тогда из теоремы Каратеодори (§ 3 гл. II) вытекает, что для любого А Е<^=
-'(ΥΛ)
SaoorfQ = PH).
dP
= Зоо, и аналогично
т. е. -77Г =Зоо. и аналогично
dP _
т.е. ^Q-3oo.
Таким образом, этим установлен естественно ожидаемый результат:
если меры Ρ и Q заданы на & = a(\J &n) и Prt, Qrt — сужения этих
мер на &п, то Q-n. н. и в смысле сходимости в Δ!(Ω, «^, Q)
.. d?n d?
hFdCTn=dQ·
Аналогично,
dPn dP
lim
dOn dQ*

§6. АБСОЛЮТНАЯ НЕПРЕРЫВНОСТЬ И СИНГУЛЯРНОСТЬ 709
В рассматриваемом нами специальном случае, когда РЛ<РЯ, /1^1,
нетрудно показать, что (Q-n. н.)
Zn = lf, (6)
in
при этом Q{a« = 0, In = 0} ^ | [Р{з„ = 0} + P{Jrt = 0}] = 0, так что в (6) не
возникает (Q-n. н.) неопределенности вида ^.
2
Выражение вида - полагается, как обычно, равным +оо. Полезно
отметить, что поскольку (зл, &п) — неотрицательный мартингал, то из
соотношения (5) §2 следует, что если jr = 0, то 3,1 = 0 для всех η ^τ (Q-n. н.).
То же, конечно, верно и для (|rt, &n). Отсюда вытекает, что для
последовательности (zn)n^\ точки 0 и +оо являются «поглощающими состояниями».
Из (5) и (6) вытекает, что Q-n. н. существует предел
lim In r
Zoo = l\mzn = £— = {S. (7)
η Urn in Зоо
Поскольку Р{зоо = 0} = § Зоо dQ = 0, то Р{гоо = оо} = 0, что и до-
{Зоо=0}
казывает утвержение а) теоремы.
Для доказательства (3) воспользуемся общим разложением (4). В рас-
dP
сматриваемои нами ситуации и в силу уже доказанного з = -т^=Зоо,
3 = -77^ =3сх) (Q-n. н.), и, значит, из (4) имеем
РИ) = $Ь^р + р(лп{зоо=0}),
А 3°°
откуда в силу (7) и того, что Р{|оо = 0} = 0, получаем требуемое
разложение (3). Отметим, что поскольку Ρ{Ζοο <οο}= 1, то меры
Р(Л) = Р(Лп{гоо<оо}) и Р(ЛП{г00 = оо}), Ле^*,
являются сингулярными. Ώ
Из разложения Лебега (3) вытекают следующие полезные критерии
абсолютной непрерывности и сингулярности для локально абсолютно
непрерывных вероятностных мер.
— 1ос —
Теорема 2. Пусть Ρ < Ρ, т. е. Рп < Р«, η ^ 1. Тогда
Р«Р^ Егоо=1 & Р{гоо<оо}=1, (8)
Р1Р^ Егоо = 0 & Р{гоо=оо}=1, (9)
где Ε — усреднение по мере Р.

710
ГЛ. VII. МАРТИНГАЛЫ
Доказательство. Полагая в (3) Λ = Ω, находим, что
Егоо = 1 <& Р{гоо = оо} = 0, щ
Егоо=0 & P{2oo = oo}=l. (Uj
Если P{Zoo = оо} = 0, то снова из (3) следует, что Ρ <С Р.
Обратно, пусть Р<Р. Тогда поскольку Ρ{Ζοο = οο} = 0, то Ρ{200 = 0ο}==
= 0·
Далее, если Ρ ± Р, то существует множество В € & с Ρ (β) = 1 и Ρ(β) =-
= 0. Тогда из (3) Р(ВП{гоо = оо})= 1 и, значит, Р{гоо=оо} = 1. Если же
Ρ{Ζοο = оо} = 1, то свойство Ρ ± Ρ очевидно, поскольку Р{гоо = оо} = 0. □
2. Из теоремы 2 ясно, что критерии абсолютной непрерывности и
сингулярности можно выражать или в терминах меры Ρ (и проверять
равенства Ег^ = 1 или Ег^ = 0) или же в терминах меры Ρ (и тогда
проверять, что Ρ{Ζοο < оо} = 1 или Ρ{Ζοο = оо} = 1).
В силу теоремы 5 § 6 гл. II условие Ezoo = 1 равносильно условию
равномерной интегрируемости (по мере Р) семейства {zn}n^\. Это
обстоятельство позволяет давать простые достаточные условия для абсолютной
непрерывности Ρ < Р. Например, если
sup E[zn ln+ zn] < оо (12)
η
или если
sup Εζιη+ε < оо, ε>0, (13)
η
то, согласно лемме 3 § 6 гл. II, семейство случайных величин {ζη}η^\ будет
равномерно интегрируемым и, значит, Р<сР.
Во многих же случаях при проверке свойств абсолютной
непрерывности или сингулярности предпочтительнее использовать критерии,
выраженные в терминах меры Р, поскольку тогда дело сводится к исследованию
Р-вероятности «хвостового» события {Ζοο<οο}, а для этого можно
использовать утверждения типа закона «нуля или единицы».
В качестве иллюстрации покажем, как из теоремы 2 выводится
альтернатива Какутани.
Пусть (Ω, &, Р) — некоторое вероятностное пространство, (/?°°, 8&оо) ~~
измеримое пространство числовых последовательностей х = (х\, Х2, ···) с
BS0Q=S8(R00), и пусть ^n = a{jci,..., хп}. Предположим, что£ = (£ь&» ···)
и £=(£ь£2» ...) —две последовательности, состоящие из независимых
случайных величин.
Обозначим через Я и Я распределения вероятностей на *(/?°°, ^оо) <дЛЯ
ξ и ξ соответственно, т. е.
Р(В) = Ρ{ξ е β}, Р(В) = ρ{ξ g β}, β е a**.

§6. АБСОЛЮТНАЯ НЕПРЕРЫВНОСТЬ И СИНГУЛЯРНОСТЬ 711
русть также
Рп = Р\&п, Рп = Р\@п
_сужения мер Ρ и Ρ на SSn и для A eBS(R{)
Ρξη(Α) = Ρ{ξη£ΑΙ
Ρξη(Α) = Ρ{ξηΕΑ}.
Теорема 3 (альтернатива Какутани). Пусть £ = (£ь£2, ···) и £ =
= (|ι. &» ...) —последовательности независимых случайных величин,
для которых
Ρξη^Ρξη, η>\. (14)
Тогда или Ρ < Ρ, *ш/ Ρ ± Р.
Доказательство. Условие (14), очевидно, равносильно условию, что
-» — 1ос
Рп^Рп, п> 1,т. е. Р<Р. Ясно, что
*/Р
ζ„ = ^=<7ι(*ι)···<7η(*«).
где
?/(*) = ^(*.·)· (15)
Следовательно,
{*: гоо < оо} = {х: In г^ < 00} =
}=И: Σ,η^Χ/)<00Γ
Событие <х: Σ In <7ί(χ,·)<οο> является «хвостовым». Поэтому в силу
3акона^«нуля или единицы» Колмогорова (теорема 1 § 1 гл. IV)
вероятность Ρ{χ: Zoo <оо} принимает только два значения (0 или 1) и, значит, по
Теореме 2 или Ρ ± Р, или Р<^Р. Π
3. Следующая теорема дает критерий абсолютной непрерывности и
сингулярности, выраженный в «предсказуемых» терминах.
Теорема 4. Пусть Р<Р,

712
ГЛ. VII. МАРТИНГАЛЫ
с г0= 1. Тогда (&о = {0, Ω})
Р<Р *► р{У][1-ЕО;|^_1)]<оо^ = 1, (16)
L=i
Р±Р * ρ|£[1-ΕΟ;|^_1)] = οο1 = ]
Доказательство. Поскольку
Ρη{ζη = 0}= $ zndP = 0,
(17)
{2п=0}
то (Р-п. н.)
л (η
*=ι U=i
In а* У (18)
Полагая в (3) Α = {Ζοο = 0}, находим, что Ρ{ζοο = 0} = 0. Поэтому из (18)
(Р-п.Ц
{Zoo < оо} = {0 < Zoo < оо} = {0 < lim z„ < оо} =
"(*) = (*'
= <-oo<lim ^ In α*<οο >. (19)
Введем функцию
sign jc, |jc|>1.
Тогда
< -оо < lim Y2 'η α* < οο > = < -οο < lim J^ u(\n otk) < оо >. (20)
Пусть Ё означает усреднение по мере Рит/ — «^-измеримая
интегрируемая случайная величина. Из свойств условных математических
ожиданий следует (задача 4), что
гя_|Ё(ч|Л,_|) = Е(т7гя|Л_|) (Р-и Р-п.н.), (21)
Ё(77|^_1) = гле_1Е(77гл|^_1) (Р-п.н.). (22)
Вспоминая, что an=zf_{znt из (22) получаем следующую полезную версию
«формулы пересчета условных математических ожиданий» ((44) § 7 гл. II):
Ε(η\*η-ι) = Ε(αηη\*η-\) (Р-п.н.), (23)

§6. АБСОЛЮТНАЯ НЕПРЕРЫВНОСТЬ И СИНГУЛЯРНОСТЬ 713
из которой, в частности, вытекает, что
Е(ая|Л_!)=1 (Р-п.н.). (24)
Из (23)
E[u(lnan)\&n-i] = E[aau(lnan)\&n-i] (Р-п.н.).
Поскольку хи(\п χ) ^ χ - 1 для всех χ ^ 0, то в силу (24)
E[u(lnan)\*n-i]Z0 (Р-п.н.).
Отсюда следует, что стохастическая последовательность Х = (Хп, &п) с
η
Χη = Σ u(\nak)
относительно меры Р является субмартингалом с |ДХя| = |и(1п ая)|< 1.
Тогда по теореме 5 из § 5 (Р-п. н.)
< —оо < lim ^2 w('n ak) < оо > =
= |]Г Ε[α(!η αΛ) + «2(1η α*)|Λ-ι]<οο1. (25)
Тем самым из (19), (20), (22) и (25) находим, что (Р-п. н.)
{Zoo <oo}= J JT Ε[ιι(1η α*) + w2(ln α*)|Λ_ι1 <оо I =
] Σ Ε[α*"(1η α*)+ akU2(\n ak) IΛ_ι] < оо >
и, следовательно, в силу теоремы 2
Р<Р *► Ρ<§Ε[α^(1ηαΛ) + α^2(ΙηαΛ)|^_,]<οοΙ = 1, (26)
Р±Р *► Ρ{χ;Ε[αΛα(1ηαΛ) + αΛ (27)
Заметим теперь, что в силу (24)
Ε[(1-^2|Λ-ι]=2Ε[1-^Ι*«-ι] (Р-п.н.)

714
ГЛ. VII. МАРТИНГАЛЫ
и для всех χ ^ О найдутся такие константы АиВ(0<А<В< оо), что
А(\ - y/xf ^хи(\х\ х) + хи2(\п jc) + 1 -х ^ β(1 - V*)2. (28)
Поэтому утверждения (16) и (17) следуют из (26), (27) и (24), (28). □
Следствие 1. Если для любого η > 1 σ-алгебры σ(αη) и &п-\ неза-
~ — 1ос
висимы по мере Ρ (или Р) и Ρ <Ρ, то имеет место альтернатива:
либо Ρ < Ρ, либо Ρ ± Р. При этом
оо
Р<Р *► ]Г [l-EVail<oot
оо
Р±Р ^ 5^Il-EV5i] = oo.
β частности, в ситуации Какутани (см. теорему 3) an=qn и
оо
ЫР& J2 [l-Ev/U^)]<oo,
оо
Р±Р *► ^[l-Ev/U^)] = oo.
«=1
— loc
Следствие 2. Пусть Р<Р. Тогда
р|]ГЕ(а„ Inart|^rt_,)<ooi = l =► Р<Р.
Для доказательства достаточно заметить, что для любого χ ^ О
jclnjc-f-|(l—лг)^1 — jc1/2, (29)
и воспользоваться (16) и (24).
оо
Следствие 3. Поскольку ряд Σ Π -Εί^/α^Ι-^ι-ι)]. состоящий из
неотрицательных (Р-п. н.) членов, сходится или расходится
одновременно с рядом £ |1п Е(у/с£\&п-\)\9 то утверждениям (16) и (17)
теоремы 4 можно придать следующую форму:
ЫР* ρ|χ;|1ηΕ(ν5ί|Λ.ι)|<(χ)| = 1.
Р±Р ^ р|^;|1пЕ(^сС|Л.1)| = сх)| = 1.
(30)
(31)

§6. АБСОЛЮТНАЯ НЕПРЕРЫВНОСТЬ И СИНГУЛЯРНОСТЬ 715
Следствие 4. Пусть существуют константы А и В такие, что
Р{\-А^ап^1+В}=\, ΟΙ.
Λ ,0С г*
Тогда если Р<Р, то
ЫР<* Ρ ГЕ[(1-ая)2|^.!]<оо =1,
Р1Р & Р{> E[(l-art)2|^-,] = ooV = l.
Для доказательства достаточно заметить, что для χ € [1 -Λ, 1 + β],
О < А < 1, β ^ 0, найдутся такие константы с\\С(0<с<С< оо), что
с(1 - х)2 < (1 - ν^)2 ^ С(1 - х)2. (32)
4. Предположим, что £ = (£,,&, ...). |=(|ь&. ...)—две гауссов-
ские последовательности и (в обозначениях п. 2) Рп ~Я„, /2 ^ 1. Покажем,
как для таких последовательностей из полученных выше «предсказуемых»
критериев следует «альтернатива Гаека—Фельдмана»: либо Р~Р, либо
PLP.
По теореме о нормальной корреляции (теорема 2 § 13 гл. II) условные
математические ожидания Е(хп\38п-\) и Е(хп\3&п-\), где Ε и Ё —
усреднения по мерам Я и Я соответственно, являются линейными функциями от
х\,..., хп-\. Обозначим эти (линейные) функции через ап-\(х) и йп-\(х)
соответственно (аоМ = яо, 3ο(*) = 3ο — константы) и положим
b,-iH£[*«-fl«-iM]2)I/2.
ϊ>η-χ=(Ε[χη-άη-χ(χ)]ψ2.
По той же самой теореме о нормальной корреляции найдутся
последовательности ε=(ει, ε2, ...) и ε = (ει, £2, ...), состоящие из независимых
гауссовских случайных величин с нулевым средним и единичной
дисперсией, такие, что (Р-п. н.)
ξη = αη-χ{ξ) + ϋη-χεη,
ξη = αη-\(ξ) + Βη-\εη.
Заметим, что в случае Ьп-\ = 0 (Ьп-\ = 0) для построения величин еп
\£п) приходится, вообще говоря, расширять вероятностное пространство.
Однако если Ьп-\ = 0, то распределение вектора (х\,..., хп) сосредоточено
1Я-п. н.) на линейном многообразии хп = αΛ_ι(χ), и поскольку по
предположению Рп~РПу то Ъп-Х = 0, ая-|(х) = ая-!(х) и ап(х)= 1 (Я- и Я-п. н.).

716
ГЛ. VII. МАРТИНГАЛЫ
Поэтому без ограничения общности можно считать, что b\ > О, Ь\ > О при
всех /2^1, поскольку в противном случае вклад соответствующих членов
оо
в сумму ^[1 -Е(у/а^\В8п-\)\ (см. (16) и (17)) равен нулю.
Используя предположения о гауссовости, из (33) находим, что для η ^ 1
^ Λ-I ^J (χη-αη-\(χ))2 , (JC/2 -άΛ_!(χ))2
«« = «„_! exp< — +
2*2-1
2/>2
}·
(34)
где d„ = \b„/bn\ и
α0 = Εξ\, ά0 = Εξι,
Из (34)
„1/21 <β λ.Ί. 2rf«-i rf«-i /ra«-iW-a«-iW,\2
2d„_,
h^l^O-ih^-^i
*«-!
)·
Поскольку In —2^— < 0, то утверждение (30) принимает следующую
форму:
*л-1
Ρ«Ρ & Ρ<
1 in 1+^-' ,
J^/an_l(x)-an_,W^1<oo| = 1
(35)
00 1 +d ι °°
^ ι- «-Ι и ^(d2_j — Ι)2 сходятся или расходятся одно-
Ряды £ In
/ι=1 ζ"/ι-1
/ι=1
временно, поэтому из (35) следует, что
где Δ„(χ) = ап(х) - а«(х).
В силу линейности ап(х) и άΛ(χ) последовательность случайных
величин \ " > образует гауссовскую систему (как по мере Р, так и по
I On ) /1^0
мере Я). Как следует из приводимой далее леммы,
Δ„(*Γ
1Еет<-}-Е«т<-
(37)

§6. АБСОЛЮТНАЯ НЕПРЕРЫВНОСТЬ И СИНГУЛЯРНОСТЬ 717
Поэтому из (36) находим, что
а2
'«'· Σ [4Ψ) +(3-0 <
Аналогичным образом
00.
•EKW+(§-)'J-
,2 ,a2
Отсюда ясно, что если меры Я и Ρ не сингулярны, то Р<Р. Но
по предположению Рп ~Prt, n^ 1; поэтому в силу симметрии Р<сР. Тем
самым имеет место следующая
Теорема 5 (альтернатива Гаека—Фельдмана). Пусть ξ = (ξ\, &, ···)
и ξ = (ξι, &» ) — dee гауссовские последовательности,
конечномерные распределения которых эквивалентны: Рп~РПуп^\. Тогда либо
Ρ ~ Я, либо Ρ J. Р. Яри этом
'~'*Е[*(5Йа),+(§-0'И
(38)
Лемма. Пусть β = (βη)η^{ — гауссовская последовательность,
заданная на (Ω, с^\ Р). Тогда
Ρ\Σ,β2η<οο\>0 * pjf^ooUl <* £е/?2<оо. (39)
L=l J U=l J «=1
Доказательство. Импликации (-4=) очевидны. Установим импликации
(=>»), предположив сначала, что E/?rt = 0, /г^ 1. С этой целью достаточно
показать, что
1-2
εΣ&2<
/ι=1
Ε exp
(00 >
-Υ.Λ
(40)
поскольку тогда из условия Р{£ /?л < °°} >0 будет следовать, что правая

718
ГЛ. VII. МАРТИНГАЛЫ
часть в (40) меньше бесконечности. Значит, Σ Εβ% < оо и в силу уже
установленных импликаций Р< Σ /?я <оо > = 1.
Зафиксируем некоторое п^ 1. Тогда из §§ 11 и 13 гл. II следует, что
можно найти такие независимые гауссовские случайные величины /?^я,
й = 1, ..., r^/г, с EPk,n = 0, что
Σ#-Σ#.·
Если обозначить Е/?£я = А*,Я, то легко найдем, что
ΕΣ&2η=Σλ*,η
k=\
k=\
Сравнивая правые части в (41) и (42), получаем
(41)
(42)
1-2
- Σ βΐ
kssi
- Σ /*
Ее *-»
Ί-2
k=\
k=\
откуда предельным переходом (при η -»оо) получаем требуемое
неравенство (40).
Предположим теперь, что Εβη φ 0.
Рассмотрим новую последовательность β = (βη)η^\ с тем же
распределением, что и у последовательности β=(βη)η^{ί и не зависящую от нее
(в случае необходимости расширяя исходное вероятностное
пространство). Тогда, если р|£ /?я<оо|>0, то р{ £(/?„ -/3rt)2<ooj >0, и
доказанному
по
п=\
Так как
σο συ
2 Σ Ε(βη - Е/?„)2 = Σ Ε(βη - βηγ < оо.
я=1
(Ε/3„)2<2^ + 2(/3„-Ε/3η)2,

§6. АБСОЛЮТНАЯ НЕПРЕРЫВНОСТЬ И СИНГУЛЯРНОСТЬ 719
то £(E/?rt)2<oo и, значит,
л=1
/ι=1 /ι=1 /ι=1
5. Продолжим рассмотрение примера из п. 3 предыдущего параграфа,
предполагая, что ξο» ίι. ··· есть последовательность независимых гауссов-
ских случайных величин с Εξ/ =0, D& = V/ > 0.
Пусть снова
Хп+\ =ΘΧη + ξη+\, Οθ,
где ^0 = ^0 и 0 — неизвестный параметр, подлежащий оцениванию, -оо<
<0<оо. Пусть θη — оценка, полученная по методу наименьших квадратов.
Теорема 6. Для того чтобы последовательность оценок 0Л, /г^ 1,
была сильно состоятельной, необходимо и достаточно, чтобы
Σ&-~ «3>
я=0
Доказательство. Достаточность. Пусть Ре обозначает
распределение вероятностей на (/?°°, ^оо), отвечающее последовательности
№ь Х\, ···)» когда значение неизвестного параметра есть Θ. Пусть Ее —
усреднение по мере Ре.
Мы уже видели, что
и/
где
1-1 у с я-1 γ2
*=0 Λ+Ι *=0 *+Ι
Согласно лемме из предыдущего пункта,
^{(Λί)οο = οο}=1 *► £e(Af>oo=oo.
Тем самым (Λί)οο = оо (P$-n. н.) тогда и только тогда, когда
£$-~ (44)

720
ГЛ. VII. МАРТИНГАЛЫ
Но£Д£=Е02%-/и
Σ^-Στ^Σ^-* =E^Efe=
/=0 /+1 k=\ \i=k / + 1/
Поэтому (44) следует из (43) и, согласно теореме 4, последовательность
оценок θηι п^ 1, сильно состоятельна при каждом Θ.
Необходимость. Пусть для всех θ РеФп -»#)= 1. Покажем, что если
θ\ φθ2, то меры Рех и Pq2 сингулярны (Ρ#, ±Ρθ2). Действительно,
поскольку последовательность (Xq, ΛΊ, ...) является гауссовской, то по
теореме 5 меры Pqx и Pq2 или сингулярны, или эквивалентны. Но они не могут
быть эквивалентными, поскольку если Ρθ1~Ρθ2> н0 РвхФп-*в\) = 1ч то
Ре2Фп ->θ{)= 1. Однако же Я*(0Я -+fc)= 1 и 0, ^02.
Тем самым P$, ±Р$2 для #ι ^#2-
Согласно (38),
ρθι±ρθ2 * {θ{-θ2)2Σεθι[^β--]=οο
для θ\ Φ 02. Беря θ\ = 0 и #2^0, из (45) находим
Ро±Я*2 ^ Σ 1л^=00'
что и доказывает необходимость. D
6. Задачи.
1. Доказать справедливость равенства (6).
2. Пусть Ρп ~ Prt, η ^ 1. Показать, что
Р~Р <~> Р{2Гоо < ОО} = Р{2Гоо > 0} = 1,
Р±Р & Р{гоо = оо}=1 или Р{гоо = 0}=1.
3. Пусть Prt<cPrt, /г^ 1, г —момент остановки (относительно (^О),
Рт = Ρ | ^т и Рт = Ρ | <^т — сужения мер Ρ и Ρ на σ-алгебру &Т- Показать,
что Рт<^Рт,если и только если {т = оо} = {гоо<оо} (Р-п.н.). (В частности,
если Р{г < оо} = 1, то Рт < Рт.)
4. Доказать «формулы пересчета» (21) и (22).
5. Проверить справедливость неравенств (28), (29), (32).
6. Доказать формулу (34).

§7. ОБ АСИМПТОТИКЕ ВЕРОЯТНОСТИ ВЫХОДА
721
7. Пусть в п. 2 последовательности ξ = (ξ{,ξ2, ...) и |=(ξι,ξ2» ...)
состоят из независимых одинаково распределенных случайных величин.
Показать, что если Р^ < Ρξ,, то Ρ < Ρ в том и только том случае, когда
меры Ρξι и Ρξ, совпадают. Если же Р^ < Ρξ, и Р^ ^ Ρξ,, то Ρ ± Р.
§ 7. Об асимптотике вероятности выхода случайного
блуждания за криволинейную границу
1. Пусть ξ\, &» · · · — последовательность независимых одинаково
распределенных случайных величин, Sn = ξ\ +... + ξη, g = g(n) — некоторая
«граница», /z^ 1, g(l)<0 и
r = inf{n>l: Srt<g(/z)}
— тот первый момент, когда случайное блуждание (Sn)n^\ окажется ниже
границы g = g(n). (Как обычно, т = оо, если {·} = 0.)
Отыскание точного вида распределения для момента г является весьма
трудной задачей. В настоящем параграфе находится асимптотика
вероятности Р{т>п} при /ζ-»οο для широкого класса границ g = g(n) и в
предположении, что величины ξι нормально распределены. Применяемый
метод доказательства основан на идее «абсолютно непрерывной замены
меры» и использует ряд изложенных выше свойств мартингалов и
марковских моментов.
Теорема 1. Пусть ξι, &» ... — независимые одинаково
распределенные, ξι ~«Ж(0, 1), случайные величины. Предположим, что грани-
Ча g = g(n) такова, что g(l) < О и для η ^ 2
(ΚΔ£(/ζ+1ΚΔ£(/ζ), (1)
edeAg(n) = g(n)-g(n-\) и
In
Тогда
n = o(^[Ag(k)]2\ η -οο. (2)
P{r>/z} = expj-i £ [Δί(*)]2(1+ο(1))|,
►oo. (3)
Прежде чем переходить к доказательству, отметим, что условия (1) и
(2) выполнены, если, скажем,
g(n) = anu + b, l/2<z/^l, a + b<0, α>0,

722
ГЛ. VII. МАРТИНГАЛЫ
или (при больших п)
g(n) = nl/L(n)i 1/2^ι/^1,
где Цп) — некоторая медленно меняющаяся функция (например, Цп) =
= C{\nnf с любым β при 1/2<ζ/< 1 ис/?>0при z/=l/2, С>0).
2. Следующие два вспомогательных предложения будут
использоваться при доказательстве теоремы 1.
Будем предполагать, что ξ\, &. ... —последовательность независимых
одинаково распределенных случайных величин, &~«Ж(0, 1). Обозначим
#о = {0, Ω}, #ι = σ{ξι, ...,£„}, и пусть α = (α„, <^rt_ι) — предсказуемая
последовательность с P{|art| ^ С} = 1, η > 1, где С — некоторая константа.
Образуем последовательность г = (гл, с^) с
г^ = ехр<]Га*&-1 ]ΓαΗ, /г
U=i k=\ J
>1. (4)
Нетрудно проверить, что (относительно меры Р) последовательность г =
= (Ζ/ι, 3[п) образует мартингал с Ezn = 1, /г ^ 1.
Зафиксируем некоторое /г ^ 1 и введем на измеримом пространстве
(Ω, (&п)п&\) вероятностную меру Рп, полагая
Ря(А) = Е1(А)гп, Ae&n* (5)
Лемма! (дискретная версия «теоремы Гирсанова»).
Относительно меры Рп случайные величины |Λ = ξΛ — α^, 1<А</г, являются
независимыми и нормально распределенными, |*~«Ж(0, 1).
Доказательство. Пусть символ Ё„ означает усреднение по мере Ря.
Тогда для \k€R, l^k^n,
ς* ?zrt =
Ёп expl i Σ xkik > = Ε exp< / ]Γ λ*& \ζη
(n-\ Λ 2
= Ε expjij^ AikekUn-i exp{^} = ... = expj-£ ζ λ| Ι.
Теперь требуемое утверждение вытекает из теоремы 4 § 12 гл. II. D
Лемма 2. Пусть Х = (Хп, &п)п^\ — квадратично интегрируемый
мартингал с нулевым средним и
σ = ίηί{/ι>1: Xn^-b}t

§7. ОБ АСИМПТОТИКЕ ВЕРОЯТНОСТИ ВЫХОДА
723
где константа Ь>0. Предположим, что
Р{Х{<-Ь}>0.
Тогда существует константа С > О такая, что для всех η ^ 1
Р{а>п)^Ш1' (6)
Доказательство. По следствию 1 к теореме 1 § 2 ΕΧσΑη = 0, откуда
-Ε/(σ ^ η)Χσ = Ε/(σ > п)Хп. (7)
На множестве {σ ^ п}
-Ха^Ь>0.
Поэтому при η ^ 1
-EI(a^n)Xa^bP{a^n}^bP{a=\} = bP{Xl<-b}>0. (8)
С другой стороны, в силу неравенства Коши—Буняковского
ΕΙ(σ>η)Χη^[ΡΙσ>η)·ΕΧ*]1'2, (9)
что вместе с (7) и (8) приводит нас к требуемому неравенству с С =
= [ЬР{Х{<-Ь}]2. Π
Доказательство теоремы 1. Достаточно показать, что
Um InP{r>/z}/^[Agr(ft)]2^-i (10)
и
Шо1пР{т>п} /£[Δ£(*)]4-1. (II)
С этой целью рассмотрим (неслучайную) последовательность (ап)п>\ с
ot\ =0, α„ = Δ£(/ζ), я>2,
и вероятностные меры (Ря)я^ь определенные формулой (5). Тогда в силу
неравенства Гёльдера
Ρη{τ>η) = Ε1(τ>η)ζη^{Ρ{τ>η)γ'4ΒζΖΫ'>, (12)
где ρ > 1 и ? = -£-
Последний сомножитель легко вычисляется в явном виде:
(Εζ!γ/» = βχρί^ £ [Ag(k)A. (13)

724
ГЛ. VII. МАРТИНГАЛЫ
Оценим теперь вероятность Prt{r>/z}, входящую в левую часть (12).
Имеем
Pn{T>n) = Pn{Sk>g(k), \^k^n} = Pn{§k^g(\)t Ю^/z},
ь . _ . ■
где Sk = Σ 6. 6 = & "~α/· Согласно лемме 1 величины ξι, ..., ξη по мере
Prt являются независимыми и нормально распределенными, &~«Ж(0, 1).
Тогда по лемме 2 (примененной к Ь = — g(l), Ρ = Prt, Xn = Sn) находим, что
Р{т >«}£§, (14)
где С — некоторая константа.
Тогда из (12)—(14) следует, что для любого ρ > 1
Р{т>п}>С„ expj-f £ [Agik))2--^ In Л, (15)
где Ср — некоторая константа. Из условий теоремы и в силу
произвольности р> 1 из (15) получаем оценку снизу (10).
Для получения оценки сверху (11) прежде всего заметим, что поскольку
zn > 0 (Р- и Ря-п. н.), то в силу (5)
Ρ{τ>η) = ΕηΙ{τ>η)ζ-\ (16)
где Ёп —усреднение по мере Рп.
В рассматриваемом нами случае αι=0, an = Ag(n), n ^2, поэтому
для η ^2
г"' =ехр{- ]Г Δί(Α) ·& +1 Σ ίΔ^)12}·
I *=2 *=2 J
По формуле суммирования по частям (см. доказательство леммы 2 в § 3
гл. IV)
П П
Σ Δ«(*)·6k = Δ£(/ζ)·5Λ-5Ζ 5*-ιΔ(Δ^)),
k=2 k=2
откуда с учетом того, что по условиям теоремы &g(k) ^0, A(Ag(k)) ^0,
находим, что на множестве {г > п) = {S* ^ g(ft), 1 ^ ft < /ζ}
£ Ag(ft). ft ^ Ag(/z). £(/z) - £ g(ft - ΠΔ(Δ^)) - 6Aff(2) =
*=2 *=3
л
= Σ [Ag(*)l2 + £(l)Ag(2)-6Ag(2).
*=2

§ 7. ОБ АСИМПТОТИКЕ ВЕРОЯТНОСТИ ВЫХОДА
725
Итак, из (16)
P{r>AiKexpj-i Σ ^^)]2-g(l)Agr(2)JErt/(r>/z)^-^2) =
= ехр{-£(1)Д£(2)} exp|-i ]Г [Ag(k)]2 |ё„/(т>п)е~^2\
где
Ёя/(г > п)е-***Я < Егпе-Ь**Я = Εβ'***® < оо.
Поэтому
P{r>/z}^Cexp|-i^[Agr(ft)]2L
где С — некоторая положительная константа, что и доказывает оценку
сверху (И). D
3. Идеи абсолютно непрерывной замены меры позволяют исследовать
аналогичную задачу и для случая двусторонних границ. Приведем (без
доказательства) один из результатов в этом направлении.
Теорема 2. Пусть £ь&, ... —независимые одинаково
распределенные, &~«/f(0, 1), случайные величины. Предположим, что
f = f(n) — положительная функция такая, что
f{n) —> оо, η —► оо,
f'2(k) ), л->оо.
£[A/(*)]2 = o(£
*=2 U=l
7Ьг<?а, если
σ = ίηί{01: \Sn\>f{n)h
то
Р{а>/г} = ехр|-^ £ /-*(*)( 1 +о(1)) 1, л-оо. (17)
4. Задачи.
1. Показать, что последовательность, определенная в (4), является
мартингалом. Верно ли это без условия \ап\ ^ с (Р-п. н.), η ^ 1?
2. Установить справедливость формулы (13).
3. Доказать формулу (17).

726
ГЛ. VII. МАРТИНГАЛЫ
§ 8. Центральная предельная теорема для сумм
зависимых случайных величин
1. В § 4 гл. III центральная предельная теорема для сумм Sn =ξη\ + ...
··· + £/m»O 1. случайных величин £ль • ♦♦»£ля доказывалась в
предположении их независимости, конечности вторых моментов и предельной
пренебрегаемости слагаемых. В настоящем параграфе мы отказываемся
как от предположения независимости, так и от предположения конечности
даже абсолютных моментов первого порядка. Однако предельная прене-
брегаемость слагаемых будет предполагаться.
Итак, будем считать, что на вероятностном пространстве (Ω, β', Р)
заданы стохастические последовательности
с ξη0 = 0, &$ = {0, Ω}, &£ С &«+χ С β1 (k + 1 < η). Положим
[nt]
Теорема 1. Пусть для фиксированного 0 < / ^ 1 выполнены
следующие условия: для всякого ε € (0, 1] при η -»оо
[nt]
(A) £P(M>£W-i)-0,
(B) X>[^(l6*l<*)W-i]^0t
Гогйа
^^(Ο,σ,2).
Замечание 1. Условия (А) и (В) обеспечивают возможность пред-
р N1
ставления величин X" в виде X" = Ytn + Ζ*} с Ζ" —»0 и Υ?=Σ Vnk>
*=о
где последовательности ηη = (ηηΐι* &£) являются мартингал-разностями,
Е(т7лл|«^_1) = 0, с \qnk\^c равномерно по l^k^n и /г>1. Тем
самым (в рассматриваемых условиях) доказательство теоремы сводится,
по существу, к доказательству центральной предельной теоремы для
последовательностей, образующих мартингал-разность.

§8. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
727
В том случае, когда величины ξΛι, ···» ζηη являются независимыми,
условия (А), (В), (С) при / = 1 превращаются в условия (σ2 = σ\)\
η
(a) Y,P{\U\>e)^^
η
(b) ΣΕΚ^/ίΙ^ΚεΜ-Ο,
k=\
η
(c) Y,b[UK\U\<e)]-+a\
k=\
хорошо известные по книге Б. В. Гнеденко и А. Н. Колмогорова [16]. Тем
самым из теоремы 1 получаем такое
Следствие. Если ξη\, ..., ξηη — независимые случайные величины,
О 1» то
η
(а), (Ь), (с) =► *f = £ 6*^(0, σ2).
k=\
Замечание 2. В условии (С) не исключается случай σ2 = 0. Тем
самым, в частности, теорема 1 дает условия сходимости к вырожденному
распределению (X" -»0).
Замечание 3. Метод доказательства теоремы 1 позволяет
сформулировать и доказать следующее более общее утверждение.
Пусть 0 < t\ < /2 < · · · < tj ζ 1, σ2 ^ σ\ ^... ^ σ?. и ει, ..., ε/ —
независимые гауссовские случайные величины с нулевыми средними и Ее\ =
= σ2Λ-σ2Λ г Образуем гауссовский вектор (Wtx% ..., Wtj) с Wtk=e\ + ...
...+ε*.
Пусть условия (А), (В), (С) выполнены для t = t\, ..., //. Тогда
совместное распределение P"t^j. случайных величин Х"г ...,Х" слабо
сходится к гауссовскому распределению Pti /. величин (Wtn ..., Wt.):
^и t,-*pt\ tr
Замечание 4. Пусть (σ2)ο^ι — непрерывная неубывающая функция,
^о = 0. Обозначим через W = {Wt)o^t^\ процесс броуновского движения
(винеровский процесс) с EWt = 0 и EW? = af. В § 13 гл. II такой процесс
определяется для af = t. Без этого предположения такой процесс
определялся аналогичным образом как гауссовский процесс W = (Wt)o^t^\ с
независимыми приращениями, Wo = 0 и ковариационной функцией r(s, /) =
= min(cr2, of). В общей теории случайных процессов показывается, что
всегда существует такой процесс с непрерывными траекториями. (В случае
σ/ = / такой процесс называют стандартным броуновским движением.)

728
ГЛ. VII. МАРТИНГАЛЫ
Если обозначать через Рп и Ρ распределения вероятностей процессов
Хп и W в функциональном пространстве (D, 38(D)) (см. п. 7 § 2 гл. II),
то можно утверждать, что условия (А), (В) и (С), выполненные при
всех 0</< 1, будут обеспечивать не только отмеченную слабую
сходимость конечномерных распределений (P"t t. ^+Ptt /,·, t\ </2 <···<*/ζ/,
/ = 1,2, ...), но и функциональную сходимость, т. е. слабую
сходимость распределений Рп процессов Хп к распределению процесса W.
(Подробности см. в [5], [91], [87]). Этот результат обычно называют
функциональной центральной предельной теоремой или принципом
инвариантности (Донскера—Прохорова, когда величины ξη\*---*ζηη
независимы, п^ 1).
2. Теорема 2. 1. Условие (А) эквивалентно условию равномерной
предельной пренебрегаемости (равномерной асимптотической
малости)
(A*) max |e*|^0.
2. В предположении (А), или (А*), условие (С) эквивалентно
условию
И!
(С*) Σ [te-*(teK\tnk\<l)W-i)]2 £+<>?.
(В (А*) и (С*) значение / то же, что в (А) и (С).)
Теорема 3. Пусть при каждом η ^ 1 последовательность
является квадратично интегрируемой мартингал-разностью, т. е.
Е&<оокЕ(Ы<^-,) = 0.
Пусть выполнено условие Линдеберга: для ε > О
[nt]
(L) ΣΕ^/(ΐ^ι^ε)ΐ^-ιΐΑ°·
7огда условие (С) эквивалентно условию
(Xn)t^af, (1)
где (квадратическая характеристика)
\nt)
<Х"), = ]ГЕ(^^), (2)
*=1

§8. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
729
а условие (С*) эквивалентно условию
[X'
где (квадратическая вариация)
[*"]Л*?. (3)
[nt]
[*"]ι = Σ&· (4)
fc=\
Из теорем 1—3 вытекает
Теорема 4. Пусть для квадратично интегрируемых мартингал-
разностей ξη = (ξηΐζ, &1), η ^ 1, выполнено (для данного 0 < / < 1)
условие Линдеберга (L). Тогда
[nt]
Σ Ε(&Ι*?-ι> Д*/ =* ^-«^(0, о?), (5)
Σ&^*ί ^^"-^(O.af). (6)
3. Доказательство теоремы 1. Представим X" в следующем виде:
[nt] [nt]
*Γ=Σ fi^fl^K ΐ) + Σ ^(1^1 > i) =
[nt] [nt]
[nt]
Обозначим
[nt]
Β?=ΣΕ[ζ*ΐ(\ζ*\<ΐ)\*ε-ιΐ
*=' (8)
μί(Π = /««*€ П.
Η?(Π = Ρ(ίι.*€Γ|^;.Ι),
гДе Г — множество из наименьшей σ-алгебры ^о = ^(^),
порожденной системой множеств sfa в /?0 = /?\{0}, состоящей из конечных сумм
непересекающихся интервалов вида (а, Ь], не содержащих точку {0}, а
^Кя*€Г|^в1) — регулярное условное распределение £Пк относительно
σ-алгебры ^-\·

730
ГЛ. VII. МАРТИНГАЛЫ
Тогда представление (7) можно переписать в следующем виде:
\nt) [nt]
ы\ <M>i> *=i <M<»
Представление (9) называют каноническим разложением
последовательности (Xft &\nt\). (Все интегралы понимаются как интегралы Лебега—
Стилтьеса, определенные для каждого элементарного исхода.)
р
Согласно условию (В), В" —*0. Покажем, что в силу условия (А)
[nt]
Σ J \χ\άμ1^0. (10)
ы\ \\χ\>\)
Имеем
[nt] [nt]
Для всякрго 5 e (0, 1)
IU|/(IUI>i)>4c|f;/(|ui>i)>4. (12)
Ясно, что
[nt\ [nt]
£/(ω>ΐ)=Σ S ^* (=i/ftfl)-
/г=1 /г=1 <|др|>1)
По условию (А)
И
^1ΞΣ S <^Д°' <13>
Λ=Ι <М>1}
причем V£ являются &£_{ -измеримыми.
Тогда в силу следствия к теореме 4 § 3
!/,"„„ ДО =* ί/fo-^O. (14)
Заметим, что в силу того же следствия и неравенства Δί/^j ^ 1 имеет
место и обратная импликация
i/fo-^O =* ^,Д0, (15)
которая будет использована при доказательстве теоремы 2.
Из формул (11)—(14) получаем требуемое утверждение (10).

§8. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
731
Итак,
где
X? = Y? + Zl (16)
[it]
^ = Σ S **№-*)* (17)
а
И
2? = β? + Σ S Χ^μί-^Ο. (18)
В силу задачи 1 отсюда следует, что для доказательства сходимости
XI -»<Ж(0, af) надо лишь доказать, что
ΥΡ±<ν(09<ή). (19)
Представим К/1 в виде (ее(0, 1])
^ = 7^](ε) + Δ^(ε),
где
[nt]
-?(V*) = E S х^(м2-ИЕ). (20)
k=\ {e<\x\<\)
[nt]
ΔΜ^ = Σ S '^-"fl- (2D
Как и при доказательстве (10), легко устанавливается, что в силу усло-
вия(А)7и](е)-^0, /г->оо.
Последовательность ΔΛ(ε) = (Δ£(ε), ^£), l^ft^/г, является
квадратично интегрируемым мартингалом с квадратической характеристикой
<Δ"(ε)>* = Σ[ $ ^2 ^^« _ /- $ х^\
1=1
В силу условия (С)
<Д«(е)>иД<т?.
*

732
ГЛ. VII. МАРТИНГАЛЫ
Тем самым для любого ε е (О, 1 ]
Согласно задаче 2, тогда найдется последовательность чисел еп 10
таких, что
Т^Ы^О, (Δη(ε„)>Μ^σ2.
Поэтому опять-таки в силу утверждения задачи 1 достаточно лишь
доказать, что
Mfrt„-^(0,a,2), (22)
где
к
ΜΙ = ΔΪ(εη) = Σ $ xdW-v?), (23)
/=1 {\χ\ζε„}
Пусть для Г € ^о
да)=/(дл*2ег), ρ,»(Γ)=Ρ(ΔΛί^Γ|^_,)
— регулярная условная вероятность, ΔΜ% — М\ — М\_ х, k > 1, Mg = 0.
Тогда квадратично интегрируемый мартингал Мп = (Λί£, &g), l^k^n, может
быть, очевидно, записан в виде
(Заметим, что в силу (23) \ΑΜ"\^2εη.)
Для доказательства (22) надо, согласно теореме 1 из § 3 гл. III,
показать, что для всякого действительного λ
Χ2σ2
EeiXMU-^e—Г\ (24)
Обозначим
k
02 = Σ $ (e^-DdSj
/=1 {|jc|<2e«}
/=1
Заметим, что
1 + AGnk = 1 + $ (<?/λ* - 1)dvnk = E(eiXAMa* \&£_x)
K\x\<fcn)

§8. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
733
и> следовательно,
^(θΛ)=ΠΕ^/λΔΛί?Ι^ι)·
7=1
В соответствии с доказываемой в п. 4 леммой для проверки (24)
достаточно показать, что для любого действительного λ
\Knt)(Gn)\ =
ΠΕίβ^ι*;.,)
^ c(\) > О
(25)
С этой целью представим §£(Gn) в следующем виде:
k
g«(Gn) = eGn* Л (1 +ΔΟ^-Δ°7.
7=1
(Ср. с функцией <?/(Л), определенной формулой (76) в § 6 гл. II.)
Поскольку
5 xdi>'l = E(AMrj\&?_l) = 0,
{\х\<2еа}
(26)
то
°*=Σ S {βίΧχ-\-ί\χ)άη.
j=\ {\χ\^2ε„}
Значит,
(27)
\AGnk\^ $ |e/A*-l-/A*|d^y $ *2Λ£< у (&,)*-♦<)
{\χ\&εη}
{\x\&sn}
/=1 /=1 {|*|<2ε„}
Согласно условию (С),
(28)
(29)
(Mn)[nll^aj.
(30)

734
ГЛ. VII. МАРТИНГАЛЫ
Предположим сначала, что (Mn)[nt\ ^ а (Р-п. н.). Тогда в силу (28), (29) и
задачи 3 заведомо
\nt\
П(1+ДС2)<ГАС*ЛД1, я-оо,
/г=1
и, значит, для доказательства (26) достаточно лишь установить, что
Ом
Ρ λ2σ2
или (ввиду (27), (29) и (30)) что
[nt]
11 / \2 2Ч
► 0.
(31)
(32)
Χ2 χ2'
Ho \elXx — 1 — i\x Η—— ^ β^~. и поэтому
Μ . \2 2, ιμ3 Μ
Λ=1 {М^2г„} Λ=1 {М^2гя}
_ |λ|3ε„
(ΑίΛ>Μ<
|λ|3ε„
α-»0, /ζ-»οο.
Тем самым, если (Μη)[ηή <α (Ρ-π. η.), το (31), а значит, и (26), доказано.
(λ*)2
Проверим теперь свойство (25). Поскольку \eiXx — 1 — i\x\ ζ Ц^-. то
в силу (28) находим, что для достаточно больших η
%(Gn)\ =
Π(1+Δ0/)
* / λ2 \ Σ Ιη(ΐ-^Δ<Μ"),)
:Π(ι-γΔ<Λί">/)=*'-' ν τ ;
/=1
Но (для достаточно больших п)
In
(i-|a<m«>/)>-
-Δ<Αί">,·
1 - у Δ(Λ!«),
с Δ(Λί")/ < (2ε„)2 i 0, л —»оо. Поэтому найдется такое «о = «o(A), что для
всех п^по(Х)
и, значит,
W(G")|>e-A,<*">*

§8. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
735
Тем самым в предположении {Mn)[nt]^a (Р-п. н.) теорема доказана.
Чтобы снять это предположение, поступим следующим образом.
Положим
rn = mi{k^[nt]: {Mn)k>a*+\}f
считая тп = оо,_если {Mn)\nt\ < <ή + 1.
Тогда для Мп = М1Ат„ имеем
(Mn)[nt] = (Mn)[nt]AT„ <1+ст? + 2е2<1+ *? + 2ε? (= а)
и по доказанному
λ2<72
Ее/АА*и->е—Г\
Но
iim |Ε(^'λΛίΝΐ -^"λΛΜ)|<2 lim P{rrt <oo} = 0.
Поэтому
\2σ2
Hm Ε<?/λΛίί«<) =Iim E(eiXMU - eix№\*)+ \\m EeixfilU=e—T~.
η η η
Замечание. Чтобы доказать утверждение, сформулированное в
замечании 2 к теореме 1, надо (в соответствии с приемом Крамера—Уолда [5])
доказать, что для любых действительных \\> ..., λ7·
Ε expj/ λ,Λί^,+Σ \kWn{ntk]-Mn[ntk_x])\\
I L k=2 J J
► exp
k=2
Доказательство этого соотношения проводится тем же самым
образом, что и доказательство соотношения (24), но вместо {М\у &£) следует
рассматривать квадратично интегрируемые мартингалы (Щ> &g) с
k
где ι// = λι для i^ [nt\] и ζ//=λ* для [/i/a-i]</< [ntk]y 2^k^j.
4. В этом пункте будет доказана одна простая лемма, позволившая
свести проверку (24) к проверке (25) и (26).

736
ГЛ. VII. МАРТИНГАЛЫ
Пусть rf = (77,1b <^£), 1 ^ k ^ пу η > 1, — стохастические последователь-
η
НОСТИ, Υη = £ Tfob
*=1
я
<?rt(A) = JJ Ε(<?/λ^<^*-ι), AG/?,
К — случайная величина с
£(\) = EeiXYt XeR.
Лемма. Если (для данного А) |<frt(A)| ^с(А) >0, п^\> то для
сходимости
EeixYn->EeixY (33)
достаточна сходимость
<ИА)Д^(А). (34)
Доказательство. Пусть
Тогда |mrt(A)| ^ с"1 (А) < оо и легко проверяется, что
Emrt(A)=l.
Поэтому в силу (34) и теоремы Лебега о мажорируемой сходимости
\EeixY" - EeiXY\ = |Ε(<?/λΓ - <?(λ))| ζ |Е(тл(А)[<Г (А) - *(Α)])| ^
Замечание. Из (33) и предположения |<frt(A)| ^с(А)>0 вытекает,
что <?(λ) Φ 0. Утверждение леммы на самом деле сохраняет свою силу и
без предположения |<frt(A)| ^с(А)>0 в следующей формулировке: если
р
<frt(A)—><f(A) и &(\)ф0> то имеет место сходимость (33) (задача 5).
5. Доказательство теоремы 2. 1. Пусть ε>0, δ€ (0, ε), и для
простоты пусть / = 1. Поскольку
max |^|<ε + Υ)|ί«Λ|/(|ί«Λ|>ε)
1^/(16*1 >e)>4 с {£/(Ы>е)>Л,

§8. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
737
ТО
Ff max \U\>e + s}<p\J2n\U\>e)>s\ = p\ir, $ άμΙ>δ\.
Если выполнено условие (А), т. е. Р< Σ § dvj£>5>—*Qf то (ср. с (10))
^=1 {\χ\>ε} >
и Ρ { Σ § dJ^ > *} -> 0. Тем самым (А) =► (А*).
{Μ>ε}
Обратно, пусть выполнено условие (А*). Положим
пах |6,а|<§. В силу (A*) lirr
Заметим теперь, что для любого 5б (0, 1) множества
считая ση = оо, если max |ξ„*| < -. В силу (A*) lim Ρ{ση < оо} = 0.
{ηΛσ„ Λ
Σ'(ιω >§)>'} " {,jn«,.ie*i>f}
совпадают и по условию (А*)
ηΛση ηΛση
*=' *-' {M>f}
Поэтому в силу (15)
иЛ<т„ иЛ<тп
что вместе со свойством lim Ρ{σ„ < оо} = 0 доказывает импликацию
(А*) =► (А).
2. Снова будем считать ί = 1. Зафиксируем некоторое ε 6 (0, 1 ] и
рассмотрим квадратично интегрируемые мартингалы (см. (21))
Δ«(ί) = (Δ2(ί),.*ί). К*<я,
с ί € (0, ε]. В соответствии с условием (С) для данного ε€ (0, 1]
<Δ«(ε)>,Λσ?.
Отсюда в силу условия (А) легко выводится, что тогда и для всякого
ί€(0.ε]
(Αη(δ))η^σΙ (35)

738
ГЛ. VII. МАРТИНГАЛЫ
Покажем, что из условий (С*) и (А), или, равносильно, из условий (С*)
и (А*), вытекает, что для всякого δ € (0, ε]
[Δη(δ)]η^σΙ
(36)
где
[Δη(δ)]η = Σ Гб*/(|6.*1<*)- $ *dvi
Действительно, легко проверить, что в силу (А)
[Αη(δ)]η-[Α«(\)]η^0.
-.2
(37)
Но
*=ι L <W<0 J *=ι L <Μ<ι>
-.2
^Σ/(ΐ^ι>1)
Λ=1
&+2ie*l·
5 Χά{μ\-ν1)
<5ΣΑΙ^Ι>1)ί^<5 max ώ-Σ $ <^До· (38)
*=i {|др|>1)
*=ι
1</г<«
Поэтому (36) следует из (37) и (38).
Таким образом, чтобы доказать эквивалентность условий (С) и (С*),
достаточно установить, что как при выполнении условия (С) (для данного
ее (О, 1]), так и при выполнении условия (С*) для всякого а >0
lim lim Ρ{\[Αη(δ)]η - (Αη(δ))η\ >α} = 0.
δ—*Ό Π
(39)
Пусть mnk(6) = [Дл(5)]/г - {An(6))ky l^k^n. Последовательность
mn(6) = (mnk(6)y &ζ) является квадратично интегрируемым мартингалом,
при этом (тп(6))2 доминируется (в смысле определения из § 3)
последовательностями [тп(6)] и (тп(6)).
Ясно, что
К(<5)]« =Σ (Δ"«2(6))2 < max |A/ng(*)l · {[Δ«(ί)]„ + <Δη(ί)>„} ·.
k=\
\<k<n
<3δ2{[Αη(δ)]η + (Αη(δ))η}. (40)
Поскольку [ΔΛ(ί)] и (Αη(δ)) доминируют друг друга, то из (40) вытекает,
что (ητη(δ))2 доминируются последовательностями 6ί2[Δ"(ί)] и 6δ2(Αη(δ)).

§8. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА 739
Поэтому если выполнено условие (С), то при достаточно малом δ
(например, при δ2 < min(e, ^ {σ\ + 1)J)
HmP{6i2(Art (£))„>&} = О
η
и, значит, в силу следствия к теореме 4 из § 3 имеет место (39). Если же
выполнено условие (С*), то при том же δ
ШР{Ы2[Ап(6)]п>Ь} = 0. (41)
η
Поскольку \A[An(6)]k\^(26)2y то (39) следует из (41) и опять-таки из
следствия к теореме 4 § 3. D
6. Доказательство теоремы 3. С учетом условия Линдеберга (L)
эквивалентность условий (С) и (1), а также (С*) и (3) проверяется прямым
подсчетом (задача 6).
7. Доказательство теоремы 4. Условие (А) следует из условия
Линдеберга (L). Что же касается выполнения условия (В), то достаточно
заметить, что в случае, когда ξη образуют мартингал-разность,
величины β", входящие в каноническое разложение (9), могут быть представлены
в виде
И
k=\ i\x\>\)
ρ
Поэтому В" —► 0 в силу условия Линдеберга (L).
8. Основная теорема настоящего параграфа — теорема 1 —
доказывалась в предположении равномерной асимптотической малости
суммируемых слагаемых. Естественен вопрос об условиях справедливости
центральной предельной теоремы без этого предположения. Для случая
независимых случайных величин примером такой теоремы является
теорема 1 § 5 гл. III (в предположении конечности вторых моментов).
Приведем (без доказательства) аналог этой теоремы, ограничиваясь
случаем последовательностей ξη = (ξ„*, ·££), l^k^n, образующих
квадратично интегрируемую мартингал-разность (Εξ2Λ<οο, Ε(ζη^^_χ) = 0).
Обозначим Fnb(x) = P{£nk^x\&k-\) регулярную функцию
распределения £яЛ относительно Щ_х* и пусть Ank = Ε(ξ2Λ\&£-\)-
Теорема 5. Если для квадратично интегрируемых мартингал-
разностей ξη = (£пь, &1), О ^ k ^ /г, η ^ 1, выполнены следующие уело-
вия:
[л/]
J2Ank^al 0<σ?<οο, 0</<1,

740
ГЛ. VII. МАРТИНГАЛЫ
и для всякого ε > 0
[nt]
*=i {M><·}
то
9. Задачи.
1. Пусть ^rt = 77« + С«. л^ 1. где Т7« -^77, a Ci-+0. Доказать, что ζη->η.
2. Пусть (^л(е)), /ζ ^ 1, ε > 0, — семейство случайных величин таких, что
ρ
для каждого ε > 0 ξη(ε) —♦ 0 при /г —► оо. Используя, например, утверждение
задачи 11 в § 10 гл. II, доказать, что найдется такая последовательность
ε Л 0, 4τοξΛ(ε„)->0.
3. Пусть (а£), 1 <Л<я, п^ 1, —такие комплекснозначные случайные
величины, что (Р-п. н.)
£>^С, К| <аЛО.
Показать, что тогда (Р-п. н.)
η
lim J] (1+α2)^"β! = 1.
4. Провести доказательство утверждения, сформулированного в
замечании 2 к теореме 1.
5. Доказать утверждение, сформулированное в замечании к лемме.
6. Дать доказательство теоремы 3.
7. Доказать теорему 5.
§ 9. Дискретная версия формулы Ито
1. В стохастическом анализе броуновского движения и
родственных ему процессов (мартингалы, локальные мартингалы, семимартинга-
лы,...) исключительная роль принадлежит формуле замены переменных
К. Ито, В настоящем параграфе рассматривается дискретная версия
этой формулы и показывается, как из нее предельным переходом можно
было бы получить и формулу /С. Ито для броуновского движения.
2. Пусть X = (Xnh^n^N и Υ = (Ynh^n^N — две последовательности
случайных величин, заданных на вероятностном пространстве (Ω, «^", Ρ),
Х0==у0 = 0и
[Χ, Υ\ = ([Χ, Υ]η)θζη4:Ν>

§9. ДИСКРЕТНАЯ ВЕРСИЯ ФОРМУЛЫ ИТО
741
где
η
[X4Y\n = Y,&XkbYk4 (l)
*=1
есть квадратическая ковариация последовательностей X и Υ (см. § 1).
Будем предполагать, что задана функция F = F(x)t являющаяся
абсолютно непрерывной:
F(x) = F(0) + {f(y)dy. (2)
о
где /= /((/) — борелевская функция на R такая, что
$ \m\dy<оо
для всякого О 0.
Формула замены переменных, о которой будет идти речь, дает
представление для последовательности
F(X) = (F(Xn))(Kn^ (3)
в терминах «естественных» функционалов от последовательности Х =
Рассмотрим квадратическую ковариацию [Xt f(X)]
последовательностей X и f(X) = (f(Xn)h^n^N* где / = /(*), *€/?, есть функция из
представления (2). Согласно (1),
η η
[*. f(X)]n = Σ Δ/(**)Δ** = Σ №>- /(^-ι))№ -**-ι). (4)
Если ввести два «дискретных интеграла» (ср. с определением 5 в § 1)
η
In(X9 f(X)) = Σ /(*α-ι)Δ*α, Κ η ^ Ν, (5)
и
7Я(Х, /(*)) = Σ №k)bXk9 1 < я < tf, (6)
/г=1
то квадратическую ковариацию можно представить в следующем виде:
[X, f(X)]n = UX, №) - 1п(Х, f(X)). (7)
(В случае п = 0 полагаем /q = 7o = 0.)

742
ГЛ. VII. МАРТИНГАЛЫ
Для фиксированного в наших рассмотрениях числа N введем новую
(«обращенную») последовательность Χ = (Χη)ο^η^Ν> полагая
Χπ=Χν-π- (8)
Ясно, что
7N(X.fW) = -iN(X.f(3t))
и, аналогично,
JH(X. f(X)) = -{iN(X, f(X))-'N-n(X, /(*))}.
Отсюда и из (7) заключаем, что
[*. ΚΧ)]ν = -{1ν(Χ. №)) + 1ν(Χ. /№)}
и для 0<η<Ν
[X, ПХ)]п = -ШХ, f(X))-lN-nOt. f(X))}-In(X> f(X)) =
=-{ Σ f(Xk-i)^xk+J2f(xk-i)^xX 0)
Замечание. Полезно отметить разную структуру представлений квад-
ратической ковариации [Xt /(A)])rt, задаваемых формулами (7) и (9). В (7)
η
«интеграл» In(Xy f{X))= Σ /(Α*_ι)ΔΑ* образуется так, что на интервале
k=\
[k- l, k] значение f(Xk-\) (в «левом» конце) умножается на приращение
AXk = Xk—Xk-\ на всем этом интервале. «Интеграл» же 7„(А, /(A))
образуется по-другому — на приращение AXk=Xk—Xk-\ умножается значение
в «правом» конце интервала [k— 1, k], т. е. значение А*.
Таким образом, можно сказать, что формула (7) содержит как «прямой
интеграл /rt(A, /(A))», так и «обратный интеграл 7rt(A, /(А))». В формуле
же (9) все «интегралы» являются «прямыми» (для последовательностей X
и А).
3. Поскольку для каждой функции g = g(x)
gWk-O + ^gWk)- g(Xk-i)]-s[g(Xk) + £(А*_,)]=0,
то ясно, что
F(Xn) = F(X0) + £ g(Xk-i)&Xk + \[A, g(X)]n +
+ Σ {(W-W-,)) - е{Хк-1)2+8{Хк)АХк}. (10)
*=1

§9. ДИСКРЕТНАЯ ВЕРСИЯ ФОРМУЛЫ ИТО
743
В частности, если g(x) = /(χ), где /= f(x) —функция из представления
(2), то
F(Xn) = F(X0) + UX. /W) + j [X. f(X)]n + Ra(X. /(A)), (11)
где п χ
ϋη(Χ,ί(Χ)) = Σ ί [f(x)-f(Xk-l)2+nXk)}dx. (12)
k=\ Xk-ι
Из математического анализа хорошо известно, что если функция f"(x)
непрерывна, то справедлива «формула трапеции»:
№-о)
а
3 1
§ х(х - 1) /"(ξ(α + хф - a))) dx =
где £(*), J и 7; есть некоторые «промежуточные» точки из интервала [а, Ь].
Поэтому в (12)
где Xk-\ ^η/ι ^ А*. Из этого представления ясно, что
\Rn(X. f(X))\ ^ ± sup Г (η) · Σ |ΔΑ*|3, (13)
где sup берется по всем значениям η таким, что min(Ao, Αι, ···» Xn)^V^
<тах(*0,Хь...,Хя).
Мы называем формулу (И) дискретной версией формулы /С. И то.
Подчеркнем, что правая часть этой формулы состоит из трех слагаемых:
«дискретного интеграла» /rt(A, /(A)), квадратической ковариации [X, f(X)]n
и «остаточного» члена /?rt(A, /(A)), название которого объясняется тем,
что при соответствующем предельном переходе к случаю непрерывного
времени он стремится к нулю (см. более подробно п. 5).
4. Пример 1. Если f{x) = a + bx, то /?rt(A, /(A)) = 0 и формула (11)
принимает следующий вид:
F(Xn) = F(Xo) + W, /№) + \\Х. /(*)]„. (14)
(Ср. с формулой (19), приводимой ниже.)

744
ГЛ. VII. МАРТИНГАЛЫ
Пример 2. Пусть
f(x) = sign x = <
Γι,
о,
-1,
χ>0,
χ = 0.
χ<0.
и пусть F(x) = \x\.
Пусть Xk = 5*. где Sk = ξι +... + ξ*, ft > 1, a ξι, ξ2» . · · —
последовательность независимых бернуллиевских случайных величин, принимающих
значения ±1 с вероятностью 1/2.
Если положить So = 0, то непосредственно из (11) можно найти, что
η
\Sn\ = J2(^SnSk^)ASk + Nni (15)
где Nп = #{0^k<nt Sk = 0} — число нулей последовательности So, Si, ...
Входящий в (14) «дискретный интеграл» ( £(sign Sk-\)ASk J яв-
\*=I /я>1
ляется мартингалом. Поэтому из (15) находим, что
E|Sn| = EJV„. (16)
Поскольку (задача 2)
ВД~^£. л-*оо, (17)
то из (16) следует, что
ΕΜι~\/έ· η^°°- (|8)
Иначе говоря, среднее число «ничьих» в случайном блуждании So»
Si, ..., Sn по порядку растет как у/п, а не как /г, что могло бы с первого
взгляда показаться более естественным. Отметим, что свойство (18) самым
непосредственным образом связано с законом арксинуса (см. § 10 гл. I)
и фактически следует из него.
5. Пусть В = (θ*)ος;<ι — стандартное (β0 = 0r EBt = 0, ЕВ? = t)
броуновское движение (см. § 13 гл.II) и Xk = Bk/n> й = 0, 1, ..., п.
Применение формулы (11) приводит к следующему результату:
F(Bl) = F(B0) + £ Λβ(*-!)/-)ΔΒ*/β + \Ш/»). В/п]« +
+ Rn(B./n. f{B./„)). (19)

§9. ДИСКРЕТНАЯ ВЕРСИЯ ФОРМУЛЫ ИТО
745
Из теории броуновского движения (см., например, [11], [17], [77])
известно, что
η
Σ Ιβ*/«-β(*-υ/"Ι3-^°. *->«>. (20)
k=\
Поэтому, если функция / = f(x) имеет вторую производную и
|/"М1^С» *€/?, для некоторой константы С>0, то из оценки (13)
находим, что Rn(B./n, f(B./n))->0.
Опять же из теории броуновского движения известно, что для всякой
(борелевской) функции f = f(x)eLf0C (т. е. такой, что § f2(x)dx <oo
для всякого С > 0) существует предел (заведомо в смысле сходимости по
η
вероятности) «дискретных интегралов» £ f{B^-\)/n)^Bk/ni обозначае-
1 k=\
мый 5 f(Bs)dBs и называемый стохастическим интегралом Ито по
о
броуновскому движению.
Тем самым, обращаясь к формуле (19), видим, что в ней «остаточный»
ρ п
член Rn(B./n, /(Я./«))-*0» «дискретные интегралы» £ f(B{k-i)/n)ABk/n
k=\ l
сходятся (по вероятности) к «стохастическому интегралу» { f(Bs)dBSt
о
а следовательно, существует и предел по вероятности квадратических
ковариаций
[в./п, пв./я)] (=1ПВ./п).в./п]),
который естественно обозначить как
[в, /(β)]..
Итак, если функция f = f(x) имеет вторую производную, |/"(х)|^С,
х € /?, и / е Lfoc, то имеет место следующая формула:
f(fli) = f(0) + S /(fis)rffis + i[fi, /(β)],. (21)
При этом
[B,f(B)]i=if'(B,)ds (22)
о
и, следовательно,
F(B{) = F(0) 4- J f(B8)dBs + Η /'(β,) ds, (23)
о о

746
ГЛ. VII. МАРТИНГАЛЫ
или, в более стандартной записи,
F(BX) = F(0) + $ F'(BS) dBs + I $ F"(B,) rfs. (24)
о о
Именно эта формула (для F е С2) носит название формулы замены
переменных К. Ито для броуновского движения.
6. Задачи.
1. Доказать формулу (15).
2. Доказать справедливость асимптотики (17).
3. Доказать формулу (22).
4. Формула (24) справедлива для всякой функции F € С2. Попытайтесь
это доказать.
§ 10. Вычисление вероятности разорения
в страховании. Мартингальный метод
1. Материал, излагаемый в этом параграфе, является хорошей
иллюстрацией того, как мартингальный подход дает простой метод
оценивания вероятности разорения, скажем, страховой компании.
Будем предполагать, что X = (Xt)t^0 есть случайных процесс,
описывающий эволюцию капитала рассматриваемой страховой компании.
Значение Хо = и > 0 интерпретируется как начальный капитал компании.
Страховые поступления предполагаются накапливающимися на счету компании
непрерывным образом с постоянной скоростью с>0 (т. е. за время Δ/
поступление равно с At). Требования на выплату страховки считаются
поступающими в случайные моменты времени Γι, 72, ... (0< Т\ < 7г < ···)
с соответствующими выплатами, определяемыми неотрицательными
случайными величинами ξ\, &, ···
Из изложенного вытекает, что капитал компании в момент времени / >0
определяется формулой
Xt=u + ct-St, (1)
где
S/=X>/(7}</). (2)
Пусть
r = inf{/^0: Xt<0)
есть тот первый момент, когда капитал компании становится нулевым или
отрицательным.

§ 10. ВЕРОЯТНОСТИ РАЗОРЕНИЯ В СТРАХОВАНИИ
747
Если Xt >0 для всех t ^0, то Τ полагается равным -f оо. По вполне
понятным причинам момент Τ естественно называть «моментом разорения»
компании. В дальнейшем наш основной интерес будет состоять в
нахождении (или оценивании) вероятности разорения Р{Т < оо} или
вероятностей разорения Р{Т < /} до момента времени t для любого / > 0.
2. Отыскание этих вероятностей является довольно-таки непростой
задачей. Однако эта задача допускает (частичное) решение для так
называемой модели Крамера—Лундберга, характеризуемой тем, что для нее
выполнены следующие условия.
A. Моменты σι = 7/ — 7}_ι, i ^ 1 (7Ь = 0), предполагаются
независимыми случайными величинами, распределенными экспоненциальным
образом, Ρ{σ/ >t} = \e'xt, / ^ 0, i ^ 1. (См. табл. 3 в § 3 гл. II.)
B. Случайные величины ξι, &, ··· являются независимыми и одинаково
распределенными с функцией распределения F(x) = Ρ {ξι ^ χ} такой, что
оо
f(0) = 0 и μ= ξ хdF(x) <°°·
о
C. Последовательности (Т\, Гг, ···) и (ξι» &, ···) являются
независимыми последовательностями (в смысле определения 6 § 5 гл. II).
Пусть
ty=]T/(7}<0. '>0, (3)
— процесс, описывающий число требований на выплату «страховки»,
поступивших до момента времени / (включительно), No = 0.
Поскольку для k ^ 1
{Tk>t} = {ai + ... + ak>t} = {Nt<k},
то с учетом предположения Айв соответствии с задачей 6 из § 8 гл. II
k—\
P{Nt<k} = P{at+... + ak>t} = J2e~Xt^'
Следовательно,
P{/V,=fc} = *-A<^, * = 0,1, ... (4)
Таким образом, случайная величина Nt имеет пуассоновское
распределение (см. табл. 2 в § 3 гл. II) с параметром λ/, совпадающим здесь с
математическим ожиданием ENt.
Сконструированный по формуле (3) процесс N = {Nt)t^o* будучи
частным случаем процессов восстановления (п. 4 § 9 гл. II), носит название
процесса Пуассона. У этого процесса траектории (реализации)
являются разрывными (точнее, кусочно-постоянными, непрерывными справа и

748
ГЛ. VII. МАРТИНГАЛЫ
со скачками, равными единице). Наряду с броуновским движением (§ 13
гл. II), траектории которого являются непрерывными функциями, этот
процесс играет фундаментальную роль в теории случайных процессов. Именно
с помощью этих двух процессов можно построить случайные процессы с
довольно сложной вероятностной структурой. (Типичными в этом
отношении являются процессы с независимыми приращениями; см., например,
[13], [HI. [76].)
3. Из предположения С находим, что
E(X,-X0) = ct-ES, =ct-Ej2 6/(7/<0 = с'-Σ E6W/ ^0 =
/' j
= ct -Σ Ε6Ε/(7} 4t) =α-μΣ P{Ti^t} =
i i
= εί-μΣ PiNt > *'} = <* - μΕΝί = t(c - Χμ).
i
Отсюда ясно, что условие, состоящее в том, что компания работает
с положительной прибылью (т. е. с E(Xt — Xq)>G), формулируется
следующим образом:
с > Χμ. (5)
В последующем анализе важную роль будет играть функция
h(z)=\(ezx-\)dF(x)y г^О, (6)
о
равная Ρ (—ζ) — 1, где
ОО
F{s)= $ e~sxdF(x)
о
есть преобразование Лапласа—Стилтьеса (5 —комплексное число).
Полагая
g(z) = Xh{z)-czy ξο = 0,
находим, что для всякого г > 0 такого, что h(r) < оо,
Ν, Ν,
г У* £ °° г Υ* ε
£e-r{Xt-Xo) = Ee-r{Xt-u)=e-rct£.e to 1=е-га^Ее to '>{^=Л} =
/ι=0
= e'rd Σ(\ + h(r))n е~Х*^П = e-rcteXth(r) = et[Xh(r)-cr] = etg(r)
«=o

§ 10. ВЕРОЯТНОСТИ РАЗОРЕНИЯ В СТРАХОВАНИИ
749
Аналогичным образом показывается, что для s <t
£e-r(Xt-Xs) =e(t-s)g(r) /7j
Пусть &f =σ(Χ8, s^t). Поскольку процесс X = (Xt)t^o является
процессом с независимыми приращениями (задача 2), то (Р-п. н.)
^ie-r{Xt-Xs) ι j?X\ _ £e-r{Xt-Xs) — e(ts)g(r)
и, значит,
E(e-r*t-tg(r) \#X) = e-rXssg(r) (g)
Положим
Zt=e-rXl-tg{r\ t>0. (9)
Из (8) очевидно следует, что
E(Z,|^) = ZS, s^t. (10)
По аналогии с определением 1 из § 1 естественно говорить, что
процесс Z = (Zt)t^o является мартингалом (относительно «потока» σ-ал-
гебр (<^)/^ο). Отметим, что в рассматриваемом случае Ε|Ζ/|<οο, /^0
(ср. со свойством (1) в § 1).
Будем также говорить, по аналогии с определением 3 в § 1, что
случайная величина τ = τ{ω) со значениями в [0, +оо] является марковским
моментом, или случайной величиной, не зависящей от будущего
(относительно «потока» (<^*)/^ο), если для каждого / ^0
Для рассматриваемого сейчас случая непрерывного времени
теорема 1 из § 2 (с очевидными изменениями в обозначениях) также сохраняет
свою силу. В частности,
ΕΖ,λτ = ΕΖ0 (11)
для всякого марковского момента т.
Положим т = Т. Тогда из (9) и (11) найдем, что для всякого / >0
e~ru = Ee-'Xt*T-(tAT>g(r) ^ E ^-rXIAT-UAT)g(r) | Г ^ /] р{7" < /} =
= Е[е-гХт-Те(г) | Τ < t] P{T < /} >
>E[e-T^\T^t]P{T^t}> min <?"*«<"■ Р{Т^t).
Следовательно,
PiT^tX—r1—тыл=е-ги max ese{rK (12)

750
ГЛ. VII. МАРТИНГАЛЫ
Рассмотрим более подробно функцию
g(r) = \h(r)-cr.
Ясно, что g(0) = 0, g'(0) = λμ - с < 0 (в силу (5)) и g"(r) = \h"(r) > 0.
Поэтому существует единственное положительное значение г = /? такое,
что g{R) = 0.
Заметим, что для г > 0
J егх{1 - F(x)) dx = J J е" rf/ty) rfx =
0 0 Jt
оо /у \ f оо -
= J J *" d* <ВД = I $ (** - 1) <ВД = ±Л(г).
о \о / о
Отсюда и из равенства \h(R) - cR = 0 заключаем, что значение /? является
корнем (и при этом единственным) уравнения
λ °°
- ξ e"(l-F(x))dx=l. (13)
с о
Если теперь в (12) положить г = /?, то получим, что для каждого / >0
P{T^t}^e~R\ (14)
откуда
Р{Г<ооК <?"*". (15)
Итак, доказана следующая
Теорема. Пусть для модели Крамера—Лундберга выполнены
предположения А, В, С и Χμ<ε.
Тогда вероятности разорения Р{Т </} и Р{Г<оо}
удовлетворяют неравенствам (14) и (15), где R — положительный (и притом
единственный) корень уравнения (13).
4. В приведенном доказательстве использовалось соотношение (11),
справедливость которого, как было отмечено, вытекает из
соответствующего аналога теоремы 1 § 2 (о сохранении свойства мартингальности при
замене времени на случайный марковский момент) для случая
непрерывного времени. (Доказательство этого результата см., например, в § 3.2
монографии [41].) Если, однако, вместо экспоненциальности
распределения величин сг/, / = 1, 2, ..., предположить, что они имеют (дискретное)
геометрическое распределение (Ρ{σ,· = k} = qk~lp, k^ 1), то тогда
достаточно было бы лишь ссылки на доказанную в § 2 теорему 1.

§11. ФУНДАМЕНТАЛЬНЫЕ ТЕОРЕМЫ
751
Приведенные рассмотрения, требующие обращения к результатам
теории случайных процессов с непрерывным временем, представляются
полезными по крайней мере в том отношении, что они показывают, как в
приложениях возникают модели, функционирующие не в дискретном, а в
непрерывном времени.
5. Задачи.
1. Доказать, что процесс N = (Nt)t^o является (в предположении А)
процессом с независимыми приращениями.
2. Доказать, что процесс X = {Xt)t^o также является процессом с
независимыми приращениями.
3. Рассмотреть модель Крамера—Лундберга и сформулировать
соответствующий аналог приведенной теоремы для того случая, когда величины
сг/, / = 1, 2, ..., являются независимыми и распределенными по
геометрическому закону, т.е. P{cr, =k} = qk~lp, k^l.
§ 11. О фундаментальных теоремах стохастической
финансовой математики. Мартингальная
характеризация отсутствия арбитража
1. В предшествующем параграфе было рассмотрено применение
теории мартингалов к доказательству одной из основных теорем
математической теории страхования — теоремы Лундберга—Крамера. В настоящем
параграфе будет рассмотрено еще одно применение теории мартингалов —
к вопросам безарбитражности финансовых рынков, функционирующих
в условиях стохастической неопределенности. Приводимые ниже теоремы
1 и 2, которые принято называть «фундаментальными теоремами»
теории арбитража в стохастической финансовой математике, интересны
тем, что они дают в мартингальных терминах условия,
обеспечивающие безарбитражность (в объясняемом далее смысле) рассматриваемых
финансовых рынков, и также условия, гарантирующие достижение
поставленной финансовой цели. (Подробнее о финансовой математике см. [100].)
2. Дадим некоторые необходимые определения.
Все рассмотрения предполагают заданным некоторое
фильтрованное вероятностное пространство (Ω, &, (&п)п^о, Р), служащее базой
Для описания стохастической неопределенности в эволюции цен,
финансовых индексов и других показателей финансовых рынков. При этом
будем интерпретировать совокупность событий из &п как «информацию»,
получаемую к моменту времени η (включительно). Например, &п может
содержать «информацию» о значениях цен определенных финансовых
бумаг, финансовых индексов и т. п.

752
ГЛ. VII. МАРТИНГАЛЫ
Основным объектом, с которым будут связаны «фундаментальные
теоремы», является понятие (5, S)-рынка, определяемого следующим
образом.
Пусть В = (Вп)п^о и S = (Srt)rt^o есть положительные случайные
последовательности. При этом считается, что при каждом п^О величины Вп
являются &п-\-измеримыми (<^_ι =^Ό), а величины Sn — «^-измеримыми.
Для простоты дальнейших рассмотрений предполагается, что начальная
сг-алгебра &§ тривиальна, т. е. с^Ь = {0, Ω} (см. § 2 гл. II). Тем самым
Во и So суть константы. В соответствии с терминологией § 1 обе
последовательности В = (Вп)п^о и S — (Sn)n^o являются стохастическими
последовательностями, причем последовательность 5 = {Вп)п^о
является к тому же предсказуемой (поскольку Вп — &п-\-измеримы).
По своему финансовому смыслу последовательность В = (Вп)п^
будет интерпретироваться как последовательность, описывающая эволюцию
«единицы» банковского счета («bank account», «money account»). При
этом «^rt-i-измеримость величин Вп означает, что величина банковского
счета в ^омент η (скажем, «сегодня») становится полностью известной
уже в момент времени η — 1 (т. е. «вчера»).
Если обозначить для η ^ 1
с ΔΒη = Вп - βΛ_ι, то, очевидно, для Вп получаем следующее
представление:
B„ = (l + r„)B«_lt ΟΙ, (2)
где величины гп являются <^„_ ι -измеримыми и такими, что гя>-1
(поскольку Вп > О по предположению). В финансовой литературе величины гп
носят название (банковской) процентной ставки.
Последовательность S = (Sn)n^o отличается от В — (Вп)п^о тем, что
величины Sn являются ^-измеримыми, а не ^п-\ -измеримыми, как Вп.
Именно так обстоит дело, например, с ценами акций («stock», «stocks»),
для которых истинная цена в момент времени η становится известной
только β момент ее объявления (т. е. «сегодня», а не «вчера», как для
банковского счета).
По аналогии с «банковской» можно ввести так называемую
«рыночную» процентную ставку
Pn = £^, я>1, (3)
для акции S = (Sn)n^o.

§11. ФУНДАМЕНТАЛЬНЫЕ ТЕОРЕМЫ 753
Ясно, что тогда
S« = (l+p„)S«.lt (4)
при этом все рп > — 1, поскольку все Sn > 0 (по предположению).
Из (2) и (4) следует, что
η
Вп = ВоЦ (1+г*)> (5)
η
Sn = SoJl(l+pk). (6)
*=1
В финансовой литературе принято говорить, что эти формулы
образованы по типу «простых» процентов. Во многих вопросах полезны также
представления, образованные по типу «сложных» процентов:
я я
Σ h Σ ρ*
Bn=B0e*-* , S„=S0**-i , (7)
где в соответствии с (5) и (6)
^ = 1п(1 + гл) = 1п(1 + |^-)1 (8)
/9Λ = Ιη(1+ρΛ) = Ιη(ΐ + ^-). (9)
Эти величины принято называть «логарифмической прибылью»,
«возвратом», «отдачей».
Введенная описанным выше способом пара процессов В = (Вп)п^о и
5 = (Sn)n^o будет образовывать, по определению, финансовый (В, Б)-ры-
нок, состоящий из двух активов —банковского счета В и акции S.
Замечание. Понятно, что такой (В, 5)-рынок является всего лишь
простейшей моделью реальных финансовых рынков, состоящих,
обычно, из большого числа активов разнообразной природы (см., например,
[100]). Тем не менее, уже и на этом простом случае можно проследить
и проиллюстрировать эффективность методов теории мартингалов при
рассмотрении многих вопросов чисто финансово-экономической природы.
(К их числу относится, например, вопрос об отсутствии на (В, 5)-рынке
арбитражных возможностей, ответ на который дается в приводимой далее
«первой фундаментальной теореме».)
3. Дадим теперь определение портфеля ценных бумаг, его
капитала и введем также важное понятие самофинансируемого портфеля.
Пусть (Ω, <^\ {&п)п^о, Р) — рассматриваемое фильтрованное
вероятностное пространство с &о — {0, Ω} и пусть π = (/?, 7) — пара предсказу-
емых последовательностей β = (βη)η>0, Ί = (Ίη)η>0.

754
ГЛ. VII. МАРТИНГАЛЫ
Кроме требования «предсказуемости», т. е. <^л_ι -измеримости (<^_| ==
= ^о) величин βη и 7«, я^О, на их возможные значения не налагаются
какие-либо другие ограничения. В частности, эти величины могут
принимать дробные и отрицательные значения.
По своему смыслу величина βη есть «число единиц» банковского счета,
Э7й- «число акций» в момент времени п.
Будем говорить, что π = (/?, 7) образует портфель ценных бумаг на
рассматриваемом (5, 5)-рынке.
С каждым портфелем π = (/?, 7) свяжем соответствующий ему капитал
X* = (Хп)п^о, полагая
Xi = 0nBn+inSn (Ю)
и интерпретируя βηΒη как денежные средства на банковском счете, а
7я5л — как стоимость акций в момент времени п. Смысл
«предсказуемости» последовательностей β и η также ясен — портфель ценных бумаг «на
завтра» должен составляться «сегодня».
Следующее важное понятие «самофинансируемого» портфеля
отражает, в частности, идею рассмотрения таких (β, 5)-рынков, на которых
нет «ни оттока, ни притока капитала извне». С формальной точки зрения
соответствующее определение дается следующим образом.
Пользуясь формулой «дискретного дифференцирования» (А(апЬп) =
= anAbn + bn-.\Aan)t находим, что приращение ΔΧ% (—X* — Χ*__χ)
капитала представляется в виде
Δ^ = [/?ΛΔβ/ί + 7«ΔδΛ] + [βΠ_1Δ/?Λ+5Λ_1Δ7„]. (И)
Реальное изменение капитала связано лишь с «рыночными»
изменениями значений банковского счета и цены акции, т. е. с величиной βηΔΒη +
+jnASn- Второе выражение в правой части (11), т. е. Βη-\Δβη + 8η-.\Δηη>
является &п-\-измеримой величиной и в момент времени п никакого
реального увеличения или уменьшения величины Х%_{ дать не может. Тем
самым оно должно равняться нулю.
В принципе, изменение капитала могло произойти не только за счет
«рыночных» изменений процентных ставок (гп и рп, п ^ 1), но также и за
счет, скажем, притока капитала извне, оттока капитала за операционные
издержки и т. п.
Такие возможности далее не принимаются во внимание, и все
рассматриваемые портфели π = (/?, 7) будут предполагаться (в соответствии с
изложенным) такими, что для них при всех п ^ 1
ΔΧ*η=βηΔΒη+ΊηΔ5η. (12)
В стохастической финансовой математике такие портфели принято
называть самофинансируемыми (self-financing).

§11. ФУНДАМЕНТАЛЬНЫЕ ТЕОРЕМЫ 755
4. Из (12) следует, что для самофинансируемого портфеля π = (β, j)
η
k=\
и поскольку
4£Η·Δ(Ι).
то
£=f+i>4(!)·
Зафиксируем некоторое /V ^ 1 и рассмотрим эволюцию (В, 5)-рынка в
моменты п = 0, 1, ..., N.
Определение 1. Самофинансируемый портфель (или
самофинансируемая стратегия) π = (/?, 7) в момент N реализует арбитраж, или
арбитражную возможность, если Χζ = 0, Xfi ^ 0 (Р-п. н.) и с положительной
Ρ-вероятностью Xfi > 0, т. е. Р{Х% > 0} > 0.
Определение 2. Говорят, что на (В, 5)-рынке отсутствует (в
момент Ν) арбитраж, или арбитражная возможность, если для всякого
портфеля π = (β, 7) с Χξ = 0 и P{Xfi ^ 0} = 1 на самом деле Р{Х% = 0} = 1,
т. е. лишь с нулевой Р-вероятностью возможно то, что Xfi >0.
С наглядной точки зрения на безарбитражном рынке не может быть
так, чтобы для некоторого портфеля существовала возможность получения
безрискового дохода.
Понятно, что решение вопроса о том, является ли тот или иной
(В, 5)-рынок безарбитражным и, следовательно, в определенном смысле,
«справедливым», «рациональным», зависит от
вероятностно-статистических свойств последовательностей B = (Bn)n^N и S = (Sn)n^N и,
разумеется, от предположений, заложенных в структуру фильтрованного
вероятностного пространства (Ω, &, (βη)η^Ν> Ρ)·
Примечательно, что теория мартингалов позволяет весьма эффективно
описать условия, гарантирующие отсутствие арбитражных возможностей.
Можно утверждать даже больше. Именно, имеет место следующая
Теорема 1 («первая фундаментальная теорема»). Будем
предполагать, что стохастическая неопределенность описывается
Фильтрованным вероятностным пространством (Ω, &', (βη)η^Ν* Ρ)
с^о = {0, Ω}, &Ν = &.
Для того чтобы (В, БУрынок, определенный на (Ω, β', (βη)η^Ν, Ρ),
был безарбитражным, необходимо и достаточно, чтобы нашлась
Мера Ρ на (Ω, β), эквивалентная мере Ρ (Р~Р) и такая, что
(13)
(14)
(15)

756
ГЛ. VII. МАРТИНГАЛЫ
относительно этой меры дисконтированная последовательность
— = (-—■) образовывала бы мартингал:
ё|§И<оо, «</V,
и
е(е"-)-Ь- ·<"·
где Ё — усреднение по мере Р.
Замечание 1. Утверждение теоремы сохраняет свою силу и для
векторных процессов S — {S\ ..., 5rf) с d <оо. (См. § 2Ь гл. V в [100].)
Замечание 2. Меру Р, фигурирующую в формулировке теоремы,
принято называть, по вполне понятным причинам, мартингальной мерой.
Будем обозначать М(Р) = JP~P: — является Ρ -мартингалом \ класс
тех мер Р, эквивалентных мере Р, относительно которых последователь-
ность д =У — 1 является мартингалом.
Пусть запись NA означает отсутствие арбитража (No Arbitrage).
Тогда утверждение теоремы 1 может быть записано в следующем виде:
NA & ЩР)ф0 (16)
Доказательство. Достаточность. Пусть Ρ — мартингальная
мера из М(Р) и π = (/?, 7) — портфель с Х£ = /?0fi0 + 7oSo = 0. Из (15) для
\ζη^Ν
f=t^(|). (.7)
Относительно меры Ρ последовательность — = ( ττ ) является
θ \BkJk^N
мартингалом и, значит, последовательность G = (G%)o^n^N с GJ = 0 и
G% = У\ 7*Δ( б^ )» l^n^N, является мартингальным преобразовав
«нем. Поэтому последовательность (-^-) также есть мартингальное
\BnJo^n^N
преобразование.
При тестировании на арбитраж или отсутствие арбитража надо
рассматривать те портфели π, для которых не только Χζ = 0, но и Xfi^O
(Р-п. н.). В силу того, что Р~Р и Вц>0 (Р- и Р-п. н.), находим, что
nil·»}-1·

§11. ФУНДАМЕНТАЛЬНЫЕ ТЕОРЕМЫ
757
, находим, что на самом деле эта последовательность является
по мере Ρ мартингалом. Следовательно, Ε-^· = Ε-^-=0 и поскольку
Тогда, применяя теорему 3 из § 1 к мартингальному преобразованию
(£) _
па Ρ ипптии?п ппи Гпоплвятрпкил F_ ,_
' BN Bq
p^oJ-I.^Pfg-o}-..
Отсюда видим, что Х$ = 0 (Р- и Р-п. н.) и тем самым для всякого
самофинансируемого портфеля π с Xfi =0 и Xfi^O (Р-п. н.) на самом
деле XJ] =0 (Р-п. н.), что и означает, согласно определению 2, отсутствие
арбитражных возможностей.
Необходимость. Доказательство будет приведено лишь для одно-
этапной модели (β, S)-pbiHKa, т. е. в случае N = 1. Уже на этом простом
примере будет хорошо видна идея доказательства, заключающаяся в том,
чтобы, воспользовавшись отсутствием арбитража, явно построить хоть
какую-нибудь мартингальную меру. Такую меру мы будем строить,
основываясь на преобразовании Эшера (см. ниже). (По поводу доказательства
в общем случае /V ^ 1 см. § 2d гл. V в [100].)
Без ограничения общности можно считать, что β0 = β1 = 1.
Предположение отсутствия арбитражных возможностей сводится здесь к
тому (задача 1), что
Ρ{Δ5!>0}>0 и Ρ{Δ5ι<0}>0. (18)
(Мы исключаем тривиальный для рассмотрения случай Ρ{Δ5ι=0} = 1.)
Отсюда надо вывести, что существует эквивалентная мартингальная
мера Р, т. е. такая, что Р~Р и E|ASi|<oo, EAS\ =0.
Вытекает это непосредственно из следующей леммы, представляющей
и общевероятностный интерес.
Лемма 1. Пусть (Ω, &) = (/?, SS(R)) и Χ=Χ(ω) — координатно
заданная случайная величина {Χ{ω)=ω). Пусть Ρ — вероятностная
мера на (Ω, «^),
Р{*>0}>0 и Р{*<0}>0. (19)
Тогда на (Ω, &) существует вероятностная мера Ρ ~ Ρ такая,
что для любого действительного а
Eefl*<oo. (20)
В частности, Ё\Х\ <оо и имеет место следующее свойство:
Ё* = 0. (21)
Доказательство. Введем меру Q = Q(dx) с Q(dx) = ce~x P(dx), где
нормирующая константа с = (Ее~х )_|.

758
ГЛ. VII. МАРТИНГАЛЫ
Для всякого действительного а положим
<p{a) = EQeaX, (22)
где Eq —усреднение по мере Q.
Пусть
Ζα(Χ)
Поскольку Za(x)>0 и EqZq(^)=1, то для всякого действительного а
мера Pfl с
Pa(dx) = Za(x)Q(dx) (24)
является вероятностной. Понятно, что Pfl~Q~P.
еах
Замечание 3. Преобразование х-~> —т-г часто называют
преобразованием Эшера. Как будет следовать из дальнейшего, при некотором
специальном значении а* мера Ρ = Ρα„ обладает (мартингальным) свойством
(21). Именно эту меру принято называть мерой Эшера (или мартингаль-
ной мерой Эшера).
Функция φ = φ(α), определенная для всех действительных а, является
строго выпуклой вниз, поскольку φ"(а) > 0.
Пусть φ+ = \ηί{φ(α): a€/?}. Возможны два случая: 1) когда существует
такое а*, что <р(а*) = <р*, и 2) когда такого (конечного) а* не существует.
В первом случае φ'{α+) = 0. Значит,
*евЛ_1Р'(а»)_п
tp A=tQ— — —: r=U,
и в качестве требуемой меры Ρ можно взять меру Ра..
До сих пор мы еще не использовали предположение «безарбитражно-
сти» (19). Как нетрудно показать (задача 2), это предположение
исключает возможность 2). Тем самым остается лишь первая возможность,
которая уже была рассмотрена.
Итак, в случае N = 1 «необходимость» (заключающаяся в
существовании мартингальной меры) установлена. По поводу общего случая /V ^ 1
мы отсылаем читателя, как уже было отмечено, к изложению в § 2d гл. V
в [100]. D
5. Приведем некоторые примеры безарбитражных (β, 5)-рынков.
Пример 1. Предположим, что (β, 5)-рынок описывается
соотношениями (5) и (6) с ΚΚΛί, в которых rk = r (константа) для всех 1^
О^N и ρ = (ρι, Ρ2> ..., Ρν) — последовательность независимых
одинаково распределенных (бернуллиевских) случайных величин, принимающих
.£_
φ(ά)
(23)

§11. ФУНДАМЕНТАЛЬНЫЕ ТЕОРЕМЫ
759
два значения а и Ь (а<Ь) с вероятностями P{pl=a} = q1 Р{р{ = &} = /?,
p+q = l,0<p<l. Пусть при этом
-\<a<r<b. (25)
Так описанная модель (β, 5)-рынка носит название CRR-модели по
именам ее авторов Кокса, Росса и Рубинштейна (J. С. Сох, R. A. Ross,
M.Rubinstein; подробнее см. в [100]).
Поскольку в этой модели
Sn_ _ (\+рп\ Sn-\
то понятно, что мартингальная мера г должна быть такой, чтобы
1+г
т. е. чтобы Ёрп = г.
Если обозначить ρ = P{prt = &}, q = P{prt = α}, то находим, что при
любом η ^ 1
р + <7 = 1, bp + aq = r.
Отсюда
г-а _ 6-г /ос.
/> = F^- ί = ϊΖϊ· (26)
В рассматриваемом случае вся «случайность» определяется бернул-
лиевской последовательностью р=(р\, />2» ···, Ρν)- Будем считать, что
Ω = {α, b}N', т. е. пусть пространство элементарных исходов состоит из
последовательностей (x\t ..., хм) с χ,·=α или &. (Это предположение
о специальной, точнее, «координатной», структуре пространства Ω не
ограничивает общности рассмотрений; см. в связи с этим также конец
доказательства достаточности в теореме 2 п. 6.)
В качестве упражнения (задача 3) предлагается показать, что мера
Р = Р(*ь Х2, ..., χν), определенная так, что
P(xlt .... xn) = P*{Xi XN)qN-UbiXl Ч (27)
Ν
где 1/ь(х\, ..., χν) = Σ h(*i) — число тех jc,·, которые равны fc, является
ι = 1
мартингальной мерой, к тому же единственной.
Из (27) ясно, что Р{рп = Ь} = ρ и P{pn = a} = q.
Таким образом, из теоремы 1 выводим, что CRR-модель дает пример
безарбитражного (β, 5)-рынка.

760
ГЛ. VII. МАРТИНГАЛЫ
Пример 2. Будем предполагать, что (β, 5)-рынок имеет следующую
структуру: Вп = 1 для всех η = 0, 1, ..., /V и
л
Sn = S0e&P\ K/z^/V. (28)
Пусть Pfc = Mfc-f σ>ε^, где μ^ и σ>>0 являются <^_ι-измеримыми, а
(ει, ..., ε:/ν) образуют последовательность независимых стандартных гаус-
совских случайных величин, ε^~ο/Κ(0, 1).
Будем строить требуемую мартингальную меру Ρ (на (Ω, &ν)) с
помощью условного преобразования Эшера, а именно, пусть Ρ(άω) =
= ΖΝ(ω)Ρ{άω) с ΖΝ(ω) = f\ zk(u>) и (с ^0 = {0, Ω})
^SEH|/H)' (29)
где <^_i -измеримые величины а^ = ак(и) надо сейчас выбрать так, чтобы
последовательность (Sn)o^n^N была относительно меры Ρ мартингалом.
В силу представления (28) мартингальность по мере Ρ равносильна
тому, что (относительно исходной меры Р) при всех l^n^N
E[e(an+i)Pn \&n^x\ = E[ea"fi» \&n-\l (30)
Поскольку Ρη—Ρ·ηΛ-οηεη, то из (30) находим, что величины ап должны
быть выбраны так, чтобы
л
βη + γ = -αηση,
т. е.
При таком выборе величин ап, l^n^N, находим, что плотность Ζ^(ω)
задается формулой
Z,H-exp{-|:[(S + f>„ + i(S + T)!]}· <31>
σ2
Если изначально μη = —-^ при всех 1^/z^/V,toP = P. Иначе говоря, в
этом случае сама исходная мера Ρ будет мартингальной.
Итак, рассматриваемый (β, 5)-рынок с В = (Вп)о^п<^м такими, что
βΛΞ 1, и S = (Sn)o<rt^yv, где Sn описываются представлением (28),
является, как и в примере 1, безарбитражным. В качестве упражнения (задача 4)
предлагается исследовать вопрос о том, является ли построенная выше
мартингальная мера Ρ единственной.

§11. ФУНДАМЕНТАЛЬНЫЕ ТЕОРЕМЫ
761
6. Вводимое ниже понятие полноты (В, 5)-рынка представляет для
стохастической финансовой математики значительный интерес, поскольку
(вне зависимости от того, является рассматриваемый рынок
безарбитражным или арбитражным) оно связано с естественным вопросом о том,
когда для заданного «^-измеримого «платежного поручения» /# можно
найти самофинансируемый портфель π, капитал Xfi которого в точности
воспроизводит (или по крайней мере не меньше) /#.
Определение 3. (β, 5)-рынок называется полным (по отношению к
моменту времени /V) или /V-полным, если всякое ограниченное
«^-измеримое «платежное поручение» /# является воспроизводимым, т. е.
существует такой самофинансируемый портфель π, что Xfi = /# (Р-п. н.).
Теорема 2 («вторая фундаментальная теорема»). Как и в
теореме 1, пусть (Ω, «^, {&η)θζηζΝ* Ρ) — фильтрованное вероятностное
пространство, «^о = {0, Ω}, &Ν=:#, и заданный на нем (β, 5)-рынок
является безарбитражным (М(Р)^0).
Для того чтобы этот рынок был полным, необходимо и
достаточно, чтобы существовала лишь единственная мартингальная
мера(\ЩР)\ = \).
Доказательство. Необходимость. Пусть рассматриваемый рынок
является полным. Это означает, что для всякого «^-измеримого
ограниченного «платежного поручения» /# найдется самофинансируемый
портфель π = (β, 7) такой, что Xfi = /V (Р-п. н.). Без ограничения общности
можно считать, что β„ = Ι, Ο^η^Ν. Тем самым из (13) находим, что
N
*=1
В силу сделанного предположения безарбитражности множество мар-
тингальных мер М(Р) φ 0. Покажем, что предположение полноты влечет
за собой единственность мартингальной меры (|М(Р)| = 1).
Пусть Р1 и Р2 —две мартингальные меры. Тогда относительно каждой
из этих мер последовательность Ι Σ 7*Δ^ 1 является мартингаль-
\k=\ J ί^η^Ν
ным преобразованием.
Возьмем некоторое множество А €«^ и положим /WM — M^).
Поскольку (Р-п. н.) для некоторого π
N
то из теоремы 3 § 1 вытекает, что последовательность I ^ 7*Δ5* )

762
ГЛ. VII. МАРТИНГАЛЫ
является мартингалом по каждой из мер Р1 и Р. Следовательно,
ΕΡ,ΙΑ(ω) = χ, /=1,2, (33)
где Ер, —усреднение по мере Р1', a χ = Χζ, что есть константа, поскольку
J?b = {0, Ω}.
Из (33) вытекает, что Р!(Л) = Р2(Л) для любого множества Ае&м.
Тем самым единственность мартингальной меры установлена.
Доказательство достаточности несколько более сложно и будет
проведено в несколько этапов.
Пусть рассматривается безарбитражный (В, 5)-рынок (М(Р)^0), к
тому же такой, что мартингальная мера является единственной (|М(Р)| = 1).
Полезно отметить, что и предположение о единственности
мартингальной меры, и предположение о полноте являются сильными
ограничениями. Более того, оказывается, что эти предположения автоматически
влекут за собой то, что траектории 5 = (Sn)o^n^N имеют структуру
«условного двуточия», что будет объяснено ниже. (Примером может служить
CRR-модель Δ5Λ=ρΛ5Λ_ι, гдерл принимают лишь два значения и, значит,
условные вероятности Ρ(Δ5Λ € · \&п-\) сосредоточены всего лишь в двух
точках, aSn-ι и bSn-\.)
Единственность мартингальной меры (|М(Р)| = 1) накладывает также и
ограничения на структуру фильтрации (&η)η^Ν· Оказывается, что
автоматически cr-алгебры &п должны быть σ-алгебрами, порожденными
ценами So, Si, ..., Sn (предполагается сейчас, что β^= 1, k <*п). См. по этому
поводу диаграмму на с. 610 в [100] и § 4е в гл. V там же.
В качестве одного из промежуточных результатов на пути
установления импликации «|М(Р)| = 1 => полнота» докажем следующее полезное
утверждение, дающее эквивалентную характеризацию полноты на
безарбитражном рынке.
Лемма 2. Для того чтобы безарбитражный (В, Э)-рынок был
полным, необходимо и достаточно, чтобы в множестве М(Р) всех
мартингальных мер нашлась мера Р, обладающая тем свойством,
что всякий ограниченный мартингал т — (тп, &п, P)o^rt^yv допускал
бы « — -представление»',
в
/π„ = /^ + Σ>*Δ(Ι*) (34)
с некоторыми предсказуемыми величинами η%, X^k^n.
Доказательство. Пусть рассматриваемый (В, 5)-рынок является
безарбитражным и полным. (Без ограничения общности можно полагать
βΛ=1, Ο^η^Ν.)

§11. ФУНДАМЕНТАЛЬНЫЕ ТЕОРЕМЫ
763
Возьмем произвольную меру Ρ из М(Р), и пусть т = (тп, &п, P)o^rt<yv —
некоторый ограниченный (\mn\^c,Q^n^N) мартингал. Положим /уу = т#.
Тогда в соответствии с определением полноты (см. определение 3) найдется
портфель π* = (/?*, 7*) такой, что Xfi* = /#, при этом для всех Οζη^,Ν
*Г =* + ]>>* AS* (35)
k=\
cx = Xf.
Поскольку Λ^* = In ^cf то последовательность Хп* = (Х%*, &η, Ρ)ο^η^Ν
будет мартингалом (см. теорему 3 в § 1). Тем самым у нас имеется
два мартингала т и Χπ* с одним и тем же терминальным
значением /# (Xfi* =туу = /#). Но по определению мартингального свойства
mn = E(mN\#n) и X** = Е(Л^* |<^„), O^n^N. Значит, мартингалы
Леей т и А^* совпадают и, следовательно, в силу (35) для мартингала
fw = (m„, &nt P)o</i^yv справедливо «S-представление»:
/г
"ΐ«=* + ΣΎ*Δδ*· Κη<Ν, (36)
*=ι
с jc = mo.
Докажем обратное утверждение («S-представление» ^ полнота).
По предположению существует мера Ρ е М(Р) такая, что всякий
ограниченный Р-мартингал допускает «S-представление».
Возьмем в качестве такого мартингала X = (Хп, &п, Ρ)ο^η^Ν мартингал
с Хп — E(/yv |«^п), где Ё —усреднение по мере Ρ и /# есть то «платежное
поручение», о котором идет речь в определении 3 и для которого нужно
найти самофинансируемый портфель π такой, что Xfi = /# (Ρ- и Р-п. н.).
Рассмотрим для (ограниченного) мартингала Х=г(Хп, &п, Ρ)ο^η^Ν его
«S-представление»
η
Χη=Χο + Σ^Α5* (37)
с некоторыми <^_ ι-измеримыми величинами 7*.
Покажем, что отсюда можно вывести, что существует
самофинансируемый портфель π = (/3,7) такой, что Х%=Хп для всех Ο^η^Ν и, в
частности, /уу =XN =Xfi допускает представление
N
требуемое в определении 3.

764
ГЛ. VII. МАРТИНГАЛЫ
Имея представление (37), положим 7л = 7л и определим
Pn=Xn-lnSn. (39)
Из (37) следует, что величины (Зп являются <^_ ι -измеримыми. При этом
5„_ι Δ% + Δβη = Sn-1 ΔΊη + ΔΧη - Δ(7«5„) =
= Srt_1A7rt+7rtA5rt-A(7rtSrt) = 0.
Тем самым в соответствии с п.З построенный портфель 7г = (/3, 7)
является самофинансируемым и Xfi=:fNi т. е. выполнено свойство /гол-
ноты. D
С учетом этом леммы мы видим, что для полного доказательства
теоремы надо проверить справедливость импликации {3} в следующей цепочке
импликаций
{3!
|М(Р)| = 1 =££> 5-представление <Й^ полнота =^ |М(Р)| = 1
J?L
Jli
(Импликация {1} была установлена в доказательстве «необходимости»,
импликация {2} — в предыдущей лемме.)
Чтобы сделать более прозрачным доказательство импликации {3},
рассмотрим частный случай (β, S)-pbiHKa, описываемого CRR-моделью.
Выше было отмечено (пример 1), что для этой модели мартингальная
мера Ρ является единственной (|М(Р)| = 1). Так что надо понять,
почему здесь имеет место «S-представление» (относительно мартингальной
меры Р). Оказывается, и это уже отмечалось выше, ключевым
обстоятельством является то, что величины рп в (4) принимают только два значения
α и & и, как следствие этого, условные распределения Ρ(Δ5Λ€· \&η-\)
сосредоточены всего лишь в двух точках («условное двуточие»).
Итак, будем рассматривать CRR-модель, изложенную в примере 1,
и дополнительно предположим, что &п = σ(ρ\, ..., рп) для 1 ^ л < /V
и ^o = {0t Ω}. Через Ρ обозначим мартингальную меру на (Ω, ^),
определяемую формулой (27).
Пусть X = {ХП1 &п, Ρ)ο^η^Ν — ограниченный мартингал. Тогда
найдутся функции gn = gn(xu ...,хп) такие, что UiM = &i(PiM, ···. Р«М) и»
значит,
&Xn = gn(pu .... Рп)- gn-\(p\> ..., Рп-\)·
Так как Ε(ΔΧη \&η-\) = 0, то
pgn{p\, .... Р«-ь b) + qgn(pu ..., Ρ«-ι, α) = £Λ-ι(ρι, .·, Рп-\)>

§11. ФУНДАМЕНТАЛЬНЫЕ ТЕОРЕМЫ
765
т. е.
gn(p\ Рп-\> fr)-gw-l(Pl Рп-\) _
Q
gn-\(P\ Рп-\)- ёп(р\ ΡΛ-ι,α)
Поскольку ρ = τ—-, Q = ~f~~> το из ^) находим, что
(40)
gn(P\ Рп-Ъ Ь)- gn-\(p\ Pn-\)
b-r
gn(p\ Prt-1, a)- gn-\(p\, ■·., Pn-\)
(41)
a-r
Положим μη({α}\ω) = Ι(ρη(ω) = α), μΑ({6}; ω)=^Ι(ρη{ω) = ϋ)1 и пусть
Wnfa *) = £«(ΡιΜ, .... P«-iM, x)-gn-i(pi(u>)i ..., p„-iM, x),
Λ ' X -Г
С учетом этих обозначений видим, что
ΔΧη(ω)=Ψη(ω, a,M) = S U7„(u;t χ)μ«(έίχ; ω) = $ (x-r)U^(u;, χ)μ„(ί/χ; ω).
В силу (41) функции Ψ*(ω9 χ) не зависят от х. Поэтому, обозначая
выражения в левой (равносильно, в правой) части (41) через 7л М» находим,
что
ΔΧ„Μ = 7;Μ(ρ«Μ-γ). (42)
Таким образом,
η
Χη(ω) =Χ0(ω) + ]Г 7* Μ (ρ*Μ - г). (43)
/г=1
Легко видеть, что
д ($п\ — ^я-> Ря ~^
UJ Вя-х * 1+г '
Поэтому
W
и, следовательно, из (43) видим, что
«■-'■<'+"Ьа(е)
ад-ад+Ё*·4^)· (44)
*=1

766
ГЛ. VII. МАРТИНГАЛЫ
где
7*M=7£M(i+r)§^.
Относительно меры Ρ последовательность 77 = (тг·) является
В \BnJo^n^N
мартингалом. Тем самым вышеприведенное соотношение (44) есть не что
5 —
иное, как « — -представление» для X относительно (базисного) Р-мартин-
D
S
гала —.
и
В проведенном доказательстве импликации {3} для CRR-модели (в
которой |М(Р)| = 1) ключевым моментом было то, что величины рп принимают
лишь два значения. Оказывается, однако, что предположение
единственности мартингальной меры Ρ является столь сильным, что и в общем
Δ5«
случае из него следует «двуточечная» структура величин рп — т,— · су-
ществуют такие предсказуемые αη = αη{ω) и Ьп = Ьп(и), что
P(Pn = an\&n-l) + P(Pn = bn\&n-l)=\. (45)
Если это свойство принять на веру, то тогда данное выше доказа-
5
тельство « — -представления» в CRR-модели будет «работать» и в общем
и
случае. Таким образом, все, что остается, — это установить свойство (45).
Предлагая самостоятельно убедиться в справедливости этого результата
(задача 5), приведем тем не менее некоторые наводящие соображения,
показывающие, как наличие единственной мартингальной меры приводит
к «условному двуточию».
Пусть Q = Q(dx) — некоторое распределение вероятностей на (/?, S8(R))
и ξ = ξ(χ) — координатно заданная случайная величина (ξ(χ) = χ). Пусть
Eq|£|<oo, Eq£ = 0 («мартингальное свойство») и мера Q обладает тем
свойством, что если другая мера Q такова, что Е§|£|<оо и Е§£ = 0, то
непременно Q = Q («единственность мартингальной меры»).
Утверждается, что тогда носитель меры Q сосредоточен не более нем
в двух точках (а ^ 0 и Ь > 0) с возможным их «слипанием» в «нулевую»
точку (а = & = 0).
Те наводящие соображения, о которых было упомянуто выше и которые
делают последнее сформулированное утверждение весьма
правдоподобным, состоят в следующем.
Предположим, что мера Q сосредоточена в трех точках х_, *о, х+,
упорядоченных так, что х- <*о^х+, с массами q~, qo, q+ соответственно.
Условие Eq£ = 0 означает, что
q -х- + 4о*о + q+x+ = 0.

§ 12. О РАСЧЕТАХ, СВЯЗАННЫХ С ХЕДЖИРОВАНИЕМ
767
Если хо = 0, то тогда q-X- + q+x+ = 0.
Положим
q- = q-f, 9o=5 + y. Q+ = T> (46)
т. е. «перекачаем» части масс q- и q+ в точках х- и х+ в точку *о.
Из (46) видно, что соответствующая мера Q~Q и E^f = 0, причем
Q^Q.
Но это противоречит предположению единственности меры Q со
свойством Eq£ = 0.
Следовательно, мера Q не может быть сосредоточена в трех точках
(jc_, *о, х+) с jco = 0. Подобным же образом, основываясь на идее
«перекачивания масс», рассматривается и случай хо φ 0. (Подробнее см. § 4е
гл. Vb [100].) D
7. Задачи.
1. Показать, что в случае /V = 1 условие отсутствия арбитража
равносильно выполнению неравенств (18). (Предполагается, что Ρ{Δ5ι =0}< 1.)
2. Показать, что в доказательстве леммы 1 (п. 4) возможность 2)
исключается условиями (19).
3. Доказать, что мера Ρ в примере 1 (п. 5) является мартингальной
мерой и при этом единственной в классе М(Р).
4. Исследовать вопрос о единственности мартингальной меры,
построенной в примере 2 (п. 5).
5. Докажите, что в (β, S)-модели предположение |М(Р)| = 1 влечет
«условное двуточие» для распределения величин -^-, l^n^N.
§ 12. О расчетах, связанных с хеджированием
в безарбитражных моделях
1. Хеджирование (hedge — забор) является одним из основных
методов динамического управления портфелем ценных бумаг. Ниже излагаются
некоторые основные положения и результаты этого метода на примере
расчетов так называемых опционных контрактов (попросту — опционов).
Будучи производными ценными бумагами, опционы (как
инструменты финансовой инженерии) имеют достаточно высокий риск. Но в то же
самое время они (в комбинации с другими ценными бумагами, например,
с фьючерсами) с успехом используются не только с целью получения
дохода за счет «рыночного» изменения цен, но и как средство защиты
(хеджирования) при драматическом их изменении.
Опцион (option — выбор) — это ценная бумага (контракт), выпускаемая
финансовыми институтами и дающая ее покупателю право купить или

768
ГЛ. VII. МАРТИНГАЛЫ
продать определенную ценность (скажем, акцию, облигацию, валюту) в
оговоренный период времени или момент времени на заранее
оговариваемых условиях.
Отметим, что если опцион дает право на покупку или продажу, то
такой, например, финансовый инструмент, как фьючерс (или фьючерсный
контракт) — это соглашение, в соответствии с которым покупатель обязан
купить или продать определенную ценность в определенный момент
времени в будущем по (фьючерсной) цене, фиксируемой в момент заключения
соглашения.
Один из основных вопросов, относящихся к расчетам опционов,
заключается в следующем: по какой цене опционы должны продаваться?
Понятно, что их продавец желает получить «побольше», покупатель же
хочет заплатить «поменьше». Что есть «справедливая», «рациональная»
цена, на которую должны соглашаться обе стороны — и продавец, и
покупатель?
Естественно, что эта «справедливая» цена должна быть «разумной».
А именно, покупатели должны понимать, что покупка опциона по
более низкий цене может не дать гарантии того, что продавец выполнит
свои обязательства, оговоренные в соглашении, поскольку полученных им
«премиальных» может просто оказаться недостаточно для составления
портфеля, гарантирующего выполнение «платежного поручения».
В то же самое время величина этих «премиальных» не должна давать
продавцу арбитражных возможностей типа «free lunch», т. е. возможностей
получения безрискового дохода.
Прежде чем дать определение того, что же следует понимать под
«справедливой» ценой опционов, остановимся на некоторой общепринятой их
классификации.
2. Будем рассматривать (β, 5)-рынок, B = (Bn)0^n^Ni S = (Sn)o^n^Nt
функционирующий в моменты времени /г = 0, 1,...,jV и определенный
на фильтрованном вероятностном пространстве (Ω, <^\ (&n)o^n^N> P) с
Рассматриваемые далее опционы будут строиться на акциях,
стоимость которых описывается последовательностью S = (Srt)o<rt<yv·
По времени исполнения опционы делятся на два типа: Европейские и
Американские.
Если опцион может быть предъявлен к исполнению только в
фиксированный в контракте момент времени /V, то говорят, что /V — момент
исполнения, и такой опцион называется опционом Европейского типа.
Если же опцион может быть предъявлен к исполнению в любой
марковский момент (или момент остановки; см. определение 3 в § 1) τ = τ(ω),
принимающий значения в оговоренном условиями контракта множестве

§ 12. О РАСЧЕТАХ, СВЯЗАННЫХ С ХЕДЖИРОВАНИЕМ 769
{О, 1, ..., /V}, то говорят, что рассматриваемый опцион является опционом
Американского типа.
Согласно общепринятой терминологии, различают следующие два
класса опционов:
(1) опционы покупателя (call option, отсюда происходит название
опцион-колл)\ и
(2) опционы продавца (put option, опцион-пут).
Отличаются эти два класса тем, что опционы-колл дают право
покупки, а опционы-пут — право продажи.
Для определенности остановимся на примерах стандартных
опционов Европейского типа.
Такие опционы характеризуются двумя константами: /V — время
исполнения и К — цена покупки (для опциона покупателя) или цена продажи
(для опциона продавца).
Если вдруг окажется, что в момент времени /V «рыночная» цена S# > К,
то по условиям контракта опциона-колл покупатель опциона будет иметь
право купить акцию по цене /(. Тут же ее продавая по «рыночной» цене Sn,
он получит таким образом доход Sn — К. Если же окажется, что Sn < К, то
оговоренным контрактом правом покупки по цене К бессмысленно
пользоваться, поскольку покупатель может купить акцию и по более низкой
«рыночной» цене Sn.
Таким образом, объединяя оба эти случая, находим, что доход
покупателя в момент времени /V будет определяться величиной
fN = (SN-K)+, (1)
где а+ = тах(а, 0). «Чистый» же его доход будет равен этой величине за
вычетом тех «премиальных», которые он выплатил продавцу опциона.
Аналогичным образом, доход покупателя опциона-пут будет
определяться формулой
fN = (K-SN)+. (2)
3. При определении «справедливой» стоимости на безарбитражном
(В, 5)-рынке следует различать два случая — полного и неполного рынка.
Определение 1. Пусть (В, 5)-рынок является безарбитражным и
полным. «Справедливой» ценой опциона Европейского типа с платежной
&ы -измеримой ограниченной (неотрицательной) функцией /# называется
цена совершенного хеджирования, т. е. величина
C(/yv;P) = inf{jt: 3π с Х$=х и Х% = fN (Р-п.н.)}. (3)
В связи с этим определением отметим, что портфель π называется
хеджем платежного поручения /#, если с Ρ-вероятностью единица Χβ ^ /уу.

770
ГЛ. VII. МАРТИНГАЛЫ
Из § 11 следует, что в случае полных безарбитражных рынков
существует совершенное хеджирование π ограниченных «платежных
обязательств», т. е. такое, что Xfi = fN (Ρ-п. н.). Именно этим и объясняется,
почему в определении (3) рассматривается (непустой) класс портфелей со
свойством Xfi = /# (Р-п. н.).
В случае же неполных безарбитражных рынков естественно
следующее
Определение 2. Пусть (β, 5)-рынок является безарбитражным.
«Справедливой» ценой опциона Европейского типа с платежной
«^-измеримой ограниченной (неотрицательной) функцией /# называется цена
суперхеджирования, т. е. цена
C(fN\P) = ini{x: 3KcXS=xnXJS^fN (Р-п.н.)}. (4)
Заметим, что данное определение корректно — для всякой
ограниченной функции /уу заведомо найдется портфель π с некоторым начальным
капиталом χ такой, что Xfi > /уу (Р-п. н.).
4. Приведем теперь формулу для цены С(/уу; Р), дав ее доказательство
в случае полных рынков и отсылая к специальной литературе (см.,
например, § 1с гл. VI в [100]) в случае неполных рынков.
Теорема 1. 1) В случае полных безарбитражных (β, Э)-рынков
«справедливая» цена опциона Европейского типа с платежной
функцией /уу определяется формулой
С(/„;Р) = ЯоЕр^, (5)
где Ер — математическое ожидание по (единственной) мартин-
гальной мере Р.
2) В случае общих неполных безарбитражных (5, Бурынков
«справедливая» цена опциона Европейского типа с платежной
функцией /уу определяется формулой
С(/уу;Р)= sup 50ЕрЖ (6)
Р<=М(Р) DN
где sup берется по множеству всех мартингальных мер М(Р).
Доказательство. 1) Пусть π — некоторый совершенный хедж с
X* = xwXfi = fN (Р-п.н.). Тогда (см. (15) в§ 11)

§ 12. О РАСЧЕТАХ, СВЯЗАННЫХ С ХЕДЖИРОВАНИЕМ 771
и, значит, в силу теоремы 3 из § 1
Ε>1=£· <8>
поскольку мартингальное преобразование ( — + Σ 7*Δ( б^· ) ) та_
ково, что в «терминальный» момент /V
i+EWt)=£»°- <9>
Заметим, что левая часть в (8) не зависит от структуры
рассматриваемого хеджа π с начальным значением Xfi = х. Если же теперь π' —
другой хедж с начальным значением Χζ , то, согласно (8), это значение
снова равно BqEb-^-. Отсюда ясно, что начальное значение χ для всех
В ν
совершенных хеджей одно и то же, что и доказывает формулу (5).
2) Здесь мы докажем лишь неравенство
sup В0Ер^С(/*;Р). (10)
Р<=М(Р) ΰΝ
(Доказательство обратного неравенства требует так называемого
«опционального» разложения, выходящего за рамки настоящей книги; см. §§ 1с
и 2d гл. VI в [100].)
Предположим, что хедж π таков, что Xq=x и Xfi ^ /# (Р-п. н.).
Тогда из (7) находим, что
и, значит, для любой меры Ρ € М(Р)
(ср. с (8) и (9)). Отсюда, беря супремум в левой части по всем мерам
Ρ Ε М(Р), приходим к требуемому неравенству (10). Π
5. Остановимся на некоторых определениях и результатах,
относящихся к опционам Американского типа. Для таких опционов приходится
предполагать, что задана не одна платежная функция /#, относящаяся к
моменту времени Nt а целый набор функций /о, /ι, ..., /yv, смысл
которых состоит в том, что если опцион предъявляется покупателем в момент
ВоЕр-^^х

772
ГЛ. VII. МАРТИНГАЛЫ
времени л, то соответствующая выплата (продавцом опциона покупателю)
определяется (^-измеримой) функцией fn= fn(u).
Если покупатель опциона решил предъявить опцион к исполнению в
момент времени τ = τ(ω), являющийся марковским моментом со
значениями из множества {0, 1, ..., /V}, то тогда значение платежной функции
будет равно /тмМ, и» следовательно, продавец опциона при составлении
своего портфеля ценных бумаг π должен всегда предусматривать, чтобы
для всякого τ было выполнено условие хеджирования в следующем виде:
*?>/г(Р-п.н.).
Это поясняет целесообразность следующего определения.
Определение 3. Пусть (β, 5)-рынок является безарбитражным.
«Справедливой» ценой опциона Американского типа с системой / =
= {fn)o^n^N «^-измеримых неотрицательных платежных функций fn
называется верхняя цена суперхеджирования, т. е. цена
C(/;P) = inf{x: 3π с Х$ = х и Х%^ fn (Р-п.н.), O^n^N}. (11)
Приведем (без доказательства) аналог теоремы 1 для случая опционов
Американского типа.
Теорема 2. 1) β случае полных безарбитражных (β, 5)-рынков
«справедливая» цена опциона Американского типа с системой
платежных функций f = (fn)0^n^N определяется формулой
С(/;Р)= sup В0Ер£-, (12)
r€smjf ΰτ
где WIq ={t: t^/V} — класс моментов остановки (относительно
(<^/i)o^/i^yv) и Ρ — единственная мартингальная мера.
2) В случае общих (неполных) безарбитражных (β, S)-рынков
«справедливая» цена опциона Американского типа с системой
платежных функций f = (fn)o^n^N определяется формулой
С(/;Р)= sup β0ΕΡ^, (13)
rem», p<=M(P) Dt
где М(Р) — совокупность всех мартингальных мер Р.
Доказательство см. в § 2с гл. VI в [100].
6. Приведенные выше теоремы отвечают на вопрос о том, как для
опционов определяется их «справедливая» цена.
Не менее важен и вопрос о том, а как продавцу опциона строить
хеджирующий портфель π*, получив «премию» С(/#; Р) или С(/; Р).
Ограничимся для простоты изложения рассмотрением лишь случая
полного (β, 5)-рынка опционов Европейского типа.

§ 12. О РАСЧЕТАХ, СВЯЗАННЫХ С ХЕДЖИРОВАНИЕМ 773
Теорема 3. Пусть (β, S)-punoK является безарбитражным и
полным.
Существует самофинансируемый портфель π* = (/?*, 7*) с
начальным капиталом Xfi* =С(/лГ, Р), осуществляющий совершенное
хеджирование платежного обязательства /#:
Xjf = fN(P-n.H.).
Динамика капитала Х%* =/?*βΛ + 7«5Λ, Οζη^Ν, определяется
формулами
х;'=ВяЕр(&.\*п). (14)
Компонента 7* = (Tinh^n^N хеджа π* = (/?*, 7*) находится по
значениям Хж* = (X%*)o^n^N из формулы
<€)->■·*(%:)■ (,5>
а компонента β* — (/?п)о<л<лг — из формулы
*„**=№+7;s„. (16)
Доказательство теоремы непосредственно следует из доказательства
5
импликации «полнота» => « — -представление» в лемме 2 из § 11, приме-
D
ненной к мартингалу m = (mn)o^n^N с тп = Ep(j^- \&Λ·
7. В качестве примера реальных расчетов опционов рассмотрим
(β, 5)-рынок, описываемый CRR-моделью:
Brt = firt_,(l+r),
Sn = Sn-\(l+Pn),
где p\t ..., ры — независимые одинаково распределенные случайные
величины, принимающие два значения a w b, —I <a<r<b.
Этот рынок является безарбитражным и полным (см. задачу 3 в § 11)
с мартингальной мерой Ρ такой, что Р{рп = Ь} = /?, Р{рп = a} = q, где
Р = г . Я = г · (18)
г Ъ-а Ъ-а
(См. пример 1 в п. 5 § 11.)
Согласно формуле (5) из теоремы 1, для рассматриваемого (β, S)-pt>iH-
ка «справедливая» цена
С(^;Р) = ЕР(ГТ^· (19)

774
ГЛ. VII. МАРТИНГАЛЫ
И, согласно теореме 3, для отыскания совершенного хеджирующего
портфеля π* = (/?*, 7*) наД° прежде всего вычислить
Χ·**-Ερ((ϊίν·) (20)
(с &п = σ(ρ\, ..., рп), 1 < η ^ /V, и ,^Ό = {#» Ω}) и затем найти 7« и /?* из
формул (15) и (16).
Поскольку Xfi* =C(In\ Ρ), то все сводится к отысканию условных
математических ожиданий, стоящих в правой части (20), для /ζ = 0, 1, ..., N.
Будем предполагать, что ^-измеримая функция fN имеет
«марковскую» структуру, т. е. /yv = f(Su)t где / = f(x) — некоторая неотрицательная
функция от χ > 0.
Обозначим
η
Fn(x- p) = £ f(x(l+b)k(l+a)a-k)Cknpk(l- ρ)*'*. (21)
С уче^м того, что
JJ (1+ΡΛ) = (1+&)Δ^-Δ«(1+α)^-Λ)-^-Δ«>,
где Δ„ = ίι + ... + £„, <^ = р*"~ а, находим:
ρ — α
(22)
г —α
r b-a
Учитывая также, что Su=Sn Π 0+Рл). И3 (21) и (20) получаем,
n<k^N
ЧТО
^;*=Ер(ц^|^п)=(1+г)-л/^_п(5й; р). (23)
В частности,
СШ P)=*<f =(1 +r)-NFN(So\ β). (24)
Наконец, из (15), учитывая (23), находим, что η* = Δί~-) /δ(-^-)
определяется следующей формулой:

§ 12. О РАСЧЕТАХ, СВЯЗАННЫХ С ХЕДЖИРОВАНИЕМ 775
Для отыскания β* заметим, что в силу условия самофинансируемости
Вп-1Δ/Ε + Srt_, Δ7λ* = 0. Поэтому
x£x=ttBn-i+<y:sn-i (26)
и, значит,
/?:=^:,-7П*5я_, (27)
Dn—\
Отсюда и из представлений (23) и (25) видим, что
^ = ^{^-«+i(5rt-i; W - f±J[/^-«(Sn-i(1 + «; W-
-Fyv_rt(5rt-i(l+a);p)]}. (28)
Наконец, посмотрим, какой вид принимает, например, формула для
«справедливой» цены С(/уу; Р) в случае стандартного опциона
покупателя (опциона-колл), т. е. когда функция /# = (Sn - К)+.
Пусть /Со = /Со (я, &, N; у J есть то наименьшее целое, для которого
т. е. пусть
*<»+<{£§)*>*· (29)
*>-,+[ta3^/,n£i]· (30)
где [jc] — целая часть числа х.
Если положить
• 1+Ь .
Ρ = ТТ7Р'
г — а
N
B(/Co,yV;p)=^ CkNpk(l-p)N-k, (31)
A=#fo
то из (24) нетрудно вывести следующую формулу
(Кокса—Росса—Рубинштейна) «справедливой» цены (обозначаемой сейчас Суу) для
стандартного опциона-колл:
Cyv=S0B(/Co, /V; p*)-K(l+r)-NB(Ko, /V; ρ). (32)
Если /Со > /V, то Суу = 0.
Замечание. Поскольку
(/С-5*)+ = (5*-/0+-$* + /С,

776
ГЛ. VII. МАРТИНГАЛЫ
то «справедливая» цена стандартного опциона продавца (опциона-
пут), обозначаемая Р# (=С(/лг, Ρ) с fu = (/C -S^)+), определяется
формулой
YN = E(\+r)-N(K-SN)+=CN-E(\+ryNSN + K{\+rrN.
Поскольку Ё(1 +r)~NSu = So, то, очевидно, имеет место тождество «па-
ритета колл-пут»:
Pyv=CyV-S0 + /C(l+r)-yv. (33)
8. Задачи.
1. Найти цену C(/W; Р) для стандартного опциона-колл с /# = (S# - К)+
для модели (В, 5)-рынка, рассмотренного в примере 2 п. 5 § 11.
2. Попытайтесь доказать справедливость обратного неравенства в
формуле (10).
3. Докажите формулу (12) и попытайтесь доказать формулу (13).
4. Дать подробный вывод формулы (23).
5. Доказать формулы (25) и (28).
6. Привести подробный вывод формулы (32).
§ 13. Задачи об оптимальной остановке.
Мартингальный подход
1. С примером задачи, относящейся к теории «оптимальных правил
остановки», мы уже сталкивались при описании «справедливой» цены
опционов Американского типа. Именно, формула (12) в § 12 показывает,
что для отыскания этой цены требуется (в упрощающих предположениях
βΛ = 1, Ο^/z^/V, и Р = Р) найти величину (также называемую «ценой»)
V»= sup E/T, (1)
где / = (/о, /ь ···» /yv) есть последовательность «^-измеримых
неотрицательных функций fn и г = τ(ω) — марковские моменты (или моменты
остановки) из класса 9Л^, состоящего из случайных величин τ = τ(ω),
принимающих значения в множестве {0, 1, ..., /V} и таких, что для каждого η
из этого множества
{or. т(и>) = п}е&п. (2)
(В этом параграфе мы предполагаем заданным некоторое фильтрованное
вероятностное пространство (Ω, <^\ («^л)л^о, Р) с «^Ό = {0. Ω}.)

§ 13. ЗАДАЧИ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ
777
Наряду с задачей (1), где τ = τ(ω) берутся из множества 9JIq\ интерес
представляет и задача отыскания величины («цены»)
V0~= sup Е/т, (3)
т€9И°°
где 9Ло° = {т: т<оо} и / = (/о, /ь ...) —стохастическая
последовательность ^-измеримых случайных величин /rt, /г ^ 0, с Е|/т| < оо.
Как в случае (1), так и в случае (3) требуется, помимо отыскания «цен»
Vo и ^о°°» на^ти также оптимальные моменты (если они существуют),
на которых достигается супремум.
Во многих задачах целесообразно допускать к рассмотрению также
марковские моменты, принимающие значение +оо. В этом случае при
рассмотрении Ε/т следует условиться о том, что понимается под /qq. Один из
естественных способов состоит в том, чтобы под /<» понимать значение
lim fn. Иной способ состоит в том, чтобы, допуская для г и бесконечные
η
значения, определять «цену» в виде
К0°° = sup E/r/(r<oo), (4)
т€9Я°°
где ЯЯо° — класс всех марковских моментов, ОТ§° = {τ:τ^ оо}. Очевидно,
что Vq°°= sup Е/т, если считать /оо = 0 (ср. с п. 3 в § 1).
rem™
В дальнейшем будем рассматривать лишь задачу (1). (По поводу
случая N = oo см. § 9 в гл. VIII.) Если не конкретизировать вероятностную
структуру последовательности / = (/о, /ι, ..., /W), то наиболее
эффективным методом решения задач (1) и (3) является описываемый ниже «мар-
тингальный» метод. (Не оговаривая этого каждый раз специально, будем
всегда предполагать, что Е|/„| <оо при всех η^Ν.)
2. Итак, пусть N <оо. Этот случай может быть рассмотрен методом
«индукции назад», реализуемым здесь следующим образом.
Наряду с Vq1 введем «цены»
VnN= sup E/T, (5)
rem»
где 9Л^ = {τ: η ^ τ ^ /V} — класс моментов остановки таких, что η ^ τ(ω) ^ /V
для всех ω € Ω.
Введем также индуктивно стохастическую последовательность υΝ =
-(Ρη)^η^Ν по следующему правилу:
*N = to. vH =max(/„, E(itf+I \*n)) (6)
для η = /V - 1, ..., 0.

778
ГЛ. VII. МАРТИНГАЛЫ
Положим для Οζη^Ν
T» = mm{n^k<N: fk = vNk]. (7)
С помощью введенных объектов решение задач об оптимальной
остановке (1) и (5) полностью описывается в следующем предложении.
Теорема 1. Пусть последовательность / = (/о, /ι, ..., In) такова,
что fn — ^-измеримы.
1) Для каждого η такого, что Ο^ηζΝ, момент
T? = mm{n^k^N: vNk=fk) (8)
является оптимальным в классе UR„:
Е/т*= sup E/T (=VnN). (9)
т€Ж»
2) Моменты τ^,Ο^η^Ν, являются оптимальными также в
следующем «условном» смысле: (Р-п. н.)
E(/r*|J^) = esssupE(/T|^). (10)
rem»
«Стохастические цены» ess sup E(fT\&n) совпадают с υ„\
esssupE(/r|<^) = ^ (P-п. н.) (11)
rem"
Если /г = 0, то
Если же η — Ν, то
VnN = Ev». (12)
V0N=v$. (13)
■ V# = Efo. (14)
3. Прежде чем переходить к доказательству, напомним определение
понятия существенного супремума ess sup ξα{ω) семейства ^"-измери-
мых случайных величин {ξαΜ, α €21}, использованного в формуле (10).
Необходимость введения этого понятия вызвана тем обстоятельством,
что рассмотрение просто sup ξα(ω) в случае несчетного множества 21
приводит к функциям (от ω € Ω), которые, вообще говоря, могут оказаться
не «^"-измеримыми.
Действительно, для всякого с G R
{ω: sup &*(и;КЛ = Π {ω: ξα{ω)ζή.
1 «e* J ^

§ 13. ЗАДАЧИ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ
779
Здесь множества Αα = {ω: ξα(ω)^ε} принадлежат & (т. е. являются
событиями). Однако в силу несчетности множества 21 нет гарантии,
что Π Аае&.
Определение. Пусть {ξα(ω), α €21} — семейство случайных величин
(т. е. «^"-измеримых функций, принимающих значения в (-оо, +оо)).
Говорят, что расширенная случайная величина ξ(ω) («^"-измеримая функция
со значениями в (-оо, +оо]) есть существенный супремум семейства
случайных величин {£αΜ, α €21} (обозначение: £(o/) = esssup ξαΜ), если
a) £М ^ ξα(ω) (Р-п. н.) для всех а € 21,
b) из того, что (расширенная) случайная величина η(ω) такова, что
η(ω)^ξα(ω) (Р-п. н.) для всех а€21, следует, что ξ(ω)ζη(ω) (Р-п. н.).
Иначе говоря, ξ(ω) есть наименьшая (расширенная) случайная
величина среди всех (расширенных) случайных величин, мажорирующих
величины ξα(ω) при всех а €21.
Конечно, надо прежде всего доказать содержательность данного
определения. Вытекает это из следующего предложения.
Лемма. Для всякого семейства {ξα(ω), а €21} случайных величин
существует (вообще говоря, расширенная) случайная величина ξ(ω)
(обозначаемая ess sup ξα(ω)) со свойствами а) и Ь) из определения.
Найдется счетное подмножество 21оС21 с тем свойством, что
в качестве такой величины может быть взята величина
ξ(ω)= sup ξα(ω).
α€&ο
Доказательство. Предположим сначала, что все величины ξα(ω),
α € 21, равномерно ограничены (|ξαΜΙ ^ с, ω € Ω, α € 21).
Пусть А — конечное множество индексов а €21. Положим S(A) =
= E(max ξα(ω)). Пусть, далее, 5 = sup5(/l), где супремум берется по
\а€А /
всем конечным подмножествам А С 21.
Обозначим для η ^ 1 через Ап конечное множество такое, что
E(maxfa(u;)) >S--.
Пусть 21ο= Π An- В силу счетности этого множества функция
ξ(ω)= sup ξα(ω)
α€21ο
является ^"-измеримой, т. е. является случайной величиной. (Заметим,
что |£(о/)|<с, так что ξ(ω) есть обычная, а не расширенная случайная
величина.)

780
ГЛ. VII. МАРТИНГАЛЫ
Из приведенной конструкции случайной величины ξ(ω) следует
(задача 1), что эта величина удовлетворяет требованиям а) и Ь) из данного выше
определения.
Тем самым, в случае равномерно ограниченного семейства {&*М,
а € 21} существование существенного супремума установлено.
В общем же случае надо от величин £α(ω) сначала перейти к
ограниченным величинам |a(u;) = arctg ξα(ω), для которых \ξα(ω)\^π/2, а€21,
ω € Ω, затем построить ξ(ω) = ess sup ξα(ω).
Величина ξ(ω) = tg ξ(ω) будет удовлетворять требованиям а) и Ь)
определения существенного супремума (задача 2). D
4. Доказательство теоремы 1. Зафиксируем индекс N и для
простоты записи будем его сейчас опускать.
Если η = Ν, то υ ν = /yv и т# =Ν, и свойства (9)—(12), (14) очевидны.
Теперь будем рассуждать по индукции.
Пусть утверждения теоремы установлены для n = Nt N — 1, ..., k.
Покажем, что они тогда верны и для η = k — 1.
Пуе^т€9Л*_1 (=Ш%_{) и Ae^k-\· Определим момент τ €WU,
полагая f = max(r, k). Поскольку f € 9Jt* и событие {τ ^ft}€^_i, находим,
что
Ε [А4 /г] = Ε [//1η{τ=Λ-1} /τ] + Ε [/>1П{г^> /г] =
-Е[/лп{г=^1>/г] + Е[/лп{г^>Е(/г|^-1)] =
= Е[/4пМ-1}/г] + Е[/^г^Е(Е(М^)|.?ы)]<
^Ef/^r^-n/^il + EI/^r^E^I^-OJ^E^t;^,]. (15)
В силу &k-\-измеримости множества А отсюда вытекает, что для
любого те9Як-\ (Р-п. н.)
E(/r|^-,Ki/*-,. (16)
Покажем теперь, что для момента τ*_ι с Ρ-вероятностью единица
Ε(/ΤΛ_,|^-,) = ι/*-,. (17)
(Если это равенство будет установлено, то в силу (16) получим, что
соотношения (10) и (11) справедливы и для η = k - 1.)
С этой целью достаточно показать, что в (15) для момента τ = τ*_ι на
самом деле всюду имеют место равенства.
Начиная так же, как в (15), и учитывая затем, что на множестве
{rk-i^k} по определению (5) имеем r = Tk и что (по предположению

§ 13. ЗАДАЧИ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ
781
индукции) E(fTk\&k) = vk (Р-п. н.), находим:
Е[/л/гл_|]=Е[/лп{гл_|=Л-1}/л-1] + Е[/у4п{гл_|^}Е(/гл_||^-1)] =
= E[/y4n{rjfe_l=*-l}A-l] + E[/y4n{rfc_l^}E(/rJ<^fe-l)] =
= E[/^n{r,_l=*-i}/*-i] + E[/y4n{rfc_l^}E(^|<^fe_i)] = E[/y4^_i],
где при написании последнего равенства было учтено, что по определению
uk-\ =max(/*_i, E(vk\&k-\)) и отсюда vk-\ = fk-\ на множестве {rk-\ =
= k- 1} и Vk-\ > fk-i на множестве {τ*_ι >й- 1} = {τ*_ι ^ft} (значит, на
этом множестве Vk-ι = E(vk \&k-\))-
Итак, свойство (17) установлено. Как уже было отмечено выше, вместе
с (16) это свойство приводит к справедливости требуемых соотношений
(10) и (И).
Из этих соотношений следует, что (Р-п. н.)
vn = E(fra\*n)>E(fT\*n) (18)
для всякого теШп (=Ш%). Следовательно, с учетом соглашения υ^ =υη
находим, что
Ес£ = Е/Гя> sup Е/Г = КЯ\ (19)
что доказывает (9) и (12).
Свойство (13) есть частный случай (12) (при /г = 0) и того свойства,
что Vq является константой в силу (И) и тривиальности σ-алгебры <^Ь
(={0, Ω}). Наконец, равенство (14) есть следствие определения (5) (при
n = N). D
5. С тем чтобы прояснить «мартингальный» аспект рассматриваемой
задачи об оптимальной остановке, обратимся к рекуррентным
соотношениям (6) для последовательности υΝ = (vq , ν1^, ..., υβ) с «краевым» условием
Из (6) видим, что (Р-п. н.) при каждом л = 0, 1, .... N - 1
ν% > /„, (20)
υ» >Е(и»+1\*п). (21)
Первое неравенство здесь говорит о том, что последовательность υΝ
мажорирует последовательность / = (/о, /ι..... /W). Второе неравенство
означает, что последовательность υΝ является супермартингалом с
«терминальным» значением &$ = /#. Тем самым можно сказать, что
последовательность υΝ = (ν$, ϋ^,..., υ$) с величинами ι/^, определенными
из (6) или по формуле (11), является супермартингальной мажорантой
последовательности / = (/о, /ι, .... /yv)·

782
ГЛ. VII. МАРТИНГАЛЫ
По-другому, это означает, что последовательность υΝ принадлежит
классу последовательностей ηΝ = (η^ 7м ···» In) с Ίν ^ /w»
удовлетворяющих (Р-п. н.) «вариационным неравенствам»
jZZmmUn, Είτ^+,ΙΛ)) (22)
при всех /г = 0, 1, ..., /V - 1.
Но последовательность υΝ обладает тем дополнительным свойством,
что для нее в (22) имеет место не только нестрогое неравенство <Ф», но
и просто равенство «=» (см. (6)). Это свойство позволяет следующим
образом выделить последовательность υΝ в классе последовательностей 7^
(с 7# > fN).
Теорема 2. Последовательность υΝ является наименьшей супер-
мартингальной мажорантой последовательности / = (/о. /ι..... //ν)·
Доказательство. Действительно, поскольку ufj = fNi a 7$ ^ /w» то
7д[ ^ vfi. Отсюда и из (22) и (6) видим, что (Р-п. н.)
7#-1>тах(/„-,, Е(7#|^-0) >тах(/д,_ь Е(^ |^-ι)) = ^-ι·
Аналогичным образом находим, что η„ ^ у^ (Р-п. н.) для всех
остальных η <Ν-\. D
Замечание. Результат доказанной теоремы может быть
переформулирован также в следующем виде: решение υΝ = {vq , υ^, ..., υ^)
рекуррентной системы
^ = шах(/я,Е(^+1|Л,))э /z</V,
£ vn = Ϊν является наименьшим из всевозможных решений ηΝ =
= (Ίο * 7^» ···» 7Jv) рекуррентных систем неравенств
^>тах(/я,Е(^+||Л)), /z</V, (23)
с 7Jv > Λν·
6. Теоремы 1 и 2 не только описывают метод отыскания цены V$ =
=sup Ε/т, где sup берется по классу марковских моментов Mq , но также и
показывают, как найти оптимальный момент т^, т. е. момент, для которого
Согласно (8),
r0"=min{0^^/V:^ = /*}. (24)
При решении конкретных задач об оптимальной остановке полезно
следующее равносильное описание этого момента остановки rtf.
Пусть
Ω»={ω: υ»(ω) = Μω)) (25)

§ 13. ЗАДАЧИ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ 783
И
С» = П\о!!={ш: ^И = Е(^+1|Л)И}.
Ясно, 4το£#=Ω, С^ = 0и
D^CDf ς...ςθ# = Ω,
C%DCN{D...DCNN=0.
Из (24) и (25) следует, что момент Tq может быть определен также в
следующем виде:
т$ = min{0 ^k^N:u>eD%}. (26)
Области D% естественно называть «множествами остановки», а
области С% — «множествами продолжения наблюдений».
Оправдывается эта терминология следующей аргументацией.
Рассмотрим момент η = 0 и разобьем множество Ω на два множества
DX и^ (Ω = Dg U С#, Dg Π Cg = 0). Если оказывается, что α/Ε D^, то
τ$(ω) = 0. Иначе говоря, «остановка» происходит в момент п = 0. Если же
ω € Cq , то это означает, что для такого ω момент Tq(<u) > 1. В том случае,
когда оказывается, что рассматриваемое ω€θγDCq , момент Tq(u;) = 1.
Аналогичным образом рассматриваются и последующие этапы. В момент
времени /V наблюдения заведомо завершаются.
7. Рассмотрим некоторые примеры.
Пример 1. Пусть последовательность / = (/о, /ι. ··, //ν) является
мартингалом с /о=1. Тогда, согласно следствию 1 к теореме 1 § 2,
Е/т = 1 для всякого марковского момента τ EUJIq. Тем самым в
рассматриваемом случае Vq1 = sup E fT = 1.
При всех l^n^N функции υ% = /rt иу^ = 1. Понятно, что тогда т^ =
= min{0^£^/V: fk = u%} = 0 нт% = п для всякого \^n^N.
Таким образом, задача об оптимальной остановке для мартингальных
последовательностей решается, в сущности, тривиальным образом:
оптимальным моментом остановки является момент τ$(ω) = 0, α/€Ω (так же
как, впрочем, и любой другой момент τ„(ω) = /ζ, ω € Ω, 1 ^ η ^ /V).
Пример 2. Если последовательность / = (/о, /ь ..., /W) —
субмартингал, то Е/г^Е/уу для любого r€9J$ (теорема 1 в § 2). Тем
самым оптимальным моментом здесь является момент τ* = Ν. Поскольку
ν% = Е(/# \&k) ^ /Λ (Ρ-π. н.), то вполне возможно, что момент τ$(ω) для
некоторых ω может быть и меньше N. Но в любом случае и момент г^,
и момент τ* =Ν являются оба оптимальными. Хотя момент τ* = Ν имеет
простую структуру, тем не менее момент т§ обладает определенными
преимуществами — он является наименьшим из всех возможных опти-

784
ГЛ. VII. МАРТИНГАЛЫ
мальных моментов, т. е. если τ есть также оптимальный момент в классе
Пример 3. Пусть последовательность / = (/о, /ι, .··, /yv) является
супермартингалом. Тогда υ„ = fn для всех O^n^N. Следовательно,
оптимальным является (как и в мартингальном случае) момент Tq = 0,
Приведенные примеры достаточно просты, и вопрос об оптимальности
рассмотренных моментов остановки решается, в сущности, без
обращения к теории, изложенной в теоремах 1 и 2. Достаточно опираться лишь
на известные результаты о сохранении свойств мартингальности, субмар-
тингальности и супермартингальности при замене времени на марковский
момент (§ 2). Но в общих случаях отыскание цены Vq и оптимального
момента остановки tq может быть весьма трудной задачей.
Значительный интерес представляют те случаи, в которых функции fn
имеют следующий вид:
ίη(ω) = ί(Χη(ω)),
где X = (Хп)п^о — некоторая марковская цепь. Как будет показано в § 9
гл. VIII, в этом случае решение задач об оптимальной остановке сводится,
в сущности, к решению вариационных неравенств, уравнений
динамического программирования Вальда—Беллмана.
Там же будут даны и (нетривиальные) примеры, в которых приводятся
полные решения ряда задач об оптимальной остановке для марковских
последовательностей.
8. Задачи.
1. Показать, что построенная в доказательстве леммы (п. 3) случайная
величина ξ(α/)= sup ξα(ω) удовлетворяет требованиям а) и b) в
Определено
лении существенного супремума. (Указание: в случае а£Щ рассмотрите
Ε max(£(o/), ξα(ω)).)
2. Показать, что величина £(iA>) = tgf(o/), (см. конец доказательства
леммы п. 3) также удовлетворяет требованиям а) и Ь).
3. Пусть ξι, ^2, ··· —последовательность независимых одинаково
распределенных случайных величин с Ε|ξι|<οο. Рассматривается задача об
оптимальной остановке (в классе Ш™ = {т: 1 ^ г < оо}):
V*= sup E(max£/-CTj.
Пусть τ* = inf{/z^ 1: ξη ^Л*}, где А* — единственный корень уравнения
Ε(ξ\ — А*) = с. Показать, что если Р{т* <оо}= 1, то момент т* является
оптимальным в классе всех конечных моментов остановки т, для которых
Ε (max ξι —cr) существует.
Показать также, что V* = Л*.

§ 13. ЗАДАЧИ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ
785
4. Пусть в этой и следующей задаче
Ш? = {т: /ζζτ<οο},
V?= sup Е/т,
y£° = esssup E(/T|^rt),
т~ = Щк>п: v? = fn).
Предполагая, что
Ε sup /~ < oo,
показать, что для предельных случайных величин
vn = Jim υΝη
справедливы следующие утверждения:
(a) для всякого г е 9Л£°
бя>Е(/г|Л);
(b) если момент т£° е 9Я£°, то
vn = v? (=esssupE(/T|^rt)).
5. Пусть т£°еЯК2°. Вывести из утверждений (а) и (Ь) предыдущей
задачи, что этот момент т%° является оптимальным в том смысле, что
esssupE(/T|^) = E(/Too|J?rt) (Р-п.н.)
т€ЯЯ°°
И
sup E/r = E/Too,
т.е. V~ = E/r~.

Глава VIII
ПОСЛЕДОВАТЕЛЬНОСТИ СЛУЧАЙНЫХ ВЕЛИЧИН,
ОБРАЗУЮЩИЕ МАРКОВСКУЮ ЦЕПЬ
§ 1. Определения и основные свойства 787
§ 2. Обобщенное марковское и строго марковское свойства 800
§3. О проблематике предельных, эргодических и стационарных
распределений вероятностей для марковских цепей 809
§4. Классификация состояний марковских цепей по
алгебраическим свойствам матриц переходных вероятностей 812
§5. Классификация состояний марковских цепей по
асимптотическим свойствам переходных вероятностей 819
§6. О предельных, стационарных и эргодических распределениях
для счетных марковских цепей 833
§7. О предельных, стационарных и эргодических распределениях
для конечных марковских цепей 841
§ 8. Простое случайное блуждание как марковская цепь 842
§ 9. Задачи об оптимальной остановке для марковских цепей 856

Истоками современной теории марковских процессов являются, с одной
стороны, работы А. А. Маркова (1906—1917 гг.) о последовательностях испытаний,
«связанных в цепь», с другой стороны, попытки математического описания
физического явления, известного под названием броуновского движения (Л. Баше-
лье, 1900 г.; А. Эйнштейн, 1905 г.).
Е. Б. Дынкин. «Марковские процессы» [21]
§ 1. Определения и основные свойства
1. В § 12 гл. I для случая конечных вероятностных пространств
были изложены соображения и принципы, лежащие в основе понятия
марковской зависимости (см. свойство (7) в § 12 гл. I) случайных
величин, призванной описывать эволюцию систем, обладающих свойством
отсутствия последействия. В настоящем параграфе соответствующие
рассмотрения проводятся для случая более общих вероятностных
пространств.
Один из основных вопросов «марковской теории» состоит в
исследовании асимптотического поведения (с ростом времени) систем с
отсутствием последействия. Весьма примечательно, что их эволюция
оказывается, в очень широких предположениях, такой, что система как бы
«забывает» свое начальное состояние, поведение этих систем
«стабилизируется», система входит в «стационарный режим». Детальное
рассмотрение вопросов асимптотического поведения будет далее проведено для
систем, эволюция которых описывается «марковскими цепями со счетным
множеством состояний». С этой целью нам придется дать
классификацию состояний «марковских цепей» по алгебраическим и асимптотическим
свойствам их переходных вероятностей.
2. Пусть (Ω, <^\ (^rt)rt^o» P) — фильтрованное вероятностное
пространство, т. е. вероятностное пространство (Ω, <^\ Ρ) с дополнительно
выделенной на нем структурой — фильтрацией (потоком) (&п)п^о сг-алгебр
&п, η ^ 0, таких, что <^Ь Q &\ Q · · · Q & - С наглядной точки зрения &п —
это «информация», доступная к моменту времени η (включительно).
Пусть также (£, S) — некоторое измеримое пространство, играющее в
дальнейшем роль пространства состояний, в котором рассматриваемые
системы принимают свои значения. По «техническим» причинам
(например, для того, чтобы для случайного элемента Χο(ω) и хеЕ множество
{ω: Χ0(ω) = χ} принадлежало &) будет предполагаться, что σ-алгебра S
содержит все подмножества из £, состоящие из одной точки. (По поводу
этого предположения см. также далее п. 6.)

788
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
При этом предположении измеримые пространства (Е, &) принято
называть фазовыми пространствами, или пространствами состояний
(рассматриваемых систем).
Определение 1 (марковская цепь в широком смысле). Пусть
(Ω, &, (&п)п^о> Ρ) — фильтрованное вероятностное пространство и
(Е, §) — фазовое пространство.
Последовательность X = {Хп)п^о случайных элементов Хп = Χη(ω),
заданных на (Ω, &, (&п)п^о, Ρ), принимающих значения в £ и
являющихся &η/β-измеримыми, О 0, называется последовательностью
величин, связанных марковской зависимостью {марковской цепью, цепью
Маркова) в широком смысле, если для любых η ^ 0 и В е § выполнено
марковское свойство в широком смысле'.
Р(Хя+1бВ|Л)М = Р(Хя+1бВ|ХяИ) (Р-п.н.). (1)
Если &* =σ(Χο, Χ\, ..., Хп) есть σ-алгебра, порожденная величинами
Хо, Х\, ..., Хп, то, поскольку &* С^п, а Хп — «^-измеримы, из (1)
получаем марковское свойство в узком смысле (или просто марковское
свойство):
Ρ{Χη+\ΖΒ\Ρ*)(ω) = Ρ(Χη+χΖΒ\Χη(ω)) (Р-п.н.). (2)
Для наглядности (ср. с § 12 гл. I) это свойство записывают часто в
таком виде:
Ρ(Χη+ιΖΒ\Χ0(ω), ...,Χη(ω)) = Ρ(Χη+ι€Β\Χη(ω)) (Р-п.н.). (3)
Выведенное из (1) марковское свойство в узком смысле (2)
подсказывает целесообразность введения понятия марковской зависимости и в том
случае, когда a priori не выделяется поток (&п)п^о-
Определение 2 (марковская цепь). Пусть (Ω, &, Р) —
вероятностное пространство, (Е, §) — фазовое пространство. Последовательность
Х = (Хп)п^о случайных элементов Χη=Χη(ω), принимающих значения в Ε
и являющихся ^/(f-измеримыми, называется последовательностью
величин, связанных марковской зависимостью (марковской цепью,
цепью Маркова), если для любых /г^О и Βζ& выполнено марковское
свойство в узком смысле (2).
Замечание. Введение с самого начала фильтрованного
вероятностного пространства, на котором определялась марковская цепь в
широком смысле, оказывается полезным во многих вопросах, где поведение
систем рассматривается в зависимости от того или иного «потока
информации» (&п)п^о- Например, может случиться, что у «двумерного» процесса
(Χ, Υ) = (Χη, Υη)η^ο первая компонента X = (Хп)п^0, не будучи марковской

§ 1. ОПРЕДЕЛЕНИЯ И ОСНОВНЫЕ СВОЙСТВА
789
в смысле определения (2), тем не менее является марковской в смысле
определения (1) с &п=&У, п^О.
В элементарном же изложении теории марковских цепей, которому и
будет посвящена настоящая глава, поток {&п)п^о обычно не вводится и за
основу принимается определение 2.
3. Свойство марковости характеризует «отсутствие последействия» в
эволюции системы, состояния которой описываются последовательностью
χ = (Хп)п^о- В случае конечного пространства Ω это отмечалось в § 12
гл. I в виде свойства
Р(Б|ПН) = Р(Б|Н), (4)
где Б — «будущее», Π — «прошлое» и Η — «настоящее». Там же
отмечалось, что для марковских систем выполнено также и свойство
Р(ПБ|Н) = Р(П|Н)Р(Б|Н), (5)
интерпретируемое как независимость «прошлого» и «будущего» при
фиксированном «настоящем».
В общем случае аналогами (4) и (5) являются свойства (6) и (7) из
следующей теоремы, дающей разные эквивалентные формулировки
марковости (в смысле определения 2) и в которой используются такие
обозначения:
<^[Μ=σ№), Χι, ...,*rt),
<^\η,οο)=σ(Χη* ^/1+1, ···)»
«^(λ,οο) = σ(Χη+\, Χί+2, )·
Теорема 1. Марковское свойство (2) равносильно выполнению
любого из следующих двух свойств: при п^О
Ρ(Β\^η])(ω) = Ρ(Β\Χη(ω)) (Р-п.н.) (6)
для всякого «будущего» события Б е <P*nfOQ) или при η ^ 1
Ρ(ΠΒ\Χη(ω)) = Ρ(Π\Χη(ω))Ρ(Β\Χη(ω)) (Р-п.н.) (7)
для всякого «будущего» события Б е &*п то) и «прошлого» события
Доказательство. Докажем прежде всего равносильность свойств (6)
и (7).

790
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
(6) =► (7). Имеем (Р-п.н.)
Ρ(Π\Χη(ω))Ρ(Β\Χη(ω)) = Ε(Ιη\Χη(ω))Ε(ΙΒ\Χη(ω)) =
= Е{/ПЕ(/Б \Χη(ω)) \ΧΗ(ω))= Е{/ПЕ(/Б \^η])(ω) \Χη(ω)} =
= Е{Е(/П/Б |^rt,)M \Χη(ω)) = Е{/п/Б \Χη(ω)} = Ρ(ΠΒ\Χη(ω)).
(7) ^ (6). Надо показать, что для всякого множества С из <^[o,rtj
Е(/СР(Б|*Я)) = Е(/СР(Б|^,)). (6')
С этой целью сначала рассмотрим частный случай такого множества, а
именно множество ПН, где Π€«^[ort_i] и Η Εσ(Χη), и покажем, что в этом
случае (6') следует из (7).
Действительно,
Е(/пнР(Б|^)) = Е(/п/нЕ(Б|^)) = Е(/нЕ(/пЕ(/Б|^)|^)) =
= Е(/нЕ(/п|^)Е(/Б|Хл)) = Е(/нР(П|адР(Б|^))ШЕ(/нР(ПБ|^)) =
= Р(ПНБ) = Е(/ПНР(Б|^,)), (8)
т. е. свойство (6;) выполнено для множеств С вида ПН, где Π е &*0п_п и
Η €σ(Χη). Отсюда с помощью аргументов о «монотонных классах» (см. § 2
гл. II) выводится справедливость этого свойства (6') и для любых множеств
С из <^jotrt]· Поскольку функция Р(Б|ЯЛ) является «^(o,rtj-измеримой, то
из (6') вытекает, что Р(Б|Л„) является вариантом условной вероятности
P(B|«^jort]), т.е. выполнено свойство (6).
Перейдем к доказательству равносильности свойств (2) и (6), а значит,
в силу доказанного, и свойств (2) и (7). Импликация (6) ^ (2)
очевидна. Покажем справедливость импликации (2) => (6), опять же привлекая
аргументы о «монотонных классах».
Множества Б в (6) являются множествами из σ-алгебры &*п ^ =
= <^ы_иоо), являющейся наименьшей σ-алгеброй, порожденной алгеброй
U «^[ί+Μ+Λ]. где ^[«+ι,«+Λ]=σ(^«+ι» ...,ХЯ+*). Поэтому естественно
k=\
начать с доказательства свойства (6) прежде всего для множеств Б из
а-алгебр^+и+Л).
Доказывать это будем по индукции. Если k = 1, то ^+1 rt+1] =σ(Χη+\)
и (6) есть в точности (2), что предположено выполненным.
Пусть теперь (6) выполнено для некоторого k^ 1. Покажем его
справедливость для k +1.
С этой целью возьмем множество Β€<^ί+1/ί+Λ+1] вида Б = Б! Π Б2, где
Б1 €^+1/ί+Λ] и Β2€σ(Χβ+Α+ι)· Тогда, используя предположение индук-

§ I. ОПРЕДЕЛЕНИЯ И ОСНОВНЫЕ СВОЙСТВА
791
ции, находим, что (Р-п. н.)
Р(Б | ^,й1)=Е(/Б | ^,„,)=Е [/Б,ПБ21 ^о,й) )=Е [/Б, Е(/Б21 ^n+k]) | ^„, ] =
= Е[/Б, Е(/Б2 \Xn+k) |^n)] = Е[/Б, Е(/Б* \Xn+k) \Хп] =
= Е[/Б,Е(/Б2 \&[п,п+к])\Хп) = Е[Е(/Б,/Б2 |^Μ+*ι) \Х„] =
= Е[1ъ<1Б1\Хп] = Р(Ь1ПЬ2\Хп) = Р(Б\Хп). (9)
Из свойства (9), доказанного для множеств Б из &*η+ι ,„+*+|) виДа
Б = Б|ПБ2сБ,€^+1 >n+k) и Б ea{Xn+k+\), вытекает (задача 1а), что
это свойство выполнено и для любых множеств Б€^+1 trt+*+iJ· Отсюда
заключаем (задача lb), что свойство (9) выполнено и для множеств Б из
с»
алгебры (J &\п+х п. м, откуда в свою очередь следует (задача 1с), что оно
выполнено и для σ-алгебры σΐ \J ^+1я+/г] J =<^(„t00). Π
Замечание. Аргументы, приведенные в данном доказательстве,
основаны на использовании принципа подходящих множеств (сначала
проводить доказательство для «просто» устроенных множеств) с
последующим применением результатов о монотонных классах (§ 2 гл. II). В
дальнейшем этот метод доказательства будет также еще не раз применяться
(см., например, доказательства теорем 2 и 3, из которых, в частности,
можно восстановить и те места в доказательстве вышеприведенной теоремы 1,
которые были отнесены в задачи la, lb и 1с).
4. Классическим примером марковской цепи является случайное
блуждание X = (Хп)п^о с
Xn=Xo + Sn, ΟΙ, (Ю)
где Srt=£i +... + &. а случайные величины Хо, Сь &, .·, заданные на
вероятностном пространстве (Ω, β", Ρ), являются независимыми.
Теорема 2. Пусть &ъ = σ(Χ0), &п = σ(Χ0, ξ\, ..., ξη), η ^ 1.
Последовательность Χ =(Χη)η^ο, рассматриваемая на фильтрованном
вероятностном пространстве (Ω, «^, (&п)п^о> P), является марковской
цепью (как в широком, так и в узком смысле): для η ^ 0 и В е SS(R)
Р(Хп+{ € В |&η)(ω) = Р(Хя+1 € В \Χη(ω)) (Р-п. «.), (11)
причем
Ρ(Χη+ιΕΒ\Χη(ω)) = Ρη+ι(Β^Χη(ω)) (Р-п.н.1 (12)
где
Ρη+ι(Α) = Ρ{ξη+ιΕΑ} (13)

792
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
U
В-Хп(и;) = {у: у + Хп(ш)еВ), BeSS(R).
Доказательство. Будем одновременно убеждаться в справедливости
(И) и (12).
В случае дискретных вероятностных пространств подобные
доказательства проводились в § 12 гл. I, и на первый взгляд может показаться, что и
здесь также все просто. На самом же деле, как будет видно из приводимого
доказательства, здесь все же «есть что доказывать».
Пусть множество А е {Хо € B0i ξχ € Ви ..., ξη е Вп), где В,- € BS(R)y i =
= 0, 1, ..., п. По определению условной вероятности Ρ(Λ„+ι ζΒ\&η)(ω)
(см. § 7 гл. II)
5 Р(*„+1 € В \*η)(ω) Ρ(άω) = $ /Λ+|6β)(α/) P(du>) =
A A
= Ρ{Χο£Βο,ξιΕΒϊ,...,ξηΕΒη,Χη+ιΕΒ} =
= § Λι+ι(В - (*o + *i + · ·· + xn)) Po(dx0)...Pn(dxH) =
B0X...XB„
= ΙΡη+{(Β-Χη(ω))Ρ(άω). (14)
A
Итак, для множеств из &п вида Л = {^о € So, Ci € β ι. · · ·. 6* € Srt}
справедливо равенство
\Ρ(Χη+ι£Β\&η)(ω)Ρ(άω) = \Ρη+ι(Β-Χη(ω))Ρ(άω). (15)
А А
Очевидно, что система sin указанных множеств А является π-системой
(Ωελ^ и если Л ι е^п и Лгб^я, то и А\(ЛА2ед/п\ см. определение 2 в §2
гл. II). Далее, пусть JSf обозначает совокупность всех тех множеств А € ^rt,
для которых формула (15) верна.
Покажем, что J5f есть λ-система; см. определение 2 в § 2 гл. II. Ясно,
что Ω€-£?, т. е. выполнено свойство (λα) из этого определения. Из свойства
аддитивности интеграла Лебега следует и свойство (Хь) из этого же
определения. Наконец, третье свойство (Ас) из определения λ-систем вытекает
из теоремы о монотонной сходимости в интегралах Лебега (см. § 6 гл. II).
Итак, J5f есть λ-система. Применяя утверждение с) теоремы 2 из § 2
гл. II, находим, что σ(^η) С j£f. Но σ(^) = <^Λ, и, следовательно, свойство
(15) выполнено и для множеств А из &п.
Поэтому, учитывая, что Рп+\(В — Χη(ω)) является (как функция от ω)
«^-измеримой (задача 2), из (15) (по определению условных вероятностей)

§ 1. ОПРЕДЕЛЕНИЯ И ОСНОВНЫЕ СВОЙСТВА
793
получаем, что Рп+\(В -Χη(ω)) есть версия условной вероятности Р(Хп+\ G
еВ\&п) (ω). Наконец, по «телескопическому» свойству условных
математических ожиданий (см. свойство Н* в § 7 гл. II) находим, что (Р-п. н.)
Р(*„+, € В \Χη)(ω) = E[/{Xa+ieB} \Χη](ω) = Ε[Ε(/λ+ι6Ι4 \*η) \Χη]{ω) =
= Ε[Ρη+ι(Β-Χη)\Χη(ω)]=Ρη+ι(Β-Χη(ω)). (16)
Тем самым, оба свойства (11) и (12) доказаны. D
Замечание. Справедливость свойств (11) и (12) можно было бы также
непосредственно вывести (задача 3) из утверждения леммы 3 в § 2 гл. II.
Мы провели подробное доказательство этих «почти очевидных» свойств
с тем, чтобы лишний раз продемонстрировать технику доказательства
подобных утверждений, основанную на принципе подходящих множеств и
результатах о монотонных классах.
5. Обратимся к марковскому свойству (1). Поскольку пространство
(£, 8) является борелевским, то по теореме 5 из § 7 гл. II для каждого
О 0 существует регулярное условное распределение Рп+\(х\ В) такое,
что (Р-п. н.)
Ρ(*„+ι £Β\Χη(ω)) = Ρη+ι(Χη(ω)', β), (17)
где функция Рп+\(х\ В), Be&, х€Е, обладает следующими свойствами
(см. определение 7 в § 7 гл. II):
(a) для каждого χ функция множеств Prt+i(x, ·) является мерой на
(£, #)\
(b) для каждого В е& функция Рп+\(-\ В) является ^-измеримой.
Функции Рп = Рп(х\ В), /1^1, называют переходными функциями
(также — марковскими ядрами).
Особо для нас будет важен тот случай, когда все эти переходные
функции совпадают, Р\ = Р% = ..., точнее говоря, когда у условных вероятностей
Р(Хп+\ € В \Χη(ω)), η > 0, существует один и тот же вариант регулярного
условного распределения Р(х\ В) такой, что (Р-п. н.)
Ρ(Χη+ιΕΒ\Χη(ω)) = Ρ(Χη(ω): В) (18)
для всех η ^ 0 и В е S.
Если такой вариант Ρ = Ρ(χ\ В) существует (и тогда можно считать, что
все Рп =Я, η ^ 0), то марковскую цепь называют однородной (по времени)
с переходной функцией Ρ = Ρ(χ\ β), * € £, В £§.
Наглядный смысл свойства однородности марковских цепей ясен:
движение соответствующей системы происходит однородно в том смысле, что
вероятностные механизмы, управляющие переходом системы, остаются
одними и теми же для всех моментов времени η > 0. (В теории динамических
систем это свойство отождествляют со свойством консервативности)

794
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Помимо переходных вероятностей Р\, Р%, ..., а в случае однородных
цепей — переходной вероятности Р, важной характеристикой марковских
цепей является начальное распределение π = π(β), В е£, т. е.
распределение вероятностей, определяемое равенством π(Β) — P{Xq € β}, β € £.
Набор объектов (π, Ρ\, Ρ<ι, ...) полностью определяет вероятностные
свойства последовательности X = (Хп)п^о, поскольку все конечномерные
распределения этой последовательности определяются формулами:
Р{х0еВ} = п(ВЪ ве£,
и для всякого /О 1 и Be@(En+l) (=£п+1 = <f ®...®<? (/z+1) раз)
Р{(Хо,Хи...,Хп)еВ} =
= § /β(*ο, хи ···. χη)π(άχο)Ρ\(χο\ dxx)...Pn(Xn-\\ dxn). (19)
£х...х£
Действительно, рассмотрим сначала множество В вида В = В$х ...
... χ Вп. Тогда при /г=1 по формуле полной вероятности (см. (5) в § 7
гл. II)
Р{*о € β0, Χι е β,}= $ /{*о€адМ Ρ(*ι € β, |*οΜ) Ρ(<Μ =
Ω
= S /леадМ Λ(*ι: *оИ) Ρ(<Μ =
Ω
= § /θ0(*ο) Ρι (Β\; *ο) 7r(rfxo) = § /β0χβ. (*ο, *ι) Ρ\ (dx\; *ο) π(<**ο).
Ε ΕχΕ
Дальше доказательство ведется по индукции:
Р{х0ев0,х1еви...9хпевп} =
= S /<*0€^.Л-.€ВЯ-,>И Р(*я € β„ |*оМ, ..., Χη-ι(ω)) Ρ(άω) =
Ω
= J Wo *-.€*-.)(") Pft ^ β« l*«-lM) P(<M =
Ω
= $ /{АЬ€До...Л-|€в,,-|}МРя(вя; Xn-\(u))P(du>) =
Ω
= 5 'θοΧβ|Χ«.Χβ|ΐ-ι(χΟ. Χ\9 ···» *n-l) x
£x...x£
xPn(Bn\Xn-\)P{XQedxu...,Xn-iedxn} =
= 3 /βοΧβ|Χ...χβ/ι-|Χβ/ι(·^0» *1» ···» Xn-\> Xn) x
£x...x£
xPn(dxn\ xn-i)Pn-i(dxn-\\ xn-2)...P\(dx\\ χ0)π(άχ0),

§ 1. ОПРЕДЕЛЕНИЯ И ОСНОВНЫЕ СВОЙСТВА
795
что совпадает с требуемой формулой (19) в случае множеств В вида В =
= ВохВ\ х...хВп. Переход к общему случаю множеств Ве@(Еп+1)
осуществляется так же, как и в доказательстве аналогичного места в
теореме 2.
Из свойства (19), основываясь на результатах о монотонных
классах (см. § 2 гл. II) выводится (задача 4), что для всякой ограниченной
^(£л+1)-измеримой функции Λ = Λ(*0, хи ..., хп)
Eh(Xot Х\, ..., Χη) =
= § й(*о, *i, ...,xn)K(dxo)P\(dxi\xo)...Pn(dxn\xn-i). (20)
6. Итак, если у нас имеется марковская цепь (в широком или узком
смысле), то по ее начальному распределению π = π(β), где π{Β) = Ρ{Χο€Β},
fi€<f, и переходным вероятностям Рп(х\ В), п^ 1, x€Et fi€<f, можно
полностью восстановить закон распределения Law(Xo, X\, ..., Хп) любой
совокупности случайных величин Xq, Х\, ..., ХП9 п^ 1, пользуясь
формулой (19).
Сейчас мы поменяем весь наш взгляд на способы определения
марковских цепей, приняв за основу то, что они должны полностью быть
заданными, исходя из набора (π, Р\, Яг, ···)» ГДе по своему смыслу
вероятностное распределение π должно играть роль распределения
вероятностей начального состояния системы, а функции Рп+\ —Рп+\(х\ β), /г^О,
удовлетворяющие свойствам (а) и (Ь) из п. 5, играют роль переходных
вероятностей, т. е. вероятностей того, что система, находящаяся в момент
времени η в состоянии х, в момент п+ 1 окажется в множестве BeS*.
Естественно, что если за исходный объект берется набор (π, Ρι, Я2, ···)»
то возникает вопрос: а отвечает ли он вообще какой-либо марковской
цепи, имеющей своим начальным распределением заданное π, а своими
переходными вероятностями заданные функции Pi, Яг» ···?
Ответ (и положительный) на этот вопрос, в сущности, содержится в
теореме Колмогорова (теорема 1 и следствие 3 в § 9 гл. II), по крайней
мере для случая Ε = Rd, и в теореме Ионеску Тулчи (теорема 2 в § 9 гл. II)
для случая произвольных измеримых пространств (£, S).
Следуя доказательству этих теорем, прежде всего определим
измеримое пространство (Ω, <^), полагая (Ω, &) = (Е°°, ЩЕ°°)), где £°° =
= £ хЕ χ ...,^(£°°) = <f 0<f ® ...; иначе говоря, в качестве элементарных
исходов будем рассматривать «точки» ω = (χο, х\, ...), гДе */ €£·
Поток (&п)п^о определим, полагая &п =σ(χο, х\,..., хп)- Сами
значения Хп =Χη(ω) определим «каноническим» образом, полагая Χη(ω) = χη>
если ω = (χο, х\, ...).

796
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Теорема Ионеску Тулчи утверждает, что для произвольных измеримых
пространств (£, S) (и, в частности, для рассматриваемых нами фазовых
пространств) на (Ω, &) существует вероятностная мера Рп такая,
что
рж{ХоеВ}=п(В1 ве£, (21)
и для всех η ^ 1 конечномерные распределения
ΡΛ(Χο. Χι.....*«)€fl} =
= 5 *(dx0) $ Ρχ(χ0\ dxx)... $ /fl(x0. .... Xn)Pn(xn-i\ dxn). (22)
£ £ Ε
Теорема З. По отношению к введенной (в теореме Ионеску
Тулчи) мере Рп канонически заданная последовательность Х = (Хп)п^о
является марковской (в смысле определения 2).
Доказательство. Надо показать, что для η ^ 0 и В € § (Ρπ-π. н.)
Рж(Хп+\ € В \&η)(ω) = ΡΛΧη+ι е В \Χη(ω)) (23)
и при этом (Ρ,Γ-π. н.) для η ^ О
Ρπ(Χη+ι € Β \Χη(ω)) = Ρη(Χη(ω)\ В). (24)
Будем опять же вести доказательство, основываясь на принципе
подходящих множеств и результатах о монотонных классах (§ 2 гл. II).
В качестве подходящих множеств рассмотрим, как это уже делалось,
«просто» устроенные множества А из &п вида
Α = {ω: Хо(и>)еВ0,...,Хп(и)еВп1
где Bi e S, i = 0, 1, ..., /г, и пусть В е S.
Тогда в силу конструкции меры Ρπ (см. (22))
\^Хп+>ев}(и>)РЛаш) = Рж{ХоеВо,...,ХпеВп,Хп+1еВ} =
А
= § π{άχο) § Р\(хо\ dxx)... $ Pn(xn-\\ dxn) $ Рп+\(хп\ dxn+{) =
= $Ρη+ι(Χη(ω);Β)ΡΛάω). (25)
λ
Рассуждая теперь так же, как и при доказательстве теоремы 2 (см.
доказательство выполнимости свойства (15) для множеств А из <^rt),
находим, что и здесь свойство (25) будет выполнено для множеств А из <^rt,
т.е. множеств вида Α = {ω: (Χο(ω)9 ..., Χη(ω))€ С}, где Се@(Еп+1).

§ 1. ОПРЕДЕЛЕНИЯ И ОСНОВНЫЕ СВОЙСТВА
797
Поскольку по определению условных вероятностей (см. § 7 гл. II)
$ /<*.+,€*>(") Р*(<М = $ Ρπ(*«+ι € β I &п) (ω) Р„(<М. (26)
а функции Prt+i(^rt(u;); В) являются «^-измеримыми, то из (25) и
«телескопического» свойства условных математических ожиданий (см.
свойство Н* в п. 4 § 7 гл. II) получаем требуемые соотношения (23) и (24). D
7. Итак, с каждой рассматриваемой системой (π, Ρι, Яг, ···) можно
связать марковскую цепь (для наглядности обозначаемую Χ* = (Χηι Ρπ)Λ^ο),
имеющую своим начальным распределением π и переходными
вероятностями Pi, Яг, ··· (т. е. цепь, для которой выполнены свойства (21)
и (23)—(24)). Такая цепь функционирует следующим образом.
В начальный момент /г = 0 случайным образом «разыгрывается»
значение начального состояния в соответствии с распределением π. Если,
скажем, значение Хо оказалось равным х, то из этого состояния система
переходит в следующий момент в некоторое состояние х\ в соответствии с
распределением Р\{\ х) и т. д.
Таким образом, роль начального распределения π сказывается лишь
только в момент /г = 0, а последующее развитие системы определяется
переходными вероятностями Pi, Яг. ··· Так что, если для двух начальных
распределений π\ и П2 в результате соответствующего «розыгрыша»
выпало одно и то же состояние х, то развитие системы будет (в вероятностном
смысле) одним и тем же, определяясь лишь переходными вероятностями
Pi, Яг, ... Можно это выразить также и следующим образом.
Пусть Рд: обозначает распределение Ρπ, соответствующее тому
случаю, когда распределение π сосредоточено в точке х: ir(dy) = 5x(dy), т. е.
7г({х})= 1, где {х} — одноточечное множество, принадлежащее σ-алгебре §
в силу сделанного предположения, что (£, £) — фазовое пространство.
Тогда из свойства (22) выводится (задача 4), что для каждого А е
е^(Е°°) ихеЕ вероятность РХ(А) есть (для каждого π) вариант условной
вероятности Ρπ(Α\Χο = χ), τ. е. Ρπ-π. н.
Рж(А\Х0 = х) = Рх(А). (27)
При каждом χ е Ε вероятности Р*(·) полностью определяются набором
переходных вероятностей (Pi, Яг, ...).
Тем самым, если основной акцент делается на то, как поведение
системы зависит от переходных вероятностей (Pi, Рг, ...), то достаточно
оперировать лишь с вероятностями Р*(), *€£, получая, если надо,
вероятности Ρπ(·) простым интегрированием:
РЖ(А) = $ РХ(А) π(άχ)9 А € Я(Е°°). (28)
Ε

798
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Эти соображения привели к тому, что в «общей теории марковских
процессов» (см. [21]) основным объектом считается (в
рассматриваемом здесь случае дискретного времени) не та или иная марковская цепь
X* = (Хп, Ртг)л^о, а семейство марковских цепей Xх = (Хп, Рх)п^ с χ € Ε.
(Тем не менее, вместо слов «семейство марковских цепей» часто говорят
просто о «марковских цепях» и вместо обозначения «Xx = (Xnt Px)rt^o с
χ е Е» пишут «X = (ХПу &п, Рх)».)
Подчеркнем, что все эти рассмотрения предполагают «канонический»
способ задания цепей: в качестве (Ω, β") берется пространство (£°°, <?°°),
g°° = g0<f 0 ...t все величины Хп(и) задаются так, что Χη(ω) = χη, если
u7 = (jco, Jti, ..·)· Таким образом, в ХХ = (ХП1 Рх) от χ зависит лишь
вероятность Рх, на сами же значения Хп какие-либо специальные условия
зависимости от χ не налагаются. При этом автоматически оказывается, что
по мере Р* траектории (Хп)п^о «начинаются» в точке х, т. е. Рх{Хо = х}=\.
8. В случае конечных марковских цепей (§ 12 гл. I) большое внимание
было уделено анализу поведения таких цепей с помощью рассмотрения
переходных вероятностей pW = P(Xn = j\XQ=zi), которые, как было
показано, удовлетворяют уравнению Колмогорова—Чепмена (см. (13) в
§ 12 гл. I), из которого, в свою очередь, выводились прямые и обратные
уравнения Колмогорова ((16) и (15) в § 12 гл. I).
Обратимся сейчас к вопросу о справедливости уравнения
Колмогорова—Чепмена и в случае марковских цепей с произвольным фазовым
пространством (£, §), ограничившись рассмотрением однородных цепей,
для которых Р{=Р2 = ... = Р.
В этом случае, в силу (22)
РЛ(Хо.Х\....,Хп)еВ} =
= ^ π{άχ0) ^ Я(*о; dx\)... § /β(χ0, х\, ···, хп)Р(хп-\; dxn). (29)
ЕЕ Ε
В частности, если η = 2, то
Ρπ{*ο € So, *2 € В2} = $ $ Я(хг, В2)Р(х0\ dxxMdxo). (30)
Отсюда, по теореме Радона—Никодима (§ 6 гл. II) и в силу определения
условных вероятностей находим, что (π-π. н.)
Ρπ№еВ2\Х0 = х) = $ Р(х\ dxi)P(xx\ В2). (31)
Ε
Заметим теперь, что в силу (27) Рп(Х2 е В2 \Хо =х) = Р*№ € β2} (π-π. н.),
где вероятность Раг№^^2} имеет простую интерпретацию — это есть ве-

§ 1. ОПРЕДЕЛЕНИЯ И ОСНОВНЫЕ СВОЙСТВА
799
роятность перехода системы из состояния χ в момент η = О в множество В^
в момент η = 2, т. е. это есть вероятность перехода за два шага.
Обозначим Я(л)(х; Вп) = Рх{Хп € Вп) вероятность перехода за η шагов.
Тогда, в силу однородности рассматриваемых цепей, P(1)(jc; B\) = P(x\ В\)
и, следовательно, из (31) находим, что (π-π. н.)
Я(2)(х; В) = § Р(1)(х; dx{)P{l)(xi\ β), (32)
Ε
где В е S.
Аналогичным же образом устанавливается (задача 5), что при любых
О0, т^О (π-π. н.)
р(«+«)(х; β) = ^ р(«)(х; dy)P{m)(y\ В). (33)
£
Это соотношение и есть знаменитое
уравнение Колмогорова—Чепмена,
наглядный смысл которого вполне ясен: для подсчета вероятности
p(m+rt)(jt; В) перехода за т + п шагов из точки хеЕ в множество Ве&
надо перемножить вероятность Р{п)(х\ dy) перехода за η шагов из точки χ
в «инфинитезимальную» окрестность dy точек у € £ и вероятность
перехода за m шагов из точки г/ в множество В (с последующим интегрированием
по всевозможным «промежуточным» точкам у).
Обращаясь к уравнению Колмогорова—Чепмена (33), связывающему
вероятности переходов за разное число шагов, нужно отметить, что оно
установлено лишь с точностью до «π-почти наверное». В частности,
отсюда следует, что (33) не есть соотношение, выполняемое для всех хеЕ. Это
не должно показаться странным, поскольку выше нам не раз приходилось
обращаться к выбору тех или иных вариантов (версий) условных
вероятностей и, вообще говоря, нет гарантии, что эти варианты оказываются
такими, что рассматриваемые свойства выполнены тождественно (по х),
а не лишь π-почти наверное.
Тем не менее, можно явно указать такие версии, для которых уравнение
Колмогорова—Чепмена (33) будет уже выполненным для всех хеЕ.
Вытекает это из следующих утверждений (задача 6).
Пусть «переходные вероятности» Р^п)(х\ В) определены следующим
образом:
Р{Х){х\В) = Р{х\В)
и для η > 1
р(«)(х; В) = ^ Р(х\ dy)P{n~l)(y\ В).
Ε

800
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Тогда
(i) Р{пЦх\ β), η^ 1, являются регулярными условными вероятностями
на § при заданном х\
(ii) P(rt)(x; В) совпадает с Рх{Хп еВ} и, следовательно, является
вариантом (π-π. н.) условных вероятностей Рж(Хп € В \Х0 = х)\
(iii) для так определенных функций Р^п)(х\ В), О 1, уравнения
Колмогорова—Чепмена (33) выполнены тождественно по χ € Ε.
9. Задачи.
1. Доказать утверждения, сформулированные при доказательстве
теоремы 1 в виде задач la, lb и 1с.
2. Показать, что в теореме 2 функция Рп+\(В — Χη(ω)) является
«^-измеримой по ω.
3. Вывести свойства (И) и (12) из утверждения леммы 3 в § 2 гл. II.
4. Доказать свойства (20), (27).
5. Установить справедливость соотношения (33).
6. Доказать утверждения (i), (ii) и (iii), сформулированные в конце п. 8.
7. Вытекает ли из марковского свойства (3) следующее свойство:
P(Xn+leB\x0eBotXieBU:.,XneBn) = P(Xn+leB\xneBn)i
где Во, В\,..., Вп и В — множества из S и Р{^о GSo» ^ι €В\, ..., Хп еВп)>
>0?
§ 2. Обобщенное марковское и строго марковское
свойства
1. В этом параграфе будут рассматриваться, главным образом,
семейства Xх = (ХПу Ρχ)η^ο> х€Е> однородных марковских цепей,
«канонически» заданных на координатном пространстве (Ω, ^) — (Е°°, <f°°) и
определяемых переходной функцией Ρ = Р(х\ В), хеЕ, В е S.
Определим на (Ω, &) операторы сдвига θη: Ω—>Ω (ср. с § 1 в гл. V),
полагая для состояния о; = (.*о, х\* ...)
θη{ω) = {χη, хп+и ..·)·
Если Η = Η(ω) является ^-измеримой функцией, то Η οθη будет
обозначать функцию (Η οθη)(ω), определенную равенством
(Ηοθη)(ω)=Η(θη(ω)). (1)
Так что, если ω = (*о, х\, ...) и Η = H(xq, x\, ...), то (Я оθη) (*о, *\> ...) =
= Н(хп, хп+\, ...)·

§2. ОБОБЩЕННОЕ МАРКОВСКОЕ И СТРОГО МАРКОВСКОЕ СВОЙСТВА 801
Следующая теорема, в сущности, есть переформулировка
утверждения (6) из § 1 применительно к рассматриваемому сейчас случаю
семейства однородных марковских цепей.
Теорема 1. Пусть Xх = (Хп> Рг)л^о. х€Е> есть семейство
однородных марковских цепей, порождаемых переходной функцией
Р = Р(х\ В), χ е£, Ве&. Предполагается, что меры Рх таковы, что
значения Рх{(Хо,Х\9 ...,Хп)еВ) для ВеЩЕп+1) и п^О определяются
по Ρ формулами (22) из § 1 с n{dy) = S{X)(dy) и Р\ = Р% =... = Р.
Тогда для всякого начального распределения π, любого п^О и
всякой ограниченной ^-измеримой функции Η = Η(ω) имеет место
следующее обобщенное марковское свойство:
ΕΑΗοθη\^)(ω) = ΕΧη{ω)Η (Рп-п.н.). (2)
Замечание. Хотя использованные обозначения и «говорят сами за
себя», все же отметим, что Επ — это усреднение по мере Ρπ)( ·) = § Рх(·) π(άχ),
ε
а Εχη(ω)Η надо понимать следующим образом: берется математическое
ожидание ЕХН (т. е. усреднение Η по мере Рх) и затем в это выражение
(обозначим его ф(х)) надо «вставить» вместо χ величину Χη(ώ)% т. е.
Εχη(ω)Η =φ{Χη(ω)). (Отметим, что ЕХН является S-измеримой
функцией от χ (задача 1) и, значит, Εχη(ω)Η является случайной величиной,
т. е. ^/(f-измеримой функцией.) Доказательство теоремы опять-таки
использует принцип подходящих множеств и функций с последующим
применением результатов о монотонных классах.
Чтобы установить свойство (2), нам надо показать, что для всякого
множества А из &* = σ(*ο, χ\, ..., хп)
$ (Η οθη)(ω) Ρ*(άω) = $ (ΕΧη{ω)Η) Ρπ(<Μ, (3)
Α Α
или, в более компактной форме,
Еж(Новп\А) = Еж(ЕхяН\А), (4)
где Εη(ξ\ А) означает Еп(£1а) (см. п. 2 § 6 гл. II).
В соответствии с принципом подходящих множеств рассмотрим
«просто» устроенные множества А вида Α = {ω: xq^Bq, ..., хпеВп),
£/€<£·, и пусть функция Н = Н(хо> х\9 .... хт) с т^О (более точно,
пусть Η — «^-измеримая функция). Тогда свойство (4) примет следующий
вид:
Xn+\t ···» Хп+т
); Λ)«Ε„(Εχ.//(Χο. Χι, .... Jf«); A). (5)

802
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Используя представление (22), из § 1, находим, что
Еж(Н(Хп, Ял+ь ···, Хп+т)\ А) = Еж(1а(Хо, ..., Хп)Н(Хп, ..., Хп+т)) =
= § U(XQ> ...,Хп)ЩХп, .·♦, Хп+т)*
χ π(άχ0)Ρ(χο\ dx{)...Р(хп+т- Г» dxn+m) —
£n+m+l
= § /л(*о, ..., *я) π(^ο)^(χ0; ^ι) · · · Р(хп-1; dxn) χ
-J
£я+1
Χ
χ \ #(*„, ..., xn+m)P(Xn\ dxn+{)...P{x
n+m-\\ dxn+m)
Ia(xq, ..., xn)n(dx0)P(x0\ dx\)...P(xn-i\ dxn) χ
= Е7Г(ЕхяЯ(^о
Xm)\ A),
где Px(dxi,..., dxm) = P(x\ dx\)P(x\\ dx2)...P(xm-\\ dxm).
Таким чобразом, свойство (5) для множеств А вида Α = {ω: xqEBq,
х\ е В\, ..., хп € βΛ} и функций Я вида Η = #(*ο» *ι. · · ·, Хщ) установлено.
Общий случай множеств А из &* рассматривается (для
фиксированного т) так же, как и в доказательстве теоремы 2 в § 1.
Осталось лишь показать, что доказанные свойства остаются верными и
для всех & (=<?°°)-измеримых ограниченных функций Η =Н(хо, х\, ...).
Достаточно доказать, что если А е &*, то свойство (5) сохранится для
таких функций, т. е. что
Е»№Д«+1, ...)\А) = Еж(ЕхпН(Хо>Хи ...)\А). (6)
Имея в виду применение принципа подходящих функций (см. § 2 гл. II),
обозначим через Ж совокупность всех тех ограниченных «^-измеримых
функций Η = Н(хо, х\, ...), для которых свойство (5) имеет место.
Пусть также J есть совокупность (цилиндрических) множеств вида 1т =
= {ω: xqGBq, ..., хтеВт}с некоторыми Bt е<f, / = 0, 1, ...,m, m^O. Ясно,
что эта система J является π-системой множеств из & (=<?°°).
Обратимся теперь к условиям теоремы 3 в § 2 гл. II.
Условие (h\) выполнено, поскольку если AeJ, то Ια ^ Ж по
доказанному выше (надо взять в (5) #(*о» ···, Хгп) = 1а(хо> ···, Хт))- Условие
(Λ2) следует из свойства аддитивности интеграла Лебега, а свойство (Лз)
вытекает из теоремы о монотонной сходимости в интегралах Лебега.
Согласно указанной теореме 3 (§ 2 гл. II), Ж тогда содержит все
функции, являющиеся измеримыми относительно σ-алгебры σ(/), которая
по определению и есть σ-алгебра <f°° =&(E°°). (См. пп. 4 и 8 в § 2 гл. II.)

§2. ОБОБЩЕННОЕ МАРКОВСКОЕ И СТРОГО МАРКОВСКОЕ СВОЙСТВА 803
2. Обратимся ко второму обобщению марковского свойства —так
называемому строго марковскому свойству, связанному с заменой
«времени п» на «случайное время г». (Все исходные предпосылки будут те же,
что и в начале этого параграфа: (Ω, ^) = (£,°°, <f°°), ...)
Будем обозначать через τ = τ(ω) конечные случайные величины τ(ω)
такие, что для каждого п^О
{ω: τ(α/) = *}€*?.
В соответствии с терминологией § 1 гл. VII (см. определение 3) такие
величины называют (конечными) марковскими моментами или моментами
остановки.
С потоком {^п)п^о и моментом остановки г свяжем σ-алгебру
&? = {Ае&х: АП{т = п}е^п А™ всехОО},
где &х =a(U &%)> интерпретируемую как σ-алгебру событий,
наблюдаемых на «случайном интервале» [0, г].
Теорема 2. Пусть выполнены все условия, сформулированные в
теореме 1, и τ = τ(ω) — конечный марковский момент. Тогда имеет
место следующее строго марковское свойство:
Еж(НовТ\**) = ЕхгН (Ρπ-п.н.). (7)
Прежде чем переходить к доказательству, дадим некоторые пояснения
по поводу того, как надо понимать ΕχτΗ и Η οθτ.
Обозначим ψ(χ) = ΕΧΗ. (В п. 1 уже отмечалось, что ψ{χ)
является ^-измеримой функцией.) Под ΕχτΗ понимается значение ψ(Χτ) =
= φ(Χτ(ω){ω)). Что же касается (Ηοθτ)(ω), то под этим понимается
случайная величина (Η оθτ(ω))(ω) = Η(θΤ(ω)(ω)).
Доказательство. Возьмем множество А из &Т. Как и в случае
теоремы 1, для доказательства (7) надо показать, что
Еж(Но0т',А) = Еж(ЕхтН;А). (8)
Рассмотрим левую часть. Имеем
оо
ΒΑ№θτ;Α) = ΣΕΛΗ°θτ;Αη{τ = η}) =
я=0
= ΣΕΛΗοθη;Αη{τ = η}). (9)
я=0

804
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Правая же часть в (8)
оо
Еж(ЕхгН;А) = ^Еж(ЕхжН;Ап{т = п}). (10)
События Ап{т = п}е&*. Поэтому в силу (4) правые части в (9) и (10)
совпадают, что и доказывает строго марковское свойство (7). D
Следствие. Беря функцию Н(хо, х\, ...) = /л(*о. *ь ···)» г^е А —
= {ω: (jco, αγι, ...)€fi}, В б <?°° = ^(£00), из (7) получаем следующую
часто используемую форму строго марковского свойства:
Ρπ((*τ.*τ+1. ...)€В|*0.*1,....*т) =
= Ρ*τ{(*ο.*ι, ...)6В} (Р*-л.«.). (Н)
Замечание 1. Если проанализировать доказательство строго
марковского свойства (7), то можно заметить, что на самом деле верно и
следующее свойство.
Пусть для каждого η > 0 действительные функции Нп —Ηη(ω),
заданные на Ω\=£°°, являются ^"-измеримыми (& = &°°) и равномерно
ограниченными (т.е. |//„(а;)|<с, /г>0, α/€Ω). Тогда для каждого конечного
марковского момента τ = τ{ω) (τ(α;)<οο, α;€Ω) имеет место (задача 2)
следующая форма строго марковского свойства:
Еж(НТовТ\*Х) = ЕХтНТ (Р.-п.н.), (12)
где под ΕχτΗτ понимается случайная величина ф(т, Хт) с ф{п, х) = ЕхНп
и Ят о 0Т = (Нт о θτ) (ω) = Ητ{ω) (θΤ(ω)(ω)).
Замечание 2. Выше предполагалось, что τ = τ(ω) является конечным
марковским моментом. Если это не так, т. е. τ(ω) ^ оо, ω € Ω, то тогда
соотношение (12) надо заменить (задача 3) на следующее:
Еж(Нтовт\*Х) = ЕХгНг ({г<оо};Р7Г-п.н.). (13)
Иначе говоря, в этом случае соотношение (12) выполнено Ρπ-π. н. на
множестве {г < оо}.
3. Пример (на «строго марковское свойство»). При
рассмотрении закона повторного логарифма нам понадобилось одно неравенство
(лемма 1 из § 4 гл. IV; см. также (14) ниже), аналогом которого для
броуновского движения В = {Bt)t^T является равенство Р{ max Bt > а \ =
= 2Р{|Яг|>а}; [131, гл. III].
Пусть f ι, &» ... — последовательность независимых одинаково
распределенных случайных величин с симметричным (относительно нуля)
распределением. Положим Ао = *€/?, Χηι=Χο + (ζ\ +·.·+ί/«). 1 ^т- Как это

§2. ОБОБЩЕННОЕ МАРКОВСКОЕ И СТРОГО МАРКОВСКОЕ СВОЙСТВА 805
было принято выше, через Р* обозначаем распределение вероятностей
последовательности X = (Хт)т^о с Xq — x. (Пространство Ω предполагается
координатно заданным с ω = {χο, х\, ...) и Хт(и>) = хт.)
Согласно (слегка измененному) утверждению (9) из § 4 гл. IV,
Р0{ max Хт > а) ^ 2Р0{ХЛ > а) (14)
для всякого а > 0.
Введем марковский момент т = т(о/), полагая
т(ш) = т1{0^т^п: Хт(ш)>а). (15)
(Как обычно, полагаем inf 0 = oo.) Покажем, как, используя введенный
марковский момент, можно было бы дать «легкое доказательство»
неравенства (14), если допускать, что с такими (случайными) моментами можно
действовать так же, как с детерминированными. Имеем (ср. с
доказательством леммы 1 в § 4 гл. IV)
Р0{Хп >а} = Р0{(Хп - ХТАП) + ХтАп >а}>
> Р0{*„ - Хглп > 0, ХтАп >а) = Р0{Хп - ХтАп > 0} Р0{Хтлп > а} >
> ^{Хтлп >а} = ip0{r </z} = 5Po{0^rt xm >я}> (16)
где мы воспользовались казалось бы «почти очевидным» свойством
независимости величин Хп—Хтлп и Хтлп, верным, конечно, для
детерминированных моментов т, но не верным, вообще говоря, для случайных
моментов г (задача 4). (Так что это «легкое доказательство» нельзя
признать корректным.)
Приведем теперь действительно «правильное доказательство»
неравенства (14), основанное на применении строго марковского свойства (13).
Поскольку {Хп > а} С {τ ^ /г}, то
Ρ0{Χη>α} = Εο(Ι{Χα>α}\τζη). (17)
Введем функции Нт = Нт(хо, х\, ...), полагая
если т ^ η и хп-т > а,
в остальных случаях.
Из их определения следует, что на множестве {г </г}
Нт(х^хи -) = \q
\ = [1% еС
[0 в
(НТовТ)(х0,хи ...)Нп *СШХп>а> (18)
1 Л ~ остальных случаях,

806
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
и поэтому, с учетом (17) и того, что {Хп > а} С {т ^ п} и {г < п) € &т> находим
Ро{^>а} = Ео(Ято0т;г^Аг) = Ео(Ео(Ято0т|^т);г<Аг). (19)
По строго марковскому свойству (13) на множестве {τ ζη}
Ε0(Ητοθτ\&τ) = ΕΧτΗτ (Ро-п.н.). (20)
Согласно определению, ΕχτΗτ — φ(τ, Хт)у где -0(т, х) = ЕхНт, и для х^а
ЕхНт = Рх{Хп-т >а}> Рх{Хп-т >А>\
(последнее неравенство следует из симметричности распределений величин
Тем самым на множестве {г ^ п}
Εο(Ητοθτ\&τ)>12 (Р-п.н.). (21)
Отсюда и из (19), (20) получаем требуемое неравенство (14).
4. Ес^и обратиться к уравнению Колмогорова—Чепмена (13) и
уравнению (38) в § 12 гл. I, то можно отметить их большое сходство.
Естественно поэтому проанализировать те общие моменты и те отличия, которые
содержатся в их формулировках и их выводах. (Мы ограничиваемся
рассмотрением лишь однородных марковских цепей с дискретным множеством
состояний £.)
Имеем для η ^ 1, 1 < λ < /z, t и / из £, что (с учетом формул (1) и (2))
PiiXn = Л=Σ р'<*« = А х"=α> = Σ Ε'7<*« = /№=α) =
= Σ Ε,·[Ε,(/(Χβ = j)l(Xk = α) |**)] =
α€£
= Σ Ε,·[/№=α)Ε,(/(^ = /)|^)](=)
α€£
Ш Σ Ε/ [ЦХк = α) Ε,- (/(*„_* = /) ο θ, | Λ)] Ш
α€£
(=> Σ Ε/[/(** = α) EXt/(*n_* = /)] =
α€£
= Σ Ε/ [/(Χ* = α) EJ(Xn-k = /)] =
α€£
= Σ Ε,·/№ = a) EJ(Xn-k = /) = Σ Ρ<<** = α> p«{Xn-k = /}, (22)
α€£ α€£

§2. ОБОБЩЕННОЕ МАРКОВСКОЕ И СТРОГО МАРКОВСКОЕ СВОЙСТВА 807
что и есть уравнение Колмогорова—Чепмена (13) из § 12 гл. I, записанное
там в виде
Если в (22) заменить время k на марковский момент г (со
значениями 1, 2, ..., п) и воспользоваться вместо марковского свойства (2) строго
марковским свойством (7), то получим (задача 5) следующую естественную
(обобщенную) форму уравнения Колмогорова—Чепмена:
P. tfi. = /} = Σ Ρ*χτ = α> ρ«Wi-τ = />■ (23)
α€£
И в формуле (22), и в формуле (23) суммирование ведется по фазовой
переменной а€Е. В формуле же (38) из § 12 гл. I суммирование ведется
по временной переменной.
Заметив это, предположим сейчас, что г —марковский момент со
значениями в {1, 2, ...}. Начиная так же, как и при выводе указанной
формулы (38), находим, что
η
Ρί{Χη = η = ΣΡ'ΛΧη = ί,τ = Ιι} + Ρί{Χη = ϊ.τ2η+1} =
k=\
η
= Σ EiWn = /)/(r = k) + РАХЯ = /, r > η + 1} =
η
= ^2Ei[Ei(I(Xn = j)I(T = k)\^k)] + Pi{Xn = jiT^n+l} =
η
= J2Ei[I(T = k)Ei(I(Xn = j)\Pk)] + Pi{Xn = jtT>n+\} =
η
= ^Ei[I(T = k)Ei(I(Xn^k = i)oek\^k)] + Pi{Xn = hT>n+l}^
η
= J^Ei[I(T = k)Exkl(Xn-k = j)] + Pi{Xn = j,TZn+l}. (24)
k=\
В п. 7 § 12 гл. I момент т = т}, где
т} = min{l ^.k^n: Xk = j)
с условием, что τ7=/ζ+1, если множество {·} = 0. Тем самым в этом

808
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
случае (24) естественно упрощается:
η
Pi{Xn = /} = Σ Е< V<ri = *> Е^у '(χ«-> = Λ) =
η η
= Σ Е,(/(ту = ft) Ey/(^_* = /)) = ^ Ε,/ίτ,- = ft) Ε;/(*β_* = /) =
превращаясь в уравнение (38) из § 12 гл. I:
Из (24) можно получить и другие полезные формулы, в которых (в
отличие от уравнения Колмогорова—-Чепмена) суммирование ведется по
временной переменной. Так, например, пусть марковский момент
т(а) = min{ 1 < k ^ η: Xk = a(ft)},
а (детерминированная) функция a = a(k), l^ft^/г, и марковская цепь
таковы, что Ρ/{τ(α)</ζ}=1 (для данных / и п). Тогда из (24) находим,
что
PdXn = /} = Ε Е<I'M") = *) Е*тСв)/(*я-* = у)J -
η
= £ Ε,/(τ(α) = ft) EQ{k)I(Xn_k = /),
т.е.
ρ* {jf«=/}=Σ ρ<·<τ(α)=*> p««№n-k=л.
(Ср. с (23).)
5. Задачи.
1. Доказать, что функция ψ(χ) = ΕχΗ из замечания в п. 1 является
«^-измеримой.
2. Доказать свойство (12).
3. Доказать свойство (13).
4. Верно ли свойство независимости величин Хп — ХтАп и ХтАп в
примере из п. 3?
5. Доказать формулу (23).

§3. ПРЕДЕЛЬНЫЕ РАСПРЕДЕЛЕНИЯ
809
§ 3. О проблематике предельных, эргодических
и стационарных распределений вероятностей
для марковских цепей
1. В § 1 уже было отмечено, что вопрос асимптотического
поведения стохастических систем с отсутствием последействия,
описываемых марковскими цепями, является одним из центральных вопросов
теории марковских случайных процессов. Связано это в известной
степени с тем, что при весьма широких условиях марковский характер таких
систем приводит к тому, что они как бы «стабилизируются», входят в
«стационарный режим».
Предельное поведение однородных марковских цепей X = (Хп)п^о
можно изучать с разных точек зрения. Например, можно исследовать вопрос о
! я-1
сходимости Ρ,τ-почти наверное функционалов типа - Σ f(Xm) при η—>οο
п т=0
для различных функций / = f(x), как это было в эргодической теореме для
стационарных в узком смысле случайных последовательностей (теорема 3
в § 3 гл. V). Представляет интерес изучение условий справедливости
закона больших чисел, как в § 12 гл. I.
В дальнейшем изложении основной акцент будет сделан не на
подобные вопросы сходимости типа почти наверное или по вероятности,
а на вопросы асимптотического поведения вероятностей перехода
P(rt)(jc; А) за η шагов (см. (10) в § 1) при п—>оо и на вопросы
существования стационарных (инвариантных) мер q = q(A), т. е. таких, что
q(A) = $P(x;A)q(dx), (1)
где Р(х\ А) — переходная функция (за один шаг).
Подчеркнем, что в определении (1) вовсе не предполагается, вообще
говоря, что мера q = q(A) является вероятностной (<7(£) = 1).
Если эта мера вероятностная, то ее принято называть
стационарным, или инвариантным, распределением. Смысл этой терминологии
вполне понятен: если взять в качестве начального распределения π
распределение q, т.е. считать, что Ря{Хо € A) = q(A), то в силу (1) окажется,
что и для любого η > 1 Pq{Xn G A} = q(A), т. е. это распределение остается
инвариантным по времени.
Нетрудно привести пример, когда нет стационарных распределений
q = q(A), но есть стационарные меры.
Пример. Пусть X = (Хп)п^о — марковская цепь, порожденная схемой
Бернулли, т. е. пусть Хп+\ =Хп+ ξη+\. где ξ\, &. · · · — последовательность
независимых одинаково распределенных случайных величин с Ρ{ξη = + 1} =
^Р» Ρ{6ι = -1} = <7· Пусть Xq=x, где хе{0,±\, ...}. Ясно, что здесь

810
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
переходная функция
Р(х'Лх + 1}) = р, Ρ(χ\{χ-ΐ))=ς.
Нетрудно проверить, что одно из решений (1) есть мера q(A) такая,
что q({χ}) = 1 для всякого χ е {0, ± 1, ...}. Если ρ Φ q > 0, то мера q(A) с
q({x}) = (p/q)x есть вторая инвариантная мера. Очевидно, что каждая из
этих мер является невероятностной и вероятностных инвариантных мер
здесь нет.
Этот простой пример показывает, что для существования стационар-
ного (инвариантного) распределения требуются определенные
предположения о рассматриваемых марковских цепях.
Вопрос о предельных значениях переходных вероятностей Р^п\х\ А)
при η —► оо интересен прежде всего с точки зрения существования
предела, не зависящего от начального состояния х. При этом надо иметь в
виду, что вполне может случиться, что никакого предельного
распределения просто не существует, скажем, может быть, что lim Р^п)(х\ А) —0 для
любого S и всякого начального состояния χ е Е. Достаточно, например,
взять в предшествующем примере ρ = 1, т. е. рассматривать
детерминированное движение вправо. (См. также примеры 4 и 5 в § 8.)
В случае произвольного фазового пространства (£, 8) отыскание
условий существования стационарных (инвариантных) распределений,
существования предельных значений переходных вероятностей (с теми или
иными их свойствами) представляет собой весьма трудную задачу (см.,
например, [104]). Однако, в случае счетного пространства состояний
(«счетных цепей Маркова») здесь получены интересные и довольно-таки
прозрачно формулируемые результаты. Они будут изложены в §§ 6 и 7.
Но предварительно придется провести детальную классификацию
состояний счетных марковских цепей по алгебраическим и асимптотическим
свойствам переходных вероятностей.
Отметим, что рассматриваемые вопросы о стационарных
распределениях и существовании пределов lim P^n)(x\ А) тесно связаны между собой.
В самом деле, если lim Р^п)(х\ А) (=и(А)) существует, не зависит от χ
и является мерой (по А е <f), то из уравнения Колмогорова—Чепмена
Я(я+|)(х; А) = ξ Р(п)(х\ dy) P(y\ А)
(формальным) предельным переходом по η -* оо найдем, что
v(A) = lPUr,A)v(dy).
Таким образом, и — и(А) будет стационарной (инвариантной) мерой.

§3. ПРЕДЕЛЬНЫЕ РАСПРЕДЕЛЕНИЯ
811
2. Везде в дальнейшем предполагается, что рассматриваемые
марковские цепи Х = (Хп)п^о принимают значения в счетном фазовом
пространстве £ = {1,2, ...}. Для простоты записи переходные функции Р(/, {/})
будем обозначать ρη (/, / еЕ). Переходные вероятности (некой
блуждающей «частицы» —для наглядности) из состояния / в состояние /
обозначаются plf\
Интересующие нас вопросы будут связаны с выяснением условий, при
которых:
A. Для всех j еЕ существуют пределы
π,-limp}?,
не зависящие от начальных состояний i е Е\
B. Эти предельные значения 11= (πι, π2, ...) образуют распределение
вероятностей, т. е. π/ > 0 и £ π7· = 1;
C. Цепь является эргодической, иначе говоря, предельные значения
П= (πι, π2, ...) таковы, что все π7· > 0 и Σ π7· = 1;
D. Существует и притом единственное стационарное
(инвариантное) распределение вероятностей Q = (q{, q^ ...), т.е. такое, что <7/^0,
i€E
для всех / е Е.
Замечание. Использованный здесь термин «эргодичность» встречался
нам в гл. V (эргодичность как свойство метрической транзитивности,
эргодическая теорема Биркгофа и Хинчина). В буквальном смысле эти
термины относятся к разным объектам, но у них есть и общее — они
отражают то, что речь идет об асимптотическом поведении тех или
иных вероятностных характеристик при стремлении временного параметра
к бесконечности.
3. Задачи.
1. Приведите примеры марковских цепей, у которых существуют
пределы π7· = lim pff: (а) не зависящие от начальных состояний /'; (Ь) зависящие
от начальных состояний /.
2. Приведите примеры эргодических и неэргодических цепей.
3. Приведите примеры, когда стационарное распределение не является
эргодическим.

812
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
§ 4. Классификация состояний марковских цепей
по алгебраическим свойствам матриц
переходных вероятностей
1. Будем предполагать, что рассматриваемая марковская цепь имеет
счетное множество состояний £ = {1, 2, ...} и переходные вероятности
Pij, /, jeE. Матрицу (таблицу), образованную этими переходными
вероятностями, будем обозначать Р= \\pij\\ или, в более развернутой форме,
Р\\ Р\2 /?13 ·
Р2\ Р22 /723 ·
Pil Pi2 PiZ
(Вместо || · || для матриц часто бывает удобнее писать (·)·)
Приводимая далее классификация состояний марковских цепей
полностью фределяется алгебраическими свойствами матриц переходных
вероятностей Ρ и их степеней Έ*η\ η > 1.
Матрица переходных вероятностей Ρ полностью определяет одноша-
говые переходы из состояния в состояние. Матрицы же P(rt) = \\plf\\
определяют (в силу марковского свойства) переходы за η шагов.
Скажем, матрица
Ί/2 1/2>
О 1
Ρ
=(Г0
и соответствующий ей граф (см. § 12 гл. I) показывают, что определяемое
ими движение «частицы», блуждающей по состояниям 0 и 1, таково, что
за один шаг возможен переход 0 —► 1 (с вероятностью 1/2), но переход
1 —»0 невозможен. Ясно, что переход 1 —»0 невозможен и за любое число
шагов, что видно, конечно, и из структуры матриц
р(1)_
2-п 1-2-"
О 1
показывающей, что р\^ = 0 при любом η ^ 1.
В этом примере состояние 1 является таким, что в него можно войти
(из состояния 0), но нельзя из него выйти.
Рассмотрим граф на рис. 36, по которому легко восстановить и
соответствующую матрицу переходов Р. Из вида этого графа ясно, что здесь
имеется три состояния (левая часть рисунка), выйдя из которых, обратно
вернуться невозможно.

§4. КЛАССИФИКАЦИЯ СОСТОЯНИЙ МАРКОВСКИХ ЦЕПЕЙ 813
С точки зрения «будущего» поведения «частицы», блуждающей в
соответствии с данным графом, эти три состояния несущественны (и
называются несущественными) по той указанной причине, что из них возможен
выход, но в них невозможно возвращение.
Несущественные
состояния
Ж
ц.
1
/ J ι Существенные
1/2/ ] состояния
Рис. 36.
Такие «несущественные» состояния, не представляющие интереса,
можно сразу отбросить, сосредоточив все внимание на классификации
лишь оставшихся «существенных» состояний. (Данному описательному
определению «несущественных» и «существенных» состояний можно
придать и точную формулировку в терминах свойств переходных вероятностей
р^\ /, / € £, η ^ 1; задача 1.)
2. Чтобы расклассифицировать существенные состояния или группы
таких состояний, нам понадобится ряд определений.
Определение 1. Говорят, что состояние / достижимо из состояния /
,(0) _
(обозначение: i -»/), если найдется такое η ^ 0, что p\j > 0 (pfj} = 1, если
/ = /, и 0, если ιφ'ί).
Состояния / и / называются сообщающимися (обозначение: /*-+/),
если / —> / и / —> /, т. е. они являются взаимно достижимыми.
Лемма 1. Свойство сообщаемости «<->» (взаимной
достижимости) есть отношение эквивалентности состояний (марковской цепи
с матрицей переходных вероятностей Р).
Доказательство. По определению отношения эквивалентности
(в данном случае отношения «<-*») надо проверить его рефлексивность
(/<->/), симметричность (если /<->/, то /*->/) и транзитивность (если
' *■*/» Ζ4-*Λ. то i*-*k).
Первые два свойства следуют непосредственно из определения
сообщаемости состояний. Транзитивность вытекает из уравнения
Колмогорова—Чепмена: если р}у > 0, ру > 0, то
(п+т) _ у^ (η) (т) > (п) (т) q
Pik — 2-й Ρα Ρik * Pi] Pjk > u>
т. e. / -»k. Аналогично, k -» /'. Тем самым, i <-> k.

814
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Будем относить все сообщающиеся между собой состояния /, /, k, ...
(/ <-> /, /<->&,&<->/, ...) к одному классу. Тогда любые такие классы
состояний или совпадают, или же не пересекаются. Следовательно, отношение
сообщаемости разбивает все множество (существенных) состояний £
на конечное или счетное число непересекающихся множеств Е\, £2» · · ·
(£ = £,+£2+...).
Эти множества будем называть неразложимыми классами
(существенных сообщающихся) состояний. Марковскую цепь, все состояния
которой образуют один неразложимый класс, будем называть неразложимой.
Для иллюстрации введенных понятий рассмотрим цепь с пространством
состояний £ = {1, 2, 3, 4, 5} и матрицей переходных вероятностей
Р =
/1/3 2/3
1/4 3/4
0 0
0 0
\ 0 0
0 0 0 \
0 0 0]
0 10
1/2 0 1/2
0 10/
Граф этой цепи с пятью состояниями имеет следующий вид:
2/3 1 1/2
1/3 ОС ^Х)3/4 °ν[ ^Х[ ^> 5
1 1/4 2 1/2 1
Ясно, что у рассматриваемой цепи есть два неразложимых класса Е\ =
= {1,2}, £г = {3, 4, 5}, и исследование ее свойств сводится к
исследованию свойств каждой из двух цепей, множествами состояний которых
являются множества Е\ и £2, а матрицы переходных вероятностей равны
соответственно Pi и Ρ2.
Рассмотрим теперь какой-нибудь
неразложимый класс £. Для примера пусть им
будет класс, изображенный на рис. 37.
Заметим, что здесь возвращение в каждое
состояние возможно лишь за четное
число шагов, переход в соседнее состояние — за
нечетное число шагов, а матрица
переходных вероятностей имеет блочную структуру:
Рис. 37. Пример
марковской цепи с периодом d = 2
/ 0 0
0 0
1/2 1/2
\1/2 1/2
1/2 1/2
1/2 1/2
0 0
0 0,

§4. КЛАССИФИКАЦИЯ СОСТОЯНИЙ МАРКОВСКИХ ЦЕПЕЙ 815
Отсюда видно, что класс £ = {1, 2, 3, 4} разбивается на два подкласса
Со = {1» 2} и С\ = {3, 4}, обладающих следующим свойством цикличности:
за один шаг из Со «частица» непременно переходит в Сь а из С\ — в Со.
3. Приведенный пример показывает, что, по-видимому, и в общем
случае можно дать соответствующую классификацию неразложимых
классов состояний на циклические подклассы.
С этой целью нам понадобятся некоторые определения и один факт из
теории чисел.
Определение 2. Пусть φ = (φ\, φ2> ...) —некоторая
последовательность неотрицательных чисел φη ^0, п^ 1. Периодом последовательности
φ (обозначение: ά(φ)) называется число
^) = НОД{01:у>л>0},
где НОД(А4у,) есть Наибольший Общий Делитель множества Μφ тех
индексов η ^ 1, для которых φη > 0; если φη = 0, η ^ 1, то Μφ = 0 и НОД(А4φ)
полагается равным нулю.
По-другому можно сказать, что последовательность φ имеет период
ά(φ), если из того, что φη > 0, следует, что ά(φ) делит η (т. е. η должно
иметь вид d(y>)k с некоторым k^ 1) и ά(φ) является наибольшим среди
всех тех чисел d, которые обладают таким свойством (т. е. таких, что η = dl
с некоторым целым / ^ 1).
Так, например, последовательность φ = {φ\, ψ2, ·.·) такая, что (f4k>0
для £=1,2, ... и <рп = 0 для пф\к, имеет период </(</?) = 4, а не 2, хотя
^2/ > 0 для / = 2, 4, 8.
Определение 3. Говорят, что последовательность φ—(φ\ ,ψ2, · · ·)
апериодическая, если ее период ά(φ)= 1.
Следующий элементарный результат из теории чисел будет в
дальнейшем полезен при классификации состояний по свойству цикличности.
Лемма 2. Пусть Μ — некоторое множество неотрицательных
целых чисел (Af С£), замкнутое относительно сложения и такое,
чтоНОЩМ)=\.
Тогда при некотором по все числа п^по будут принадлежать М.
Применим эту лемму к множеству Μ — Μφ, беря в качестве
последовательности (р = (<ри ψ2, ...) последовательность (pj}\ р^\ ...) или
последовательность (pf!\ pff\ ···)» d^U где / — некоторое состояние
марковской цепи, имеющей матрицу переходных вероятностей Р=||р//||, а
Ρ У — элемент матрицы P(rt), η ^ 1, Р(1) =Р. (При этом будем говорить, что
состояние j имеет период d(j)t если d(j) есть период последовательности
(Pjj\ pf}\ ..·)·) Тогда получим следующий результат.

816
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Теорема 1. Пусть состояние j имеет период d = d(j).
Если d = \, то найдется такое по = /z0(/), что для всех п^щ
переходные вероятности pff > 0.
Если d>\, то найдется такое яо = яо(/\ d), что для всех п^щ
переходные вероятности p^d) > 0.
Если d^\ и р^ >0 для некоторых ieE и т^ 1, то найдется
такое по = яо(/\ dt m), что р1™+па) > 0 для всех η > яо-
Приведем теперь теорему, показывающую, что период состояний
неразложимого класса обладает свойством «однотипности».
Теорема 2. Пусть £* = {/, /', ...} — некоторый неразложимый класс
(сообщающихся) состояний из множества Е.
Все состояния такого класса являются «однотипными» в том
смысле, что они имеют один и тот же период (обозначаемый d(E+)
и называемый периодом класса £*).
Доказательство. Пусть /, /ё£*. Тогда найдутся такие k и /, что
p\l > 0 ij /?jf > 0. Но тогда в силу уравнения Колмогорова—Чепмена
Ρii 2Ld Pia Ρ™ ^ "ч Pji »
а€Е
и, значит, k + / должно делиться на d(i) — период состояния / € £*.
Пусть d(j) — период состояния / g£* и η таково, что pff > 0. Тогда η
должно делиться на d(j) и так как
Г+,)>/'!ММ?>о.
то n + k + l делится на d(i). Но k + l делится на d(i), а значит, η делится
на d(i) и поскольку d(j) = НОД{/г: р{У > 0}, то d(i) < d(j).
По симметрии d(j) ^ d(i)t и, следовательно, d(i) = d(j). D
4. Если множество состояний £* С Ε образует неразложимый класс
(сообщающихся состояний) и d(E*) = 1, то о таком классе говорят как об
апериодическом классе состояний.
Рассмотрим теперь случай d(E+) > 1.
Переходы из состояния в состояние внутри такого класса могут
осуществляться весьма причудливым образом (как в рассмотренном выше
примере марковской цепи с периодом d(E+) = 2\ см. рис. 37). Оказывается,
однако, что в этих переходах, из одной группы состояний в другую, имеет
место вполне определенная «цикличность»:
Теорема 3. Пусть £* — неразложимый класс состояний, £* С £,
с периодом d = d(E*) > 1.
Тогда найдутся d групп состояний Со, С\,..., C</_i, называемых
циклическими подклассами (£* = Со 4- С ι +... 4- C^_i), характеризуе-

§4. КЛАССИФИКАЦИЯ СОСТОЯНИЙ МАРКОВСКИХ ЦЕПЕЙ 817
мые тем, что в моменты времени п — рл-kd с /? = О, 1, ..., d - 1 и
fe = 0, 1, ... «частица» будет находиться в подклассе Ср с переходом
в следующий момент в Ср+\, затем в Ср+2, ..., в С</_ь из Са-\ в Со
и т.д.
Доказательство. Зафиксируем некоторое состояние /Ό € £* и введем
следующие подклассы:
C0 = {jeE+: если р$>09 то/z = ftd, ft = 0, 1, ...},
Ci={/<=£*: если />j$>0, ron = kd+lt ft = 0, 1, ...},
Q_, ={/€£*: если pg>0, то n = kd + (d - 1), Λ = 0, 1, ...}.
Ясно, что Е+ = Со + С\ +... + C</_i. Покажем, что движение «частицы»
из подкласса в подкласс осуществляется описанным в теореме способом;
см. рис. 38.
В самом деле, рассмотрим некоторое
состояние ieCpt и пусть состояние / е£*
таково, что Pij > 0. Покажем, что тогда
непременно /бС(р+1) (modd)·
Пусть η таково, что pW > 0. Тогда η
может быть представлено в виде /г = p + kd
с некоторыми ρ = 0, 1, ..., d - 1 и k =
= 0, 1, ... Значит, п = р (modd), и
поэтому η + 1 = (ρ + 1) (mod d). Отсюда следует,
Рис. 38. Движение по
циклическим подклассам
что р\оJ ' > 0 (по определению периода d =
= </(£*)), И, ЗНаЧИТ, jeCip+i} (modd), ЧТО И
требовалось установить. D
Заметим, что из приведенных рассуждений следует, что матрица Ρ пе
реходных вероятностей имеет блочную структуру:

818
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Предположим сейчас, что блуждающая «частица», эволюция которой
управляется матрицей Р, начинает свое движение из некоторого состояния
в подклассе С0. Тогда в каждый из моментов времени η = ρ + kd эта
«частица» будет находиться (в силу определения подклассов С0, С,,..., Cd-X)
в множестве Ср.
Следовательно, с каждым таким множеством состояний Ср можно
связать новую марковскую цепь с матрицей переходов \\pjfl где /, jeCp.
Эта новая цепь будет неразложимой и апериодической.
Множество всех
состояний £
Несущественные
состояния
Существенные
состояния
£
I _
[со
L
Ί
н
еразло,
-J
£
L
2
иые
с,
классы
I
Q-i
Циклические подклассы
Рис. 39. Классификация состояний марковской цепи по арифметическим свойствам
(я)
вероятностей ρν.
Таким образом, принимая во внимание проведенную классификацию
(на несущественные и существенные состояния, неразложимые классы и
циклические подклассы; см. сводный рис. 39), можно сделать такой вывод:
При исследовании вопросов предельного поведения
переходных вероятностей р^ , О 1, «,/€£, определяющих
блуждание «марковской частицы», можно ограничиваться
рассмотрением лишь того случая, когда фазовое
пространство £ само является единственным неразложимым
апериодическим классом состояний.
В этом предложении саму марковскую цепь X = (Хп)п>0 с таким
фазовым пространством и матрицей переходных вероятностей Ρ называют
неразложимой и апериодической.

§5. КЛАССИФИКАЦИЯ СОСТОЯНИЙ МАРКОВСКИХ ЦЕПЕЙ 819
5. Задачи.
1. Придать рассмотренному в конце п. 1 описательному определению
несущественных и существенных состояний точную формулировку в
терминах свойств переходных вероятностей р^\ /, / е£, О 1.
2. Пусть Ρ — матрица переходных вероятностей неразложимой
марковской цепи с конечным числом состояний. Пусть Р2 = Р. Исследовать
структуру этой матрицы Р.
3. Пусть Р —матрица переходных вероятностей конечной марковской
цепи Х = {Хп)п^о- Пусть σι,<72, ... —последовательность независимых,
одинаково распределенных, неотрицательных, целочисленных случайных
величин, независимых от Xt и пусть то = 0, τη = σ\ +... + σ„, /i^l.
Показать, что последовательность Х = {Хп)п^о с Хп—ХТп является цепью
Маркова. Найти матрицу Ρ переходных вероятностей этой цепи. Показать,
что если состояния / и / сообщающиеся для цепи X, то они будут таковыми
и для цепи X.
4. Рассматривается марковская цепь с двумя состояниями, £ = {0, 1},
и матрицей переходных вероятностей
ρ=(ι-/? 1~βα) · 0<α<1> o</j<i.
Опишите структуру матриц Ρ(Λ), η ^ 2.
§ 5. Классификация состояний марковских цепей
по асимптотическим свойствам переходных
вероятностей
1. Пусть X = (Хп)п^о — однородная марковская цепь со счетным
множеством состояний £ = {1, 2, ...} и переходными вероятностями р1} =
= Р/№ = /},/,/€£.
Положим
/£° = Wi.=/.**#/. и*<я-1> (1)
и (для ι φ j)
fS) = Pi{Xn = i.Xk¥>i.Kb<n-i}. (2)
Понятно, что f\f* есть вероятность первого возвращения в состояние
i в точности на /z-м шаге, а //?* — вероятность первого попадания в
состояние / в точности на /г-м шаге в предположении, что Xo = i.
Если положить
a-M = M{n>\:Xn(w) = i} (3)

820
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
с сг/(о;) = оо, когда стоящее здесь множество {} = 0, то вероятности fj^
и //?* можно будет представить также в следующем виде:
fM = P.{<Ti = nl ffn) = Pi{crj = nl (4)
Введем для /, / Ε Ε величины
/1=1
Из (4) ясно, что
/*/=Р/{*/<00}. (6)
Иначе говоря, //у — это есть вероятность того, что «частица», начинающая
блуждать из состояния /, рано или поздно попадет в состояние /'.
Особо важна в дальнейшем вероятность /,·,· — вероятность того, что
«частица», выходящая из состояния /, рано или поздно в него вернется.
Именно эти вероятности используются в следующих определениях.
Определение 1. Состояние ieE называется возвратным
(рекуррентным — recurrent, persistent), если /,·,· = 1.
Определение 2. Состояние ieE называется невозвратным (транзи-
ентным —transient), если /,·,· < 1.
Имеют место следующие критерии возвратности и невозвратности.
Теорема 1. а) Возвратность состояния ieE равносильна любому
из следующих свойств:
?i{Xn = i б. ч.) = 1 или Σ р{и] = °°-
η
b) Невозвратность состояния i е Ε равносильна любому из
следующих свойств:
?i{Xn = i б. ч.) = 0 или Σ Pf < °°·
η
Таким образом, согласно этой теореме:
/« = 1 <* Pi{Xn = i6.4.}=\ * £/7<f> = oo, (7)
η
fa < 1 «· Р,{ХЯ = i б. ч.} = 0 *► ]Г Pt < «о. (8)
П
Замечание. Напомним, что, согласно таблице 1 в § 1 гл. II, событие
{Xn — i б.ч.} —это множество тех исходов ω4 для которых Χη(ω) = ί для

§5. КЛАССИФИКАЦИЯ СОСТОЯНИЙ МАРКОВСКИХ ЦЕПЕЙ 821
бесконечного числа (б.ч.) индексов п. Если при этом Αη = {ω: Χη(ω) = ί},
оо
то {Хп =i б. ч.}= Π |J Ak\ см. указанную таблицу.
/1=1 k—n
Доказательство. Можно сразу отметить, что импликация
Σρ^κοο => Р,{*я = /б.ч.) = 0 (9)
η
является (в силу того, что pW = Ρι{Χη = /}) следствием леммы Бореля—
Кантелли (см. утверждение а) в этой лемме, § 10 гл. II).
Покажем, что
/l7=i «. 5>'№°· (10>
η
Из однородности и марковского свойства следует, что для любых
наборов (/ι, ..., ik) и (/ь ..., }п)
Pi{(Xu ..., *Λ) = («ι. .... ik)t (Xk+U ...,**+„) = (/!, ..., /«)} =
= P,{№,..., xk) = (iu ..♦, **)}Р/Д(*ь ···. *«) = (/Ί. ···. /«)}·
Отсюда непосредственно вытекает (ср. с выводом формулы (38) в § 12
гл. I и формулы (25) § 2 этой главы), что
/1-1
/ί-1
= Σ Ρ/№ #/.···. *«-*-ι Φ U xn-k = /'} P/Mk = /> =
η— 1 я
Итак,
*=1
Полагая /' = /, находим (с р\^ = 1), что
ОО Λ ОО ОО ОО
Σ ρίΓ'-ΣΣ H?plrk)=E № Σ ptk)=h Σ />?}-
/ί=0
= /./(ΐ + Σ^)Υ (12)
rt=l «=1 Λ=1 *=I «=Λ л=0
/ оо
/ί=1

822
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Отсюда ясно, что
£*w
5>W<oo-> /,,= "=L, w. (13)
«=ι 1 + Σ Pi?
Пусть теперь £ ρ·,· = oo. Тогда
OO
л=1
Ν η
Σ />2°=Σ Σ /М-*}=Е f Σ /#-*<Σ frw Σ ^
л=1 rt=l *=1 k=\ n=k k=\ 1=0
и, значит,
Ν (
oo Ν Σ Pii
Итак,
(/)
ΣρΤ = *> =► /tf = l. (14)
/ι=1
Импликации (13) и (14) немедленно приводят к справедливости
следующих взаимных импликаций:
оо
X>f<oo ^ /й<1, (15)
я=1
ОО
Σ ^ = 00 * fu = \. (16)
/ί=1
Для завершения доказательства теоремы осталось показать, что
/й<1 & Pi{Xn = i6.4.} = 0i (17)
fu = \ *> Pi{Xn = i6.4.}=\. (18)
С интуитивной точки зрения эти свойства весьма понятны. Так, если
fa = 1, то это означает, что P,{crt < оо} = 1, т. е. «частица» рано или поздно
вернется в то же самое состояние ί, откуда она начала свое движение.
Но тогда, по строго марковскому свойству, с этого (случайного) момента
«жизнь частицы» как бы начинается заново. Продолжая эти рассмотрения,
приходим к тому, что события {Хп = /} будут осуществляться для
бесконечного числа индексов л, т. е. Pi{Xn = / б. ч.}= 1.

§5. КЛАССИФИКАЦИЯ СОСТОЯНИЙ МАРКОВСКИХ ЦЕПЕЙ 823
Проведем формальное доказательство свойств (17) и (18).
Рассмотрим для данного состояния ieE вероятность того, что
число возвращений в i больше или равно т. Мы утверждаем, что эта
вероятность равна (fu)m.
Действительно, если т— 1, то это следует из определения /,·,·. Пусть
требуемое утверждение доказано для т—\. Покажем, что тогда
интересующая нас вероятность равна (fu)m.
По строго марковскому свойству (см. (8) в § 2) и с учетом того, что
событие {σι = k) € &ση находим:
Р,-{число возвращений в / больше или равно т) =
ОО
= у] Ρ/(σ/ = k и число возвращений в / после момента k
к={ больше или равно т - 1} =
оо
= У^ Pi{ai = k}Pi(no крайней мере т- 1 значение из Xai+\4 Xai+2> ···
k=l равно/|σ,·=Λ) =
оо
= У^ Р/{<7; = й}Р,(по крайней мере т- 1 значение из Х\ч ^2, ···
k=x равно /) =
=Σ#)(λ*γ-,=/«(/«γ-1=(/«)"
Отсюда вытекает, что
Pi{Xn = i б.ч.}» um (Й»Г = („ ССЛИ f"~n <19>
m—со 10, если /и — О.
Эта формула показывает, что если А = {Ап б.ч.} (=lim Ап)у где Ап =
= {^л = /}, то для вероятности Р;(Л) справедлив «закон 0 или 1», т.е.
Р/(Л) принимает лишь два значения 0 или 1. (Отметим, что это свойство
не вытекает непосредственно из утверждений а) и Ь) леммы Бореля—
Кантелли (§ 10 гл. II), поскольку события Ап, /г^1, являются, вообще
говоря, зависимыми.)
Из (19) и того свойства, что Р/(Л) принимает лишь значения 0 и 1,
получаем требуемые импликации в (17) и (18). D
2. Из доказанной теоремы вытекает следующее простое, но важное
свойство невозвратных состояний.

824
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Теорема 2. Если состояние j невозвратно, то для любого i € Ε
оо
Σ>ί><°ο (20)
/ι=1
и, значит, для любого i € Ε
pj?->0, п->оо. (21)
Доказательство. Из (11) (с ρ{μ = 1)
оо оо η оо оо оо оо
Σ "?=Σ Σ /«-"-Σ С Σ ")?='./Σ "!?<Σ />{?<«.
Λ=1 /ι=1 k=\ k=\ /ι=0 /ι=0 /i=0
oo
где мы учли, что /,-у-= £ /λ' ^ 1 (как вероятность того, что частица, вы-
k=\
шедшая из состояния /, рано или поздно попадет в состояние /).
Свойство (21) очевидным образом следует из (20). D
3. Перейдем теперь к рассмотрению возвратных состояний.
Каждое возвратное состояние i е Ε можно отнести к одному из двух
типов в зависимости от конечности или бесконечности среднего времени
первого возвращения
оо
/1=1
в это же состояние. (Напомним, что, согласно (1), /»л) есть вероятность
первого возвращения в точности через η шагов.)
Определение 3. Возвратное состояние ieE называется
положительным, если
ι
>0, (23)
*■-(§.*·)■
и нулевым, если
PT'-fE-ZrV'-O. (24)
\П=\
Таким образом, согласно этому определению, первое возвращение в
нулевое (возвратное) состояние происходит (в среднем) за бесконечное
время. Среднее же время первого возвращения в положительное
(возвратное) состояние является конечным.

§5. КЛАССИФИКАЦИЯ СОСТОЯНИЙ МАРКОВСКИХ ЦЕПЕЙ 825
4. Следующий рисунок наглядно иллюстрирует классификацию
состояний марковской цепи, основанную на понятиях возвратности и
невозвратности, положительной возвратности и нулевой возвратности.
Множество
всех состояний
Возвратные
состояния
Положительные
состояния
Нулевые
состояния
Невозвратные
состояния
Рис. 40. Классификация состояний марковской цепи по асимптотическим
свойствам вероятностей рхп
(п)
5. Теорема 3. Пусть состояние j бЕ марковской цепи является
возвратным и апериодическим (d(j) = 1).
Тогда для любого i е Ε
► оо.
(25)
Если к тому же состояния i и j сообщающиеся (i <-> /), т. е.
принадлежат одному и тому же неразложимому классу, то
Лп)
1
р}'->—, п->оо.
4 β}
(26)
Приводимое ниже доказательство будет существенно опираться на
утверждение леммы 1, являющейся одним из ключевых результатов
«дискретной теории восстановления». По поводу иного доказательства
теоремы 3, основанного на идеях каплинга (coupling, § 8 гл. III), см.,
например, [104], [105].
Лемма 1 (основная лемма «дискретной теории восстановления»).
Пусть φ = {φ\,ψ2> ...) — апериодическая (ά(φ) = \)
последовательность неотрицательных чисел, по которой строится
последовательность и = (wo, и\, ...) в соответствии со следующим рекуррентным
правилом: Uq = 1 и для любого η ^ 1
Un = ψ\Ηη-\ + ψ2^η-2 + ... + ψη^.
(27)

826
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Тогда при η —> оо
оо
где μ= £ ηφη.
п=\
По поводу доказательства этой леммы см., например, [69, т. 1, XIII. 10].
Доказательство теоремы 3. Пусть сначала / = /'. Покажем, что
pfhh* n^°°- (28)
С этой целью перепишем формулу (И) (для / = /) в следующем виде:
р» = Л>Т1)+fffpT*+· · ·+/Μ?. (Μ)
где полагается pj^ = 1 и, очевидно, № = pjj\ Если положить
"* = />}?, ¥>* = /)?. (30)
то (29) переписывается в виде
что в точности совпадает с рекуррентной формулой в лемме 1.
Требуемый результат (28) будет непосредственно вытекать из
утверждения этой леммы, как только убедимся в том, что период df(j)
последовательности (/jj\ /j?\ ...) равен единице, если (как это предположено)
период последовательности (pj]\ pjy\ ...) равен единице.
Это в свою очередь вытекает из следующего общего утверждения.
Лемма 2. Для всякого j € Ε
НОД(/г > 1: pf> > 0) = НОД(/г ^ 1: /J> > 0), (31)
т.е. периоды df(j) и d(j) совпадают.
Доказательство. Пусть
Λί = {ι: />}?>0} и Mf = {n: /$> >0}.
Поскольку М/ С М, то
НОД(М) ^ НОД(М/),
т.е. </(/)<*/(/).
Обратное же неравенство вытекает из следующего смысла
вероятностей pf) и /#\л>1.
Если «частица», вышедшая из состояния /, через η шагов оказывается
снова в этом состоянии (pff >0), то это означает, что ее движение было

§5. КЛАССИФИКАЦИЯ СОСТОЯНИЙ МАРКОВСКИХ ЦЕПЕЙ 827
таким, что она из / в / впервые вернулась через k\ шагов (ff}l)>0)9
затем — через кч шагов (/jy-2) > 0), ..., через й/ шагов (№ι) > 0).
Значит, n = k\ +&2+ ··· + &/· Число df(j) делит k\, &2» ···, &/ и поэтому
делит /г. Но d(/) — наибольшее из тех чисел, которые делят те /г, для
которых pff>0. Тем самым, d(j)^df(j).
Итак, d(j) = df(j), что, между прочим, говорит о том, что при
определении периода d(j) состояния / формулой d(j) = НОД(/г ^ 1: ρ^>0)
можно было бы пользоваться также формулой d(j) = НОД(/г ^ 1: /j?* > 0).
Лемма 2 доказана. D
Перейдем теперь к доказательству свойства (25) в случае хф].
Запишем формулу (11) в следующем виде:
,(">_V f(*)n("-*>
Λ/=2J/« ^« · (32>
*=1
где положено ρ Φ = 0, / < 0
//
Поскольку здесь ρΚμ —» — и Σ //.' ^ 1, то по теореме о мажорируемой
Α*/ *=ι
сходимости (теорема 3 в § 6 гл. И)
(X) ОО ОО
'г Σ >ΜΓβ - Σ /?' «ρ "Г" - j, Σ «? - >. »3,
Из (32) и (33) получаем, что
Нтд(?> = ^, (34)
η Ч μ]
т. е. справедливо утверждение (25).
Наконец, если мы покажем, что при дополнительном предположении
i <-> / (т. е. /, / принадлежат одному и тому же неразложимому классу
сообщающихся состояний) вероятность /,-у = 1, то из (34) будет следовать
и свойство (26).
Состояние / предположено возвратным. Следовательно, по
утверждению а) теоремы 1 Pj{Xn = j б. ч.} = 1. Поэтому для всякого т
Pjf = Pj({Xm = i}n{Xn = j б.ч.Ж
=T,pTftm)=pT)fih (35)
n>m
n>m

828
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
где предпоследнее равенство есть следствие обобщенного марковского
свойства (см. (2) в § 2).
В силу того, что Ε — класс сообщающихся состояний, найдется т
такое, что р^ > 0. Поэтому из (35) заключаем, что //у = 1. G
6. Естественно сформулировать аналог приведенной теоремы 3 и в
том случае, когда период d интересующего нас состояния / может быть
произвольным (d = d(j)^ 1).
Справедлива следующая
Теорема 4. Пусть состояние j еЕ марковской цепи является
возвратным с периодом d = d(j) ^ 1, и пусть i — некоторое состояние
из Ε (быть может, и совпадающее с j).
a) Предположим, что i и j принадлежат одному и тому же
неразложимому классу С СЕ с (циклическими) подклассами Со, С\,...,
Q-1,занумерованными так, что j€Со, / €Са,гдеае{0,1, ...,d- 1}, и
движение по ним осуществляется в циклическом порядке: Со —► С ι -»
—►...-» Са -»... —► Cd-\ —► Со. Тогда при /ζ -»оо
4 β}
b) В общем случае, когда i и j могут принадлежать разным
неразложимым классам, при л-»оо
(πι/+β) ±
,k=0
(kd+a)
(37)
для всякого а = 0, 1,..., d - 1.
Доказательство, а) Пусть сначала а = 0, т. е. / и / принадлежат
одному и тому же неразложимому классу С и, более того, принадлежат
одному и тому же циклическому подклассу Со.
Рассмотрим переходные вероятности p\j\ i, /€С, и по ним построим
(в соответствии с конструкциями § 1) новую марковскую цепь.
Для этой новой цепи состояние / будет возвратно и апериодично.
Состояния / и / для этой новой цепи останутся сообщающимися (i <-»· /). Тем
самым по свойству (26) из теоремы 3
Ш) __ 1 _ d _ d_
где последнее равенство следует из того, что ή) = 0 для всех /, не деля-
оо
щихся на d, и по определению μ7· = Σ If)/.

§5. КЛАССИФИКАЦИЯ СОСТОЯНИЙ МАРКОВСКИХ ЦЕПЕЙ 829
Предположим теперь, что формула (36) доказана для а = 0, 1, ..., г
(*;d-2).
По теореме о мажорируемой сходимости (теорема 3 § 6 гл. II)
k=\ k=\ μι μι
Тем самым требуемая формула (36) будет верна и для а = г + 1 (^ d - 1),
т. е. по индукции установлена справедливость формулы (36) для всех
а = 0, 1 rf— 1.
b) Для любых / и у из £ справедлива следующая формула (см. (11)):
nd+a
Ρ1?+«=Σ /jy)pJT,+-4). a = 0,l d-\.
k=l
По предположению период состояния / равен d. Поэтому p^d+a~k) = 0,
за исключением лишь случаев, когда k - а имеет вид rd. Значит,
(nd+a) γ^ f(rd+a) Un-r)d)
r=0
Отсюда и из установленного свойства (36), применяя снова теорему о
мажорируемой сходимости, приходим к требуемому утверждению (37). D
7. Как было отмечено в конце § 4, при рассмотрении вопроса
классификации марковских цепей по асимптотическим свойствам переходных
вероятностей можно ограничиваться рассмотрением лишь
апериодических неразложимых цепей.
Результаты, изложенные в теоремах 1—3, в сущности, содержат все
необходимое для полной классификации таких цепей.
Предварительно приведем одно вспомогательное утверждение из числа
результатов о том, что для неразложимых цепей все состояния относятся
к одному и тому же («возвратному» или «невозвратному») типу. (Ср. со
свойством «однотипности» в теореме 2 § 4.)
Лемма 3. Пусть Ε — неразложимый класс (сообщающихся
состояний). Тогда все его состояния или только возвратные, или только
невозвратные.
Доказательство. Пусть у цепи есть хотя бы одно невозвратное
состояние, скажем, состояние /. По теореме 1 £) Ри <°°-
η
Пусть теперь / — какое-то другое состояние. В силу того, что Ε —
неразложимый класс сообщающихся состояний (/ *-+ /), найдутся такие k

830
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
и /, что р^к) > 0 и р® > 0. Но тогда из очевидного неравенства
Pa & Pi\ Pjj Ρ μ
следует, что
и η
По предположению Σ pf <°° и *·l таковы, что p\f pf >0. Значит,
Σρ)?<οο.
В силу утверждения b) теоремы 1 отсюда следует, что состояние /
также невозвратно. Иначе говоря, если у неразложимой цепи хотя бы
одно состояние является невозвратным, то таким же будет и любое другое
состояние.
Пусть теперь / — возвратное состояние. Покажем, что тогда и все
остальные состояния возвратны.
Предположим, что (в дополнение к возвратному состоянию /) есть хотя
бы одно невозвратное состояние. Тогда по уже доказанному все другие
состояния также должны быть невозвратными, что противоречит
предположению, что / — возвратное состояние.
Тем самым наличие хотя бы одного возвратного состояния
автоматически влечет то, что все остальные состояния (у неразложимой цепи) тоже
возвратны. Π
Результат этой леммы полностью оправдывает ту (общепринятую)
терминологию, когда о неразложимых цепях (а не только об отдельных
состояниях) говорят, что они «возвратные», «невозвратные».
Теорема 5. Пусть марковская цепь состоит из одного
неразложимого класса Ε апериодических состояний. Для такой цепи
реализуется лишь только одна из следующих трех возможностей.
(i) Цепь невозвратна. В этом случае для всех /, j еЕ
lim л!?=0,
причем сходимость к нулю достаточно «быстрая» в том смысле,
что
Σ Ι"1
<оо.
(и) Цепь возвратная и нулевая. В этом случае также для всех
lim/7^ = 0,

§5. КЛАССИФИКАЦИЯ СОСТОЯНИЙ МАРКОВСКИХ ЦЕПЕЙ 831
но сходимость достаточно «медленная» в том смысле, что
:(Х>
и среднее время μ7 первого возвращения из } в j равно
бесконечности.
(iii) Цепь возвратная и положительная. В этом случае для всех
iJeE
Hm p\f = ->0,
где μ} — среднее время возвращения из j в /, которое конечно.
Доказательство. Утверждения в (i) доказаны в теореме 1 Ь) и
теореме 2. Утверждения в (и) и (iii) вытекают непосредственно из теоремы 1 а)
и теоремы 3. D
8. Обратимся к случаю конечных марковских цепей, т. е. случаю,
когда множество состояний Ε состоит из конечного числа элементов.
Оказывается, что в этом случае из трех возможностей (i), (ii), (iii) в
теореме 5 имеет место только третья.
Теорема 6. Пусть конечная марковская цепь является
неразложимой и апериодической. Тогда такая цепь будет возвратной и
положительной. При этом Игл р\? = — > 0.
Доказательство. Предположим, что цепь невозвратна. Тогда если
число г состояний цепи конечно (£ = {1, 2, ..., г}), то
у=1 у=1
Левая часть, очевидно, равна единице. Но предположение невозвратности
влечет за собой (согласно (i) теоремы 5) то, что правая часть равна нулю.
Полученное противоречие исключает первую возможность в теореме 5.
Пусть теперь состояния цепи возвратные.
В силу того, что по утверждению теоремы 5 остались лишь две
возможности ((i) и (iii)), надо убедиться в том, что возможность (ii) исключается.
Но поскольку в этом случае lim рФ = 0 для всех /, / € £\ то так же, как и в
случае невозвратных состояний, используя (38), приходим к противоречию.
Тем самым остается лишь третья возможность (iii). D
9. Задачи.
1. Рассмотрим неразложимую цепь с множеством состояний 0, 1,2, ...
Для того чтобы она была невозвратной, необходимо и достаточно, чтобы

832
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
система уравнений Uj = J2 ЩРц, / = 0, 1, ..., имела ограниченное решение
i
такое, что щфс, / = О, 1, ...
2. Для того чтобы неразложимая цепь с множеством состояний 0, 1, ...
была возвратной, достаточно существования такой последовательности
(wo, и\, ...) с щ —► оо, / -»оо, что для всех / ^ О Uj^Y^ Щрц.
i
3. Для того чтобы неразложимая цепь с состояниями О, 1, ... была
возвратной и положительной, необходимо и достаточно, чтобы система
уравнений #/ = ]£ uiPij* / = 0. 1» ···» имела не тождественно равное нулю
i
решение, для которого £ \щ\ <оо.
4. Рассматривается марковская цепь с состояниями О, 1, ... и
переходными вероятностями
Роо = /"о, /?oi = Po>0,
>/>0, / =
+ 1.
-1,
О в остальных случаях.
Пусть ро= 1. Рт = т . Доказать справедливость следующих утвер-
Pl ...pm
ждений:
цепь возвратна ф> V^ pm = оо,
цепь невозвратна «=> ^ рт < оо,
цепь положительная ф> У^ рт = оо, У^ < оо,
ь нулевая ^ ^ Рт = оо, 2^ Τ
5. Показать, что
цепь нулевая «=> У^ pm = оо, V] = оо.
' J "* ртрт
ОО
sup р$> </„< 2>У-
/ί=1
6. Показать, что для любой марковской цепи со счетным множеством
состояний всегда существуют пределы для pff в смысле Чезаро:
h —
η η *-^ ГЧ μι

§6. СТАЦИОНАРНЫЕ И ЭРГОДИЧЕСКИЕ РАСПРЕДЕЛЕНИЯ 833
7. Рассматривается марковская цепь ξο, fi. ··· с &+ι = (&)+ + т7*+ь
&^0, где 771,772, ... —последовательность независимых одинаково
распределенных случайных величин с Ρ{ηπ = /} = Р\, / = 0, 1, ... Выпишите
матрицу переходных вероятностей и покажите, что если ро > О, ро + р\ < 1,
то цепь возвратна тогда и только тогда, когда Σ ^Pk ^ 1·
/г
§ 6. О предельных, стационарных и эргодических
распределениях для счетных марковских цепей
1. Начнем с одного общего результата, хорошо проясняющего
прежде всего связь между предельными значениями Π=(πι,π2, ...), где
7Гу = Нт р)?\ / = 1,2,..., и стационарными распределениями Q =
= (<7ь?2, ..·)·
Теорема 1. Рассматривается марковская цепь со счетным
множеством состояний £ = {1,2, ...} такая, что ее переходные
вероятности pi), i, / еЕ, таковы, что существуют пределы
π^Ιπτηρ';», /е£,
не зависящие от начальных состояний i e Е. Тогда
СХ> СХ>
(a) Σ тг/^1, Σ 7Г//?/у = 7Гу> jeE\
7=1 1 = 1
оо
(b) имеет место альтернатива: либо Σ ^7 = 0 ("» значит, все
оо 7=1
TTj = о, у е Е), либо Σ Try = ι;
7=1
(X)
(c) если Σ π/ = 0, то г/ марковской цепи отсутствуют стаци-
7=1 оо
онарные распределения', если же Σ π7 = 1» то вектор предельных
7=1
значений П= (πι, π2, ...) образует для этой цепи стационарное
распределение и других стационарных распределений у этой цепи уже
не существует.
Доказательство. Имеем
с» оо с»
и для любых / G £, & € £
оо с» оо
Σ W=Σ и„т /#4 <Ит Σ РыРч=lim ρΙ·+1)=*/· (2)

834
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Замечание. Полезно отметить, что возникшие здесь неравенства и
нижние пределы, конечно же, являются следствиями «леммы Фату»,
применяемой, правда, не к тому случаю, когда интеграл Лебега определяется
по вероятностной мере, как в § 6 гл. II, а к тому случаю, когда
интегрирование ведется по σ-коненной (неотрицательной) мере.
Итак, вектор предельных вероятностей Π=(πι, π2, ...) обладает
следующими свойствами:
ОО ОО
]Г тгу·ίξ 1 и Σ ЪР'ч <πΙ· /еЕ- (3)
у=1 ι = 1
Покажем, что в последнем неравенстве на самом деле имеет место
равенство.
Пусть для некоторого /о € Ε
оо
^,щр1}о<п1о. (4)
/=1
Тогда
оо оо / оо \ оо оо оо
Σπ/ >Σ( Σ π'·Λ/) =Σπ<· Σ λ·/=Σ π<·
/=1 /=1 \ι = ΐ / /=1 /=1 /=1
(Χ)
Полученное противоречие показывает, что £ ^iPij — ^j- Вместе с нера-
ι=Ι
оо
венством ^ π/ < 1 это доказывает свойство (а).
7=1
с»
Для доказательства (Ь) заметим, что из соотношения Σ щрц = тг/ ите-
i=l
рациями получаем, что для любого η ^ 1 и любого j еЕ
Σ "^-*/·
i=l
Отсюда по теореме Лебега о мажорируемой сходимости (теорема 3 § 6
гл. II)
с» с» / оо \
«y-Um Σ iriPJf-Σ «i Hnm ΡΪ?= Σ π' К
i=l i=l \/=l /
т.е.
π/(1-Σπ')=°· /'6Ε·

§6. СТАЦИОНАРНЫЕ И ЭРГОДИЧЕСКИЕ РАСПРЕДЕЛЕНИЯ 835
/ оо \ / оо \ °°
и, значит, ( J2 π/) ( 1 - Σ π/ I =0· Так что fl(l -fl) = 0 с α = £ π/, и
поэтому или α= 1, или α = 0, что и доказывает утверждение (Ь).
Для доказательства (с) предположим, что Q = (qlt q2t ...) —какое-то
оо
стационарное распределение. Тогда Σ QiPu Qi и по теоРеме о мажори-
руемой сходимости ί ]Г Qi )π/ = Q'n Ι 6 Ε-
оо
Поэтому, если Q — стационарное распределение, то ^?/ = 1 и, следо-
ί=1
вательно, необходимым образом это стационарное распределение должно
оо
быть таким, что qj = π;· для всех / € Е. Так что если Σ ni ~ 0» то не может
оо /=1
выполняться свойство Σ qi = 1, и, значит, в этом случае стационарного
i=l
распределения нет.
оо
Согласно (Ь), остается еще возможность Σ π7 = 1. В этом случае,
7=1
согласно (а), Π=(πι, π2, ...) само является стационарным распределением
и из изложенного выше следует, что если Q — какое-то другое
стационарное распределение, то оно должно совпадать с Ц что и доказывает
оо
единственность стационарного распределения в случае Σ π/ = 1· ^
7=1
2. Теорема 1 дает достаточное условие существования (к тому же
единственного) стационарного распределения. Это условие заключается
в требовании, чтобы для всех / € Ε существовали предельные значения
π; = lim ρ;Ί\ не зависящие от / б Ε и притом такие, что π, > 0 хотя бы для
одного состояния / £ Е.
В то же самое время более общий вопрос существования пределов
lim pW довольно детально был изучен в § 5 с привлечением таких
«внутренних» свойств цепей, как неразложимость, периодичность,
возвратность и невозвратность, положительная и нулевая возвратность. Поэтому
естественно сформулировать условия существования стационарного
распределения именно в терминах этих «внутренних» свойств, определяемых
структурой матрицы переходных вероятностей /?//, /, jeE. Понятно
также, что если в этих терминах будут указаны условия, при которых все
предельные значения π7· > 0, /Ε £, то в соответствии с определением (см.
свойство С в § 3) вектор П= (πι, π2, ...) будет образовывать эргодическое
предельное распределение.
Ответы на эти вопросы даются в следующих двух теоремах.

ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Теорема 2 («основная теорема о стационарных распределениях»).
Рассматривается марковская цепь со счетным множеством
состояний Е. Для существования единственного стационарного
распределения необходимо и достаточно, чтобы
(a) существовал в точности один неразложимый подкласс и
(b) все состояния были положительно возвратны.
Теорема 3 («основная теорема об эргодических
распределениях»). Рассматривается марковская цепь со счетным множеством
состояний.
Для существования эргодического распределения необходимо и
достаточно, чтобы цепь являлась
(a) неразложимой,
(b) положительно возвратной и
(c) апериодической.
3. Доказательство теоремы 2. Необходимость. Пусть
рассматриваемая цепь имеет и притом единственное стационарное распределение,
которое обозначим Q. Покажем, что тогда в множестве состояний Ε
должен найтись и притом единственный положительно возвратный подкласс.
Обозначим через /V потенциально возможное число таких подклассов
((K/V<oo).
Пусть N=0 и / — некоторое состояние из Е. Поскольку положительно
возвратных классов нет, то состояние / может быть или невозвратным, или
же нулевым возвратным.
В первом случае из теоремы 2 § 5 следует, что для всех / е Ε пределы
lim рФ существуют и равны нулю.
Но и во втором случае эти пределы также существуют и равны нулю,
что следует из свойства (37) в § 5 и того, что μ7· = оо, поскольку состояние
/ является нулевым возвратным.
Итак, в случае N = 0 пределы π/ = lim pff существуют для всех /, / € Ε
и равны нулю. Поэтому по утверждению (с) теоремы 1 в этом случае
нет стационарных распределений и, следовательно, этот случай N = 0
исключается предположением существования стационарного
распределения Q.
Пусть теперь jV = 1. Обозначим единственный положительно
возвратный класс через С.
Если период этого класса d(C) = 1, то, согласно свойству (26) в
теореме 3 § 5,
ρΜ-*μγ\ л-оо,
для всех /, / € С. Если же / £ С, то это состояние невозвратно и тогда по

§6. СТАЦИОНАРНЫЕ И ЭРГОДИЧЕСКИЕ РАСПРЕДЕЛЕНИЯ 837
свойству (21) в теореме 2 § 5
/>!;'-О, л-+оо,
для всех i € £.
Положим
,. = К'(>0). еош/сС.
[О, если/^С.
Тогда, поскольку множество С^0, то по теореме 1 набор Q = (qu q2t ...)
образует единственное стационарное распределение, и,
следовательно, Q = Q.
Предположим теперь, что период rf(C) > 1.
Пусть Со, С\9 ..., Q_i —циклические подклассы (положительно
возвратного) класса С.
Относительно матрицы переходных вероятностей р\\ /, / Ε С, каждый
из подклассов С^, ft = 0, 1, ..., d - 1, является возвратным и
апериодическим. Тогда, если /, / Ε С*, то, согласно формуле (36) из § 5,
PMUA>0.
/у μ/
Поэтому на каждом множестве С* набор {d/μ/, / € С*} образует
(относительно матрицы /?/?\ /, / € С) единственное стационарное распределение
(в силу свойства (Ь) теоремы 1).
Отсюда, в частности, следует, что Σ — = 1, т. е. £ — = -.
j€Ck N jeCk Α*/ α
Положим
[μ-\ jeC =
' \0. /*С,
*/-<«' · -:'-Со+-+с--'· (6)
и покажем, что для исходной цепи набор Q = (<7i, ?2, ···) образует
единственное стационарное распределение.
В самом деле, если / € С, то
/€С
Тогда, как и в (1), находим, что
и, значит,

838
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Но
_ , ti /_ , \ i=l ,
(8)
^ Ы *-* Ι Ζ^ μ. I Z^ </
/<=c *=o \ieck ™/ k=o
Так же, как и в доказательстве теоремы 1 (см. (3) и (4)), из (7) и (8)
выводится, что на самом деле в (7) имеет место знак равенства:
^=Σ^· (β)
Поскольку ηι=μ~ι >0, то (9) показывает, что набор Q = (<7i, ?2, ···)
образует стационарное распределение, в силу теоремы 1 единственное.
Следовательно, Q = Q.
Пусть, наконец, 2^/V <oo или /V =оо. Обозначим соответствующие
положительно возвратные подклассы через C\...,CN, если /V<oo, и
С1, С2, ..., если /V = оо.
Пусть ^ = (^f, ^2» ···) — стационарное распределение для класса С*,
построенное по формуле (ср. с (5), (6))
Ч£
-1 ^п ; сгь
7">0, /€С*
Тогда для любых неотрицательных чисел αϊ, аг, ··· таких, что £ я* = 1
(ayv+i =... = 0, если /V <оо), набор aiQ1 + ... + ayyQyv + ··· будет,
очевидно, образовывать стационарное распределение. Тем самым допущение
2^/V <oo приводит к существованию континуума стационарных
распределений, что противоречит сделанному предположению о единственности
стационарного распределения.
Итак, проведенное доказательство показывает, что возможен лишь
случай N = \. Иначе говоря, существование (единственного)
стационарного распределения влечет наличие у цепи в точности одного
неразложимого класса, состоящего из положительно возвратных
состояний.
Достаточность. Если у цепи существует неразложимый подкласс
положительно возвратных состояний, т. е. имеет место случай /V = 1, то
тогда из предшествующих рассмотрений вытекают (в силу утверждения
(с) теоремы 1) и существование, и единственность стационарного
распределения.
Тем самым теорема 2 полностью доказана. D

§6. СТАЦИОНАРНЫЕ И ЭРГОДИЧЕСКИЕ РАСПРЕДЕЛЕНИЯ 839
4. Доказательство теоремы 3. По существу, все необходимое для
этого доказательства содержится в теореме 2 и рассмотрениях при ее
доказательстве.
Достаточность. Если пользоваться обозначениями из
доказательства теоремы 2, то по условиям теоремы мы имеем /V = 1, С = Е и d(E) = 1
(апериодичность). Тогда из рассмотрений «случая /V = 1» в доказательстве
теоремы 2 следует, что набор Q = (qlt q2t ...) с <7/=μ~\ /€£, образует
одновременно стационарное и эргодическое распределение, поскольку все
μΤχ <οο, jeE.
Итак, существование эргодического распределения Π=(πι, π2ι ...)
установлено (H=Q).
Необходимость. Если существует эргодическое распределение П=
= (тгь 7Г2, ···)» то» согласно теореме 1, существует и единственно
стационарное распределение Q, совпадающее с II
Из утверждения теоремы 2 (и ее доказательства) следует, что случаи
/У=0и2^/У^ооне могут реализоваться, и, значит, /V = 1 и существует
лишь один неразложимый класс С, состоящий из положительно
возвратных состояний. Все, что осталось сделать, так это показать, что С = Ε и
d(E)=\.
Если предположить, что СфЕ и d(C) — 1, то опять же из рассмотрения
«случая /V = 1» в доказательстве теоремы 2 вытекало бы, что существует
состояние у ^ С такое, что pjj —> 0 для всех / Ε Ε. Это, однако, вступает в
противоречие с тем, что π7· = lim pff > 0 для всех / € Е.
Таким образом, в случае d(C) = 1 имеем С = Е и d(E) = 1
(апериодичность).
Наконец, если СфЕ к d(C) > 1, то опять же из рассмотрений «случая
/V = 1» в теореме 2 следует, что тогда имеется стационарное распределение
Q = (qu q2t ...), у которого некоторые Ц] =0, что противоречит тому, что
Q = D, а Π=(πι,π2, ...) —эргодическое распределение, у которого (по
определению) все π7· > 0, / € Ε. D
5. По самому определению стационарного (инвариантного)
распределения Q = (^i, q2y ...) этот набор подчиняется условиям
(X)
?у>0, /€£ = {1,2, ...}, $>/ = ! (Ю)
и при этом должны быть выполнены уравнения
оо
(Ι)='Σ/(ΙίΡα> /е£. (И)
/=1

840
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
По-другому можно сказать, что стационарное распределение Q =
= (<7ι»<72» ···) есть одно из решений системы уравнений
оо
/=1
1=Σ,*ιΡϋ* /е£> (12)
подчиняющихся условиям неотрицательности (xj ^ 0, / е Е) и норми-
рованности ( Σ xj = 1 ).
Если выполнены условия теоремы 3, то стационарное решение
существует и является в то же самое время эргодическим. Поэтому по
свойству (с) теоремы 1 можно утверждать, что у системы (12) в классе последо-
оо
вательностей χ = (х\, *2, ...) с х} ^ 0, / е £, и ]Г xj= 1 решение существует
/=i
и единственно.
На самом деле можно утверждать несколько больше. А именно, здесь
также выполнены условия теоремы 3 и, следовательно, существует эрго-
дическоераспределение П= (πι, π2, ...)·
Рассмотрим в этом предположении вопрос о существовании
решения у системы (12) в {более широком) классе последовательностей
ОО ОО
х = (хи х2, ...) таких, что XjER, /g£, Σ \xj\<oo и £ */ = 1· Покажем,
y=l y=l
что в этом классе решение единственное и им является эргодическое
распределение П.
Действительно, если χ = (*ι, *2, ...) — решение, то, пользуясь тем, что
ОО
Σ \xj\ <oo, получаем следующую цепочку равенств:
7=1
оо оо / оо \
х\=Σ χ'·λ·/=Σ Σ XkPki 1 Рч=
/=1 /=1 \*=1 /
оо / оо \ оо оо
=Σ *ч Σ Λ'·Λ/ =Σ **^?=···=Σ **^?
*=1 \i=l / Λ=1 Λ=1
для любого ΟΙ. Переходя к пределу по п—>оо, отсюда находим (по
теореме о мажорируемой сходимости), что */·==(]£**)π/» где π/= 'im Рл?
оо
для любого keE. По предположению X) ** = !· Поэтому jc/ = π7·, /Ef,
что и требовалось доказать.

§7. СТАЦИОНАРНЫЕ И ЭРГОДИЧЕСКИЕ РАСПРЕДЕЛЕНИЯ 841
6. Задачи.
1. Рассмотреть вопрос о стационарных, предельных, эргодических
распределениях для марковской цепи с матрицей переходных вероятностей
/1/2 0 1/2 0\
0 0 0 1
1/4 1/2 1/4 0
\ 0 1/2 1/2 0;
2. Пусть Р=||/7/у|| — конечная дважды стохастическая матрица (т.е.
т т
Σ Pij = 1 Для i = 1, ..., т и Σ А'у = ' Для / = 1, ..., m). Показать, что
у=1 /=1
для соответствующей марковской цепи стационарным распределением
является вектор Q = (l/m, ..., 1/m).
3. Пусть X — марковская цепь с двумя состояниями, £ = {0, 1}, и
матрицей переходных вероятностей Ρ = I 1 _ ^ ^ ), 0<а<1, 0</?<1.
Исследовать вопрос о предельных, эргодических и стационарных
распределениях для этой цепи.
§ 7. О предельных, стационарных и эргодических
распределениях для конечных марковских цепей
1. Согласно теореме 6 § 5, всякая неразложимая и апериодическая
марковская цепь с конечным множеством состояний является
положительно возвратной. Это обстоятельство дает возможность придать теореме 3
из § 6 следующую формулировку. (Ср. с вопросами А, В, С и D в § 3.)
Теорема 1. Рассматривается марковская цепь Х = (Хп)п^о с
конечным множеством состояний £ = {1, 2, ..., г}, которая является
неразложимой и апериодической.
Имеют место следующие утверждения.
(a) При всех j еЕ существуют предельные значения π7· = lim p\J\
не зависящие от начального состояния ieE.
(b) Предельные значения П= (πι, π2,..., πΓ) образуют распределе-
r
ние вероятностей, т. е. π/ > 0 и Σ π/ = 1» / € £·
/=ι
(с) Более того, предельные значения π·} =μγι > 0 при всех j Ε £, где
μ} = Σ ηη? ~" среднее время до первого возвращения в состояние j
п=\
(т.е. /ху = Еут(/') с т(/) = inf{/z> 1: Хп ■=/'}), w, следовательно, набор
11= (πι, π2, ..., πΓ) образует эргодическоераспределение.

842
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
(d) Стационарное распределение Q = (qu q2i ..., qr) существует,
является единственным и совпадает с П= (πι, π2, ..., πΓ).
2. В дополнение к теореме 1 приведем также следующий результат,
проясняющий роль «неразложимости» и «апериодичности».
Теорема 2. Рассматривается марковская цепь с конечным
множеством состояний £ = {1, 2, ..., г).
Следующие условия равносильны:
(a) цепь является неразложимой и апериодической (d = 1);
(b) цепь является неразложимой, апериодической (d = 1),
положительно возвратной\
(c) цепь является эреодическощ
(d) найдется такое /го, что для всех п^щ
min р$>0.
Доказательство. Импликация (d) ^ (с) была доказана в теореме 1
§ 12 гл. I. Обратная импликация (с) => (d) очевидна. Импликация (а) ^ (Ь)
следует из теоремы 6 § 5, импликация (b) ^ (а) очевидна. Наконец,
равносильность утверждений (Ь) и (с) содержится в теореме 3 § 6. D
§ 8. Простое случайное блуждание
как марковская цепь
1. Под простым d-мерным случайным блужданием понимают
однородную марковскую цепь X = (Хп)п^о> описывающую движение
«частицы» по узлам решетки Zd = {0, ±1, ±2, ...}rf, при котором эта «частица»
с некоторой вероятностью остается в каждом состоянии и с некоторой
вероятностью может перейти в одно из соседних состояний.
Пример 1. Пусть d = 1 и множество состояний цепи £ = Z = {0, ±1,
±2, ...}. Пусть матрица переходных вероятностей имеет следующий вид:
Рч = \
Р, / = / + !,
0 в остальных случаях,
причем p + q=\.
Этой матрице соответствует граф
Ρ Ρ
я я я
наглядно иллюстрирующий возможные для этой цепи переходы.

§8. ПРОСТОЕ СЛУЧАЙНОЕ БЛУЖДАНИЕ КАК МАРКОВСКАЯ ЦЕПЬ 843
Если ρ = 0, то частица детерминированным образом движется влево,
если же ρ = 1, то вправо.
Эти «детерминированные» случаи мало интересны, и все состояния
здесь являются несущественными. Поэтому будем предполагать, что 0<
<р<\.
В этом предположении состояния цепи образуют один класс
существенных сообщающихся состояний. Иначе говоря, в предположении
0< ρ < 1 цепь является неразложимой (см. § 4).
Для любого / е Ε в соответствии с формулами биномиального
распределения (§ 2 гл. I)
рТ-с"2п{ря)п=(^{ря)п. (1)
Согласно формуле Стирлинга (формула (6) § 2 гл. I; см. также задачу 1)
п\~>/Ътппе-п.
Поэтому из (1) находим, что
и, значит,
оо
X>jf> = oo, если ρ = ?, (3)
оо
ΣΡπη)<0°> если ρ ^^. (4)
/ι=1
Из этих формул и теоремы 1 из § 5 получаем следующий результат.
Простое одномерное случайное блуждание по
множеству Ε = Ζ = {0, ± 1, ±2, ...} является возвратным в
симметричном случае, т.е. если p = q = l/2, и
невозвратным, если рфц.
В § 10 гл. I было показано, что в случае p = q = l/2 при больших η
C-tjh*· (5)
Значит,
оо
μ, = Σ(2η)ί™=οο, je E. (6)
/1=1
Следовательно, здесь все состояния возвратные и нулевые. Поэтому по
теореме 5 из § 5 находим, что при всех 0 < ρ < 1 ρη —> 0, η —► оо, для любых

844
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
/ и /'. Отсюда получаем (теорема 1 из § 6), что предельные распределения,
а также стационарные и эргодические распределения отсутствуют.
Пример 2. Пусть d = 2. Будем рассматривать симметричный случай
(соответствующий в предыдущем примере случаю p = q = l/2), когда
частица может сдвигаться на единицу вправо,
влево, вверх или вниз с вероятностью 1/4.
Для определенности зафиксируем нулевое
состояние 0 = (0, 0) и исследуем вопрос о
возвращении или невозвращении «частицы» в
это нулевое состояние, предполагая, что в нем
она находилась в начальный момент времени.
С этой целью рассмотрим те
«траектории» блуждающей частицы, у которых
сделано i шагов вправо и i шагов влево и /' шагов
вверх и / шагов вниз. Если 2/ +2/ = 2/г, то это
означает, что «частица», вышедшая из
нулевого состояния, через 2п шагов непременно
в это состояние вернется. Ясно также, что за
нечетное число шагов «частица» в нулевое состояние вернуться не сможет.
Отсюда следует, что для вероятностей перехода из состояния 0 в то же
самое состояние 0 справедливы следующие формулы:
р<20"+1> = 0, п = 0 1>2
2
1/4
ι Ι
1
1/4
1
0
' 1/4
1/4
1/4
"
' 1/4
\
1/4
1/4
» -
5
)
Рис. 41. Блуждание на
плоскости
и (по формуле полной вероятности)
(2/2)!
(/,/): i+i=n
(i!)2(/!)!
Gf·
л = 1,2,
(7)
(см. также п. 2 «Мультиномиальное распределение» в § 2 гл. I).
Умножая на (я!)2 числитель и знаменатель в выражении под знаком
суммы в (7), находим, что
№ = {\)2nci,Y,cncr = $fwn?,
(8)
/=0
где мы воспользовались тем, что
η
Ec«c»"i=c
i=0
(задача 4 в § 2 гл. I).

§8. ПРОСТОЕ СЛУЧАЙНОЕ БЛУЖДАНИЕ КАК МАРКОВСКАЯ ЦЕПЬ 845
По формуле Стирлинга из (8) находим, что р^ ~ —, и, значит,
Е/С = °о. (9)
л=0
По симметрии аналогичное утверждение верно, конечно, не только для
нулевого состояния, но и для любого состояния (/, /").
Как и в случае d = 1, из (9) и теоремы 1 из § 5 получаем следующее
утверждение.
Простое двумерное симметричное случайное
блуждание по множеству Ε = Ζ2 = {0, ± 1, ±2, ... }2 является
возвратным.
Пример 3. Оказывается, что для симметричного случайного
блуждания по состояниям Ε = ld = {0, ± 1, ±2, ... }d ситуация в случае d ^ 3 резко
отличается от рассмотренных случаев d = 1 и d = 2.
Именно,
простое d-мерное симметричное случайное блуждание
по множеству Ε = Zd = {0, ± 1, ±2, ...}d для всякого d^3
является невозвратным.
Доказательство основано на том, что для d ^ 3 вероятности ρ^η) имеют
следующую асимптотику: при η -»оо
pfT-% (Ю)
где c(d) — некоторая положительная константа, зависящая от
размерности d.
Приведем доказательство для случая d = 3, оставляя в качестве задачи
случай d > 3.
В силу предположения симметричности случайного блуждания
«частица» с вероятностью 1/6 сдвигается за один шаг на единицу вдоль одного
из шести направлений координатных осей:
Пусть «частица» выходит из состояния 0 = (0,0,0). Тогда, как и в
случае d — 2, из формул для мультиномиального распределения (§ 2 гл. I)

846
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
находим, что
(2«)= у- (2/2)! (1Ϋ" =
О'./): 0<1+/<я V ' V/ ' U "'
= 2-2"С2"„ Σ [/!/!(«-/-/)!.] (з) <
<С2-*с&з- Σ -—^—-.(^.с.г-^з-·. (ΐΐ)
где
С„ = max ( "'.—-) (12)
и мы воспользовались тем, что очевидным образом
V «! fif = i
Z^ i!/!(n-i-/)!V3>/
(;,/):0<ι+/<«
Ниже будет установлено, что
с"~(Щр· (,3)
Применяя формулу Стирлинга, из (13) находим, что
Тем самым, из (11) следует, что
f>un)<°° (15)
и, следовательно, согласно теореме 1 из § 5, состояние 0 = (0,0,0) является
невозвратным. Аналогичное, по симметрии, верно и для любого другого
состояния из Ε = Ζ3.
Осталось лишь установить формулу (13).
Пусть
W"(i'fl=,Ί/1 (я-.·-/)!
и /о = /о(я). /о = /о(я) — те значения, где
max mn(i9 j) = mn(i0t jo).

§8. ПРОСТОЕ СЛУЧАЙНОЕ БЛУЖДАНИЕ КАК МАРКОВСКАЯ ЦЕПЬ 847
Беря четыре точки (/0- 1, /о), (*о+ 1, /о), ('о, /о- 1) и (/0, /о+ 1) и
пользуясь тем, что соответствующие значения mn(io - 1, /о), mn(io+ 1, /о).
/яя(/о. /о- О и W/iO'o. /о + 1) меньше или равны mrt(/o, /о), приходим к
четырем неравенствам:
η - /о - 1 ^ 2/Ό ^ η - /о + 1,
я — /о — 1 < 2io < я — /о + 1.
Из этих неравенств можно заключить, что
откуда и следует требуемая формула (13).
Резюмируя разобранные случаи d = 1, 2, 3, сформулируем следующий
результат Пойа (G. Polya).
Теорема. В случае d=\ или d = 2 простое симметричное
случайное блуждание по множеству состояний Ε = Zd = {0, ± 1, ±2, ... }d
является возвратным, а в случае d = 3 (и d ^ 3) невозвратным.
2. Предшествующие примеры относились к простому случайному
блужданию «во всем» пространстве Zd. В настоящем пункте будут
рассматриваться примеры простых случайных блужданий, у которых фазовое
пространство Ε строго меньше Zd. При этом мы ограничимся случаем d = l.
Пример 4. Рассматривается простое случайное блуждание с фазовым
пространством £ = {0, 1,2, ...}, где «нулевое» состояние 0 является
поглощающим, и со следующим графом переходов:
0<р<\
Состояние 0 является здесь единственным положительно возвратным
состоянием, образующим единственный неразложимый подкласс. (Все
остальные состояния невозвратны.) По теореме 2 из § 6 существует и
притом единственное стационарное распределение Q = (^o, 9i. ...) с 9о= 1
Μ,=0,ι = 1,2, ...
Рассматриваемое блуждание интересно тем, что доставляет пример,
когда (при некоторых / и /") пределы lim pj^ существуют, но зависят
от начального состояния, что, между прочим, говорит о том, что в этом
примере случайного блуждания эргодическое распределение отсутствует.
Ясно, что Pqo = 1 и Pq1) = 0 для у = 1, 2, ..., и простой подсчет
показывает, что р\У -»0 для всех /,/ = 1,2,...

848
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Покажем теперь, что для всех / = 1,2, ... величины a(/) = lim pj^
существуют и для них справедлива следующая формула:
а{иш. р><< (16)
Из этой формулы видно, что в случае ρ > q («наличие тенденции
движения вправо») предельная вероятность lim р.$ перехода из состояния /
(/ = 1, 2, ...) в состояние 0 действительно зависит от /, убывая с ростом i
геометрическим образом.
Для доказательства формулы (16) прежде всего заметим, что поскольку
состояние 0 является поглощающим, то р^= Σ /ю и» следовательно,
предел lim pff (=α(/)) существует и равен //о, т.е. интересующая нас
вероятность есть вероятность того, что «частица», выходящая из состояния /,
рано или поздно достигнет «нулевого» состояния. Для этих вероятностей
тем же методом, что и в § 12 гл. I (см. также § 2 гл. VII), выводятся
рекуррентные соотношения
a(i) = pa(i + l) + qa(i - 1), (17)
при этом α(0) = 1. Общее решение этого уравнения имеет вид
α(/) = α+ %//>)'', (18)
и условие а(0) = 1 дает одно условие на константы а и Ь: а + Ь = 1.
Если предположить, что q> p, то тогда в силу ограниченности a(i)
сразу получаем, что & = 0, а значит, а(/) = 1. Этот результат вполне
понятен, поскольку в случае q > ρ «частица» имеет тенденцию двигаться по
направлению к нулевому состоянию.
Если же ρ > q, то ситуация обратная — имеется тенденция хода вправо,
и естественно поэтому ожидать, что тогда
а(/)->0, /-*оо, (19)
а значит, а = 0 и
a(i) = (q/pY. (20)
Чтобы доказать это равенство, мы не будем устанавливать (19), а поступим
иначе.
Наряду с поглощающим экраном в точке 0 введем в рассмотрение
поглощающий экран в целочисленной точке /V. Вероятность того, что
выходящая из точки / «частица» достигнет нулевого состояния раньше, чем

§8. ПРОСТОЕ СЛУЧАЙНОЕ БЛУЖДАНИЕ КАК МАРКОВСКАЯ ЦЕПЬ 849
состояния N, обозначим oc^(i). Для вероятностей ауу(0 справедливы
уравнения (17) с граничными условиями
α*(0)=1, <**(Λ0=Ο,
и, как это уже было показано в § 9 гл. I,
Λ /:ч_ (q/pY-(q/pf o<i<M /on
Отсюда lim aN(i) = (q/p)\ и, следовательно, для доказательства требуе-
мого результата (20) надо лишь показать, что
a(i) = \\maN(i). (22)
N
Интуитивно это понятно. Строгое же доказательство можно получить на
следующем пути.
Будем предполагать, что «частица» выходит из фиксированного
состояния /. Тогда
а(/) = Р/(Л), (23)
где А — событие, состоящее в том, что найдется такое /V, что «частица»,
выходящая из точки /, достигнет нулевого состояния раньше, чем
состояния N. Если
Л/у = {«частица» достигнет 0 раньше, чем /V},
с»
тоЛ= (J An. Ясно, что An СЛуу+ι и
Р,-( U M=J™ Pi{AN)' (24)
Ho aN(i) = Pi (Αν), так что (22) сразу следует из (23) и (24).
Итак, если ρ >qt то предельные значения lim /?/o зависят от /. Если
же ρ ^.q, то для любого / lim р$ = 1 и lim pff = 0, j^ 1. Таким образом,
в этом случае существует предельное распределение Π=(πο, πι, ...) с
тгу; = lim р\"\ не зависящими от /. При этом П=(1, 0, 0, ...).
Пример 5. Рассмотрим простое случайное блуждание с фазовым
пространством £ = {0, Ι,...,/V}, в котором «граничные» состояния 0 и Л/
являются поглощающими:
Ρ Ρ ρ ρ
1 ^ ^-'Г Z^S/L-—_>)f\ j 0<Z7<1

850
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Здесь существуют два неразложимых положительно возвратных класса {0}
и {/V}. Все остальные состояния 1, 2, ..., N — 1 невозвратны. Из
доказательства теоремы 2 § 6 следует, что существует континуум стационарных
распределений Q = (qo> Q\> ··» Qn)> которые все имеют следующий вид:
q\ = ... = qN_x =0 и qo = a> Qn ~Ь с ОО, b^O и a + b = l.
Согласно результатам п. 2 § 9 гл. I,
lim ρ
(η).
ϊο ■
ί(*)'-(*Γ
Hi)" '
■ — яг-
рфя*
P=q = l/2,
(25)
lim /$ = l-lim p<$ и lim pff = 0, 1 </<)V- 1.
Подчеркнем, что здесь, как и в предшествующем примере, предельные
значения lim р^ переходных вероятностей зависят от начального
состояния.
Пример 6. Рассмотрим простое случайное блуждание с фазовым
пространством £ = {0, 1, ...} и отражающим экраном в «нулевом»
состоянии:
0<р<1
Поведение рассматриваемой цепи существенно зависит от ρ и q.
Если p>qtjo блуждающая «частица» имеет тенденцию ухода вправо
и наличие отражающего экрана в «нулевом» состоянии этому только
способствует, в отличие от блуждания в примере 4, где в «нулевом» состоянии
могло произойти «залипание». Все состояния в этом случае невозвратны;
рФ -»0, я—>оо, для всех /, / € Ε; стационарного и эргодического
распределений не существует.
Если p<q,io имеется тенденция движения влево и в этом случае цепь
возвратна. Таковой же цепь будет и при ρ = q.
Напишем теперь систему уравнений (ср. с (12) в § 6), которой должно
подчиняться стационарное распределение Q = (q0l 9i, ...):
Qo = q\q,

§8. ПРОСТОЕ СЛУЧАЙНОЕ БЛУЖДАНИЕ КАК МАРКОВСКАЯ ЦЕПЬ 851
Отсюда
ql=q(ql+q2)t
<72 = <7(<72 + <7з).
и, значит,
Если p = q, то тогда qx=q2= ... и, следовательно, неотрицательного
оо
решения приведенной системы, удовлетворяющего условиям Σ qj = 1 и
7=0
<7ο = ίιί» не существует.
Значит, в случае p = q = \/2 стационарного распределения не
существует. Все состояния цепи в этом случае возвратные.
оо
Наконец, пусть ρ <q. Из условия Σ qj = 1 находим, что
/=о
Отсюда
q - ρ q - ρ
и
Пример 7. У рассматриваемого в этом примере простого
случайного блуждания фазовое пространство £ = {0, 1, ..., /V} и состояния 0 и /V
являются отражающими экранами:
Состояния цепи образуют здесь один неразложимый класс. Они
являются положительно возвратными с периодом d—2. По теореме 2 из
§ 6, у рассматриваемой цепи существует и единственно стационарное
N
распределение Q = (<7o, Qu ···, Я ν)· Решая систему уравнений ?/=£ QiPij

852
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
N
с условием ^ φ = 1. Я/ ^ О» / € £. находим, что
/•=о
(!)'
-1
Эргодическое распределение отсутствует — это следует из теоремы 3
§ 6 и того факта, что у рассматриваемой цепи период d = 2. Можно и
непосредственно убедиться в том, что здесь нет эргодического
распределения. Пусть, например, N =2:
0с£^~-~о£~---^о2 0<р<\
я ι
Тогда видно, что р\{п) = 1, но р["*Х) =0. Так что lim р\п^ не существует.
В то же самое время стационарное распределение
Q=fao, ЯиЯ2)
есть, и, как следует из (26), оно имеет вид:
1 1 1
?о=2<7» ?ι = 2» ^2== 2 Р'
3. Из материала, изложенного в книге, видно, что простое случайное
блуждание является классической моделью, на которой
«отрабатывалась» вероятностная идеология, оттачивалась вероятностная техника и
были открыты многие вероятностно-статистические закономерности. Так, для
сумм Хп =ξ\ +... + ξη, η^ 1, независимых бернуллиевских случайных
величин ξι, ^2, ·■·, принимающих всего лишь два значения и, следовательно,
приводящих к тому, что X = (Хп)п^\ есть простое случайное блуждание
(являющееся марковской цепью), были открыты такие закономерности,
как закон больших чисел (гл. I, § 5), теорема Муавра—Лапласа (гл. I,
§ 6), закон арксинуса (гл. I, § 10) и многое другое.
В этом пункте мы рассмотрим две дискретные модели диффузии,
являющиеся хорошей иллюстрацией того, как с помощью простого
случайного блуждания можно описывать реальные физические процессы.
А. Модель Эренфестов.
Как и в примере 7, будем рассматривать простое случайное блуждание
с фазовым пространством £ = {0, 1, ...Ν) и отражающими экранами в
состояниях 0 и N.

§8. ПРОСТОЕ СЛУЧАЙНОЕ БЛУЖДАНИЕ КАК МАРКОВСКАЯ ЦЕПЬ 853
Переходные вероятности задаются в этих состояниях формулами ро\ =
= 1, Ρν,ν-ι = 1· В других состояниях / = 1, ..., /V - 1 возможны лишь
переходы на один шаг влево или вправо с вероятностями
Рц = { ι Ν . . , (27)
В 1907 г. П. и Т. Эренфесты, [124], пришли к марковской цепи с такими
переходными вероятностями, рассматривая следующую модель
статистической механики, описывающую перемещение молекул газа из одной
камеры (А или В) в другую (В или А) через малое отверстие в мембране,
соединяющей эти камеры.
Предполагается, что общее число молекул в рассматриваемых двух
камерах равно /V и на каждом шаге их перемещение из одной камеры в другую
осуществляется следующим образом: случайным образом (с вероятностью
\/N) выбирается одна из молекул и переводится в другую камеру. Причем
на каждом шаге выбор молекулы для перемещения происходит независимо
от предыстории.
Пусть Хп — число молекул, скажем, в «первой» камере А в момент
времени п. Для описанного механизма перемещения молекул имеем (задача 2)
свойство марковости:
Ρ№ι+ι = /|^о = *о. Х\ =ί'ι, ..., Λ^ι =/я-1, Xn = i) =
= Р(*я+|=/|Хя = /) (28)
и к тому же
Р(ХЯ+1=№ = 0 = А7. (29)
где ρη были определены в (27).
Для этой модели существует стационарное распределение Q =
= (90. 9ι. ··» Я ν), определяемое (задача 3) следующей биномиальной
формулой:
i/ = 4(i)yV, / = 0,1 N. (30)
Все состояния рассматриваемой цепи являются возвратными (задача 4).
Интересно отметить, что максимальное значение вероятностей qn j =
= 0, 1, ..., Ν, скажем, при четном Ν, достигается на «центральном»
значении j = N/2, что соответствует наиболее вероятному состоянию
«равновесия», когда число молекул в каждой камере одно и то же.
Разумеется, это устанавливающееся со временем «равновесие» носит
вероятностно-статистический характер (описываемый приведенным
выше распределением Q).

854 ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Отметим также, что на интуитивном уровне возможность
«стабилизации» числа молекул по камерам довольно-таки понятна: чем дальше
состояние / от «центрального» значения, тем (в соответствии с (27))
больше вероятность того, что движение будет происходить по направлению к
этому значению.
В. Модель Д. Бернулли—Лапласа.
Рассматриваемая модель, сходная в определенном смысле с моделью
Эренфестов, была предложена Даниилом Бернулли (1769 г.) и затем
проанализирована Лапласом (1812 г.) в связи с описанием процесса обмена
частицами двух несжимаемых жидкостей.
Более точно, предполагается, что имеются два контейнера А и В,
содержащие вместе 2/V частиц, из которых /V частиц «белого» цвета и /V
частиц «черного» цвета.
Будем говорить, что «система» находится в состоянии /, где ieE =
= {0, 1, ..·. Μ. если в контейнере А содержится / частиц «белого» цвета
и уу —/-— «черного». Предположение «несжимаемости» означает, что в
рассматриваемом состоянии / в контейнере В содержится /V - / частиц
«белого» цвета и / частиц «черного» цвета. Общее число частиц в каждом
контейнере остается постоянным и равным N.
На каждом шаге η из каждого контейнера случайным образом (т. е. с
вероятностью Ι/jV) выбирается по частице и эти частицы меняются
местами. Предполагается, что эти процедуры (случайного) выбора частиц из
контейнеров проводятся независимым образом и последующие процедуры,
проводимые по той же схеме, не зависят от предшествующих этапов.
Пусть Хп — число частиц «белого» цвета в контейнере А. Тогда
описанный механизм обмена частицами приводит к выполнению марковского
свойства (28), при этом в формуле (29) переходные вероятности рц
определяются следующими выражениями (задача 5):
Л
"'=4(ι-£)2. /' = ' + ·. (31)
КО-*)· '-'·
Ш'·
и р/у. = 0,если |/-/|>М = 0, 1, ..., N.
Как и в модели Эренфестов, все состояния здесь возвратные.
Стационарное распределение Q = (<7o, <7i. ···. Я ν) существует, единственно и
задается (задача 5) формулами
я/=Ш2, у"0,1 м (32)

§8. ПРОСТОЕ СЛУЧАЙНОЕ БЛУЖДАНИЕ КАК МАРКОВСКАЯ ЦЕПЬ 855
4. В начале этой главы было сказано, что ее основной интерес
связан с вопросами «асимптотического поведения (с ростом п) систем с
отсутствием последействия». Материал предшествующих параграфов
показывает, что это поведение исследовалось с точки зрения того, как при
больших η ведут себя переходные вероятности р^ для цепей Маркова со
счетным множеством состояний £ = {/, /", ...} и, в частности, для простого
случайного блуждания, в котором переходы возможны лишь в соседние
состояния.
Большой интерес представляет исследование аналогичных вопросов и
для цепей Маркова с более сложными пространствами состояний. См. по
этому поводу, например, [75], [117].
5. Рассмотренные выше две модели (Эренфестов и
Бернулли—Лапласа) были названы дискретными моделями диффузии.
Дадим некоторое пояснение этому названию, рассматривая предельное
поведение простого случайного блуждания в R. Пусть Sn = ξι+... + £„,
η ^ 1, So = 0, где ξι, &, ... — последовательность независимых одинаково
распределенных случайных величин с Е& =0, D& = 1. Положим Χβ = 0 и
4-% (-7ί|4 0<,<'·
Понятно, что последовательность (0, Х^,п, Х£,п,..., Х^1) может
рассматриваться как простое случайное блуждание в моменты времени Δ, 2Δ, ..., 1
с Δ = 1/п и скачками порядка \/~К (ΔΧ£Δ =Х£А - ^_ΐ)Δ = ^ν/Δ).
Как уже отмечалось в замечании 4 § 8 гл. VII, это случайное блуждание
X" = (Х?)о^<^\ таково, что все его конечномерные распределения слабо
сходятся к конечномерным распределениям винеровского процесса
(броуновского движения) W = (Ψί)ο^ί<ζ\. Но, более того, там же говорилось,
что имеет место и функциональная сходимость, т. е. слабая сходимость
распределений процессов Хп к распределению процесса W (в том же
самом смысле, что и сходимость эмпирических процессов к броуновскому
мосту; см. п. 4 § 13 гл. III). Винеровский процесс является типичным
(и, более того, основным) примером диффузионных процессов, [69, т. 2],
[21], [131]. Это обстоятельство и объясняет, почему процессы типа Хп
и те, которые возникают в моделях Эренфестов и Бернулли—Лапласа,
естественно называть дискретными моделями диффузии.
6. Задачи.
1. Доказать формулу Стирлинга (я!~\/27глл+1/2е"~"),
воспользовавшись следующими вероятностными соображениями ([106], задача 27.18).
Пусть Sn=X\ +... + Xn, п^\, где Χχ,Χζ, ... —независимые случайные
величины, распределенные по закону Пуассона с параметром А= 1. Дока-

856
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
жите последовательно, что
п+\/2е-п
/\ cfSn-n\~ _„ v^ (n-k\n* nn+1'2
(a) E("тг) =e Σ(-^)«—-ίλ
(b) Law^^^)"]_Law[yV-],
где N — нормально распределенная случайная величина;
(d) я!~л/2™я+|/2е-я.
2. Установить свойство марковости (28).
3. Доказать формулу (30).
4. Доказать, что все состояния марковской цепи в модели Эренфестов
являются возвратными.
5. Проверить справедливость формул (31) и (32).
§ 9. Задачи об оптимальной остановке
для марковских цепей
1. Рассматриваемый ниже материал тесно примыкает к § 13 гл. VII,
где излагался «мартингальный» подход к решению задач об оптимальной
остановке произвольных стохастических последовательностей. Основной
акцент в настоящем параграфе будет сделан на тот случай, когда
стохастические последовательности порождаются функциями от состояний
марковских цепей, что позволяет общим результатам из § 13 гл. VII
придать простую и наглядную форму и интерпретацию.
2. Будем предполагать, что X = (Хп, &п, Рх) — однородная марковская
цепь с дискретным временем и фазовым пространством (£, §).
Предполагается также, что пространство (Ω, <^), на котором
определены величины Χη=Χη(ω), /г^О, является координатным (как в п. 6 § 1) и
сами величины Χη(ω) заданы координатным образом: если о/= (*о, х\, ···)€
€Ω, то Χη(ω) = χη. Под β понимается σ-алгебра σ([) &п)у где &п =
= σ(χ0. ...,4 00.
Замечание. В «общей теории оптимальных правил остановки» вовсе
нет надобности требовать, чтобы Ω являлось координатным
пространством. Но тем не менее и в «общей теории» надо все же предполагать, что
оно достаточно «богато». (См. подробности в [78].)

§9. ЗАДАЧИ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ
857
Нам же предположение «координатности» облегчит рассмотрения, в
частности, в связи с обобщенным марковским свойством (теорема 1 в § 2),
которое было приведено именно при этом допущении.
Как и в предыдущих параграфах, через Р(х\ В) обозначаем переходную
функцию рассматриваемой цепи (Р(х; В) = РХ{Х\ GВ}), хеЕ, В е&.
Пусть Τ — оператор перехода за один шаг, действующий на
^-измеримые функции / = f(x) со свойством Ex\f(X\)\ < оо, χ е £, по формуле
(Tf)(x) = Exf(Xi) (=\f(y)P(x\dy)\ (l)
(Для простоты записи вместо (Tf)(x) пишут Tf(x). Аналогичные
соглашения применяются и в других подобных случаях.)
3. Чтобы сформулировать задачу об оптимальной остановке для
марковской цепи X, предположим, что задана некоторая ^-измеримая
действительная функция g = g(x) такая, что Е^^Лд)! <оо, х€Е, для всех
О0 (или О ^ /ζ ^ /V, если a priori существует некоторое «терминальное»
значение /V, до которого нужно будет принять «оптимальное решение»).
Пусть 9Jtg — класс марковских моментов τ = τ(ω) (относительно
фильтрации (&k)o^k^N) со значениями в множестве «моментов остановки»
{О, 1 п). "
Следующая теорема является «марковской» версией теорем 1 и 2 из
§ 13 гл. VII.
Теорема 1. Пусть для O^n^N и хеЕ «цены»
sn(x)= sup Exg(XTl (2)
т<=ОИ£
где Ех — усреднение по мере Рх.
Пусть
tS = min{0 < k ζ η: sn-k(Xk) = g(Xk)} (3)
и
Qg(x) = max(g(x),Tg(x)). (4)
Тогда имеют место следующие утверждения.
1) Момент τξ является оптимальным моментом остановки в
классе 9Jlg:
Exg(XrS) = sn(x) (5)
для всех хеЕ.
2) Функции sn(x) могут быть найдены по формуле
sn(x) = Qng(xl хеЕ, (6)
где Q°g(x) = g(x) для п = 0.

858
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
3) Функции sn(x), n^N, подчиняются рекуррентным
соотношениям (s0(x) = g(x))
s„(x) = max(g(x), Tsn-i(x)), χζΕ,Ιζη^Ν. (7)
Доказательство. Воспользуемся результатами теорем 1 и 2 из § 13
гл. VII, примененными к функциям fn = g(Xn), ΟζηζΝ.
С этой целью зафиксируем некоторое «начальное» состояние хе£ и
рассмотрим введенные в упомянутом § 13 функции V„ и и%. При этом,
чтобы подчеркнуть зависимость от начального состояния, будем писать
V„ = V£(x). Таким образом,
VnN(x)= sup Exg(XT)y (8)
reany
где 9Я„ — класс всех марковских моментов (относительно фильтрации
№k)k^N)> принимающих значения в множестве «моментов остановки»
{", л+1 Λ/}.
Функции υ η определены (в соответствии с (6) § 13 гл. VII)
рекуррентным образом:
< = g(XN), ν» = max(g(Xn), Εχ(υΝη+ι \&„)). (9)
В силу обобщенного марковского свойства (теорема 1 § 2) (Р*-п. н.)
Ex(v%\&N.l) = Ex(g(XN)\SrN-l) = ExN_lg(Xl), (10)
где ExN_{g{X\) понимается (см. § 2) следующим образом: берется
функция ij;(x) = Exg(X\)y т.е. il>(x) = (Tg)(x), и по определению считается, что
Е^ g(Xi) = Ψ(Χν-ι) = (Tg)(XN-i).
Таким образом, υ% = giX/ц) и
uH^=mm(g(XN^)9 (Tg)(XN-i)) = (Qg)(XN-i). (11)
Продолжая аналогичным образом, находим, что для всех ΟζηζΝ - 1
vH = (Q"-ng)(Xn) (12)
и, в частности,
vg = (QNg)(Xo) = (QNg)(x) (Ρ,-п.н.).
Согласно (13) из § 13 гл. VII, υ$ = V^. Поскольку Vg = Vf(x) = sN(x),
то тем самым sn(x) = (Qng)(x), что и доказывает формулу (6) для n = N
(аналогично и для любого η < Ν).
Из (6) и определения оператора Q получаем рекуррентные формулы (7).
Покажем, что определенный формулой (3) момент (при η = Ν) является
оптимальным в классе 9Л^ (аналогично и для η<Ν в классах 9Jtg)·

§9. ЗАДАЧИ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ 859
Согласно теореме 1 § 13 гл. VII, оптимальный момент
T0" = min{(K/K/V: vZ = g(Xk)}.
Из (12) и установленного факта, что s„(x) = (Qng)(x) для любого О О,
находим, что
vH = (QN-kg№) = sN-k(Xk). (13)
Следовательно,
r0" = min{0<*<tf: sN-k(Xk) = g(Xk)l (14)
что и доказывает оптимальность этого момента в классе Ш%. Π
4. Обозначим
OJ? = {xeE:sN-k(x) = g(x)}, (15)
С» = Е\В» = {хеЕ: sN-k(x)>g(x)}. (16)
Тогда из (14) заключаем, что
T0"M = min{(K^/V: Хк(ш)еП%), (17)
и по аналогии с множествами D^ и С% (в Ω), введенными в п. 6 § 13
гл. VII, множества
DifCDfrC...CD# = Ef (18)
С#ЭС?Э...ЭС# = 0 (19)
можно называть соответственно областями «остановки» и
«продолжения» наблюдений (в Е).
Отметим специфику рассматриваемых задач об оптимальной остановке
для марковских цепей. В отличие от общего случая, в марковском случае
ответ на вопрос «прекращать наблюдения или продолжать» решается по
состояниям самой марковской цепи (rtf = min{0 ^ k ^ /V: Л* е Ш^}), иначе
говоря, по тому, где находится блуждающая «частица». При этом с
принципиальной точки зрения полное решение задач об оптимальной остановке
(т. е. описание «цены» sn(x) и оптимального момента т^) находится из
рекуррентных «уравнений динамического программирования» (7)
последовательным отысканием функций So(x) = g(x), S\(x), ..., Sn(x).
5. Обратимся теперь к задаче об оптимальной остановке в
предположении, что г €9Ло°, где SPTg0 — класс всех конечных марковских
моментов. (В случае τ €27$ моменты τ^/V; в случае же те9Я™ моменты
τ = τ(ω) < оо для всех ω G Ω.)
Итак, пусть «цена»
s(x)= sup Exg(Xr). (20)
r€OTJ°

860
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Чтобы здесь не возникали вопросы существования математических
ожиданий E.xg(XT), можно предположить, скажем, что
Е* (sup £-(*„))< оо, хеЕ. (21)
Понятно, что так заведомо будет, если функция g = g(x) ограничена
(\g(x)\^C* *€■£), и, в частности, условие (21) будет выполнено, если
пространство £ состояний цепи конечно.
Из определений «цен» Sn{x) и s(x) следует, что для всех χ е£
sN(x)^sN+x(x)^...^s(x). (22)
Естественно, конечно, рассчитывать на то, что lim Sn(x) совпадает с
s(x). И если это так, то тогда, совершая предельный переход в (7), найдем,
что «цена» s{x) должна удовлетворять уравнению
s(x) = max(g(x), 7i(x))f χ <Ε £. (23)
Из этого уравнения, между прочим, следует, что для s(x), χ £ £,
выполнены ^вариационные неравенства»
s{x)>g{x), (24)
s(x) > Ts(x). (25)
Неравенство (24) говорит о том, что «цена» s(x) является мажорантой
функции g(x). Второе неравенство (25) означает, в соответствии с
определениями общей теории марковских процессов, что функция s(x) является
эксцессивной, или супергармонической.
Таким образом, если для s(x) можно было бы установить
справедливость соотношения (23), то мы бы заключили, что «цена» s(x) есть
эксцессивная мажоранта функции g(x).
Отметим теперь следующее обстоятельство. Если какая-то функция
v(x) есть эксцессивная мажоранта функции g(x), то тогда, очевидно,
справедливы «вариационные неравенства»
v(x) ^ max(g(jt), Τό(χ)), xgE. (26)
Оказывается, однако, если предположить дополнительно, что функция
и(х) является наименьшей эксцессивной мажорантой, то тогда в (26)
будет выполняться равенство, т. е. и{х) будет удовлетворять уравнению
υ(χ) = max(g(x), Τυ(χ)), хеЕ. (27)
Лемма 1. Всякая наименьшая эксцессивная мажоранта ν(χ)
функции g(x) удовлетворяет уравнению (27).

§9. ЗАДАЧИ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ
861
Доказательство довольно просто. Ясно, что для v(x) справедливо
неравенство (26). Обозначим v\(x) = max(g(x), Τυ(χ)). Поскольку ν\(χ)^
^ g{x) и ϋ\ (χ) ^ υ(χ), χ € £, то
Τυχ (χ) ζ Τυ(χ) < max(g(x), Τυ(χ)) = щ (χ).
Следовательно, υ\(χ) есть эксцессивная мажоранта функции g(x). Но
υ(χ) — наименьшая эксцессивная мажоранта. Значит, υ(χ)^ν\{χ), т.е.
υ(χ) ^ max(g(jc), Tv(x)). Вместе с (26) это доказывает требуемое
равенство (27). D
Проведенные предварительные рассмотрения, основанные на
предположении s(x)— lim syy(x) и приведшие к соотношениям (23), а также
N—юо
утверждение леммы 1 подсказывают путь к характеризации «цены» s(x) —
по-видимому, это есть наименыиа эксцессивная мажоранта
функции g{x).
И действительно, справедлива следующая
Теорема 2. Пусть функция g=g(x) такова, что Ех [sup £"№ι)1 <
< оо, χ 6 Ε. Тогда имеют место следующие утверждения.
(a) Цена s=s(x) есть наименьшая эксцессивная мажоранта
функции g = g(x).
(b) Цена s(x) совпадает с lim sn(x) = lim QN g(x) и удовлетво-
N—юо N—*oo
ряет «уравнению динамического программирования Вальда—Белл-
мана»
s{x) = max(g(x), Ts(x)), хеЕ.
(c) Если EjfTsup |g(Art)|l <oo, xeE, то для каждого ε>0 момент
Te* = inf{O0: s(*„K g(*rt) +ε}
является ε-оптимальным в классе Wig0, m-e-
s{x)-e^Exg(XT*), х€Е.
Если Px{tq <оо}= 1, χ б£, то момент τζ будет оптимальным
(^-оптимальным), т. е.
s(x) = Exg(XrSl хеЕ. (28)
(d) Если множество Ε конечно, то момент τζ принадлежит 9Л§°
и является оптимальным.
Замечание. Вполне может случиться, что момент τζ = \ηί{η^Ο: s(Xn) =
= g(Xn)} с положительной вероятностью принимает для некоторых
состояний хеЕ значение +оо, Рх{т$ = сх>}>0. (Так бывает даже в случае

862
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
счетного множества состояний; задача 1.) В этой связи надо было
бы условиться о том, что следует понимать под выражением Exg(XT),
когда г принимает и значение +оо, поскольку «значение Аоо» не было
определено.
Часто по определению полагают g(Xoo) = lim g(Xn) (см. п. 1 § 13
гл. VII и [78]). Есть и другая возможность: вместо g(XT)
рассматривать g{XT) Ι(τ <оо). Тогда, если обозначить Ж™ класс всех марковских
моментов, принимающих, быть может, и значение +оо, то «цена»
s(x)= sup Е,£(*т)/(т<оо) (29)
t<=OTJ°
определена и тем самым становится возможным задачу об оптимальной
остановке рассматривать и в классе £Ш§°.
Доказательство теоремы 2 приведем здесь лишь для случая
конечного множества Е. В этом случае оно сравнительно просто и хорошо
проясняет возникновение эксцессивных функций в задачах об оптимальной
остановке. По поводу доказательства в общем случае см. [78], [102].
(а) Покажем, что функция s(x) является эксцессивной, т. е. s(x) ^ Ts(x)y
хеЕ.
Очевидно, что для каждого состояния уеЕ и ε>0 найдется такой
{Ру-п. н.) конечный (зависящий, вообще говоря, от ε>0) момент ту €9Л§°,
что
Eyg(Xry)>s(y)-e. (30)
По этим моментам ту, у ЕЕ, построим новый момент τ, который
определяет, образно говоря, следующую «стратегию» выбора момента «остановки».
Пусть «частица» находится в начальный момент в состоянии хеЕ.
«Остановки» в этом состоянии не происходит, и заведомо совершается
одно наблюдение. Пусть в момент л = 1 «частица» оказывается в состоянии
у € £. Тогда «стратегия», характеризуемая моментом τ, состоит в том,
чтобы считать, что «жизнь частицы» как бы начинается заново, а правило,
определяющее ее остановку, управляется моментом ту.
Формально же момент τ определяется следующим образом.
Пусть у£Е. Рассмотрим событие {α/: τμ(ω) = η}, п^О. Поскольку^ —
марковский момент, то это событие принадлежит &п. Мы
предполагаем, что пространство Ω является координатным, порожденным
последовательностями ω = (χο, х\, ...) с Х[ б£, и &η = σ(ω: *о, ··, хп)·
Отсюда вытекает, что множество {о/: ту(и) = п) может быть записано в
виде {α/: (Χο(ω), ..., Xn(w))eBy(n)}, где Ву(п) есть некоторое множество в
gn+x =<f ®...®<f (л+ 1 раз). (См. также теорему 4 в § 2 гл. II.)

§9. ЗАДАЧИ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ
863
Момент τ = τ{ω) определяется так, что он принимает значения вида
η + 1 с η ^ 0 и при этом τ{ω) = η + 1 на множестве
Άη = Σ{ω: Хх(ш) = у, (Χχ(ω) Χη+Χ(ω)) е Ву(п)}.
(С наглядной точки зрения момент f может быть охарактеризован
следующим образом: в любом состоянии χ в момент п = 0 заведомо делается
наблюдение; если при этом ΛΊ = у, то далее используется момент ту.)
Поскольку 2 Ап = Ω, то момент τ — τ(ω) действительно определен для
/ι^Ο
всех ω eft и является марковским (задача 2).
Из данной конструкции, обобщенного марковского свойства
(формула (2) из § 2) и (30) находим, что для любого χ е Ε
Εχ§(Χτ) = Σ Σ Σ р*№=*. (Χι Xn+\)eB,(n),Xn+i=z}g(z) =
/ί^Ο y€E zeE
= Σ Σ Σ Р**Ъ{Хо = у. (Хо Xn)eBy(ni xn=z}g(z) =
/ί^Ο y€E zeE
=Σ Σ Σ ρ**?Α(χο хп)е в,(п), χη=ζ} g(z)=
/ι^Ο yeE z€E
= Σ Ρ**ΕΜ8(χτ,)>Σ Pxy(s(y)-e) = Ts(x)-e.
y€E y€E
Тем самым
s(x) = Ех g(Xf) > Ts(x) -ε, χ € £,
и, в силу произвольности ε > 0,
s(x) ^ 7s(x), xeE,
что и доказывает эксцессивность функции s = s{x), х€Е.
Доказанное свойство эксцессивности (супергармоничности) сразу
приводит к следующему важному результату.
Следствие 1. Для каждого хеЕ процесс (последовательность)
s = (s(Xn))n>o (31)
является {относительно Рх-вероятности) супермартингалом.
Из теоремы 1 § 2 гл. VII, примененной к этому супермартингалу,
заключаем, что для всякого момента остановки г € Wig0 справедливо неравенство
s(x)>Exs(XT), *€£, (32)

864
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
и если σ и г— два марковских момента из Wig0 такие, что σζτ (РА-п. н.,
х€Е), то
Exs(Xa)^Exs(XT), xeE. (33)
(Заметим, что в рассматриваемом случае все условия упомянутой
теоремы 1 из § 2 гл. VII выполнены, поскольку пространство Ε конечно.)
Из (32) получаем
Следствие 2. Пусть в задаче об оптимальной остановке (20)
функция g = g(x), xeE, является эксцессивной
(супергармонической). Тогда момент tq =0 является оптимальным моментом
остановки.
(Ь) Покажем, что s(x) = lim Sn(x), xeE.
Ν
Так какSyvM ^5w+iM, то пРе^ел 1{т sn(x) существует. Обозначим его
N
§(х). Поскольку Е — конечно и для sn(x), Ν >0, выполнены рекуррентные
соотношения
sN(x) = max{g(x), TsN-\{x)),
то, переходя в них к пределу (/V —>оо), находим, что
s{x) = max{g(x)y Ts(x)).
Отсюда следует, что s(x) есть эксцессивная мажоранта функции g(x). Но
s(x) — наименьшая эксцессивная мажоранта. Значит, s(x)^s(x). В то же
самое время очевидно, что поскольку Sm(x)^s(x) для любого N^0, то
s(x)^s(x).
Следовательно, s(x)=s(x), что и доказывает требуемое утверждение
(Ь) теоремы.
(с, d) Покажем, наконец, что момент
r0* = inf{O0: s(Xn) = g(Xn)}, (34)
т. е. момент
r0* = inf{O0: Χη£®Ί (35)
первого попадания в множество (остановки)
Ш*={хеЕ: s(x) = g(x)}y (36)
является (в случае конечного множества Е) оптимальным в классе OTg0.
С этой целью прежде всего заметим, что множество D* не пусто,
поскольку к нему заведомо принадлежат те значения Jc, где g(x) = max g(x).
В этих состояниях s(x) = g(x)y и понятно, что оптимальная стратегия
должна состоять в том, чтобы в этих состояниях χ сразу «останавливаться».
Именно это и предписывает момент остановки т$.

§9. ЗАДАЧИ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ
865
Рассматривая момент τζ с точки зрения оптимальности в классе Wig0,
нужно прежде всего убедиться в том, что этот момент принадлежит этому
классу, т. е. что
Р,{т0*<оо}=1, хеЕ. (37)
Сделанное предположение конечности множества состояний Ε
действительно позволяет это установить. (В случае счетного множества Ε это,
вообще говоря, уже не так; задача 1.)
Для доказательства заметим, что интересующее нас событие {τζ =оо}
совпадает с событием А = [}{Хп ^Ш>*}. Так что надо показать, что Рх(А)=0
для всех χ е Е.
Если D* =£, то это, очевидно, так.
Пусть D* фЕ. В силу конечности множества Ε найдется такое α > 0,
что g(y) ^s(y)-a для всех у е Ε \ D*.
Тогда для любого г е 9Я§°
оо
е, g(Xr)=ΣΣΡ^="·Χ»=^ s(y)=
/ι=0 уеЕ
оо оо
= ΣΣ PAr = n,Xn=y)g(y) + Y^ Σ Px{r = n,Xn=y}g(y)4
/ι=0 y€B* /ι=0 #€£\Ю>*
оо оо
/i=0 y€D>* /1=0 у€Е\®>*
< Exs(XT) - аРх(А) < s(x) - аР,(Л), (38)
где последнее неравенство следует из эксцессивности
(супергармоничности) функции s(x) и справедливого для нее неравенства (32).
Беря в левой части (38) sup по всем г ЕЙЯ^0, приходим к неравенству
s(x)^s(x)-aPx(A), хеЕ.
Но |s(jc)|<oo, α>0. Поэтому Рд:(Л) = 0, хеЕ, что и доказывает конечность
момента τζ.
Докажем теперь оптимальность этого момента в классе 9JIq°.
По определению τζ
s(XrS) = g(XTS). (39)
Имея в виду это свойство, рассмотрим функцию j(x) = Exg(XT*) =
= Exs(XT*). Ниже мы покажем, что эта функция η(χ)
1) является эксцессивной;
2) мажорирует функцию g(x): η(χ)^ g(x), хеЕ.

866
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Очевидным образом имеет место также неравенство
3)7(*К*(х).
Из 1) и 2) будет следовать, что η(χ) есть эксцессивная мажоранта
функции s(x), которая, в свою очередь, является наименьшей эксцес-
сивной мажорантой функции g(x). Поэтому в силу 3) 7W = sW, хеЕу
и тогда
з(х) = Ехё(Хт;), хе£,
что и будет доказывать требуемую оптимальность т£ в классе Wig0.
Докажем свойство 1). Обозначим τ = inf{0 1: Хп €D*}. Этот момент
является марковским, τζ <f, τ €9Л^, и поскольку функция s(x) является
эксцессивной, то в силу свойства (33)
Exs(Xr)<Exs(XrS). xeE. (40)
Далее, с учетом обобщенного марковского свойства (см. (2) в теореме 1
§ 2) имеем
оо
ΕΜΧ*)**Σ Σ p*{*i*D* Xn-xi®\Xn=y)s(y) =
n=\ y€B*
=Σ Σ Y,Px*?z{Xoi®\...,Xn-2iw,Xn-x=y)s(y)=
= Σ pxzEzs(XTS). (41)
z€E
Отсюда в силу (40) находим, что
ΕΧ8{ΧΤ;)>Σ PxzEzS{Xr*)<
zeE
т.е.
l(x) > Σ P**l№* xeE>
zeE
что и доказывает эксцессивность функции η(χ).
Осталось лишь показать, что функция η(χ) мажорирует g(x).
Если χ е В*, то τζ = 0 и, очевидно, η(χ) = Ε*g(XT;) = g(*)·
Рассмотрим множество Ε \ D* и положим Εζ = {χ € Ε \ D*: η (χ) < g(x)}.
Это множество Εζ является конечным, и пусть χζ —то значение, на
котором достигается максимум функции g(x)-j(x)t рассматриваемой на
множестве £q:
g(*o) ~7(*о) = max(g(x) -η/(χ)).
yCF*

§9. ЗАДАЧИ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ
867
Введем новую функцию
7W =7М + №хо) ~ 7W)]. х € £. (42)
Ясно, что эта функция является эксцессивной (как сумма эксцессивной
функции и константы) и
7W " Six) = [g(x*o) - Ί(χ*ο)) - Шх) - 7W1 > 0
для всех χ € £. Тем самым 7W является эксцессивной мажорантой
функции g(x), и, значит, 7(*)^s(jc), поскольку функция 5(х) есть наименьшая
эксцессивная мажоранта функции g(x).
Отсюда следует, что
7(xo)>s(*o)·
Но, согласно (42), 7(*о) = £(*о) и» следовательно, g(*o)^s(*o)· Поскольку
s(x)^g(*) для всех хеЕ, то g(*o) —5(*о)» что означает, что точка х%
принадлежит множеству D*. По предположению же х* €£\D*.
Полученное противоречие показывает, что множество Ε \ D* = 0.
Откуда вытекает, что η(χ) ^ g(x) для всех χ € £. Π
6. Приведем некоторые примеры.
Пример 1. Будем рассматривать простое случайное блуждание с
двумя «поглощающими» состояниями 0 и /V, описанное в примере 5 § 8. При
этом будем считать p=q — l/2 (симметричное блуждание). Если
функция η(χ), х €£ = {0, 1, ..., /V}, является для рассматриваемого случайного
блуждания эксцессивной, то для всех х = 1, ..., /V - 1
7(х)>17(х-1)+17(х+1). (43)
Пусть задана некоторая функция g = g(x), Jt€{0, 1,..., /V}. Поскольку
состояния 0 и /V являются поглощающими состояниями, то функцию s(x)
надо искать среди всех функций η{χ), подчиняющихся условию (43) и
граничным условиям 7(0) = g(0), 7(Λ0 = g(N).
Условие (43) означает выпуклость функции η(χ) (на множестве {1,2,
..., /V - 1}). Тем самым можно сделать следующий вывод: в задаче s{x) =
= sup Exg(XT) «цена» s(x) есть наименьшая выпуклая функция,
ПОДЧИНЯЯ J°
няющаяся граничным условиям s(0) = g(0), s(N) = g(N). С наглядной же
точки зрения для определения значений функции s(x) надо поступить
следующим образом. «Накинем» на значения функции g(x) «туго натянутую
нить». На рис. 42 эта «нить» будет проходить через точки (0, а), (1, Ь)у
(4, с), (6, d), где состояния 0, 1, 4, 6 образуют множество остановки D*.
В этих точках s(x) = g(x). В остальных состояниях χ = 2, 3, 5 требуемые

868
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
значения s(x) определяются линейной интерполяцией. Аналогичным
образом значения «выпуклой оболочки» s{x) определяются для всех состояний
χ е Ε и в общем случае.
t * 5«
Рис. 42. Функция g(x) (пунктиром) и ее выпуклая оболочка s(x)y jc = 0, 1, ..., 6.
Пример 2. Пусть, как и в примере 7 из § 8, рассматривается простое
случайное блуждание (с p—q — \/2, т.е. симметричное) по множеству
состояний £ = {0, 1 W} с отражающими экранами в 0 и N.
Рассматриваемое блуждание является положительно возвратным. Отсюда следует,
что в задаче об оптимальной остановке s(x) = sup Exg(XT) оптимальное
t<=OTJ°
правило имеет весьма простую и естественную структуру — надо
дожидаться момента, когда будет достигнуто любое из состояний, где функция
g(x) достигает максимального значения, и в этот момент прекратить
наблюдения.
Пример 3. Предположим, что для простого симметричного случайного
блуждания по множеству £ = {0, 1, ..., /V} состояние 0 является
поглощающим, а N — отражающим. Пусть хо — то из состояний, где функция
g(x) достигает максимального значения и которое является ближайшим
к /V. Тогда оптимальный момент остановки имеет следующий вид: если
xq^x^N, то остановка блуждания происходит тогда, когда (с
Рх-вероятностью единица) достигается состояние хо. Между же состояниями 0 и хо
решение об остановке такое же, как и в примере 1, в предположении, что
£ = {0, 1, ..., хо}, где 0 и хо — поглощающие состояния.
7. В заключение рассмотрим получившую широкую известность
«задачу о выборе наилучшего объекта», называемую также «задачей о
разборчивой невесте», «задачей о выборе секретаря»,... (см. [59], [78], [102],
[106]). Для наглядности изложения выберем вариант «задачи о
разборчивой невесте».
Предположим, что «невеста» желает выбрать наилучшего «жениха» из
N возможных кандидатов. Считается, что N известно заранее и a priori все
кандидаты упорядочены по «качеству». Для определенности будем считать,
что наилучший из них имеет максимальный номер /V, второй по качеству —
номер yv — 1 наихудший имеет минимальный номер 1.

§9. ЗАДАЧИ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ 869
Поступают кандидаты к невесте в «случайном» порядке, что
формализуется следующим образом.
Пусть (αϊ, α2, ···» cln) — перестановка чисел (1, 2, ..., /V). Число таких
перестановок равно, очевидно, /V!, и предполагается, что все они
«случайные» в том смысле, что имеют вероятность 1/Λ/!.
В рассматриваемой задаче интерпретация упорядоченности
выборки (αϊ, <22> ..., (In) состоит в том, что (при потенциальной возможности
просмотра всех кандидатов) первым к «невесте» поступает кандидат с
номером αϊ, затем — с номером α<ι, ..., наконец, последним — кандидат
с номером α#·
Ограничения на возможные стратегии «невесты» формулируются
исходя из следующих соображений.
Абсолютного качества поступающего к ней кандидата «невеста» не
знает. Все, что она может относительно качества кандидатов узнать, —
это только то, какой из них лучше или хуже в результате их попарного
сравнения.
Далее, если «невеста» отвергла кандидата в «женихи», то он к ней
больше не возвращается (а он мог оказаться и наилучшим).
Стратегия невесты должна заключаться в том, чтобы на основании
последовательного просмотра кандидатов (с запоминанием результатов их
попарного сравнения и учитывая «качество» отклоненных кандидатов) так
выбрать момент остановки г*, чтобы
Р{аТ* =N} = sup P{aT = /V}, (44)
τ
где г принадлежит некоторому классу моментов остановки Wt^,
определяемому «информацией», получаемой «невестой» в ходе просмотра
кандидатов в «женихи».
Чтобы дать более точное описание рассматриваемого класса Wt^,
построим по последовательности ω = (αι, аг,..., а#) «ранговую»
последовательность Х = (Х\, Jfe» ...)> естественным образом возникающую в связи с
описанным выше способом действий «невесты».
Именно, положим Х\ = 1 и пусть Χι — порядковый номер (или, что
то же, момент поступления) «жениха», доминирующего всех
предшествующих. Так, если ^2 = 3, то это означает, что для рассматриваемой
последовательности ω = (α\, Я2, ···, Q>n) значение αϊ >α%, но а$>а\ (>аг).
Продолжая определять аналогичным образом Χ$,Χ^..., предположим,
что, например, Аз = 5. Это означает, что аз>а4, но а5>аз (>а4).
Самое большее может быть /V доминантов (в случае (αϊ, α2, ..., α#) =
= (1, 2, ..., Ν)). Если число доминантов для последовательности ω =
= (αι, аг, ..., α#) равно га, то полагаем Xm+\ =Xm+2 = --- = N + 1.

870
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Рассматриваемый класс моментов остановки Wt^ будет состоять из
моментов τ = τ(ω), которые обладают тем свойством, что
{ω: τ(ω) = η}β&ϊ,
ГАе&х=а(Хх Х„), l^n^N.
Рассмотрим более подробно структуру «ранговой» последовательности
Х = (ХиХ2, ...)·
Нетрудно убедиться (задача 3) в том, что эта последовательность
является однородной марковской цепью (с фазовым пространством
£ = {1, 2, ..., Ν + 1}). Переходные вероятности этой цепи определяются
формулами:
P4 = JJZTy 1</</<М (45)
Pun+\ = jj, К*'<#, (46)
ρΝ+ιΜ+ι = 1. (47)
Отсюда видно, что состояние /V 4-1 является поглощающим и
возможные переходы совершаются по множеству Ε лишь «вверх», т. е. возможны
лишь переходы / -»/" и / > /.
Замечание. Формула (45) вытекает из следующих простых
рассмотрений с учетом того, что вероятность каждой из последовательностей
ω = (α\, ..., α#) равна 1/ΛΠ.
Для 1 ^ / < /'^ /V переходная вероятность
Pil = P(Xn+l=j\Xn = i)=P{Xn={XnX^=i). (48)
Событие {Хп = /, Хп+\ =/} означает, что значение ау· является
доминирующим среди значений а\, ..., ау и при этом aj>ai. Вероятность этого
события равна ' ., = ——гт· Точно так же событие {Хп = /} означает,
/! /(/-1)
что значение at является доминирующим значением среди αϊ, ...,α/, и
вероятность такого события есть = -. Из этих рассмотрений и (48)
получаем формулу (45).
Для доказательства формулы (46) надо лишь заметить, что если Xn = i,
то Xn+\=N + 1 означает, что щ доминирует и значения α,·+ι, ..., α#, и
значения а]у ..., α,·_ι. Формула (47) очевидна.
Предположим теперь, что «невеста» выбрала некоторый момент
остановки г (относительно системы сг-алгебр (<&%)) и при этом XT = i. Тогда
условная вероятность того, что этот момент оказался успешным (т. е.

§9. ЗАДАЧИ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ
871
аг = Л0, равна, согласно (46), -^ (= —Л. Следовательно,
Ρ{ατ = Ν} = Ε^,
и, значит, отыскание оптимального момента остановки т* (т. е. момента,
для которого Р{ат* =/V} = sup P{aT = N}) сводится к решению задачи об
τ
оптимальной остановке
l/* = supE^, (49)
где г —марковский момент относительно системы σ-алгебр (&%).
В формуле (49) предполагается, что Х\ = 1. В соответствии с общим
методом решения задач об оптимальной остановке для марковских
последовательностей обозначим
y(/) = sup Eig(XTl
τ
где Ε/ — математическое ожидание в предположении, что Х\ = /, и
Как мы уже знаем (теорема 2), функция v(i)y 1 </ ^/V + 1, является экс-
цессивной мажорантой функции g(i), 1 </ ^N + 1:
vd)>Tu(i)= ς jrT)u{i)' (50)
/=/+1
v(i)>g(H (51)
и к тому же наименьшей из таких функций. Из этой же теоремы 2 следует,
что функция υ(ι), 1 ^ / < /V + 1, удовлетворяет уравнению
v(i) = max(g(/), 7Ъ(/)), 1< / < /V + 1, (52)
при этом, как нетрудно видеть, искомая функция v(i) должна быть такой,
что
у(Л/ + 1) = 0, v(N) = g(N)=l.
Обозначим через Ю>* множество тех состояний / Ε £, где производится
остановка наблюдений. Согласно теореме 1, это множество описывается
следующим образом:
D* = {/€£: v(i) = g(i)}.
Соответственно, область продолжения наблюдений
С* ={/€£: v(i)>g(i)}.

872
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Таким образом, если / GD*, то
N ' ι N · \
g(i) = v(i)>Tu(i)=J2 Ί"ΓΠΌ{ί)>Σ, T'7^Tff(/) =
/=/+1 y=i+l
N i \ ' N 1
у=i+l у=ι+1
Следовательно, если / eD*, то должно быть выполнено неравенство
Ν ι
/=i+l
Далее, если это неравенство выполнено и значения / + 1, ..., N все
принадлежат D*, то тогда
N ' ι * ι
у=/+1 у =i+l
и тем самым состояние / также принадлежит множеству D*.
Приведенные рассуждения (с учетом того, что NeB*, поскольку
v(N) = g(N)) показывают, что множество D* должно иметь следующий
вид:
D* = {/*fr + l /V, yV + 1},
где /* = i*(N) определяется из неравенств
? + Йм+"- + ^<,<г^т + ? + "- + АГГг· (53)
из которых вытекает, что при больших N
Действительно, для всякого η ^ 2
Откуда
/*(Л0~у. (54)
1п(лг + 1) — In уг<-<1п я-1п(уг- 1).
In — <-+... + ——- <1п Г,
η η Ν -1 /2-1
что вместе с (53) приводит к неравенствам
In -Г-7Т7Г < 1 < In -
/*(JV) ^4 ^"* ;*(JV)-2'
из которых и следует асимптотика (54).

§9. ЗАДАЧИ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ
873
Найдем теперь функцию ν = v(i) для I € Ε = {1, 2, ..., /V + 1}.
Если / €D* = {/*, /· + I Ν, N + 1}, то o(/) = g(/) = £.
Пусть / = ι* — 1. Тогда
у(г-1) = г,(г-1) = Е^г(/) = ^(йгг+-+лГгт)·
Пусть теперь / = < * — 2. Тогда
ι'*-2 ,.. ., . А «*-2
с*- -2) = 7Ъ(Г -2) = (г.Д":_2) *</· -1) + ЕЙ g(/) =
По индукции устанавливаем, что для всех 1 ^ / < /*
о(0 = «г*(ЛО-^(?йгт + - + зИгт)· <55>
Тем самым для / G {1, 2, ..., /V}
IV(A0, Ui<i-(AO.
Обращаясь к (55), видим, что поскольку
то при /V -»оо
lim y*(/V) = lim r(A?" 1 = -^0,0368. (58)
Этот результат, на первый взгляд, может показаться несколько
удивительным, поскольку из него следует, что если число кандидатов /V велико,
то у «невесты» существует стратегия выбора наилучшего из них с
весьма большой вероятностью V*=sup Р{ат = Ν} = ϋ*(Λ0« 0,368. При этом
г
оптимальный момент
r*=inf{/z: Jf„€D*}f
где ©* = {/*, /* + 1 N, W + 1}.

874
ГЛ. VIII. МАРКОВСКИЕ ЦЕПИ
Таким образом, оптимальная стратегия «невесты» состоит в том, чтобы
N
просмотреть /* — 1 (где /* = /*(/V) ~ —, η —► оо) кандидатов и затем выбрать
того первого кандидата, который лучше всех предыдущих.
В том случае, когда /V = 10, более детальный анализ (см., например, § 1
гл. III в [102]) показывает, что /*(10) = 4. Иначе говоря, в этом случае надо
просмотреть трех кандидатов и затем из последующих выбрать первого
кандидата, который доминирует всех предшествующих. Соответствующая
вероятность выбора наилучшего «жениха» (т. е. значение и*(10)) равно
примерно 0,399.
8. Задачи.
1. Построить пример, показывающий, что для марковских цепей со
счетным множеством состояний может не существовать (в классе QJtg0)
оптимального момента остановки.
2. Проверить, что момент ту, введенный при доказательстве теоремы 2,
является марковским моментом.
3. Показать, что последовательность X = {Х\, Х%, ...), введенная в п. 7
при рассмотрении «задачи о разборчивой невесте», образует однородную
марковскую цепь.
4. Пусть X = (Хп)п^о — однородная марковская цепь со значениями
в_^ис переходной функцией Р — Р(х\ β), *€/?, Be£S(R). Говорят, что
/?-значная функция / = /(*), x£R, является Ρ-гармонической (или
гармонической по отношению к Я), если
*х\№)\ = \\М\Р(х\*у)<<х>% xeR,
R
И
f(x) = \f(y)P(x\dy), xeR. (59)
R
(Если равенство «=» в (59) заменено на неравенство «^», то говорят,
что функция / является супергармонической.) Доказать, что если / —
супергармоническая функция, то для всякого xeR последовательность
(f(Xn))n^o с Хо = х является супермартингалом (по отношению к мере Р*).
5. Показать, что момент г, входящий в (38), принадлежит классу 9Jlf°.
6. По аналогии с примером 1 в п. 6 рассмотреть задачи об оптимальной
остановке
sN(x)= sup Exg(XT)
т€Я1»
И
s(x)= sup Exg(XT)
т€ЭП°°
для всех простых случайных блужданий из примеров в § 8.

Очерк истории становления
математической теории вероятностей
При изложении вопросов истории теории вероятностей можно условно
выделить (ср. [26] *), [43]) следующие ее этапы:
Предыстория
Первый период (XVII век —начало XVIII века)
Второй период (XVIII век —начало XIX века)
Третий период (вторая половина XIX века)
Четвертый период (начало и середина XX века)
Предыстория. Интуитивные представления о случайности и
возникновение разного рода рассуждений о возможных шансах (в культовой
практике, разрешении споров, предсказаниях и т. п.) уходят в глубь веков.
В донаучную эпоху к ним относились как к явлениям, не поддающимся
человеческому разуму и рациональному объяснению, и только несколько
веков назад началось их осмысление и формально-логическое изучение.
Археологические сведения говорят о находках первых «случайных
инструментов» — игральных костей (astragalus), которые в давние времена
применялись в примитивных играх **). С определенностью можно
утверждать, что такие кости использовались в настольных играх во времена
Первой Династии в Египте (около 3500 г. до н. э.), затем в Древней Греции
и Древнем Риме. Известно [20], что римские императоры Август (August,
63 г. до н. э. — 14 г. н. э.) и Клавдий (Claudius, 10 г. до н. э. — 54 г. н. э.)
были страстными игроками в кости.
Помимо игр, в связи с которыми возникали уже тогда простейшие
вопросы относительно числа благоприятных и неблагоприятных шансов,
сходные вопросы появлялись в страховании и коммерции. Старейшими
известными формами страхования являются контракты на морские
перевозки, обнаруженные в вавилонских записях, относящихся к периоду
4—3 тысячи лет до н. э. Практика подобных контрактов перешла затем
через финикийцев к грекам, римлянам, индусам. Ее следы можно найти
в ранних кодексах Римской цивилизации, законах Византийской империи.
В связи со страхованием жизни римский юрист Ulpian составил (220 г.
до н. э.) первые таблицы смертности.
*) Ссылки в настоящем очерке даются на список литературы, помещенный на
с. 894-898.
**) astragalus — запяточная кость у парнокопытных; она имеет такую форму, что при
бросании может упасть лишь на одну из четырех сторон, поскольку две другие имеют
закругленную форму.

876 ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ
В эпоху расцвета итальянских городов-республик (Рим, Венеция,
Генуя, Пиза, Флоренция) в связи с практикой страхования появляется
необходимость и в простейшей статистике, и в актуарных расчетах.
Известно, что первый точно датированный контракт по страхованию жизни
был заключен в Генуе в 1347 году.
Города-республики дали начало эпохе Возрождения (Renaissance;
конец XIV — начало XVII века) — периоду преобразований и
обновления в социальной и культурной жизни Западной Европы. Пожалуй,
именно в эпоху итальянского Возрождения мы находим следы более
или менее серьезных дискуссий, в основном философского характера,
относительно «вероятностных» рассуждений у Луки Пачоли (Luca Pacioli,
1445-1517(?)), Ч. Кальканини (Celio Caicagnini, 1479-1541) и Η. Тар-
тальи (Nicola Fontana Tartaglea, 1500—1557) (см. [43], [20]).
Видимо, одним из первых, кто стал математически анализировать
игровые шансы, был Дж. Кардано (Gerolamo Cardano, 1501—1576),
широко известный как изобретатель «карданного вала» и решивший уравнение
третьей степени. Его манускрипт (около 1525 г.), опубликованный лишь
в 1663 г.^юд названием Liber de Ludo Aleae («Книга об азартных играх»),
явился не только своего рода практическим пособием для игроков. В нем
впервые была высказана идея комбинаций, с помощью которых
удобно описывать множество всех возможных исходов (при бросании костей
разного рода и в разном числе). Им было обнаружено также, что для
правильных костей «отношение числа благоприятных комбинаций к общему
числу возможных комбинаций находится в хорошем согласии с игровой
практикой» [20].
1. Первый период (XVII век — начало XVIII века). Многие, как,
например, Лаплас [39] (см. также [61]), связывают рождение и начало
«исчисления вероятностей» с перепиской (1654 г.) между Паскалем
(Blaise Pascal, 1623-1662) и Ферма (Pierre de Fermat, 1601-1665). Эта
переписка возникла в связи с некоторыми вопросами, поставленными
перед Паскалем кавалером де Мере (Chevalier de Mere, он же Antoine
Gombaud — писатель и моралист, 1607—1684).
Один из этих вопросов был связан с тем, как справедливо
разделить ставку в прерванной игре. Конкретно, речь идет о следующем. Пусть
два игрока А и В согласились, что в их игре вся ставка достается тому,
кто первый выиграет, скажем, в пяти партиях. Предположим, что игра
вынужденным образом остановлена тогда, когда игрок А имел четыре
выигрыша, а игрок В —три выигрыша. В какой пропорции игроки должны
разделить ставку в этой остановленной игре? Один из «естественных», как
может показаться, ответов на этот вопрос состоит в том, что разделение
ставки должно произойти в отношении 2:1. В самом деле, игра заведомо

ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ 877
закончится через два шага, при этом игроку А достаточно выиграть лишь
один раз, а игроку В нужно выиграть оба раза. Отсюда и приходим к
отношению 2:1.
Но по числу выигранных игроками партий также «естественным»
можно было бы считать отношение 4:3. Правильный же ответ, как нашли
Паскаль и Ферма, есть не то и не другое: разделение ставки должно
производиться в отношении 3:1.
Другая задача была связана с вопросом о том, что более
правдоподобно — иметь по крайней мере одну шестерку в четырех бросаниях
правильной кости или иметь по крайней мере пару шестерок, (6, 6), в 24
одновременных бросаниях двух правильных костей.
И в этой задаче Паскаль и Ферма дали правильный ответ: первая
комбинация несколько более правдоподобна, нежели вторая. (Вероятность
первой комбинации равна 1 - (5/6)4 = 0,516, а второй 1 - (35/36)24 =0,491.)
В решении этих задач и Паскаль, и Ферма широко применяли (как и
Кардано) комбинаторные рассуждения, ставшие одним из основных
приемов «исчисления вероятностей» при подсчетах различных шансов. Нашел
здесь свое «прикладное» место и треугольник Паскаля, известный,
впрочем, и раньше.
В 1657 году выходит в свет книга X. Гюйгенса (Christianus Huygens,
1629—1695) De Ratiociniis in Ludo Aleae («О расчетах в азартных играх»),
считающаяся первым систематическим текстом по «исчислению
вероятностей». В ней в явной форме формулируются многие фундаментальные
понятия и принципы исчисления вероятностей, приводятся правила
сложения и умножения вероятностей, содержится дискуссия относительно
понятия математического ожидания. Долгое время эта книга была
основным пособием по «элементарной теории вероятностей».
Центральной фигурой рассматриваемого периода в становлении
«теории вероятностей» является Яков Бернулли (Jacob (Jakob, James, Jacques)
Bernoulli, 1654—1705), которому принадлежит заслуга введения в
науку «классического» понятия «вероятность события» как отношения
числа возможных исходов, благоприятствующих рассматриваемому событию,
к общему числу мыслимых исходов.
Основной результат Я. Бернулли, с которым ассоциируется его имя,
это, конечно, закон больших чисел, лежащий в основе всех применений
теории вероятностей.
Датой рождения этого закона, сформулированного в виде предельной
теоремы, считается 1713 год —дата выхода в свет трактата книги Я.
Бернулли Ars Conjectandi («Искусство предположений»), публикация
которого была осуществлена при участии его племянника Николая (Nikolaus)
Бернулли; см. [3, с. 9, 27, 75, 83]. Как отмечает А. А. Марков в своей речи,

878 ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ
посвященной 200-летию закона больших чисел (см. [53], [3]), Я. Бернул-
ли в письмах (от 3 октября 1703 г. и 20 апреля 1704 г.) к Г. Лейбницу
(Gottfried Wilhelm Leibniz, 1646—1716) писал, что эта теорема ему была
«известна уже двенадцать лет назад». (Сам термин «закон больших чисел»
предложил Пуассон, 1835 г.)
Другой представитель семейства Бернулли, Даниил (Daniel Bernoulli,
1667—1748), известен в теории вероятностей в связи с дискуссией по
поводу так называемого «Петербургского парадокса», для разрешения которого
им использовалось понятие «морального ожидания».
Первый период становления теории вероятностей совпал с эпохой
создания математического естествознания. Именно к этому времени
относится обращение к концепциям непрерывности, бесконечности и инфини-
тезимальной малости. К этому времени относится и создание И.
Ньютоном (Isaac Newton, 1642—1727) и Г. Лейбницем дифференциального и
интегрального исчисления. Как отмечает А. Н. Колмогоров [26], задача
этой эпохи состояла в том, чтобы «постигнуть необычайную широту и
гибкость (а тогда казалось и всемогущество) математического метода
изучения причинных связей. Идея дифференциального уравнения как закона,
определяющего однозначно по состоянию системы в настоящее время ее
будущую эволюцию, занимала в математическом естествознании еще
более исключительное положение, чем в наше время. Теория вероятностей
нужна в математическом естествознании там, где эта детерминистская
схема дифференциальных уравнений перестает действовать. В это же время
конкретного естественно-научного материала для расчетного, так сказать
делового, применения теории вероятностей еще не было.
Тем не менее неизбежность грубой схематизации реальных явлений
при подведении их под детерминистические схемы типа систем
дифференциальных уравнений была уже достаточно ясна. Было ясно и то, что
на почве хаоса огромного количества не поддающихся индивидуальному
учету не связанных между собой явлений „в среднем" могут возникать
вполне четкие закономерности. Здесь и предвиделась фундаментальная
натурфилософская роль теории вероятностей», раскрываемая с достаточной
полнотой предельной теоремой Я. Бернулли — законом больших чисел.
Необходимо отметить, что осознание Я. Бернулли важности
рассмотрения бесконечных последовательностей результатов повторных испытаний,
сама постановка вопроса о предельном поведении частот появления тех
или иных событий в этих испытаниях —были кардинально новыми
(«нефинитными») идеями в вероятностных рассмотрениях, ограничивавшихся
тогда элементарно-арифметическими и простейшими комбинаторными
приемами. Именно эта постановка вопроса, приведшая к закону больших
чисел, выявила как различие между понятиями вероятности события

ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ 879
и частоты его появления в конечном числе повторных испытаний, так
и возможность определения этой вероятности (с той или иной степенью
точности) по значению частоты при большом числе испытаний.
2. Второй период (XVIII век — начало XIX века). Это период
связан, главным образом, с такими именами, как Монмор (Pierre-Remond
de Montmort, 1678—1719), Муавр (Abraham De Moivre, 1667—1754),
Байес (Thomas Bayes, 1702—1761), Лаплас (Pierre Simon de Laplace,
1749—1827), Гаусс (Carl Friedrich Gauss, 1777—1855) и Пуассон (Simeon
Denis Poisson, 1781 — 1840).
Если первый период носил, по существу, философский характер, то
во втором происходит развитие и оттачивание аналитических методов,
появляется необходимость в проведении расчетов в разных областях,
закладываются вероятностно-статистические подходы к теории ошибок
наблюдения, теории стрельбы и др.
И Монмор, и Муавр находились под сильным влиянием работ Я. Бер-
нулли в «исчислении вероятностей». В своей книге Essai d'Analyse sur les
Jeux de Hasard («Опыт анализа случайных игр»; 1708 г.) Монмор уделяет
основное внимание именно развитию методов расчетов в разнообразных
играх.
В своих двух книгах Doctrine of Chances («Доктрина случая»; 1718 г.)
и Miscellanea Analytica Supplementum («Аналитические методы, или
Аналитическая смесь»; 1730 г.) Муавр довольно тщательным образом
дает определения таких понятий, как независимость событий, ожидание,
условная вероятность.
Наиболее известно имя Муавра в связи с нормальной
аппроксимацией биномиального распределения. Если закон больших чисел Я. Бернул-
ли выявил, что частоты универсальным образом «в среднем»
подчиняются некоторой четкой закономерности (в виде сходимости, в определенном
смысле, частот появления событий к их вероятности), то обнаруженная
Муавром нормальная аппроксимация выявила другую универсальную
закономерность в поведении отклонений от среднего значения. Роль
этого результата Муавра и последующих его обобщений столь значительна,
что соответствующая «интегральная предельная теорема» называется
центральной предельной теоремой теории вероятностей. (Терминология
предложена Д. Пойа (George Polya, 1887—1985) в 1920 г., [55].)
Монументальной фигурой рассматриваемого периода является,
безусловно, Лаплас. Его трактат Theorie Analytique des Probabilites
(«Аналитическая теория вероятностей»), опубликованный в 1812 году, был
основным пособием по теории вероятностей в XIX веке. Он написал также
несколько мемуаров по основаниям, философским вопросам и конкретным
проблемам исчисления вероятностей, не считая работ по астрономии и

880 ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ
математическому анализу. Значителен вклад Лапласа в теорию ошибок.
Именно ему и Гауссу принадлежит естественная идея введения
нормального закона в теории ошибок, возникающего как результат суммарного
эффекта сложения большого числа независимых элементарных ошибок.
Лаплас также не только придал интегральной предельной теореме Му-
авра более общую формулировку («теорема Муавра—Лапласа»), но и
предложил новые аналитические доказательства.
Вслед за Бернулли Лаплас четко придерживался «принципа равновоз-
можности», или «принципа безразличия», приводящего к «классическому»
определению понятия вероятности (в случае конечного числа возможных
исходов).
Однако уже в этот период появляются и «неклассические»
распределения вероятностей, не укладывающиеся в рамки классической схемы.
Таковыми, например, являлись нормальный и пуассоновский законы, долгое
время рассматривавшиеся лишь как некоторые аппроксимации, а не как
распределения вероятностей (в современном понимании этого термина).
Другим примером, где также возникали «неклассические»
распределения, являлись задачи на «геометрические вероятности» (например, у
Ньютона, 1665 г., [52, с. 60]). Сюда же относится и известная «игла Бюф-
фона». Неравные вероятности возникали и у Т. Байеса в связи с формулой
Байеса, опубликованной в 1763 году в статье An Essay Towards Solving a
Problem in the Doctrine of Chances и дающей правило пересчета
априорных вероятностей (которые Байес считал одинаковыми) в апостериорные
по происшествии некоторого события. Эта формула породила целое
направление в статистике, называемое ныне «байесовским подходом».
Из всего сказанного становится ясным, что рамки «классической»
(финитной) теории вероятностей существенно сдерживали возможности
ее развития и применений, а интерпретация нормального, пуассоновского
и др. распределений только лишь как некоторых предельных образований
вызывала чувство незавершенности. В рассматриваемый период в теории
вероятностей отсутствовали абстрактные математические конструкции и
она не рассматривалась иначе как прикладная математика. К тому же ее
методы были ограничены рамками конкретных применений (типа азартных
игр, теории ошибок, теории стрельбы, страхования, демографии и т. п.).
3. Третий период (вторая половина XIX века). Основным местом,
где разрабатывались в это время общие проблемы теории
вероятностей, стал Петербург — П. Л. Чебышев (1821—1894), А. А. Марков
(1856—1922) и А. М. Ляпунов (1857—1918) внесли существенный вклад
в расширение и углубление всей системы теории вероятностей. Именно
благодаря им произошел отказ от ограничения лишь случаем
«классических» вероятностей. П. Л. Чебышев с полной ясностью оценил

ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ 881
роль понятия случайной величины, понятия математического ожидания
и эффективным образом продемонстрировал удобство обращения с ними,
что ныне рассматривается как нечто само собой разумеющееся.
Закон больших чисел, теорема Муавра—Лапласа относились к
случайным величинами, принимающим лишь два значения. П. Л. Чебышевым
была существенно расширена сфера действия этих теорем (для более общих
случайных величин). Так, уже первый его результат устанавливал
справедливость закона больших чисел для сумм произвольных независимых
случайных величин, значения которых ограничены некоторой константой.
(Следующий шаг был сделан А. А. Марковым, который для доказательства
использовал «неравенство Чебышева—Маркова».)
После закона больших чисел П. Л. Чебышев перешел к установлению
справедливости теоремы Муавра—Лапласа для сумм независимых
случайных величин, для чего им был разработан новый прием доказательства —
метод моментов, позже усовершенствованный А. А. Марковым.
Следующий неожиданный шаг в отыскании общих условий
справедливости теоремы Муавра—Лапласа был сделан А. М. Ляпуновым, который
методом характеристических функций, берущим свое начало у Лапласа,
доказал эту теорему в предположении наличия у суммируемых
независимых случайных величин не всех моментов, а лишь моментов порядка 2 + ί,
δ > О, удовлетворяющих так называемому «условию Ляпунова».
Как одну из принципиальных новых концепций следует отметить
введение А. А. Марковым схемы зависимых случайных величин,
обладающих свойством «отсутствия последействия» и называемых теперь «цепями
Маркова», с установлением для них первой строго доказанной «эргодиче-
ской» теоремы.
С определенностью можно констатировать, что работы П. Л.
Чебышева, А. А. Маркова и А. М. Ляпунова («Петербургская школа») заложили
прочный фундамент всего последующего развития теории вероятностей.
В Западной Европе интерес к теории вероятностей во второй
половине XIX века стал стремительно возрастать благодаря обнаружившимся
глубоким ее связям с чистой математикой, статистической физикой и
начавшей бурно развиваться математической статистикой.
В это время становилось все более ясным, что собственное
развитие теории вероятностей сильно сдерживается рамками ее «классических»
предположений (конечное число исходов и их равновозможность) и что
соответствующее расширение надо искать в моделях чистой математики.
(Уместно напомнить, что в это время теория множеств только создавалась,
а теория меры и вовсе находилась лишь на пороге создания.)
В то же самое время в чистой математике и, в частности, в теории
чисел — науке, казалось бы весьма отдаленной от теории вероятностей, стали

882 ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ
использоваться понятия и появляться результаты чисто «вероятностной»
природы, стала привлекаться вероятностная интуиция.
Так, в 1890 г. А. Пуанкаре (Jules Henri Poincare, 1854—1912) в своей
работе [57], посвященной проблеме трех тел, приводит результат о
возвратности движения динамической системы, описываемой сохраняющим
«объем» преобразованием 7\ который говорит о том, что если А —
некоторое множество начальных состояний ω4 то для «типичных» шеА
траектории Τηω будут возвращаться в множество А бесконечное число раз.
(Говоря современным языком, возвратность имеет место не для всех, а
лишь для почти всех начальных состояний системы.)
В рассмотрениях этого времени часто апеллируют к выражениям типа
«случайный выбор», «типичный случай», «специальный случай». В
учебнике Calcul des Probabilites ([56], 1896 г.) А. Пуанкаре задается вопросом
о том, «какова вероятность того, что случайно выбранная точка из
интервала [0, 1] окажется рациональным числом».
В 1888 г. астроном X. Полден (Johan August Hugo Gylden, 1841 — 1896)
опубликовал работу [18], истоки которой (как и у А. Пуанкаре [57], 1890 г.)
были связаны с вопросами планетарной устойчивости и которую теперь бы
отнесли к бероятностной теории чисел. Речь в ней шла о следующем.
Выберем «случайным» образом число ωЕ[0, 1), и пусть α; = (αϊ, а%, ...)
есть его разложение в непрерывную дробь, где ап = art(o/) — целые числа.
(Для рациональных чисел ω в этих разложениях только конечное число
величин ап отлично от нуля и образованные по разложению (αϊ, α<ι, ...)
числа α;(Λ) = (αι, а^ ..., α*, 0, 0, ...) используются как наилучшие
рациональные аппроксимации для ω.) Спрашивается, как в «типичных» случаях
«ведут» себя при больших значениях η величины αη(ω).
Хотя и не строго, X. Полден устанавливает, что «вероятность» получить
в разложении ω = (α\, α<ι, ...) значение an = k при больших η «более или
менее» обратно пропорциональна k2. (Несколько позже Т. Broden [12] и
A. Wiman [62] установили, оперируя с геометрическими вероятностями,
что если «случайный» выбор ω Ε [0, 1) определять как «равномерную
распределенность» ω на [0, 1), то вероятность того, что an(uj) = k, стремится
при η —> оо к значению
(1п2)-'-1п[(1 + 1)/(1 + ж±т)];
отсюда видно, что при больших k это выражение обратно пропорционально
ft2, что, в сущности, и имел в виду X. Полден.)
Вероятностные понятия и рассуждения во второй половине XIX
века систематически стали использоваться в классической физике и
статистической механике. Достаточно упомянуть, например, распределение

ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ 883
Максвелла (James Clerk Maxwell, 1831 — 1879) для молекулярных
скоростей, см. [44]; временные средние и эргодическую гипотезу Больцмана
(Ludwig Boltzmann, 1844—1906), см. [6], [7].
С их именами связано понятие ансамбля, получившее дальнейшее
развитие в работах Гиббса (Josiah Willard Gibbs, 1839—1903), см. [17].
Для всего последующего развития теории вероятностей и углубления
понимания роли вероятностных подходов и концепций важную роль
сыграли обнаруженный в 1827 году Р. Брауном (Robert Brown, 1773—1858)
феномен, получивший название броуновского движения (описание
этого феномена дано им в памфлете «A Brief Account of Microscopical
Observation...», опубликованном в 1828 году [И]), и явление
радиоактивного распада, обнаруженное в 1896 году А. Беккерелем ((Antoine-)
Henri Becquerel, 1852—1908) при исследовании свойств урана. В 1900 г.
Л. Башелье (Louis Bachelier, 1870—1946), [2], использовал броуновское
движение для математического описания стоимости акций; см. подробнее
в [74].
Качественное объяснение и количественное описание броуновского
движения были даны впоследствии А. Эйнштейном (Albert Einstein, 1879—
1955), [75], и Μ. Смолуховским (Marian Smoiuchowski, 1872—1917), [59].
Явление радиоактивности нашло свое объяснение в рамках квантовой
механики, создание которой относится к двадцатым годам двадцатого
столетия.
Из сказанного выше становится ясно, что появление новых
вероятностных схем, моделей и использование вероятностной идеологии не
укладывалось в рамки «классической вероятности» и требовало новых
понятий, с тем чтобы можно было, например, придать точный математический
смысл выражениям типа «случайно выбранная точка из интервала [0, 1)»,
не говоря уже об объяснении феномена «случайного» броуновского
движения. С этой точки зрения весьма ко времени появилась теория
множеств и понятие «борелевской меры», введенное Э. Борелем (Emile Borel,
1871—1956) в 1898 году, [8], и теория интегрирования А. Лебега (Henri
Lebesgue, 1875—1941), данная им в его книге [40], 1904 г. (Э. Борелем
мера вводилась на евклидовом пространстве как обобщение понятия длины.
Современное изложение теории меры на абстрактных измеримых
пространствах следует М. Фреше (Maurice Frechet, 1878—1973), [71], 1915 г.;
историю теории меры и интегрирования см., например, в [72].)
По существу, сразу же было осознано, что борелевская теория меры
и лебеговская теория интегрирования образуют ту концептуальную базу,
которая может дать обоснование многих вероятностных рассмотрений и
придать точный смысл многим интуитивным высказываниям типа
«случайный выбор точки из интервала [0, 1)». И вскоре (1905 г.) Э. Борель сам

884 ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ
же дает применение теоретико-множественного подхода к теории
вероятностей, доказав первую, в сущности, предельную теорему — усиленный
закон больших чисел — о выполнении некоторых свойств действительных
чисел «с вероятностью единица», или «почти наверное».
Суть этой теоремы, дающей определенное представление о том, «много
или мало» действительных чисел с «исключительными» (в приводимом
ниже смысле) свойствами, состоит в следующем.
Пусть действительно число ω€ [0, 1) и ω = 0, αχα^... есть его
двоичное разложение с art = 0 или 1 (ср. с рассмотренным выше разложением
ω = (α^9 αϊ* ...) в непрерывную дробь). Тогда если ип(ω) — частота
появления единиц среди первых η значений αϊ, ..., art, то борелевская мера
множества тех ω («нормальных», как говорил Э. Борель), для которых
^М —* 1/2, л —>оо, равна единице, а тех («исключительных»), для которых
такой сходимости нет, равна нулю.
Этот результат («усиленный закон больших чисел Бореля») внешне
напоминает теорему Я. Бернулли («закон больших чисел»). Однако между
ними есть и формально-математическая, и концептуально-философская
разница. Действительно, в законе больших чисел утверждается всего
лишь, что'для всякого ε>0 вероятность события {ω: \νη(ω) - 1/2| ^ε}
стремится при п—>оо к нулю. В усиленном же законе больших
чисел утверждается больше — к нулю стремится вероятность события
ίω: sup \vm(uj)— 1/2|^ε\. Далее, в первом случае утверждение каса-
I Ό« J
ется некоторого свойства вероятностей конечных последовательностей
(αϊ, £22, ..., ал), /1^1, и пределов этих вероятностей. Во втором же
случае речь идет о свойствах вероятностей, определяемых бесконечными
последовательностями (αϊ, аг, ..., ал, ...). (Детальное изложение всего
круга затронутых математических и философских проблем, связанных
с проникновением вероятностных методов в теорию чисел, а также
обширный материал, относящийся к созданию современной теории вероятностей,
см. в монографии Яна фон Плато (Jan von Plato) Creating Modern
Probability, [54].)
4. Четвертый период (начало и середина XX века). Выявленные
к концу XIX века связи теории вероятностей с чистой математикой
привели к постановке Д. Гильбертом (David Hubert, 1862—1943) в его
программном докладе 8 августа 1900 г. на Втором математическом конгрессе
в Париже проблемы математизации теории вероятностей. Среди
его известных проблем (первая относилась к континуум-гипотезе)
шестая формулировалась как проблема аксиоматизации тех физических
дисциплин, в которых математика играет доминирующую роль. К этим
дисциплинам Д. Гильберт отнес теорию вероятностей и механику, указав также

ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ 885
на необходимость строгого и удовлетворительного развития метода
средних в физике и, в частности, в кинетической теории газов. (Д. Гильберт
отмечал, что постановка вопроса об аксиоматизации теории вероятностей
была инициирована Г. Больманом (Georg Bohlmann, 1869—1928) —
приват-доцентом в Гёттингене, который говорил об этой проблематике на
актуарном конгрессе, состоявшемся весной того же 1900 г. в Париже,
см. [5], [19]. Вводимая Г. Больманом вероятность определялась как
(конечно-аддитивная) функция на событиях, но без достаточно четкого
определения «системы событий», что, впрочем, им полностью осознавалось.)
Четвертый период в истории становления теории вероятностей — это
период логического обоснования теории вероятностей и становления ее
математической дисциплиной.
Вскоре после доклада Д. Гильберта было предпринято несколько
попыток построения математической теории вероятностей с привлечением
элементов теории множеств и теории меры.
Так, в 1904 г. Р. Леммель (R. Lammel, [41 JTcm. также [19]) для описания
множества исходов обращался к теории множеств, однако само понятие
вероятности (выражаемое термином «content» и ассоциируемое с объемом,
площадью, длиной, ...) оставалось на интуитивном уровне
предшествующего периода.
Другой автор, У. Брогги (Ugo Broggi, 1880—1965) в своей диссертации
(1907 г., [10]; см. также [19]), выполненной под руководством Д. Гильберта,
обращался и к теории меры Бореля и Лебега (основываясь на ее
представлении в книге Лебега [40], 1904 г.), но само понятие (конечно-аддитивной)
вероятности требовало для своего определения обращения (в простейших
случаях) к «относительным мерам», «относительным частотам» и (в общих
случаях) обращения к некоторым искусственным предельным
процедурам.
Среди авторов последовавших затем работ по логическому
обоснованию теории вероятностей следует в первую очередь назвать С. Н. Берн-
штейна (1880—1968) и R фон Мизеса (Richard von Mises, 1883—1953).
Система аксиом С. Н. Бернштейна ([4], 1917 г.) была основана на
понятии качественного сравнения событий по степени их большего или
меньшего правдоподобия. Само же численное значение вероятности
появлялось как некоторое производное понятие.
Впоследствии весьма сходный подход, основанный на субъективных
качественных суждениях («системе знаний субъекта»), получил широкое
развитие в работах Б. де Финетти (Bruno de Finetti, 1906—1985) в конце
двадцатых — начале тридцатых годов (см., например, [65]—[70]).
Идеи Б. де Финетти нашли большую поддержку у ряда представителей
байесовского направления в статистике, например, у Л. Сэвиджа (Leonard

886 ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Jimmie Savage, 1917—1971; см. [60]), а также в теории игр и решений, где
«субъективный» элемент играет весьма значительную роль.
В 1919 г. Р. Мизес предложил ([49], [50]) так называемый частотный
(говорят также —статистический или эмпирический) подход к
обоснованию теории вероятностей, положив в основу ту идею, что вероятностные
концепции могут применяться только к так называемым «коллективам»,
т. е. индивидуальным бесконечным упорядоченным
последовательностям, обладающим некоторым свойством «случайности» их образования.
Общая схема Р. Мизеса может быть обрисована следующим образом.
Имеется некоторое выборочное пространство исходов «эксперимента»,
и предполагается возможность проведения бесконечного числа испытаний,
приводящих к последовательности х = (хи *2, ...), где хп — результат
исхода в п-м «эксперименте». Пусть, далее, А — некоторое подмножество
1 п
в множестве исходов «эксперимента» и ип(А\х) = - £ /^(х/) — частота
п /=ι
появления «события» А в первых η испытаниях.
Последовательность х = (х\,Х2> ···) называется коллективом, если
она удов^творяет следующим двум постулатам (называемым Мизесом
альтернативными условиями-, см. [49]—[51]):
I (существование предела частот у последовательности) — для всех
«допустимых» множеств А существует предел частот
\\πινη(Α\χ) (=ρ(Α\χ))\
η
II (существование предела частот у подпоследовательностей) —для
всех последовательностей х' — (х\, х'2, ...), получаемых из
последовательности jc = (jcj, *2, ...) с помощью некоторой заранее оговариваемой
системы («допустимых») правил их образования (Мизес их называет «place-
selection functions»), пределы частот lim vn(A\ x') должны быть теми же
η
самыми, что и для самой последовательности х = (хи х2, ...), т. е.
совпадать с lim un(A\ х).
η
Согласно Мизесу, говорить о «вероятности множества А» можно лишь
в связи с конкретным «коллективом» и эта вероятность (Р(А\ х))
определяется (в соответствии с постулатом I) как предел частот lim щ(А\ х).
η
Важно подчеркнуть, что если этот предел не существует (и, значит,
χ по определению не является «коллективом»), то соответствующая
вероятность не определяется. Второй постулат призван у Мизеса выражать
(соответствующую интуиции и лежащую в основе всех «вероятностных»
рассмотрений) концепцию «случайности» в формировании «коллектива»
х = (х\,Х2, ...)» отражать идею «нерегулярности» этой
последовательности и «непредсказуемости» ее «будущих» значений (хп, хп+\, ...) по

ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ 887
«прошлому» (х\, Х2,..., хп-\) для любого п^ 1. (У представителей теории
вероятностей, придерживающихся колмогоровской аксиоматики,
изложенной в § 1 гл. II, такие последовательности должны ассоциироваться
с «типичными» последовательностями исходов наблюдений над
независимыми одинаково распределенными случайными величинами; см. п. 4
§ 5 гл. I.)
Сформулированные постулаты, используемые Мизесом при
построении, как он говорил ([51, с. 1]), «a mathematical theory of repetitive
events», вызвали (особенно в тридцатые годы) большую дискуссию и
критику. Основные возражения сводились к тому, что в реальной практике
мы, обычно, имеем дело с конечными, а не бесконечными,
последовательностями. Тем самым, реально нельзя определить, существует ли
предел lim ип(А\ x), нельзя реально определить и «чувствительность» этого
η
предела при переходе от последовательности χ к последовательности х'.
Серьезную критику вызывали также как способ определения Мизесом
понятия «допустимых» правил образования подпоследовательностей, так
и та расплывчатость в определении множества тех («тестовых») правил,
которые допускаются к рассмотрению в альтернативном условии II.
Если рассматривать последовательность х = (х\,Х2, ...), состоящую
и нулей и единиц и такую, что для нее предел lim un(x\ {1}) принимает
η
значения в интервале (0, 1), то в этой последовательности должно быть
бесконечное число и нулей, и единиц. Поэтому если допускать любые
правила образования подпоследовательностей, то всегда можно из χ
образовать подпоследовательность я^. состоящую, например, лишь из
единиц, для которой предел lim vn(x'\ Ш) = 1. Отсюда можно заключить, что
нетривиальные коллективы, инвариантные относительно всех способов
образования подпоследовательностей, не существуют.
Первый шаг на пути доказательства «непустоты» класса
коллективов был сделан А. Вальдом (Abraham Wald, 1902—1950) в работе [13],
1937 г. В его конструкции правила образования подпоследовательностей
х' = (х[, Jtg, ...) из последовательностей χ = {х\, *2, ...) описывались с
помощью счетного набора функций /,· = fi(x\, ..., */), /^1, принимающих
два значения 0 и 1: элемент xi+\ включается в последовательность х\
если fi(x\, ..., Xi)= 1, и не включается, если //(*ι, ..., Jt/) = 0. Β 1940 г.
А. Чёрч (Alonzo Church, 1903—1995) предложил, [73], иной подход к
образованию подпоследовательности, основываясь на той идее, что каждый
способ образования должен быть на практике «эффективно вычислимым».
Эта идея привела Чёрча к понятию алгоритмически вычислимых (т. е.
вычислимых с помощью, скажем, машины Тьюринга) функций, которые
и были им предложены для образования подпоследовательностей. (Пусть,

888 ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ
например, jc,- принимает два значения, ω\ = 0, ω% = 1. Поставим в
соответствие последовательности (х\, ..., хп) положительное число
где ik определяются так, что Хк = и-1к. Если φ = φ(Χ) — бинарная, {0, 1}-
значная функция, определенная на множестве {0, 1,2, ...}, то Хп+\
включается в новую последовательность х\ когда φ(Χη) = 1, и не включается,
если φ(\η) = 0.)
В качестве одного из пояснений и оправданий своей концепции
«коллектива» как последовательности со свойством «случайности», Мизес
приводил ту эвристическую аргументацию, что для таких
последовательностей нельзя построить «выигрышную систему игры».
Эти рассуждения были подвергнуты критическому анализу в небольшой
монографии Ж. Билля (Jean Ville, 1910—1988) [14], 1939 г., в которой
он придал мизесовским рассмотрениям строгую математическую форму.
Интересно отметить, что именно в этой работе впервые был использован
(как математическое понятие) термин «мартингал».
Из приведенного выше описания разных подходов к аксиоматике
теории вероятностей (..., Бернштейн, де Финетти, Мизес) видно, что на них
лежит отпечаток усложненности и излишней перегруженности понятиями,
многие из которых определяются желанием построения такой схемы
теории вероятностей, которая была бы возможно ближе к приложениям, что,
как отмечает А. Н. Колмогоров в «Основных понятиях теории
вероятностей», [23], не может привести к простой аксиоматизации.
Первой публикацией А. Н. Колмогорова, которая говорит о его
интересе к вопросам логического обоснования теории вероятностей, была
(недостаточно широко известная) статья «Общая теория меры и
исчисление вероятностей», [27]. И само название статьи, и ее содержание
показывают, что возможность логического обоснования теории вероятностей
А. Н. Колмогоров видел на базе теории множеств и теории меры. Это
обстоятельство, как следует из изложенного выше, не было
совершенно новым и к тому же было вполне естественным для московской
математической школы, для которой теория множеств и метрическая теория
функций были одними из основных областей математических
исследований.
В промежутке между этой статьей (1929 г.) и появлением
«Основных понятий» ([23], 1933 г.) А. Н. Колмогоров публикует одну из своих
знаменитых вероятностных работ «Об аналитических методах в теории
вероятностей» [29], о которой П. С. Александров и А. Я. Хинчин писали, [1]:

ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ 889
«Во всей теории вероятностей XX столетия трудно указать другое
исследование, которое оказалось бы столь основополагающим для дальнейшего
развития науки...».
Фундаментальность этой работы заключалась не только в том, что
в ней были заложены основы теории марковских случайных процессов,
но и в том, что она показала тесные связи этой теории, да и всей теории
вероятностей в целом, с математическим анализом (в частности, с теорией
дифференциальных уравнений —с обычными и частными производными),
с классической механикой, классической физикой, ...
В связи с рассматриваемыми вопросами обоснования математической
теории вероятностей отметим, что работа «Аналитические методы», [29],
может служить, так сказать, «физической» мотивацией необходимости
логического построения основ случайных процессов, что явилось (помимо
«аксиоматики») одной из целей «Основных понятий».
В основе предложенной А. Н. Колмогоровым (неформальной)
аксиоматизации теории вероятностей лежит понятие вероятностного
пространства
(Ω, f% P),
где (Ω, &) — некоторое (абстрактное) измеримое пространство
(«элементарных» исходов и «событий») и Ρ — неотрицательная счетно-аддитивная
функция множеств из &ч нормированная условием Ρ(Ω) = 1
(«вероятность»); см. § 1 в гл. II).
Под случайными величинами понимаются ^-измеримые функции
ξ = ξ(ω), их математическое ожидание определяется как интеграл
Лебега от ξ(ω) по мере Р.
Новым явилось и понятие условного математического ожидания
Ε{ξ\&) относительно σ-подалгебр &С& (см. в этой связи предисловие
А. Н. Колмогорова ко второму изданию «Основных понятий», [24]).
В «Основных понятиях» есть теорема, которую А. Н. Колмогоров
называет основной, подчеркивая тем самым особую важность
содержащегося в ней утверждения (о существовании процессов с заданными
конечномерными распределениями). Суть дела здесь в следующем.
В «Аналитическим методах» марковские процессы были призва-
• ны описывать эволюцию «стохастически определенных систем» и это
описание давалось в терминах «дифференциальных» свойств функций
P(s, х\ /, Л), удовлетворяющих «уравнению Колмогорова—Чепмена».
Функции P(s, x\ /, А) назывались переходными вероятностями, что
связано с их интерпретацией как вероятностей того, что, будучи в момент
-времени s в состоянии х, «система» окажется в момент времени /
в множестве А фазового пространства ее состояний.

890 ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Точно так же и в работах того же времени [30], [31], [66], [67],
посвященных «однородным стохастическим процессам с независимыми
приращениями», все рассмотрения велись в терминах свойств функций Pt(x),
удовлетворяющих функциональному уравнению Ps+t (х) = § Ps (х — У) dPt (#),
естественно возникающему при интерпретации Pt(x) как вероятности того,
что за время / приращение процесса будет меньше или равно х.
Однако с формально-логической точки зрения вопрос о
существовании объекта, который можно было бы назвать «процессом» с заданными
переходными вероятностями P(s, x\ /, А) или заданными распределениями
Pt(x), оставался открытым.
Именно к решению этого вопроса и относится основная теорема,
утверждающая, что по каждой системе согласованных конечномерных
распределений вероятностей Ftut2 tn{x\> *2» ···, *«)» 0^ U <h< ---<tn>
Xi eR, можно построить вероятностное пространство (Ω, β\ Ρ) и систему
случайных величин Х = (Х()с^о> Xt =Χί{ω), такую, что
Р№, <*1, **2^*2, ···, Xtn ^*n) = Ftut2 ta(X\> *2, ···, Xn)-
В качестве Ω берется пространство /?10·°°) действительных функций
u = (u>t)t^ot в качестве β берется σ-алгебра, порожденная
цилиндрическими множествами, а мера Ρ определяется с помощью процедуры
продолжения меры с алгебры цилиндрических множеств (на которых эта мера
строится естественным образом по заданным конечномерным
распределениям) на наименьшую σ-алгебру, порожденную этой алгеброй множеств.
Случайные величины Χ({ω) определяются координатным образом: если
ω = (ωί)ί^ο, то Χί(ω)=ωί. (Данная конструкция объясняет, почему часто
понятие «случайный процесс» отождествляется с (его) мерой в
функциональном пространстве Ζ?'0'00*.)
В «Основных понятиях» небольшой параграф отводится и вопросам
применимости теории вероятностей.
Описывая схему условий, по которой идет применение этой теории
к «реальному миру экспериментов», А. Н. Колмогоров во многом
следует Р. Мизесу, показывая тем самым, что ему был не чужд частотный
мизесовский подход в вопросах интерпретации и применимое™ теории
вероятностей.
Суть этой схемы условий состоит в следующем.
Предполагается, что имеется некоторый комплекс условий, дающий
возможность проведения неограниченного числа повторных
экспериментов.
Пусть (jci, JC2, ..., хп) — результаты η экспериментов со значениями jq,
1 < i < л, принадлежащими, скажем, множеству X, и пусть А — некоторое
интересующее нас подмножество в X.

ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ 891
Если х\ € Л, то говорят, что в i-м эксперименте произошло событие Л.
(Отметим, что a priori не делается никаких предположений
«вероятностного» характера типа, что эксперименты проводятся «случайным и
независимым образом», не говорится ничего и о «шансах», приводящих к
событию Л, и т. п.)
Далее, предполагается, что событию А может быть приписано
некоторое число (обозначаем его Ρ (А)) такое, что практически можно быть
уверенным в том, что частота ип(А) появления события А в η
экспериментах будет при больших η мало отличаться от Р(А). И если, к тому же, Р(А)
мало, то практически можно быть уверенным в том, что в единичном
эксперименте событие А не появится.
В «Основных понятиях» А. Н. Колмогоров не входит в детальное
обсуждение условий применимости теории вероятностей к «реальному миру»,
говоря, что «мы ... сознательно оставляем в стороне глубокие
философские изыскания о понятии вероятности в мире опыта», но отмечая во
введении к первой главе, что есть области применимости теории
вероятностей, «которые не имеют отношения к понятиям случая и вероятности
в собственном смысле этого слова».
Тридцать лет спустя А. Н. Колмогоров вернулся (см. [32]—[37]) к
вопросу о применимости теории вероятностей, предложив для его
разрешения два подхода («первый» и «второй»), в основе которых лежат
соответственно, концепция «аппроксимативной случайности» и концепция
«алгоритмической сложности». При этом он особо подчеркивал [37], что,
в отличие от Р. Мизеса и А. Чёрча, оперирующих с бесконечными
последовательностями (*ι,*2, ···), его подходы к понятию «случайности»
носят строго финитный характер, т. е. относятся к последовательностям
(jcj, *2, ..., xn), N^l, конечной длины (далее они, следуя [38],
называются цепями), что мы и имеем на самом деле в реальных ситуациях.
Концепция «аппроксимативной случайности» вводится так.
Пусть (*ι, *2, ..., χν) — некоторая бинарная (jq =0, 1) цепь длины /V
и n^N. Говорят, что эта цепь является (л, б)-случайной по отношению
к (конечному) набору Φ допустимых алгоритмов, если существует
число ρ (=Р({1})) такое, что для любой цепи (х\, х'2, ..., х'т) с n^m^N,
полученной из (х\у *2, ...,χν) с помощью некоторого алгоритма ЛеФ,
частота vm(x'\ {1}) появления единицы отличается от ρ не более чем на ε.
(Те алгоритмы из Ф, которые приводят к цепям длины m < л, во внимание
не принимаются.)
А. Н. Колмогоров показывает в [32], что если для заданных η и 0<ε< 1
число допустимах алгоритмов не больше, чем
±ехр{2л£2(1-е)},

892 ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ
то для каждого 0< ρ < 1 и любого УУ ^ η можно найти цепь (х\, *2,..., хы),
обладающую свойством (л, е)-случча^ности («аппроксимативной
случайности»).
В описанном подходе к выделению «случайных» цепей есть (как и
в мизесовском случае) определенный произвол, связанный с
неопределенностью описания и отбора допустимых алгоритмов. Понятно при этом, что
этот класс алгоритмов не может быть слишком большим, иначе множество
«аппроксимативно случайных» цепей оказалось бы пустым. В то же самое
время желательно, чтобы допустимые алгоритмы были бы просто устроены
(например, задавались бы таблицей).
В теории вероятностей сложилось вполне определенное
представление, подкрепленное разного рода вероятностными утверждениями, о том,
что «типичные случайные реализации устроены достаточно нерегулярно,
достаточно сложно».
Поэтому если стремиться к тому, чтобы алгоритмическое
определение «случайности» цепей, последовательностей было максимально
приближено к вероятностному представлению о структуре случайных реа-
лизаций^ то алгоритмы из Φ должны (в совокупности) позволять
отбраковывать «'нетипичные, просто устроенные» цепи, объявляя «случайными»
те, которые устроены достаточно нерегулярно, достаточно сложно.
Эти соображения приводят ко «второму» подходу А. Н. Колмогорова
к понятию «случайности», в котором акцент делается не на «простоту»
рассматриваемых алгоритмов, а на «сложность» самих цепей и
«напрямую» вводится некоторая числовая характеристика «сложности»,
призванная показывать степень «нерегулярности» в образовании этих цепей.
Этой характеристикой является так называемая «алгоритмическая»
(или «колмогоровская») сложность Ка(х) индивидуальной цепи χ по
отношению к алгоритму Л, определяемая, образно говоря, как длина
той самой короткой бинарной цепи, которая, будучи поданной на «вход»
алгоритма (машины, компьютера, ...) Л, позволяет на «выходе» эту цепь
восстановить.
Формальные определения даются следующим образом.
Пусть Σ — совокупность всех конечных бинарных цепей χ = (х\, *2, ...
..., хп)у \х\ (=п) — ее длина и Ф —некоторый класс алгоритмов.
Сложностью цепи χ € Σ по отношению к алгоритму А е Φ называется число
КА(х) = тт{\р\: А(р)=х)ч
т. е. минимальная длина (\р\) той бинарной цепи ρ на «входе» алгоритма Л,
которая восстанавливает на «выходе» цепь χ (А(р)=х).
В [34] А. Н. Колмогоров устанавливает, что (для некоторых важных
классов алгоритмов Ф) имеет место следующий результат: существует

ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ 893
универсальный алгоритм U Ε Φ такой, что для любого Α Ε Φ найдется
константа С(А) такая, что для любой цепи χ е Σ
Ки(х)<КЛ(х) + С(А),
а для разных универсальных алгоритмов V и U"
\Ки>-Ки»\^С> *£Σ,
где С не зависит от χ£Σ. (Α. Η. Колмогоров отмечает в [34], что
одновременно аналогичный результат был установлен Р. Соломоновым.)
Это обстоятельство (с учетом также того, что для «типичных» цепей χ
значение Ки(х) растет с ростом \х\) оправдывает следующее
определение: сложностью цепи χεΣ по отношению к классу алгоритмов Φ
называется величина К(х) = Ки(х), где U — некоторый универсальный
алгоритм из Ф.
Величину К(х) принято называть алгоритмической или Колмогоров-
ской сложностью «объекта» χ. Α. Η. Колмогоров рассматривал эту
величину как меру количества алгоритмической информации,
содержащейся в «конечном объекте» х, называя ее энтропией χ и полагая, что
это понятие является даже более фундаментальным, нежели
вероятностное понятие количества информации, требующее для своего определения
знания вероятностного распределения на «объектах» х.
Величину К(х) можно трактовать также как показатель степени
сжатия «текста» х. Если в класс Φ включать алгоритмы типа простого
перечисления элементов, то становится понятным, что (с точностью до
константы) сложность К(х) цепи χ не превышает ее длины |jc|. С другой
стороны, простые рассмотрения показывают, что количество (бинарных)
цепей χ сложности менее К не превышает 2К - 1, что есть число
различных «входных» бинарных последовательностей длины, меньшей /С
(1+2 + ... + 2*-!=2*-1).
Далее, простые рассуждения (см., например, [15]) показывают, что
существуют цепи х, сложность которых (с точностью до константы) равна
их длине |х|, и что не может быть большого числа цепей, допускающих
сильное сжатие (доля цепей сложности η -а не превосходит 2"°). Все эти
рассмотрения естественным образом приводят к следующему определению:
«алгоритмически случайными»(по отношению к классу алгоритмов Ф)
называются те цепи х, алгоритмическая сложность К{х) которых близка к |jc|.
Иначе говоря, алгоритмический подход объявляет «случайными» те
цепи х, у которых сложность является максимальной (К(х) ~ |jc|).
Введенное А. Н. Колмогоровым понятие сложности, алгоритмической
случайности породило целое направление, именуемое «колмогоровской
сложностью», с многочисленными применениями в самых разнообразных

894 ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ
областях математики и ее применений (см. подробнее, например, [38],
[45]-[48], [22]).
В теории же вероятностей эти новые понятия положили начало
большому циклу работ по вьГяснению того, для каких «алгоритмически
случайных» цепей и последовательностей справедливы те или иные вероятностно-
статистические закономерности (типа усиленного закона больших чисел,
закона повторного логарифма; см., например, [16]), открывая, тем самым,
возможности применения методов теории вероятностей и ее результатов и
в тех областях, которые, как уже отмечалось выше со ссылкой на [24],
не имеют прямого «отношения к понятиям случая и вероятности в
собственном смысле этого слова».
Список литературы
к очерку истории становления
математической теории вероятностей
[1] Александров П. С, X и н ч и н А. Я. Андрей Николаевич
Колмогоров (к пятидесятилетию со дня рождения) // Успехи математических наук. —
1953.-Т. 8, JMb З.-С. 177-200.
[2] Башелье (Bachelier L.). Theorie de la speculation // Annales de PEcoIe
Normale Superieure. — 1900. — V. 17. — P. 21—86.
[3] Бернулли Я. О законе больших чисел. Ч. 4: Искусство
предположений.-М.: Наука, 1986. —С. 23—59.
[4] Б е ρ н ш τ е й н С. Н. Опыт аксиоматического обоснования теории
вероятностей J/ Сообщения Харьковского математического общества. Сер. 2. —
1917.-Т. 15.-С. 209-274.
[5] Б о л ь м а н (Bohlmann G.). Lebensversicherungsmathematik // Encyklopaedie
der mathematischen Wissenschaften. — Bd. I, Heft 2. — Artikel ID4b. — Leipzig:
Teubner, 1903.
[6] Больцман (Boltzmann L.). Wissenschaftliche Abhandlungen. — V. 1—3. —
Leipzig: Barth, 1909.
[7] Больцман, Набл (Boltzmann L., Nabl J.). Kjnetische Theorie der Materie
II Encyklopaedie der mathematischen Wissenschaften. — Bd. V, Heft 4. —
Leipzig: Teubner, 1907. —S. 493—557.
[8] Борель (Borel Ё.). Legons sur la theorie des fonctions. — Paris: Gauthier-
Villars, 1898; Ed. 2.-Paris: Gauthier-Villars, 1914.
[9] Борель (Borel Ё.). Quelques remarques sur les principes de la theorie des
ensembles // Mathematische Annalen. — 1905. — V. 60. — P. 194—195.
[10] Брогги (Broggi U.). Die Axiome der Wahrscheinlichkeitsrechnung.
Dissertation. Gottingen, 1907. (См. также [19].)
[11] Браун (Brown R.). A brief account of microscopical observations made in
the months of June, July, and August, 1827, on the particles contained in the

СПИСОК ЛИТЕРАТУРЫ
895
pollen of plants; and on the general existence of active molecules in organic and
inorganic bodies. — Philosophical Magazine N.S.— 1828. V. 4. —P. 161 — 173.
[12] Б ρ о д е н (Broden Т.). Wahrscheinlichkeitsbestimmungen bei der gewohnlichen
Kettenbruchentwicklung reeller Zahlen // Akad. Forh. Stockholm. — 1900.—
V. 57. - P. 239-266.
[13] Вальд (Wald Α.). Die Widerspruchsfreiheit des Kollektivbegriffes der Wahr-
scheinlichkeitsrechnung // Ergebnisse eines mathematischen KoIIoquiums. —
1937.-V. 8.-P. 38-72.
[14] В и л ь (Ville J. Α.). Etude critique de la notion de collectif. — Paris: Gauthier-
Villars, 1939.
[15] Витаньи П., Ли М. Колмогоровская сложность: двадцать лет спустя //
Успехи математических наук. — 1988. — Т. 43, № 6. — С. 129—166.
[16] Во в к В. Г. Закон повторного логарифма для случайных по Колмогорову,
или хаотических, последовательностей // Теория вероятностей и ее
применения. - 1987. - Т. 32, № 3. - С. 456-468.
[17] Гиббс (Gibbs J. W.). Elementary Principles in Statistical Mechanics.
Developed with especial reference to the rational foundation of thermodynamics. —
New Haven: Yale Univ. Press, 1902; New York: Dover, 1960.
[18] Гюлден (Gylden H.). Quelques remarques relativement a la representation
de nombres irrationnels au moyen des fractions continues // Comptes Rendus.
Paris.-1888.-V. 107.-P. 1584-1587.
[19] Die Entwicklung der Wahrscheinlichkeitstheorie von den Anfangen bis 1933 /
Ed. I. Schneider. — Berlin: Akademie-Verlag, 1989.
[20] Дэвид (David F. N.). Games, Gods and Gambling. The Origin and History
of Probability and Statistical Ideas from the Earliest Times to the Newtonian
Era. —London: Griffin, 1962.
[21] Звонкий А. К., Левин Л. А. Сложность конечных объектов и
обоснование понятий информации и случайности с помощью теории алгоритмов //
Успехи математических наук. — 1970. — Т. 25, № 6. — С. 85—127.
[22] Кирхгер, Ли, Витаньи (Kirchherr W., Li M., Vitanyi P.). The
miraculous universal distribution // Mathematical Intelligencer. — 1997. — V. 19,
№4.-P. 7-15.
[23] Колмогоров (Kolmogoroff Α.). Grundbegriffe der Wahrscheinlichkeits-
rechnung. — Berlin: Springer, 1933; Berlin—New York: Springer, 1973.
[24] Колмогоров А. Н. Основные понятия теории вероятностей. — Μ.—Л.:
ОНТИ, 1936; 2-е изд.-М.: Наука, 1974; 3-е изд.-М.: ФАЗИС, 1998.
[25] Колмогоров (Kolmogorov A. N.). Foundations of the Theory of
Probability. — New York: Chelsea, 1950; 2nd ed. — New York: Chelsea, 1956.
[26] Колмогоров А. Н. Роль русской науки в развитии теории вероятностей
II Роль русской науки в развитии мировой науки и культуры. —Т. I, кн. 1.—
М.: Изд-во Моск. ун-та, 1947.— С. 53—64.
[27] Колмогоров А. Н. Общая теория меры и исчисление вероятностей //
Коммунистическая академия. Секция естественных и точных наук. Сборник
работ математического раздела. — Т. 1. — М., 1929. — С. 8—21. (См.
также [28], с. 48-58.)

896 ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ
[28] Колмогоров А. Н. Теория вероятностей и математическая статистика.
М.: Наука, 1986.
[29] Колмогоров (Kolmogoroff A.). Uber die analytischen Methoden in der
)^ahrscheinlichkeitsrechnung // Mathematische Annalen. — 1931. — V. 104. —
Η 415-458. (См. также [28], с. 60-105.)
[30] К^олмогоров (Kolmogoroff Α.). Sulla forma generale di un processo sto-
chastico omogeneo. (Un problema di Bruno de Finetti.) // Atti della Accademia
Nazionale dei Lincei.— 1932. —V. 15.-P. 805-808. (См. также [28].)
[31] Колмогоров (Kolmogoroff Α.). Ancora sulla forma generale di un processo
omogeneo // Atti della Accademia Nazionale dei Lincei. — 1932. — V. 15. —
P. 866-869. (См. также [28].)
[32] Колмогоров (Kolmogorov A. N.). On tables of random numbers //
Sankhya A. - 1963. - V. 25, № 4. - P. 369-376.
[33] Колмогоров А. Н. Теория информации и теория алгоритмов. Μ.: Наука,
1987.
[34] Колмогоров А. Н. Три подхода к определению понятия «количество
информации» Ι/ Проблемы передачи информации.— 1965. — Т. 1, № 1.—
С. 3-11. (См. также [33], с. 213-223.)
[35] Колмогоров (Kolmogorov A. N.). Logical basis for information theory and
probability theory // IEEE Transactions on Information Theory. — 1968. — V. 14,
№ 5. - P. 662-664. (См. также [33], с. 232-237.)
[36] Колмогоров Α. Η. Комбинаторные основания теории информации и
исчисления вероятностей // Успехи математических наук. — 1983. — Т. 38,
№ 4. - С. 27-36.
[37] Колмогоров (Kolmogorov A. N.). On logical foundations of probability
theory I/ Probability Theory and Mathematical Statistics (Tbilisi, 1982). Berlin
etc.: Springer-Verlag, 1983. — P. 1—5. — (Lecture Notes in Mathematics;
V. 1021) (См. также [28], с. 467-471.)
[38] Колмогоров Α. Η., Успенский В. А. Алгоритмы и случайность //
Теория вероятностей и ее применения.— 1987.— Т. 32, № 3. — С. 425—455.
[39] Лаплас (Laplace P. S., de). A Philosophical Essay on Probabilities. — New
York: Dover, 1951; — Первое издание: La Place P. S. Essai philosophique sur
les probabilites. — Paris, 1814.
[40] Лебег (Lebesgue H.). Legons sur Tintegration et la recherche des fonctions
primitives. — Paris: Gauthier-Villars, 1904.
[41] Леммель (Lammel R.). Untersuchungen uber die ermittlung der Wahr-
scheinlichkeiten. Dissertation. Zurich, 1904. (См. также [19].)
[42] Ли, Витаньи (Li M., Vitanyi P. M. В.). An Introduction to Kolmogorov
Complexity and its Applications. — 2nd ed. — Berlin—New York: Springer-
Verlag, 1997.
[43] Майстров Л. Е. Теория вероятностей. Исторический очерк. — М.:
Наука, 1967.
[44] Максвелл (Maxwell J. С). The scientific letters and papers of James Clerk
Maxwell.-V. I: 1846-1862.-V. II: 1862-1873.-V. Ill: 1874-1879 / Ed.
P. M. Harman. — Cambridge: Cambridge Univ. Press, 1990, 1995, 2002.

СПИСОК ЛИТЕРАТУРЫ
897
[45] Мартин-Лёф П. О понятии случайной последовательности // Теория
вероятностей и ее применения. — 1966.— Т. 11, № 1. — С. 198—200.
[46] Мартин-Лёф (Martin-Lof P.). The definition of random sequences //
Information and Control. — 1966. — V. 9, № 6. — P. 602—619.
[47] Мартин-Лёф (Martin-Lof P.). On the notion of randomness // Intuitionism
and Proof Theory: Proceedings of the conference at Buffalo, NY, 1968 / Ed.
A. Kino et al. Amsterdam: North-Holland, 1970. —P. 73—78.
[48] Мартин-Лёф (Martin-Lof P.). Complexity oscillations in infinite binary
sequences // Zeitschrift fur Wahrscheinlichkeitstheorie und verwandte Gebiete. —
1971.-V. 19.-P. 225-230.
[49] фон Мизес (Mises R., von). Fundamentalsatze der Wahrscheinlichkeits-
rechnung II Mathematische Zeitschrift. — 1919. — V. 4. — P. 1—97.
[50] фон Мизес (Mises R., von). Grundlagen der Wahrscheinlichkeits-
rechnung I/ Mathematische Zeitschrift. — 1919. — V. 5. — P. 52—99; 1920. —
V. 7. - P. 323.
[51] фон Мизес (Mises R., von). Mathematical Theory of Probability and
Statistics. — New York—London: Academic Press, 1964.
[52] Ньютон (Newton I.). The Mathematical Works of Isaac Newton / Ed.
D. T. Whiteside. - V. 1. —New York: Johnson, 1967.
[53] О теории вероятностей и математической статистике (переписка А. А.
Маркова и А. А. Чупрова). —М.: Наука, 1977.
[54] Плато (Plato J., von). Creating Modern Probability. Its Mathematics, Physics
and Philosophy in Historical Perspective. — Cambridge: Cambridge Univ. Press,
1994.
[55] Π о й я (Polya G.). Uber den zentralen Grenzwertsatz der Wahrscheinlichkeits-
rechnung und das Momentenproblem // Mathematische Zeitschrift.— 1920.—
V. 8.-P. 171-181.
[56] Пуанкаре (Poincare H.). Calcul des probabilites. — Paris: G. Carre, 1896.
[57] Пуанкаре (Poincare H.). Sur le probleme des trois corps et les equations
de la dynatnique. I, II // Acta Mathematica. — 1890. — V. 13. —P. 1-270.
[58] Сельванатан и др. (Selvanathan Α., Selvanathan S., Keller G., War-
rack В., Bartel H.). Australian Business Statistics. — Melbourne: Nelson,
An International Thomson Publ. Co., 1994.
[59] Смолуховский (Smoluchowski M. R., von). Zur kinetischen Theorie
der Brownschen Molekularbewegung und der Suspensionen // Annalen der
Physik. - 1906. - V. 21. - P. 756-780.
[60] С э в и д ж (Savage L. J.). The Foundations of Statistics. — New York: Wiley;
London: Chapman & Hall, 1954.
[61] Тодхантер (Todhunter I.). A History of the Mathematical Theory of
Probability from the Time of Pascal to That of Laplace. — New York: Chelsea,
1949; —Первое издание: Cambridge: Macmillan, 1865.
[62] У и μ a η (Wiman Α.). Uber eine Wahrscheinlichkeitsaufgabe bei Ketten-
bruchentwicklungen // Akad. Forh. Stockholm.— 1900. —V. 57. —P. 829—841.
[63] Успенский, Семёнов (Uspensky V. Α., Semenov A. L.). What are the
gains of the theory of algorithms: basic developments connected with the concept

898 ИСТОРИЯ СТАНОВЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ
of algorithm and with its application in mathematics // Algorithms in Modern
Mathematics and Computer Science (Urgench, 1979). — Berlin etc.: Springer-
Verlag, 1981.-P. 100—234. —(Lecture Notes in Computer Science; V. 122.)
[64] Φ а й η (Fine T. L.). Theories of Probability. An Examination of Foundations. —
New York—London: Academic Press, 1973.
[65] де Финетти (Finetti В., de). SuIIe probability numerabili e geometriche //
Istituto Lombardo. Accademia di Scienze e Lettere. Rendiconti (2).— 1928. —
V. 61. —P. 817—824.
[66] де Финетти (Finetti В., de). Sulle funzioni a incremento aleatorio //
Accademia Nazionaledei Lincei. Rendiconti (6). —1929. —V. 10. —P. 163—168.
[67] де Финетти (Finetti В., de). Integrazione delle funzioni a incremento
aleatorio // Accademia Nazionale dei Lincei. Rendiconti (6).— 1929.— V. 10.—
P. 548-553.
[68] де Финетти (Finetti В., de). Probabilismo: saggio critico sulla teoria delle
probabilita e sul valore della scienza. — Napoli: Perrella, 1931; // Logos. —
1931. —V. 14. —P. 163—219. —English transl.: // Erkenntnis. The International
Journal of Analytic Philosophy. — 1989. - V. 31. — P. 169—223.
[69] де Финетти (Finetti В., de). Probability, Induction and Statistics. The Art
of Guessing. — New York etc.: Wiley, 1972.
[70] де финетти (Finetti В., de). Teoria delle probabilita: sintesi introduttiva con
appendice critica. — V. 1, 2.— Turin: Einaudi, 1970.— English transl.: Theory of
Probability: A Critical Introductory Treatment. — V. 1,2. — New York etc.: Wiley,
1974, 1975.
[71] Фреше (Frechet M.). Sur Tintegrale d'une fonctionnelle etendue a un
ensemble abstrait // Bulletin de la Societe Mathematique de France. — 1915. —
V. 43. — R 248—265.
[72] X о к и η с (Hawkins Т.). Lebesgue's Theory of Integration. Its Origin and
Development.— Madison, Wis.— London: Univ. Wisconsin Press, 1970.
[73] Ч ё ρ ч (Church Α.). On the concept of a random sequence // American
Mathematical Society. Bulletin.- 1940.-V. 46, № 2.-P. 130-135.
[74] Ширяев А. Н. Основы стохастической финансовой математики: В 2-
х т.-Μ.: ФАЗИС, 1998.
[75] Эйнштейн (Einstein Α.). Ober die von der molekularkinetischen Theorie
der Warme geforderte Bewegung von in ruhenden Flussigkeiten suspendierten
Teilchen // Annalen der Physik. — 1905. — V. 17. — P. 549—560.

Библиографическая справка (главы IV—VIII)
ГЛАВА IV
§ 1. Закон «нуля или единицы» Колмогорова содержится в его книге [32]. По
поводу закона «нуля или единицы» Хьюитта и Сэвиджа см. также А. А. Боровков
[7]У Л. Брейман [8], Р. Эш [81].
§ 2—4. Основные результаты здесь получены А. Н. Колмогоровым и А. Я. Хин-
чиным (см. [32] и литературу там). См. также книги В. В. Петрова [53] и В. Стоута
[66]. По поводу вероятностных методов в теории чисел см. книгу Й. Кубилюса [36].
Уместно будет здесь напомнить историю вопроса «усиленный закон больших
чисел — закон повторного логарифма» для схемы Бернулли.
Первой работой, в которой возник усиленный закон больших чисел, была
работа Э. Бореля о нормальности чисел из множества [0, 1) (Ё. Borel. Les probabilites
denombrables et leurs applications arithmetiques // Rendiconti del Circolo Matematico
di Palermo. — 1909. — V. 27.— P. 247—271). Если воспользоваться обозначениями
из примера 2 § 3, то для величин
s„=£(/(&=D-5)
полученный Э. Борелем результат состоял в том, что для почти всех (по мере
Лебега) ω € [0, 1) существует такое Ν = Ν(ω)> что
iSeMi 1п(к/2)
\ η \^ у/2п
для всех η > Ν(ω).
Тем самым, в частности, Sn = о(п) почти наверное.
Следующий шаг был сделан Ф. Хаусдорфом (F. Hausdorff. Grundzuge der
Mengenlehre. — Leipzig: Veit, 1914), который установил, что почти наверное
Sn =о(/21/2+с) для всякого ε > 0.
В 1914 году Г. Харди и Дж. Литтлвуд (G. Н. Hardy, J. E. Littlewood. Some
problems of Diophantine approximation // Acta Mathematica. — 1914. — V. 37. —
P. 155—239) показали, что почти наверное Sn = 0((n In я)1/2).
В 1922 году Г. Штейнгауз (Н. Steinhaus. Les probabilites denombrables et leur
rapport a la theorie de la mesure // Fundamenta Mathematicae. — 1923. — V. 4. —
P. 286—310) уточнил результат Харди и Литтлвуда, показав, что почти наверное
,imsuP /о \ ^Х'
η у/2п In η
В 1923 году А. Я. Хинчин (A. Khitchine. Uber dyadische Bruche // Mathematische
Zeitschrift. — 1923. — V. 18. — P. 109—116) устанавливает, что Sn = 0(Vn In In n)
почти наверное.

900 БИБЛИОГРАФИЧЕСКАЯ СПРАВКА (ГЛАВЫ IV-VIH)
Наконец, через год А. Я. Хинчин (A. Khintchine. Ober einen Satz der Wahr-
scheinlichkeitsrechnung // Fundamenta Mathematicae. — 1924. — V. 6. — P. 9—20)
получает окончательный результат («закон повторного логарифма»): почти
наверное
η yJ(n/2) In In n
(Отметим, что в рассматриваемом случае <т2 = Е[/(& = 1) - 1/2]2 = 1/4, что
объясняет возникновение множителя /г/2, а не привычного множителя 2/г; ср. с
формулировкой теоремы 1 в § 4.)
Как уже упоминалось в § 4, следующий шаг по установлению
справедливости закона повторного логарифма для широкого класса независимых случайных
величин был сделан в 1922 году А. Н. Колмогоровым (A. Kolmogoroff. Ober das
Gesetz des iterierten Logarithmus // Mathematische Annalen. — 1929. — V. 101. —
P. 126-135).
§ 5. См. по этим вопросам книги В. В. Петрова [92], А. А. Боровкова [7],
Д. Дакуна-Кастелля и М. Дюфло [86].
ГЛАВА V
§ 1—8. При изложении теории стационарных (в узком смысле) случайных
последовательностей использованы книги Л. Бреймана [8], Я. Г. Синая [63] и Дж.
Ламперти [38]. Простое доказательство максимальной эргодической теоремы дано
А. Гарсиа [12].
ГЛАВА VI
§ 1. Теории стационарных (в широком смысле) случайных последовательностей
посвящены книги Ю. А. Розанова [60], И. И. Гихмана и А. В. Скорохода [13], [14].
Пример 6 часто приводился в лекциях А. Н. Колмогорова.
§ 2. По поводу ортогональных стохастических мер и стохастических интегралов
см. также Дж. Дуб [20], И. И. Гихман и А. В. Скороход [14], Ю. А. Розанов [60],
Р. Эш и М. Гарднер [82].
§ 3. Спектральное представление (2) получено Г. Крамером и М. Лоэвом (см.,
например, [42]). В других терминах такое представление содержится в работе
А. Н. Колмогорова [29]. См. также книги Дж. Дуба [20], Ю. А. Розанова [60],
Р. Эша и М. Гарднера [82].
§ 4. Подробное изложение вопросов статистического оценивания
ковариационной функции и спектральной плотности содержится в книгах Э. Хеннана [71] и
[72].
§ 5—6. См. также книги Ю. А. Розанова [60], Дж. Ламперти [38], И. И.
Гихмана и А. В. Скорохода [13], [14].
§ 7. Изложение здесь следует книге Р. Ш. Липцера и А. Н. Ширяева [41].
ГЛАВА VII
§ 1. Большинство основных результатов теории мартингалов получено Дж.
Дубом [20]. Теорема 1 содержится у П. Мейера [47]. См. также книги П. Мейера

БИБЛИОГРАФИЧЕСКАЯ СПРАВКА (ГЛАВЫ IV-VIH)
901
[48], Р. Ш. Липцера и А. Н. Ширяева [41], И. И. Гихмана и А. В. Скорохода [14],
Ж. Жакода и А. Н. Ширяева [87].
§ 2. Теорема 1 часто называется теоремой «о преобразовании свободного
выбора», [20]. По поводу тождеств (13), (14) и фундаментального тождества Вальда
см. книгу [9].
§ 3. Правое неравенство (25) было установлено А. Я. Хинчиным в работе
1923 года (A. Khintchine. Ober dyadische Bruche // Mathematische Zeitschrift. —
1923. —V. 18. —P. 109—116) на пути доказательства закона повторного логарифма.
Чтобы пояснить, что же привело А. Я. Хинчина к необходимости получения этого
неравенства, напомним схему доказательства усиленного закона больших чисел
у Э. Бореля и Ф. Хаусдорфа (см. также данный выше комментарий к § 2—4
главы IV).
Пусть ξι,ξ2, ··· —последовательность независимых одинаково
распределенных случайных величин с Ρ{ξ\ = 1} = Ρ{ξι = — 1}= 1/2 (схема Бернулли),
S«=£i+... + &·
Доказательство Э. Бореля того, что Sn = о(п) почти наверное, состояло, в
сущности, в следующем: поскольку для всякого δ > 0
I & U Л ^ Ε5ί Зл2 3
>{ΙΐΙ>'}<£·
nW nW'
то
pfelxH«E"{|fH4E;h0
при п—>оо, и, значит, по лемме Бореля—Кантелли (§ 10 главы II) — —>0 почти
наверное.
Доказательство Ф. Хаусдорфа того, что для всякого ε>0 почти наверное
5я=о(/21/2+с), шло аналогичным образом: поскольку ES2r = 0(/zr) для всякого
целого г > 1/(2ε), то
5* К г! ^тг^ nil 5*
при п—>оо, где с — некоторая константа. Отсюда (снова по лемме Бореля—Кантелли)
получаем, что почти наверное
п\/2+е U·
Из приведенных рассмотрений видим, что ключевым моментом в
доказательствах было получение «хорошей» оценки для вероятностей P{\Sn\^t(n)}y где
t(n) = n у Бореля и t(n) = /г,/2+с у Хаусдорфа (у Харди и Литтлвуда t(n) = (η In /г)1/2).
Именно для получения «хорошей» оценки вероятностей P{|S«| ^ t(n)} А. Я. Хин-
чину и понадобились его «неравенства Хинчина» (25) (точнее, правое из этих
неравенств).

902
БИБЛИОГРАФИЧЕСКАЯ СПРАВКА (ГЛАВЫ IV—VIII)
По поводу вывода неравенств Хинчина (и правого, и левого) для любого ρ > 0
и об оптимальности констант Ар и Вр в (25) см. обзорную статью: Г. Пешкир,
А. Н. Ширяев. Неравенства Хинчина и мартингальное расширение сферы их
действия II Успехи математических наук. — 1995. — Т. 50, вып. 5. — С. 3—62.
Из правого неравенства (25) при ρ = 2m А. Я. Хинчин получает, что для
всякого / > 0
Р{|Х„| > 0 < Г2тЦХа\2т < Jg r2m[Xfnm.
В силу формулы Стирлинга
2тт\ \е)
где D = \/2. Поэтому, полагая т = 2 , находим, что
^Dexp{l~m„}=Deexp{~m}=cexp{~m}
с с = De = л/2е.
Их этой оценки следует неравенство
P{|S„|>/Ke~5Ft
которое и было использовано А. Я. Хинчиным для доказательства того, что
Sn = 0(л//г In In n) почти наверное.
В книге Ю. Ш. Чао и Г. Тейчера [72] можно найти большой материал по поводу
приведенных в этом параграфе неравенств. Теорема 2 принадлежит Э. Ленгля-
РУ [39].
§ 4. См. монографию Дж. Дуба [20].
§ 5. Излагаемый здесь материал следует статьям ίό. Μ. Кабанова, Р. Ш. Лип-
цера и А. Н. Ширяева [26], Г.-Ю. Энгельберта и А. Н. Ширяева [79] и книге
Ж. Неве [50]. Теорема 4 и пример даны Р. Ш. Липцером.
§ 6. Приводимый здесь подход к проблематике «абсолютная непрерывность и
сингулярность» и излагаемые результаты содержатся в работе Ю. М. Кабанова,
Р. Ш. Липцера и А. Н. Ширяева [26].
§ 7. Теоремы 1 и 2 принадлежат А. А. Новикову [52]. Лемма 1 является
«дискретным» аналогом известной теоремы Гирсанова (см. [41]).
§ 8. См. также монографии Р. Ш. Липцера и А. Н. Ширяева [91], Ж. Жакода
и А. Н. Ширяева [87], в которых излагается теория предельных теорем для
случайных процессов достаточно общей природы (мартингалы, семимартингалы, ...).
§ 9. Здесь изложение следует [98], [100]. Развитие изложенного подхода
к обобщению формулы Ито дано в статье'Г. Фёллмера, Ф. Проттера и А. Н.
Ширяева [101].

БИБЛИОГРАФИЧЕСКАЯ СПРАВКА (ГЛАВЫ IV—VIII) 903
§ 10. Мартингальным методам в страховании посвящена книга X. Гербе-
ра [123]. Приводимые доказательства близки к тексту из [98].
§ 11 — 12. Более детальное изложение вопросов, относящихся к применениям
мартингальных методов в финансовой математике и инженерии, см. в [100].
§ 13. Основными монографиями по теории и задачам оптимальных правил
остановки являются книги Е. Б. Дынкина и А. А. Юшкевича [102], Г. Роббинса,
Д. Сигмунда и И. Чао [59], А. Н. Ширяева [78].
ГЛАВА VIII
§ 1—2. По поводу определений и основных свойств марковских цепей см. также
книги: Е. Б. Дынкин и А. А. Юшкевич [102], Е. Б.Дынкин [21], А. Д. Вентцель [11],
Дж. Дуб [20], И. И. Гихман и А. В. Скороход [14], Л. Брейман [8], Кай-Лай
Чжун [75], [120], Д. Ревюз [117].
§ 3—7. О проблематике предельных, эргодических и стационарных
распределений вероятностей для марковских цепей см. статью А. Н. Колмогорова [28] и
книги: В. Феллер [69], А. А. Боровков [7], [104], Р. Эш [80], Кай-Лай Чжун [120],
Д. Ревюз [117], Е. Б. Дынкин и А. А. Юшкевич [102].
§ 8. Простое случайное блуждание является классическим примером
простейших марковских цепей, для которых были открыты многие закономерности (как,
скажем, свойства возвратности и невозвратности, свойства эргодичности и др.).
Эти вопросы рассматриваются во многих книгах — см., например, цитированные
выше книги [7], [80], [120], [117].
§ 9. Интерес к задачам об оптимальной остановке был обусловлен
проблематикой статистического последовательного анализа (А. Вальд [9], М. де Гроот [18],
Ш. Закс [22], А. Н. Ширяев [78]). Собственно теории оптимальных правил
остановки для марковских цепей посвящены книги Е. Б. Дынкина и А. А.
Юшкевича [102], А. Н. Ширяева [78], некоторые разделы книги П. Биллингсли [106].
Мартингальный подход к задачам об оптимальной остановке изложен в
монографии Г. Роббинса, Д. Сигмунда и И. Чао [59].
ОЧЕРК ИСТОРИИ СТАНОВЛЕНИЯ
МАТЕМАТИЧЕСКОЙ ТЕОРИИ ВЕРОЯТНОСТЕЙ
Приводимый очерк был написан автором как дополнение к третьему изданию
книги А. Н. Колмогорова «Основные понятия теории вероятностей» [32].

Список литературы
[20
[21
[22
[23
Александров П. С. Введение в общую теорию множеств и функций. —
М.: Гостехиздат, 1948.
Александрова Н. В. Математические термины. — М.: Высшая школа,
1978.
Бернштейн С. Н. О работах П. Л. Чебышева по теории вероятностей //
Научное наследие П. Л. Чебышева. Вып. 1: Математика. — 1945. — С. 59—60.
Бернштейн С. Н. Теория вероятностей. — 4-е изд. — М.: Гостехиздат,
1946.
Биллингсли П. Сходимость вероятностных мер. — М.: Наука, 1977.
Большее Л. Н., Смирнов Н. В. Таблицы математической
статистики.—3-е изд. —М.: Наука, 1983.
Боровков А. А. Теория вероятностей. — 3-е изд. — М.: УРСС, 1999.
Б ρ е й м а н (Breiman L.). Probability. — Reading, MA: Addison-Wesley, 1968.
В а л ь д А. Последовательный анализ. — М.: Физматгиз, 1960.
Вацдер Варден Б. Л. Математическая статистика. — М.: ИЛ, 1960.
В е н*т це л ь А. Д. Курс теории случайных процессов. — М.: Наука, 1975.
Га ρ с и a (Garsia A. M.). A simple proof of E. Hopfs maximal ergodic theorem
II Journal of Mathematics and Mechanics. — 1965. — V. 14, № 3. — P. 381—382.
Гихман И. И., Скороход А. В. Введение в теорию случайных
процессов.—Μ.: Наука, 1977.
Гихман И. И., Скороход А. В. Теория случайных процессов:
В 3 т.-М.: Наука, 1971-1975.
Гнеденко Б. В. Курс теории вероятностей. — 6-е изд. — М.: Наука, 1988.
Гнеденко Б. В., Колмогоров А. Н. Предельные распределения
для сумм независимых случайных величин. — М.; Л.: Гостехиздат, 1949.
Гнеденко Б. В., Хинчин А. Я. Элементарное введение в теорию
вероятностей. — 9-е изд. — М.: Наука, 1982.
Де Гроот М. Оптимальные статистические решения. — М.: Мир, 1974.
Дохерти (Doherty Μ.). An amusing proof in fluctuation theory Ц
Combinatorial Mathematics, III: Proceedings of the Third Australian Conference,
Univ. Queensland, St. Lucia, 1974. — Berlin etc.: Springer-Verlag, 1975. —
P. 101—104. —(Lecture Notes in Mathematics; V. 452.)
Дуб Дж. Л. Вероятностные процессы.— М.: ИЛ, 1956.
Д ы н к и н Е. Б. Марковские процессы. — М.: Физматгиз, 1963.
3 а к с Ш. Теория статистических выводов. — М.: Мир, 1975.
Ибрагимов И. Α., Линник Ю. В. Независимые и стационарно
связанные величины. — М.: Наука, 1965.
Под номерами 85—101 идет литература, добавленная во втором издании к той, которая
была приведена в первом издании книги. Под номерами 102—136 идет литература,
добавленная в настоящем издании.

СПИСОК ЛИТЕРАТУРЫ 905
[24] Ибрагимов И. Α., Розанов Ю. А. Гауссовские случайные
процессы.—М.: Наука, 1970.
Исихара А. Статистическая физика. — М.: Мир, 1973.
Кабанов Ю. М., Липцер Р. Ш., Ширяев А. Н. К вопросу об
абсолютной непрерывности и сингулярности вероятностных мер //
Математический сборник. — 1977. — Т. 104, № % — С. 227- 247.
К е м е н и Дж., С н е л л Дж. Конечные цепи Маркова. — М.: Наука, 1970.
Колмогоров А. Н. Цепи Маркова со счетным числом возможных
состояний Ι/ Бюллетень МГУ. — 1937. — Т. 1, № 3. — С. 1—16.
Колмогоров А. Н. Стационарные последовательности в гильбертов-
ском пространстве Ц Бюллетень МГУ. — 1941. — Т. 2, № 6. — С. 1—40.
Колмогоров А. Н. Роль русской науки в развитии теории вероятностей
II Ученые записки МГУ. — 1947. — Вып. 91. — С. 53-64.
Колмогоров А. Н. Теория вероятностей Ц Математика, ее содержание,
методы и значение. — М.: Изд-во АН СССР, 1956. —Т. II. —С. 252—284.
Колмогоров А. Н. Основные понятия теории вероятностей. — М.; Л.:
ОНТИ, 1936; 2-е изд. М.: Наука, 1974; 3-е изд. М.: Фазис, 1998.
Колмогоров А. Н., Фомин С. В. Элементы теории функций и
функционального анализа.— 6-е изд. — М.: Наука, 1989.
Колчин В. Ф., Севастьянов Б. Α., Чистяков В. П.
Случайные размещения. — М.: Наука, 1976.
Крамер Г. Математические методы статистики. — 2-е изд. — М.: Мир,
1976.
Кубилюс Й. Вероятностные методы в теории чисел. — Вильнюс: Гос.
изд-во полит, и науч. лит. ЛитССР, 1959.
Ламперти Дж. Вероятность. — М.: Наука, 1973.
Ламперти (Lamperti J.). Stochastic Processes. — Aarhus Univ., 1974. —
(Lecture Notes Series; № 38).
Л e η г л я р (Lenglart E.). Relation de domination entre deux processus Ц
Annales de I'lnstitut H. Poincare Sect. Β. (Ν. S.). - 1977. - V. 13, № 2.-
P. 171-179.
Леонов В. П., Ширяев Α. Η. Κ технике вычисления
семиинвариантов Ι/ Теория вероятностей и ее применения. — 1959. — Т. IV, вып. 2. —
С. 342-355.
Липцер Р. Ш., Ширяев А. Н. Статистика случайных процессов. —
М.: Наука, 1974.
Л оэв М. Теория вероятностей. — М.: ИЛ, 1962.
Марков А. А. Исчисление вероятностей. — 3-е изд. — СПб., 1913.
Майстров Д. Е. Теория вероятностей (исторический очерк). — М.:
Наука, 1967.
Математика XIX века / Под ред. А. Н. Колмогорова и А. П. Юшкевича. —
М.: Наука, 1978.
Мешалкин Л. Д. Сборник задач по теории вероятностей. — М.: Изд-во
МГУ, 1963.
Μ е й е ρ (Meyer P.-A.). Martingales and Stochastic Integrals. I. — Berlin etc.:

906 СПИСОК ЛИТЕРАТУРЫ
Springer-Verlag, 1972. — (Lecture Notes in Mathematics; V. 284).
Мейер П.-А. Вероятность и потенциалы. — Μ.: Мир, 1973.
Неве Ж. Математические основы теории вероятностей. — М.: Мир, 1969.
Неве (Neveu J.). Discrete-Parameter Martingales. — Amsterdam etc.: North-
Holland, 1975.
Нейман Ю. Вводный курс теории вероятностей и математической
статистики. — М.: Наука, 1968.
Новиков А. А. Об оценках и асимптотическом поведении вероятностей
непересечения подвижных границ суммами независимых случайных величин
II Известия АН СССР. Серия математическая. — 1980. — Т. 40, вып. 4. —
С. 868-885.
Петров В. В. Суммы независимых случайных величин. — М.: Наука,
1972.
Прохоров Ю. В. Асимптотическое поведение биномиального
распределения II Успехи математических наук.— 1953.— Т. VIII, вып. 3 (55).—
С. 135-142.
Прохоров Ю. В. Сходимость случайных процессов и предельные
теоремы теории вероятностей // Теория вероятностей и ее применения. —
1956,-Т. I, вып. 2.-С. 177-238.
Π ρ ο*χ ο ρ о в Ю. В., Розанов Ю. А. Теория вероятностей. — 2-е
изд. —М.: Наука, 1973.
Рамачандран Б. Теория характеристических функций. — М.: Наука,
1975.
Ρ е н ь и (Renyi A.) Probability Theory. — Amsterdam: North-Holland, 1970.
Роббинс Г., С и г м у н д Д., Чао И. Теория оптимальных правил
остановки. — М.: Наука, 1977.
Розанов Ю. А. Стационарные случайные процессы. — М.: Физматгиз,
1963.
Сарымсаков Т. А. Основы теории процессов Маркова. — М.:
Гостехиздат, 1954.
Севастьянов Б. А. Ветвящиеся процессы. — М.: Наука, 1971.
Синай Я. Г. Введение в эргодическую теорию. — Ереван: Изд-во Ереван,
ун-та, 1973.
Сираждинов С. X. Предельные теоремы для однородных цепей
Маркова. — Ташкент: Изд-во АН УзССР, 1955.
Справочник по теории вероятностей и математической статистике / Под ред.
В. С. Королюка. — Киев: Наукова думка, 1978.
С τ о у τ (Stout W. F). Almost Sure Convergence. — New York etc.: Academic
Press, 1974.
Теория имов!рностей. — Khib: Вища школа, 1976.
Тодхантер (Todhunter I.). A History of the Mathematical Theory of
Probability from the Time of Pascal to that of Laplace. — London: Macmillan, 1865.
Φ e л л e ρ В. Введение в теорию вероятностей и ее приложения: В 2-х т.—
М.: Мир, 1984.
X а л м о ш П. Теория меры. — М.: ИЛ, 1953.

СПИСОК ЛИТЕРАТУРЫ
907
X е н н а н Э. Анализ временных рядов. — М.: Наука, 1964.
X е н н а н Э. Многомерные временные ряды. — М.: Мир, 1974.
Чао, Тейчер (Chow Y. S., Teicher H.). Probability Theory. Independence,
Interchangeability, Martingales.— 3rd ed. — New York: Springer-Verlag, 1997.
Чебышев П. Л. Теория вероятностей: Лекции акад. П. Л. Чебышева,
читанные в 1879, 1880 гг. / Издано А. Н. Крыловым по записи А. М.
Ляпунова. — М.; Л., 1936.
Чжун Кай-лай. Однородные цепи Маркова. — М.: Мир, 1964.
Ширяев А. Н. Случайные процессы. — М.: Изд-во МГУ, 1972.
Ширяев А. Н. Вероятность, статистика, случайные процессы: В 2-х т. —
М.: Изд-во МГУ, 1973-1974.
Ширяев А. Н. Статистический последовательный анализ. — 2-е изд. —
М.: Наука, 1976.
Энгельберт, Ширяев (Engelbert Η.-J., Shiryaev A. N.). On the sets
of convergence of generalized submartingales // Stochastics. — 1979. — V. 2,
№3.-R 155-166.
Э ш (Ash R. В.). Basic Probability Theory. —New York etc.: Wiley, 1970.
Э ш (Ash R. В.). Real Analysis and Probability. — New York etc.: Academic
Press, 1972.
Э ш, Га ρ д н е ρ (Ash R. В., Gardner Μ. F). Topics in Stochastic Processes. —
New York etc.: Academic Press, 1975.
Я г л о μ Α. Μ., Я г л о м И. М. Вероятность и информация. — 3-е изд. —
М.: Наука, 1973.
Гринвуд, Ширяев (Greenwood P. E., Shiryayev A. N.). Contiguity and
the Statistical Invariance Principle. — London: Gordon & Breach, 1985.
Д а д л и (Dudley R. M.) Distances of probability measures and random variables
II Annals of Mathematical Statistics. - 1968. - V. 39, № 5. - P. 1563—1572.
Дакуна-Кастелль, Дюфло (Dacunha-Castelle D., Duflo M.).
Probabilites et statistiques: 1,2. — Paris: Masson. — 1: Problemes a temps
fixe. — 1982; — 2: Problemes a temps mobile. — 1983. — Перев. на англ. яз.:
Probability and Statistics: V. I, II. —Berlin etc.: Springer-Verlag, 1986.
Ж а к о д Ж-, Ширяев Α. Η. Предельные теоремы для случайных
процессов: В 2-х т. — М.: Физматлит, 1994.
Золотарев В. М. Современная теория суммирования независимых
случайных величин. — М.: Наука, 1986.
Л е К а м (Le Cam L.). Asymptotic Methods in Statistical Decision Theory.—
Berlin etc.: Springer-Verlag, 1986.
Лизе, Вайда (Liese F, Vajda I.). Convex Statistical Distances. — Leipzig:
Teubner, 1987.
Л и п ц е ρ Р. Ш., Ширяев А. Н. Теория мартингалов. — М.: Наука,
1986.
Петров В. В. Предельные теоремы для сумм независимых случайных
величин. — М.: Наука, 1987.
Π о л л а р д (Pollard D.). Convergence of Stochastic Processes. — Berlin etc.:
Springer-Verlag, 1984.

908 СПИСОК ЛИТЕРАТУРЫ
Пресман Э. Л. О сближении по вариации распределения суммы
независимых бернуллиевских величин с пуассоновским законом // Теория
вероятностей и ее применения.— 1985.— Т. XXX, вып. 2. —С. 391—396.
Розанов Ю. А. Теория вероятностей, случайные процессы и
математическая статистика. — М.: Наука, 1985.
Ротарь В. И. К обобщению теоремы Линдеберга—Феллера //
Математические заметки. — 1975.—Т. 18, вып. 1. —С. 129—135.
Севастьянов Б. А. Курс теории вероятностей и математической
статистики. — М.: Наука, 1982.
Ширяев (Shiryayev A. N.) Probability. — 2nd ed. — Berlin etc.: Springer-
Verlag, 1995.
Ширяев (Shirjayev A. N.) Wahrscheinlichkeit. — Berlin: VEB Deutscher
Verlag der Wissenschaften, 1988.
Ширяев A. H. Основы стохастической финансовой математики: В 2-
хт.-М.: ФАЗИС, 1998.
Фёллмер, Проттер, Ширяев (Follmer Η., Protter Ph., Shiryaev
A. N.). Quadratic covariation and an extension of Ito's formula // Bernoulli.—
1995.-V. 1, № 1/2.-P. 149-170.
Д ы η к и н Ε. Б., Юшкевич Α. Α. Теоремы и задачи о процессах
Марфва. — М.: Наука, 1967.
Гнеденко, Колмогоров (Gnedenko В. V., Kolmogorov A. N). Limit
Distributions for Sums of Independent Random Variables. — Reading, MA,
etc.: Addison-Wesley, 1954.
Боровков А. А. Эргодичность и устойчивость случайных процессов. —
Μ.: УРСС, 1999.
Гримме τ, Стирзакер (Grimmet G. R., Stirzaker D. R.). Probability
and Random Processes. — Oxford: Clarendon Press, 1993.
Биллингсли (Billingsley P.). Probability and Measure. — 3rd ed. — New
York: Wiley, 1995.
Боровков А. А. Математическая статистика. — Μ.: Наука, 1984.
Дарретт (Durrett R.). Probability: Theory and Examples. — Pacific Grove,
С A: Wadsworth & Brooks/Cole, 1991.
Дарретт (Durrett R.). Stochastic Calculus. — Boca Raton, FL: CRC Press,
1996.
Дарретт (Durrett R.). Brownian Motion and Martingales in Analysis.—
Belmont, С A: Wadsworth International Group, 1984.
Калленберг (Kallenberg O.). Foundations of Modern Probability. — 2nd
ed. — New York: Springer-Verlag, 2002.
Карлин, Тейлор (Karlin S., Taylor Η. Μ.). A First Course in Stochastic
Processes. — 2nd ed. — New York etc.: Academic Press, 1975.
Кашин Б. С, С а а к я н Α. Α. Ортогональные ряды. — 2-е изд. — Μ.:
АФЦ, 1999.
Жакод, Проттер (Jacod J., Protter Ph.). Probability Essentials. — Berlin
etc.: Springer-Verlag, 2000.
Η ётс (Neuts V. F.) Probability. — Boston, MA: Allyn & Bacon, 1973.

СПИСОК ЛИТЕРАТУРЫ
909
[116] Плато (Plato J.). Creating Modern Probability. — Cambridge: Cambridge
Univ. Press, 1998.
[117] Ревюз Д. Цепи Маркова. —М.: РФФИ, 1997.
[118] Уильяме (Williams D.). Probability with Martingales. — Cambridge:
Cambridge Univ. Press, 1991.
[119] Холл, Хейде (Hall P., Heyde С. С). Martingale Limit Theory and Its
Applications. — New York etc.: Academic Press, 1980.
[120] Чжун Кай-Лай (Chung Kai Lai). Elementary Probability Theory with
Stochastic Processes. — 3rd ed. —Berlin etc.: Springer-Verlag, 1979.
[121] Математическая энциклопедия: В 5 т. / Гл. ред. И. М. Виноградов. — М.:
Советская энциклопедия, 1977—1985.
[122] Стиглер (Stigler S. Μ.). The History of Statistics: The Measurement of
Uncertainty Before 1900. — Cambridge: Belknap Press of Harvard Univ. Press,
1986.
[123] Гербе ρ X. Математика страхования жизни. — Μ.: Мир, 1995.
[124] Эренфесты П. и Т. (Ehrenfest P., Ehrenfest Т.). Ober zwei bekannte
Einwande gegen das Boltzmannsche Η-Theorem // Physikalische Zeitschrift.—
1907.-V. 8.-P. 311-314.
[125] Теория вероятностей и математическая статистика: энциклопедия / Гл. ред.
Ю. В. Прохоров. — М.: Большая Российская энциклопедия, 1999.
[126] Вольфрам (Wolfram S.). The Mathematica® Book. — 4th ed. —
Champaign; Cambridge: Wolfram Media; Cambridge Univ. Press, 1999.
[127] Дуб (Doob J. L.). What is a martingale? // The American Mathematical
Monthly. - 1971. - V. 78. - P. 451-463.
[128] Синай Я. Г. Курс теории вероятностей. — М.: Изд-во МГУ, 1985. — 2-е
изд., 1986.
[129] Синай (SinaT Ya. G.). Topics in Ergodic Theory. — Princeton, NJ: Princeton
Univ. Press, 1999.— (Princeton Mathematical Series; V. 44.)
[130] Вальтере (Walters P.) An Introduction to Ergodic Theory. — New York
etc.: Springer-Verlag, 1982.
[131] Були некий А. В., Ширяев А. Н. Теория случайных процессов.—
М.: Физматлит, 2003.
[132] Хмаладзе Э. В. Мартингальный подход в теории непараметрических
критериев согласия // Теория вероятностей и ее применения. — 1981. —
Т. XXVI, вып. 2.-С. 246-265.
[133] Гамильтон (Hamilton J. В.). Time Series Analysis. — Princeton, NJ:
Princeton Univ. Press, 1994.
[134] Б e ρ η у л л и Я. О законе больших чисел. — Ч. 4: Искусство
предположений. — М.: Наука, 1986.
[135] Л у к а ч Е. Характеристические функции. — М.: Наука, 1979.
[136] Хренников (Khrennikov Α.). Interpretations of Probability. — Utrecht:
VSP, 1999.

Предметный указатель
ЩС) 188
&(D) 188
(Я, 5)-рынок 752
— безарбитражный 755
— полный 761
^-измеримость 104
d -система Дынкина 175
(£, *) 221
&I&-измеримая функция 221
λ-система 175
π-λ-система 175
π-система 175
<т-алгебра 163, 171, 218
— остаточная 529
—, порожденная разбиением 219
случайной величиной 218
— хвостовая 529
5-представление 763
U-образная кривая 127
А
абсолютная непрерывность
асимптотическая 470
вероятностных распределений
196, 242, 467
мер 196, 242, 467, 706
, достаточные условия 710
абсолютно непрерывный тип
распределения 196
авторегрессионная схема 584
аксиоматика Колмогорова 166
аксиомы теории вероятностей 166
акция 752
алгебра множеств 28, 162
порожденная разбиением 29
тривиальная 29
—, порожденная множеством 171
алгебраические свойства матриц 812
альтернатива Гаека—Фельдмана 715,
717
— Какутани 711
арбитраж 755
арбитражная возможность 755, 757
асимптотическая абсолютная
непрерывность 470
— малость 433
— разделимость полная 470
— сингулярность 470
атом 335
— разбиения 29
Б
базис ортонормированный счетный 343
Байеса теорема 47
обобщенная 286
— формула 47
банахово пространство 334
банковский счет 752
белый шум 582
бернуллневские сдвиги 576
биномиальное распределение 36
близость по вариации 461
большие уклонения 93, 559
борелевская алгебра 180
— функция 214
борелевское множество 180
— пространство 284
броуновский мост 391
броуновское движение 390
, конструкция 390
В
Вальда тождество 663
— фундаментальное тождество 666
вариационные неравенства 782, 860
вектор средних значений 384
вероятности разорения 747
вероятностная модель 31, 161, 166
в расширенном смысле 163

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
911
вероятностно-статистическая модель
94, 290
вероятностно-статистический
эксперимент 291
вероятностное пространство 31, 166
каноническое 316
полное 195
фильтрованное 787
вероятность 164, 166
— апостериорная 47
— априорная 47
— исхода 30
— ошибок первого и второго рода 461
— первого возвращения 157, 819
попадания 157, 819
— разорения 109, 113
в страховании 746
вес 30
взаимная характеристика 657
винеровская мера 211
винеровский процесс 390, 727
условный 391
выбор без возвращения 23, 25, 40
— с возвращением 22, 25
выборки неупорядоченные 22, 25, 26
— упорядоченные 22, 25, 26
выборочная дисперсия 313
выборочное среднее 313
выигрыш в лотерею 33
выпуклая оболочка 868
Г
гауссовская последовательность 390
— система 380, 388
— случайная величина 309
гауссовский вектор 382, 384
, критерий независимости
компонент 384
— процесс 390
гауссовско-марковский процесс 391
геометрические вероятности 279
гильбертово пространство 338
сепарабельное 343
главное значение логарифма 424
граф 140
Д
двуточие условное 764
динамическое программирование 861
дискретная мера 195
дискретной теории восстановления
основная лемма 825
дисперсия 62, 300
— выборочная 313
доверительный интервал 94, 98
, надежность 98
, уровень значимости 98
доминируемость 675
достаточная под-<т-алгебра 291
минимальная 294
— статистика 291
3
задача о разборчивой невесте 868
— о размещении 25
— о разорении 109
— о совпадениях 32
закон «0 или 1» Бореля 531
Колмогорова 531, 692
Хьюитта и Сэвиджа 533
— арксинуса 120, 127
— больших чисел 67, 417
Бернулли 71
для марковских цепей 149
Пуассона 419
усиленный 540
для мартингалов 701
для процесса
восстановления 548
Колмогорова 541, 544, 550
, применение к «методу
Монте-Карло» 547
, применение к теории
чисел 546
, скорость сходимости 559
Хинчина 407
— повторного логарифма Хартмана и
Винтнера 552

912
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
И
игла Бюффона 279
игра благоприятная 653
— неблагоприятная 114, 653
— справедливая 653
Изинга модель 42
измеримая функция 214
измеримое отображение 564
— пространство 163
(СЩС)) 187
(A &(D)) 188
(/?, Я(Я)) 180
(/?°°, a(R°°)) 183
(R\&(Rn)) 181
(/?г, &{RT)) 185
ill Ω/, Μ Λ) 188
\/€Г /€Г /
измеримость относительно разбиения
104
изометрическое соответствие 596
импульсная переходная функция
фильтра 600
инвариантное множество 567, 573
индикатор множества 54
интеграл верхний 255
— Ито стохастический 745
— Лебега 227-229
— Лебега—Стилтьеса 229, 245
— нижний 255
— Римана 253
верхний 256
нижний 256
— Римана—Стилтьеса 253
— стохастический 592
— Хеллингера 464
интегральная теорема Муавра—Лапласа
84
интегрирование с помощью
подстановки 262
интервал доверительный 94
, надежность 98
, уровень значимости 98
интерполяция 628
информация Кульбака 469
— Фишера 96
испытание 51
исход 21
К
каноническое вероятностное
пространство 316
канторова функция 198
капитал 754
каплинг 459
квадратическая ковариация 657, 741
— характеристика 656
квантильная функция 455
класс апериодический 816
— неразложимый 814
— определяющий 404
—, определяющий сходимость 404
— Харди И2 621
классификация состояний марковских
цепей по асимптотическим
свойствам 819
марковских цепей по
алгебраическим свойствам 812
классические модели 36
— распределения 36
классический способ задания
вероятностей 32
ковариационная матрица 301
— функция 390, 580
, оценивание 609
, спектральное представление 586
ковариация 63, 300, 580
— квадратическая 657
комбинаторика 32
компенсатор 656
комплекс условий 21
конгруэнтность по распределению 439,
454
конечно-аддитивная вероятностная
мера 163
— вероятность 163
— стохастическая мера 589
конечномерные функции
распределения 315

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
913
контигуальность последовательностей
мер 470
координатный способ построения
процесса 316
корреляционная функция 580
коэффициент корреляции 63, 301
максимальный 311
кривая регрессии 304
критерий Карлемана единственности
проблемы моментов 375
— Коши сходимости в среднем
порядка ρ ^ 1 333
по вероятности 331
почти наверное 330
— согласия 490
кумулянт 368
Л
лемма Бореля—Кантелли 327
— Бореля—Кантелли—Леви 700
— Кронекера 543
— Пратта 263
— Слуцкого 334
— Теплица 542
— Фату 233
для условных математических
ожиданий 299
— Хелли—Брэя 406
линейная зависимость 63
— независимость 341, 342
линейное многообразие 340, 343
замкнутое 343
логарифмическая прибыль 753
локальная абсолютная непрерывность
мер 706
— предельная теорема 79
Μ
мажоранта супермартингальная 781
наименьшая 782
— эксцессивная 860
наименьшая 861
максимальная эргодическая теорема
570
максимальные неравенства 671
марковская зависимость 788
— цепь 136, 139,321,788
апериодическая 818
в широком смысле 788
возвратная 830
нулевая 830
положительная 831
невозвратная 830
неразложимая 814
однородная 139, 793
стационарная 148
эргодическая 811
марковский момент 649, 749
— процесс 318
марковское свойство 139, 788
в узком смысле 788
в широком смысле 788
обобщенное 801
строгое 156, 803, 804
— ядро 793
мартингал 129, 647, 749
— квадратично интегрируемый 656
— Леви 648
— локальный 650
— обобщенный 649
— обращенный 131, 658
мартингал-разность 655
мартингальное преобразование 651
математическая статистика 72, 94
математическое ожидание 58, 227, 228
, свойства 59, 230
условное 103, 269
, свойства 270
матрица ковариаций 301, 384
— неотрицательно определенная 301
— переходных вероятностей 139
— псевдообратная 392
— стохастическая 140
медиана 65
мера σ-аддитивная 163
— σ-конечная 163
— абсолютно непрерывная 196, 242,
467, 706
— атомическая 335

914
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
мера вероятностная 164
— винеровская 211
— внешняя 195
— внутренняя 195
— Гаусса 577
— дискретная 195, 463
— доминирующая 463
— инвариантная 809
— конечно-аддитивная 162
стохастическая 589
— Лебега 194, 200, 203
/г-мерная 202
— Лебега—Стилтьеса 194, 199
— мартингальная 756
— неопределенности 74
— непрерывная в «нуле» 165
— ортогональная 590, 593
— полная 195
— с ортогональными значениями 590
— сингулярная 196, 198
— со знаком 460
— стационарная 809
— стохастическая 589
— счетно-аддитивная 163
— считающая 463
— элементарная стохастическая 590
— Эшера 758
меры ортогональные 467, 706
— сингулярные 467, 706
— эквивалентные 467, 706
метод моментов 413
— Монте-Карло 280, 547
— наименьших квадратов 702
— одного вероятностного
пространства 452, 455
— характеристических функций 413
метризуемость слабой сходимости 447
метрика Ки Фан 453
— Леви—Прохорова 448
минимальная достаточная под-(7-алге-
бра 294
многомерное гипергеометрическое
распределение 40
множество инвариантное 567, 573
— остановки 783
наблюдений 859
— почти инвариантное 567
— продолжения наблюдений 783, 859
модель Бернулли—Лапласа 854
— вероятностно-статистическая 94
— диффузии дискретная 852
— Изинга одномерная 42
— испытаний, связанных в цепь
Маркова 137
— Кокса—Росса—Рубинштейна, CRR
759, 773
— Крамера—Лундберга 747
— смешанная авторегрессии и
скользящего среднего 586
— эксперимента с бесконечным
числом исходов 161
с конечным числом исходов 31
— Эренфестов 852
момент остановки ПО, 131, 649
— первого возвращения 120
— разорения 747
моменты 229
— абсолютные 229
— смешанные 368
монотонный класс 172
наименьший 172
морфизм 564
мультиномиальное распределение 39
Η
наборы неупорядоченные 22
— упорядоченные 22
надежность доверительного интервала
98
наименьшая σ-алгебра 171
— алгебра 171
— супермартингальная мажоранта 782
наименьший монотонный класс 172
начальное распределение 139
независимость 43, 48
— алгебр множеств 48, 49
— линейная 341,342
— множеств (событий) 48, 177
— попарная 49, 63

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
915
независимость приращений 390
— систем множеств 48, 49, 177
— случайных величин 57, 224
элементов 224
неклассические условия 433
некоррелированность 63, 300
непрерывность мер абсолютная 242
неравенства Буркхольдера 678
— для вероятностей больших
уклонений 683
— Дуба 671
— Дэвиса 679
— Марцинкевича—Зигмунда 677
— Хинчина 677
неравенство Белла 67
— Берри—Эссеена 86, 426, 475
— Бесселя 340
— Бонферрони 35
— Бореля 394
— Буля 169
— Гаека—Реньи 688
— Гёльдера 240
— Гумбела 36
— Дворецкого 687
— для вероятностей больших
уклонений 93
— Иенсена 239
для условных математических
ожиданий 297
— Колмогорова 535
, односторонний аналог 539
— Коши—Буняковского 59, 239
— Коши—Шварца 59
— Леви 556
— Ляпунова 239
— Минковского 240
— Оттавиани 687
— Рао—Крамера 97
— Слепя на 394
— Фреше 36
— Чебышева 68, 238
, двумерный аналог 77
— Шварца 59
— Эссеена 376
норма 332
нормальные по Борелю числа 547
О
область остановки наблюдений 783,
859
— продолжения наблюдений 783, 859
обновляющая последовательность 616
обобщенная теорема Байеса 286
— функция распределения 199
обобщенное марковское свойство 801
обратное уравнение 144
, матричная форма 144
объединение множеств 27, 167
определяющий класс 404
оптимальная остановка 776
марковских цепей 856
опцион 767
кол л 769
пут 769
— Американского типа 769
— Европейского типа 768
— покупателя 769
— продавца 769
опционный контракт 767
ортогонализация Грама—Шмидта 342
ортогональное разложение 351
ортогональные меры 467
основная лемма дискретной теории
восстановления 825
— теорема о стационарных
распределениях 836
об эргодических распределениях
836
относительная компактность 408, 409
отношение правдоподобия 136
отображение измеримое 564
сохраняющее меру 564
оценивание ковариационной функции
609
— спектральной плотности 610
функции 610
оценка 95, 303
— асимптотически несмещенная 611
— Бернштейна 78

916
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
оценка вероятности «успеха» 94
— максимального правдоподобия 43
— несмещенная 95, 296
— оптимальная в среднеквадратиче-
ском смысле 64, 303
линейная 340, 351
— сильно состоятельная 703
— состоятельная 95, 608
— спектральной плотности Бартлетта
613
Журбенко 613
Парзена 613
— эффективная 95
ошибка первого и второго рода 461
— среднеквадратическая 303
Π
паритет колл-пут 776
перемешивание 569
пересечение множеств 28, 167
перестановочная система событий 169
перестановочное событие 532
переходная вероятность 139, 318
— функция 793
период неразложимого класса 816
— последовательности 815
— состояния 815
периодограмма 611
перпендикуляр 341, 351
платежное поручение 761
воспроизводимое 761
плотная последовательность
случайных величин 471
плотность 196, 202, 215, 243
— л-мерного гауссовского
распределения 203
— гауссовская двумерная 302
— условного распределения
вероятностей 278
подходящее множество функций 179
полиномы Бернштейна 76
— Пуассона —Шарлье 346
нормированные 346
— Эрмита 345
нормированные 345
полнота 195
— (Я, 5)-рынка 761
— пространства Lp, р^\ 333, 334
полунорма 332
пополнение 194
портфель ценных бумаг 754
самофинансируемый 754
порядковая статистика 313
последовательности вполне
детерминированные 615
— детерминированные 615
— мер взаимно контигуальные 470
полностью асимптотически
разделимые 470
сближаемые 470
— обращенные 742
— предсказуемые 647
— регулярные 615
— сингулярные 615
— скользящего среднего 583
— стационарные в узком смысле 563
в широком смысле 580
, спектральное
представление 595
— чисто детерминированные 615
— эргодические 574
последовательность обновляющая 616
— почти периодическая 581
— случайных величин плотная 471
— частично наблюдаемая 630
почти всюду 231
— инвариантное множество 567
— наверное 231
предельная пренебрегаемость 433
— теорема интегральная 71, 84
локальная 71, 79
предсказуемая последовательность 647
представление Колмогорова—Леви—
Хинчина 441
— Леви—Хинчина 446
преобразование Бернулли 576
— Колмогорова 576
— Крамера 558

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
917
преобразование Лапласа—Стилтьеса
748
— метрически транзитивное 567
— сохраняющее меру 564
— Фурье 353
— эргодическое 567
— Эшера 758
условное 760
прибыль логарифмическая 753
принцип инвариантности 431, 728
Донскера—Прохорова 728
— отражения 120
— подходящих множеств 173
проблема моментов 373
, критерий единственности 375
продожение меры 192
проекция 341
производная Лебега 467
— Радона—Никодима 243
производящая формула 264
пространство банахово 334
— исходов 21, 166
— состояний марковской цепи 139,788
— фазовое 139, 788
— элементарных событий 21, 166
процедура Робинса—Монро 696
процентная ставка банковская 752
рыночная 752
проценты простые 753
— сложные 753
процесс броуновского движения 390,
727
— ветвящийся 142
— винеровский 390
условный 391
— восстановления 322
— гауссовский 390
— гауссовско-марковский 391
— марковский 318
— Пуассона 747
— с независимыми приращениями 390
прямое произведение σ-алгебр 182
мер 51
пространств 51, 189
— уравнение 144
, матричная форма 144
пустое множество 167
Ρ
равенство Парсеваля 344
равномерная интегрируемость 234
разбиение 29, 371
разделимость последовательностей мер
470
различение гипотез 461
разложение Вольда 614, 618
— Дуба 655
— каноническое последовательности
730
— Крикеберга 687
— Лебега 467, 707
— Хана 460
размещение дробинок по ячейкам 25
размещения без повторений 23
— с повторениями 22
разность множеств 28, 167
распределение 196
— F 197
— / 197, 310
— бернуллиевское 55
— бета 197
— биномиальное 37
— Вейбулла 313
— вероятностей процесса 223
случайного вектора 56
случайной величины 55, 215
— гамма 197
— гауссовское 89, 197
/г-мерное 203
, характеристическая функция
382
, семиинварианты 372
среднее, дисперсия 300
— геометрическое 196
— гипергеометрическое 41
многомерное 40
— двойное экспоненциальное 313
— дискретное 196
равномерное 196

918
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
распределение инвариантное 147, 809,
811
— Колмогорова 490
— Коши 197
— логарифмически нормальное 306
— многомерное 56, 201
— мультиномиальное 40
— начальное 139
— нормальное 89, 197
— обратно-биномиальное 213
— отрицательно-биномиальное 196
— Паскаля 196
— полиномиальное 40
— Пуассона, пуассоновское 87, 196
— равномерное на [а, Ь] 197
— сингулярное 198
— стационарное 147, 809, 811
— Стьюдента 197, 310
— устойчивое 442
— хи 309
— хи-квадрат 197, 309
— экспоненциальное 197
двустороннее 197
— эргодическое 145
расстояние Какутани—Хеллингера 463
— Леви 406
— по вариации 460
, оценка Прохорова 479
расширенная случайная величина 217
— числовая прямая 191
реализация процесса 223
регулярная функция распределения 283
регулярные условные вероятности 281
распределения 282
, существование 284
рынок неполный 769
— полный 769
С
свертка распределений 307
секвенциальная компактность 410
семейство марковских цепей 798
— мер относительно компактное 408
плотное 408
семиинварианты простые 370
— смешанные 368
сигма-аддитивность, σ-аддитивность
163
символ Кронекера 345
симметрическая разность множеств
167
сингулярность мер 467
сингулярные меры 196, 467, 706
система лебеговских множеств 194
— ортогональных случайных величин
339
— ортонормированная 339
полная 343
случайных величин 339
— Радемахера 347
— событий перестановочная 169
— Хаара 347
скалярное произведение 338
скользящее среднее двустороннее 583
одностороннее 584
скорость сходимости в усиленном
законе больших чисел 557
в центральной предельной
теореме 475
слабая сходимость 399, 400
, метризуемость 447
случайная величина 54, 214
абсолютно непрерывная 215
безгранично делимая 439
биномиальная 55
гауссовская 300
дискретная 214
инвариантная 567
комплексная 222
, не зависящая от будущего 649,
749
непрерывная 215
почти инвариантная 567
простая 214
расширенная 217
устойчивая 442
— последовательность 223, 390
— функция 223

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
919
случайное блуждание 109, 120
простое 842
— число случайных величин 142
случайный вектор 56, 222
— процесс с дискретным временем 223
с непрерывным временем 223,
390
с ортогональными
приращениями 593
— элемент 221
смешанная модель авторегрессии и
скользящего среднего 586
событие 27, 166
— достоверное 28
— невозможное 28
— перестановочное 532
согласованности свойство 204, 208
— условие 209, 315
состояние цепи апериодическое
поглощающее 140
возвратное 820
нулевое 824
положительное 824
достижимое 813
невозвратное 820
несущественное 813
поглощающее 847
существенное 813
состояния цепи взаимно достижимые
813
сообщающиеся 813
сочетания без повторений 24
— с повторениями 22
спектральная мера 588
— плотность 583
, оценивание 610
— функция 588
— характеристика фильтра 601
спектральное окно 612
— представление ковариационной
функции 586
стационарной
последовательности 595
справедливая цена опциона 769
среднее значение 58
средняя длительность блуждания 115
— продолжительность игры 109
стандартное отклонение 62, 300
статистика Бозе—Эйнштейна 26
— достаточная 291
— Максвелла—Больцмана 26
— Ферми—Дирака 26
статистическая независимость 48
степень разброса 62
стохастическая матрица 140
— мера 589
конечно-аддитивная 589
ортогональная 590
с ортогональными значениями
590
элементраная 590
— последовательность 647
возрастающая 647
доминируемая 675
предсказуемая 647
— экспонента 259, 684
стохастический интеграл 592
Ито 745
строго марковское свойство 155, 803,
804
структурная функция 591
субмартингал 647
— локальный 650
— обобщенный 649
сужение меры 207
сумма множеств 167
суммирование по Чезаро 335, 832
суммы верхние 252
— нижние 252
супермартингал 648
супермартингальная мажоранта 781
суперхеджирование 770
—, верхняя цена 772
существенный супремум 334, 778, 779
схема Бернулли 67, 78
— серий 419, 426
сходимость в основном 399, 400, 405

920
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
сходимость в основном в смысле
конечномерных распределений 405
— в смысле Lp 324
— в среднем квадратическом 324
— в среднем порядка ρ 324
— по вариации 461
— по вероятности 324, 453
, метризуемость 447
— по закону 452
— по мере 324
— по распределению 325, 417, 452
— почти всюду 324, 453
— почти наверное 324, 453
— с вероятностью единица 324, 453
, неметризуемость 447
— слабая 399, 400
, метризуемость 447
счетная аддитивность 163
Τ
телескопическое свойство 105
второе 271
первое 270
теорема Байеса 47, 286
— Беппо Леви 265
— Берри—Эссеена 86, 475
— Биркгофа—Хинчина 570
— Бохнера—Хинчина 365
— Вейерштрасса 76
— Герглотца 586
— Гирсанова, дискретная версия 722
— Гливенко и Кантелли 482
— Дуба 660, 682, 688
о максимальных неравенствах
672
о разложении субмартингалов
655
о случайной замене времени 660
о сходимости субмартингалов
688
о числе пересечений 682
— Ионеску Тулчи 318
— Кантелли 540
— Каратеодори 192
— Колмогорова и Хинчина 535
о «двух рядах» 537
о продолжении мер 208
о продолжении меры 204
о существовании процесса 316
о «трех рядах» 538
об интерполяции 629
об усиленном законе больших
чисел 541, 544
— Лебега о мажорируемой сходимости
234
— Леви 691
— Макмиллана 75
— Манна—Вальда 456
— Марцинкевича 366
— Мерсера 393
— Муавра—Лапласа 84
— непрерывности 414
— о баллотировке 133
— о возвратности Пуанкаре 565
— о «двух рядах» 537
— о замене переменных под знаком
интеграла Лебега 244
— о монотонной сходимости 232
— о монотонных классах 173
, функциональная версия 179
— о нормальной корреляции 304
, векторный случай 387
— о преобразовании свободного
выбора 900
— о сходимости под знаком условных
математических ожиданий 272
— о «трех рядах» 538
— Пифагора 351
— Пойа для случайных блужданий 847
для характеристических функций
365
— Прохорова 409
— Пуанкаре 432
о возвратности 565
— Пуассона 87, 419
— Радона—Никодима 243
— Рао и Блэкуэлла 296
— Улама 412

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
921
теорема факторизации 292
— Фубини 246
— фундаментальная вторая 761
первая 755
— Хелли 410
— Хелли—Брэя 407
— центральная предельная 413, 418,
421, 427, 434
для зависимых величин 726
функциональная 728
— Чернова 561
— эргодическая 145, 574, 605
максимальная 570
теория восстановления 668
тождество Вальда 132, 663
фундаментальное 666
— паритета колл-пут 776
— Пуанкаре 36
— Спицера 264
точки роста 196
траектория процесса 223
типичная 75
треугольник Паскаля 23
У
уравнение баланса 585
— Вальда—Беллмана 861
— восстановления 323
— Колмогорова—Чепмена 143, 317,
799
обратное 143
прямое 144
— обратное, матричная форма 144
— прямое, матричная форма 144
уравнения динамического
программирования 859
уровень значимости 98
усиленный закон больших чисел 540
для мартингалов 701
для процесса
восстановления 548
Колмогорова 541, 544, 550
, скорость сходимости 559
условие асимптотической малости 433
равномерной 728
— Крамера 557
— Линдеберга 421, 426
— Ляпунова 425
— предельной пренебрегаемости 433
равномерной 728
— согласованности 209, 315
условная вероятность 44, 266, 269
относительно σ-алгебр 269
разбиений 266
разбиения 101
случайных величин 102, 269
регулярная 281
— дисперсия относительно σ-алгебры
269
условное двуточие 764
— математическое ожидание 103, 106,
269
в широком смысле 340, 351
относительно σ-алгебр 268
случайных величин 106,
269
событий 267, 275, 276
, свойства 270
устойчивая случайная величина 442
Φ
фазовое пространство 139, 788
факторизационная теорема 292
фильтр 600
—, импульсная переходная функция
600
— Калмана—Бьюси 634, 638
— физически осуществимый 601
фильтрация 630
—, поток σ-алгебр 647
формула Байеса 47
— дискретного дифференцирования
754
— замены переменных Ито 740
— интегрирования по частям 257
— Ито 746
, дискретная версия 740, 743
для броуновского движения 740
— обращения 361

922
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
формул3 пересчета математических
ожиданий 243
условных математических
ожиданий 289, 712
полной вероятности 46, 101, 104
связи моментов и семиинвариантов
369
Сеге—Колмогорова 634
Огирлинга 42
— трапеции 743
— умножения вероятностей 46
фундаментальная теорема теории
арбитража 751
фундаментальность в среднем порядка
ρ 325, 333
— по вероятности 325, 331
с вероятностью единица 325, 330
фундаментальные теоремы математи-
ческойуггатистики 481
теории арбитража, вторая 761
. , первая 755
функций распределения
конечномерные 315
эмпирические 481
функция верхняя 551
— восстановления 322
гармоническая 874
— Дирихле 262
— измеримая 214
ковариационная 580 .
— концентрации 379
КОрреляционная 580
— нижняя 551
_ ошибок 90
— полунепрерывная 402
Радемахера 347
— распределения 55, 56, 191
я-мерная 201
безгранично делимая 439
обобщенная 199
регулярная 283
случайного вектора 56
случайной величины 55, 215
устойчивая 442
— супергармоническая 860, 874
— Хаара 348
— эксцессивная 860
фьючерс 768
характеристика взаимная 657
— квадратическая 656
— фильтра спектральная 601
частотная 601
характеристическая функция 353
, примеры 377
, свойства 356
безгранично делимая 439
множества 54
устойчивая 442
устойчивого распределения 445
характеристических функций метод 413
хеджирование совершенное 769
ц
цена в задачах об оптимальной
остановке 857
центральная предельная теорема 413,
418, 427, 434
для зависимых величин 726
функциональная 728
цепь Маркова 137, 321
однородная 139
стационарная 148
циклический подкласс 816
цилиндрические множества 184
Ч
частота 68
частотная характеристика фильтра 601
число пересечений 682
— размещений 23
— сочетаний 23
эквивалентность по распределению 454
эквивалентные меры 467, 706
экран отражающий 850, 851
экспонента стохастическая 259, 684

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
923
экспоненциальное семейство 295
экстраполяция 623
эксцессивная мажоранта 860
наименьшая 860
элементарная теорема теории во
новления 668
элементарное событие 21
энтропия распределения 73
эргодическая теорема 145, 574
в среднеквадратическом смысле
605
максимальная 570
эргодичность 145, 567
Я
ядро Фейера 611

Указатель обозначений
^+324
^324
^325
^324
-^324
Fn=>F 399
^=►^325
Fn^F 399
Ρ η =* Ρ 400, 405
Ρ„^Ρ400
Ρ«4Ρ405
μ„-^μ403
μη=>μ 403
ηη-+η 417
ξ = η 439
ΧΙ У 454
Л® 392
I 28
Л + Я28
ЛПЯ28
ЛиВ 27
ЛАЯ 65
аЛ 400
Ac(t) 260
4*23
^28, 162
а(9) 29, 171
BL450
Б\Л 28
В(/Со, W; /?) 775
Я 181
^(С) 188
^(D) 188
&(R) 180
^(/?) 181
^(/?я) 181
&(R°°) 184
^(/?г) 186
ЯЦО, 1]) 194
^10^2 182
С 187
С+ 697
Cyv 775
C(f) 399
C(/*; P) 769, 770
C(/; P) 772
Clk23
COv(£, ту) 62, 300, 580
D 188
D£62
D(£|0) 108
D (ξ |^) 269
dP(X, У)453
Δ/7* (χ) 59
(£, *) 221
(£, <f, p) 400
Λ (λ) 684
<Й(Л)259
<fr(P, Ρ) 461
Εξ 58, 227
Efoi, ...,1^)340
Е(£;Л)229
E«|D) ЮЗ
Ε(ξ|0) 103
Ε (ξ |^)268
Ε (ξ 11;) 106,269
Ε«|ΐ7ι Vk) 106
Ε«|ι?ι Г7Л) 340
erf 90
(Α ί> 591
F * G 307
F€ 55, 215
/ξ 215
^ 163
^/^ 221
^* 171
Λ 171
Λ 171
&Z 218
<^p 194
Μ Λ 189
Ф(х) 89
¥>(*) 89
//(χ) 80
//(Λ Ρ) 464
//(ο; Ρ, Ρ) 464
$ξ</Ρ229
λ
5 ξ^/Ρ 227
Ω
(L-S)\i(x)G(dx)
R
(R-S)$«x)G(<fc)
οο
(L) 5 £(*)</* 229
— οο
L2338
L'332
L°°334
ЦР, Ρ) 448
Ц(ш) 96
^(Л) 121
&(η\ Чп)Ш
Jfrfai.i», ...)343
Um. 325
М(Р) 756
(М)„ 23
(М) 656
/л^1 "*> 368
Шып 777
med 407
μ 162
μ(Λ) 162
μ(*) 172
μ\ χ μ2 246
Ν(Α) 32
Λ/(^) 30
Μ(Ω) 21

УКАЗАТЕЛЬ ОБОЗНАЧЕНИЙ
925
N(A) 756
с/Г(т, σ2) 300
jY{m, R) 382
Ρ 30, 164
Ρ (Л) 30
Ρ(Α\@) 101
Р(Л|#)269
Р(Л |г7) 102
Ρ (Л Ю 269
Р(Я|Л)44
Ρ (В |0)266
Р(Я|#)267
Ρξ 55, 214
ρ(ω) 30
^ = {Ρα;α€21}408
Ρ 143
Ρ(*) 14з
Ρ/ν 776
(Ря) Δ {Ρη) 470
(Ря) < (Ρη) 470
(Ря) О (Яя) 470
\\Ρ-Ρ\\ 460
\\P-P\\iL*5Q
\\р(х,у)\\М9
llPi/ll НО
И 143
П(*} 143
R 180
Λ 181
/?(/г) 580
/?' 181
/?г 185
/?°° 183
/?я 181
/?„347
Rn(x) 347
(/?, ^(/?)) 180
р(£, ι?) 63, 301
р(Л Я) 463
р(/г) 580
sj"1 "*} 368
σ(^) 171
σ(ξ) 218
Var(P-P)460
Хя*=тах|Х/|671
XX 754
(X У) 657
[X, У]п 657
[*]« 657
{Х„-}697
Ζ 579
Ζ(Δ) 589
Ζ(λ) 589
χ2 309
θ& 563
ξ _L г; 339
(Ω, stf, Ρ) 30, 163
(Ω, л^, Ρ*; 0 6 θ) 94
#744
=«30
[αι a„J22
(αϊ α„)22

Некоторые общематематические обозначения
/? = (-оо, оо) — множество действительных чисел, действительная прямая,
евклидово одномерное пространство
R+ = [О, оо)
R = [—оо, оо] — расширенная действительная прямая: /? = /? и{—00}U{00}
/?+ = [0,оо]
Q — множество рациональных чисел
Q+ = QC\R+
Rd — евклидово ^-мерное пространство
N — натуральные числа: или {О, 1, 2, ...}, или {1, 2, ...}
Z —множество целых чисел: {0, ±1, ±2, ...}
С — множество комплексных чисел
(a, b) = {xeR:a<x<b}y [α, b] = {xeR: a^x^b}
(а, b] = {xkR:a<x^b}, [a, b) = {xeR: a^x <b}
inf X — нижняя грань множества X С R
sup X — верхняя грань множества X С R
inf хп — нижняя грань множества X = {хт, *т+ь ···}
sup хп — верхняя грань множества X = {хт, хт+\, ...}
Если хл €/?, /z^ 1, то
lim inf хп =Пт хп ξ sup inf хПу lim sup xn = lim xn = inf sup xn,
n-*°° η m^\ n>m /1—00 n m>1 n^m
lim xn=x Ο \\π\χη = \ίη\Χη=χ О Пт Хп^х^ lim *„.
Для действительных чисел:
х+ = max(jc, 0), χ" = - min(jc, 0)
\θ, χ = 0
jcVi/ = max(x, у), χ t\y = m\n(x, у)
[χ] или L*J — наибольшее целое число, не превосходящее χ
\х] — наименьшее целое, большее или равное χ
( 1, *>0,
sign χ — знак числа х: sign*=< 0, * = 0,
1-1, х<0
(иногда sign χ определяется как 1, если χ ^ 0, и -1, если χ < 0)

НЕКОТОРЫЕ ОБЩЕМАТЕМАТИЧЕСКИЕ ОБОЗНАЧЕНИЯ 927
хп —► *, где η €{1, 2, ...}, означает, что lim xn=x
η
хп Τ означает, что х\ ^ х2 ^ ...; *я ΐ χ означает, что хп ] и lim *,, = χ
η
хп | означает, что Х\ ^ *2 ^ . · ·; *« i х означает, что хп | и lim *„ = χ
η
Для комплексных чисел z = a + ib,
где a, beR и i = л/-Т — мнимая единица:
г = α — /6 — число, сопряженное с г
|-2т| — модуль числа ζ (=(α2 + 62),/2)
Re 2, Im г—действительная и мнимая части г: Re z = a, Im z = 6
Для евклидова ^/-мерного пространства Rd:
\х\ — евклидова норма х = (х\, ..., *Д т. е. (х2 + ... + *2/),/2
jc - £/ или (χ, #) —скалярное произведение * = (*ι xd) и у = (у\ yd), т. е.
*1#1 +... + *</#</
В теории множеств:
Ля Τ означает, что А \ С Лг С ...; Ап ] А означает, что Ап | и |J Ап = А
Ап I означает, что А \ Э Лг 2 - ·; Л„ J, Л означает, что Ап I и Π Л„ = Л
lim sup Л„, или ΐίτη Л„, или {Л„ б. ч.} означает f] ( (J Л„ J — множество точек,
принадлежащих бесконечному числу множеств Л„, η ^ 1
lim inf Ля или lim Ап означает (J ( Π ^я j — множество точек, принадлежащих
всем Л„, /г^ 1, за исключением, быть может, их конечного числа
Ια или 1(A) — индикатор множества Л
{...} — множество
Математические символы:
«С — абсолютная непрерывность
~ — эквивалентность
± — ортогональность
/ = o(g)-lim(^)=0
/ = 0(g)-lim sup(-^)<oo
/~g-lim(£) = l
/ χ g — отношение — отделено снизу от 0 и сверху от оо
fog — композиция / и g
f * g — свертка / и g

Альберт Николаевич Ширяев
ВЕРОЯТНОСТЬ-2
Редактор Т. Толозова
Тех. редактор В. Радионов
Лицензия ИД №01335 от 24.03.2000 г. Подписано в печать 15.02.2004 г. Формат
60 χ 90 Vie. Бумага офсетная №1. Печать офсетная. Печ. л. 25,5. Заказ № 9728
Санитарно-эпидемиологическое заключение №77.99.02.953.Д.002797.04.03
от 18.04.2003 г.
Издательство Московского центра непрерывного математического образования.
121002, Москва, Большой Власьевский пер., 11. Тел. 241—72—85.
Отпечатано с готовых диапозитивов в ППП «Типография „Наука"».
119009, Москва, Шубинский пер., 6.
Книги издательства МЦНМО можно приобрести в магазине «Математическая книга»,
Большой Власьевский пер., д. 11. Тел. (095) 241-72-85. E-mail: biblioemccme.ru